Pravi izvori o nastanku antičkih olimpijskih igara su izgubljeni u vihorima vekova, ali postoje mnoge legende i predanja o tome. Jedna legenda govori da je igre ustanovio sam Zevs kao proslavu svoje pobede u bici za vlast nad ocem Hronom. Druga kaže da je Herakle pobedio u jednoj trci u Olimpiji pa je odlučio da se na tu uspomenu svake 4 godine održavaju takve trke.
Međutim, osim igara u Olimpiji održavale su se i druge konkurentske, slične igre. To su bile Panatinske, Pitijske, Nemejske i Istmijske igre, ali su Olimpijske, spletom političkih okolnosti, nadvladale. Sve te priče u vezi sa antičkim igrama dovode se u vezu sa starogrčkim pojmom olimpijskog primirja, kada su, prema legendama, grčki polisi prekidali međusobna neprijateljstva za vreme trajanja igara. A prvi verodostojan zapis o održavanju Igara u Olimpiji datira iz 776. p. n. e. iako nije sigurno da su to bile i prve igre u antičkoj Grčkoj. Neki istoričari su skloni zaključku da su se slična takmičenja povremeno održavala čak i od 13. veka pre nove ere.
Na početku su igre bile uglavnom događaj lokalnog značaja, a do XV antičkih olimpijskih igara održavala se samo jedna disciplina – trka na 1 stadij (nešto manje od 185 metara). Onda je dodata trka na 2 stadija, a prva dugoprugaška trka, na 24 stadija (u metričkom sistemu 4.420 metara), održana je 720. godine pre nove ere. Pausanija piše da su se na početku sportisti takmičili obučeni u laganu sportsku opremu, kao danas. A onda je, tokom jedne trke, trkaču Orsipu iz Megare- spala odeća i on je nastavio da trči go. To je od ostalih atleta ubrzo oberučke prihvaćeno pa su se takmičari od tada takmičili goli. Žene nisu smele da se takmiče, a čak im nije bilo dozvoljeno ni da budu gledaoci. Ipak, devojke su se takmičile na Herajama, igrama u čast boginje Here koje su se takođe održavale u Olimpiji svake četiri godine. Za razliku od muškaraca one se nisu takmičile gole.
Ubrzo je počeo da se povećava i broj sportova: 748. p.n.e. je uveden pankration (kombinacija boksa i rvanja), 708. p.n.e. klasično rvanje i petoboj, 688. p.n.e. pesničenje (kao današnji boks) itd. Bilo kako bilo, igre postaju sve važniji momenat u istoriji antičke Grčke dostižući svoj vrhunac tokom 6. i 5. veka p. n. e.
Olimpijske igre su imale i veliki verski značaj. Održavane su u slavu vrhovnog boga Zevsa kome je podignuta veličanstvena statua u Olimpiji. Broj disciplina ubrzo je narastao do dvadesetak, a same igre su se održavale nekoliko dana. Olimpijski pobednici su uskoro postali osobe sveopšteg poštovanja. Ako je trebalo, rušili su se i delovi gradskih bedema da bi pobednici mogli ući s pratnjom prilikom povratka u rodni grad (zbog olimpijskog primirja gradovi nisu smeli ratovati) i bili bi opevani u pesmama i podizali su im se spomenici. Njihovi uspesi su bili i materijalno nagrađivani (raznorazne beneficije, oslobođenje od poreza, itd).
Vremenom se ustalio ritam održavanja igara – svake četiri godine, a vreme između prošlih i budućih igara nazvano je Olimpijadom. Stari Grci su te periode, Olimpijade, koristili i kao jednu od metoda računanja vremena.
Igre su polako gubile na značaju tokom rimske vladavine nad Grčkom, iako su i tada imale veliki ugled. Priča se da je sam rimski car Tiberije maštao o naslovu i časti olimpijskog pobednika, a i car Neron je rado posećivao olimpijska borilišta i učestvovao u takmičenjima. Neron je učestvovao u trci dvokolica, ali je pao i nije završio trku. I pored toga, Grci su ga slavili kao pobednika, a Neron ih je zauzvrat oslobodio poreza. Sa pojavom hrišćanstva, a pogotovo kad je ono postalo državna religija (391. godine) olimpijske igre su sve više smatrane slavljenjem paganskih božanstava i ostacima paganskih rituala, pa ih je konačno 393. godine rimski car Teodosije ukinuo prekinuvši tako gotovo 12-vekovnu istoriju ovog sportskog događaja.