有关古奥林匹克运动会的历史源头已经不可考，但是有些神话和传说流传下来。其中之一是珀罗普斯的故事。他是奥林匹亚的国王，也是以他的名字命名的伯罗奔尼撒半岛的英雄。 奥林匹克运动会在举行时向他供奉。基督徒亚历山太的革利免声称：“奥林匹克运动会只是供奉珀罗普斯的献祭活动”。 这个神话描述珀罗普斯如何在他的旧情人波塞冬的帮助之下，战胜Oenomaus国王，并和Oenomaus的女儿Hippodamia结成夫妇。这个神话也和阿特柔斯家族的没落和俄狄浦斯的苦难经历有关连。
另一则有关英雄赫拉克勒斯的神话，他在奥林匹亚的比赛上获得了胜利，并且颁布每四年将举办一次比赛的规定。而另外一个说法主张这是众神之父宙斯击败了提坦神克罗诺斯之后所设立的节日活动。还有另一则有关伊利斯的伊菲托斯（Iphitos）的传说，西元前9世纪，伊菲托斯到皮媞亚询问德尔斐神谕：如何把他的人民从战争的苦难中拯救出来。拥有预言能力的女祭司告诫伊菲托斯要他筹办竞技比赛以彰显对希腊诸神的荣耀。伊菲托斯王的敌方──斯巴达人，他们也决定在比赛期间停止战争，那些比赛被尊称为奥林匹克，位于奥林帕斯山下举办，据说这座山是希腊诸神所居住的神圣之地。不管什么样的起源之说，这奥林匹亚竞技大会是古希腊祭典的两种核心仪式之一，另外一个仪式则是称为厄琉息斯秘仪。
古代奥运会起源于何时，传说不一，但大多数学者认为古代奥运会起源于公元前776年，每4年在夏天召开一次。
传说
赫拉克勒斯在伊利斯城邦完成了常人无法完成的任务，不到半天功夫便扫干净了国王堆满牛粪的牛棚，但国王不想履行赠送300头牛的许诺，赫拉克勒斯一气之下赶走了国王。为了庆祝胜利，他在奥林匹亚举行了运动会。
关于古奥运会起源流传最广的故事则是佩洛普斯娶亲的故事。古希腊共和国伊利斯国王为了给自己的女儿挑选一个文武双全的驸马，提出应选者必须和自己比赛战车。比赛中，先后有13个青年丧生于国王的长矛之下，而第14个青年正是宙斯的孙子和公主的心上人佩洛普斯。在爱情的鼓舞下，他勇敢地接受了国王的挑战，终于以智取胜。为了庆贺这一胜利，佩洛普斯与公主在奥林匹亚的宙斯庙前举行盛大的婚礼，会上安排了战车、角斗等项比赛，这就是最初的古奥运会，佩洛普斯成了古奥运会传说中的创始人。
原因
实际上，奥运会的起源与古希腊共和国的社会情况有着密切的关系。公元前9-8世纪，希腊共和国氏族社会逐步瓦解，城邦制的奴隶社会逐渐形成，建立了200多个城邦。城邦各自为政，无统一君主，城邦之间战争不断。为了应付战争，各城邦都积极训练士兵。斯巴达城邦儿童从7岁起就由国家抚养，并从事体育、军事训练，过着军事生活。战争需要士兵，士兵需要强壮身体，而体育是培养能征善战士兵的有力手段。战争促进了希腊共和国体育运动的开展，古奥运会的比赛项目也带有明显的军事烙印。连续不断的战事使人民感到厌恶，普遍渴望能有一个赖以休养生息的和平环境。后来斯巴达王和伊利斯王签订了“神圣休战月”条约。于是，为准备兵源的军事训练和体育竞技，逐渐变为和平与友谊的运动会。
在古希腊，有四大祭礼竞技赛会，其中以祭祀万神之王宙斯神的奥林匹克运动会规模最大、延续时间最长、名声最高。在古希腊所有的运动会中，没有一个比奥运会更受到希腊人的重视，也没有一个运动会的参加者比奥运会更广泛，奥运会在古希腊人心目中是整个希腊民族精神的象征，其延续时间之长，影响之深远，在人类历史上是罕见的。
意义
古代奥运会的产生与希腊当时社会的政治、经济、文化和宗教有着密切的关系。奴隶社会的希腊，战争连年不断，为了取胜，各个城邦都利用体育锻炼来培养身强力壮的武士，体育运动就在这种情况下发展起来，逐渐形成了有组织的运动竞赛，为奥运会的产生打下了基础。
古希腊人信奉多神教，每逢重大的祭祀节日，各城邦都举行盛大的宗教集会，以唱歌、舞蹈和竞技等方式来表达对诸神的敬意。古希腊人认为宙斯神是众神之首，所以对他格外崇敬，对他的祭祀也格外隆重，促进了奥运会的产生。
古希腊人民厌恶连年不断的城邦战争，渴望和平，希望在奥运会举办期间，以神的名义实行休战，以达到减少战争，摆脱灾难的目的。
由此可见，奥运会是在战争背景和祭礼形式中产生的，但它又表达了人民对和平的美好愿望，这种互相矛盾又互相制约的关系，使奥运会产生并延续下去。
