19世纪时，欧洲几个国家曾各自举办过冠以各种名称的小型体育盛会。皮埃尔·德·顾拜旦也有重兴奥运会的愿望，但他打算把现代奥运会变成拥有多项体育赛事的国际性运动会。1894年在巴黎索邦神学院（今巴黎大学）举行的第一届奥委会会议上，他向参加会议的11个国家的体育界代表提出了这一想法。顾拜旦的建议曾一度被计划等到1900年的巴黎世博会时再做决定。但考虑到6年的等待会降低人们对奥运会的兴趣，最后奥委会决定在1896年举办第一届现代奥运会。当时曾有几位奥委会成员暗示由伦敦担当举办城市，但经过和希腊奥委会成员的短暂商讨之后，和顾拜旦提议由希腊的雅典担当首届奥运会的举办地。由于希腊是奥林匹克的发源地，于是这一建议得到了奥委会成员们的一致认可。维凯拉斯也在此会议上当选为第一任国际奥委会主席。
另外顾拜旦认为真正的现代奥林匹克运动发源地是马奇文洛克，一个位于英国什罗普郡的乡村集市。1850年由一个当地医生威廉·彭尼·布鲁克斯（WilliamPennyBrooks）创办了文洛克奥林匹克运动会（MuchWenlockOlympicGames），人们在运动会上进行了板球，足球，掷圈环（一种掷环套柱游戏）等其它比赛。
申办经过
1894年在皮埃尔·德·顾拜旦的倡导下，国际奥林匹克委员会在巴黎创立，并确定希腊首都雅典承办第一届现代奥林匹克运动会。当时希腊并没有太多的举办此类运动会的经验，且一度遇上财政困难，但组委会还是按时做好了各项准备工作。尽管当时的运动员水平同今天的相比差很多，然而在当时举办如此大规模的国际性体育赛事则是人类有史以来的第一次。
奥运会即将重回希腊的消息很快被希腊公众和各种媒体所接受。但当时希腊政府正处在财政危机，政治上也并不稳定，处理内政事务的首相一职更是频繁更换。希腊在1894年底成立了奥运组委会，负责人是艾蒂安·斯库劳蒂斯，他在一份报告上称举办奥运会的实际花费将会是顾拜旦事先估计的三倍，并断定奥运会不得不因此而取消，事后他递交了辞呈。
希腊王子康斯坦丁是奥运会的支持者之一，他决定重建组委会，由他本人亲自出任主席。他对奥运会的热衷和努力使得希腊公众自发的进行了捐款活动，捐款数额达到了330000德拉克马（约合980欧元），加上发行纪念邮票的收入共有400000德拉克马，另外还有200000德拉克马的门票收入。在康斯坦丁王子的请求下，希腊富商乔治·阿维洛夫支付了修缮帕那辛纳克体育场的所有费用，共计920000德拉克马。为了表彰他的慷慨解囊，人们在体育场外树立了一座他的雕像，并于1896年4月5日举行了揭幕仪式。
希腊组委会在奥运会筹办方面的经验有限，大部分的赛前准备工作诸如制定比赛规则和邀请运动员等工作都是由顾拜旦来负责的。有些运动员能够参加本届奥运会只是因为他们在比赛期间正在雅典度假或工作（例如，有几名来自英国的运动员是英国驻雅典大使馆的工作员）。另外，真正意义上的奥运村是在1932年奥运会时才出现的，在这之前的奥运会参赛选手不得不自行解决住宿问题。
举办城市
1894年6月经过巴黎国际体育会议协商，历史名城雅典，赢得了首届现代奥运会主办权。其比赛场帕那辛纳克体育场，始建于公元前4世纪，2004年雅典奥运其间曾一度使用过该体育场。希腊首都雅典，位于希腊东南部的阿蒂卡半岛西侧，三面环海，气候宜人。这个今日希腊政治、文化、经济的中心，在古希腊时期就是重要竞技场所之一。它特别重视文化教育，强调把智育、德育、体育、美育四者结合起来培育人才，创建了光辉灿烂的雅典文化。如果说，希腊是欧洲古代文明的摇篮，雅典则是这个摇篮的中心，闻名世界体坛的古奥运会发源地奥林匹亚，也在离这里约300公里的地方，因此，首届奥运会选在这个古城举行是有其重要历史意义的。
