中国奥委会早在1922年就得到了国际奥委会的承认。解放前，中国曾派运动员参加了1932年、1936年和1948年的三次奥运会。王正廷、孔祥熙和董守义三人曾先后担任国际奥委会委员。解放后，新中国首次派队参加了1952年在赫尔辛基的第15届奥运会。但不久，当时的国际奥委会主席布伦戴奇（美国）把台湾列入了国际奥委会所承认的各国奥委会名单之中，企图制造“两个中国”。中国多次抗议交涉无效，于1958年声明中断与国际奥委会的关系。
1975年，中国奥委会要求国际奥委会恢复在奥林匹克运动中的合法代表权。1979年10月，国际奥委会执委会在名古屋通过决议，确认中国为“中国奥委会”，使用中华人民共和国国旗和国歌；同时规定设在台北的奥委会为“中华台北奥委会”，使用“不同于其目前使用的旗、徽和歌”。1979年11月26日，国际奥委会以通讯表决的方式正式批准了这项决议，从而恢复了中国在国际奥林匹克运动中的合法权利。
1997年7月2日，萨马兰奇主席代表国际奥委会和香港奥委会主席沙理士，就香港名称、旗、歌问题达成协议：香港奥委会的名称为“中国香港业余体协暨奥委会”；使用印有紫荆花图案的香港特别行政区区旗；奏中华人民共和国国歌；新会徽的图案为中央是紫荆花、五环和中文“中国香港”的字样，外面是圆环，下面有英文“中国香港”的字样。这一协议符合香港特别行政区基本法精神，井保证中国香港业余体协暨奥委会将继续以独立的身份保留在奥林匹克运动中、香港运动员有参加奥运会的权利。
1979年，国际奥委会通过《名古屋决议》，恢复了中国奥委会在国际奥委会的权利。同时规定，会址设在台北的奥委会改名为“CHINESETAIPEIOLYMPICCOMMITTEE”。大陆方面自此将“CHINESETAIPEI”翻译为“中国台北”。1981年，台湾奥运组织确认接受《名古屋决议》，并将“CHINESETAIPEI”翻译为“中华台北”。
1989年，两岸奥委会负责人在香港签署协议，明确规定了在大陆使用“中华台北”译名的执行单位和范围。之后，大陆方面一直按照香港协议，在协议规定的范围内，使用“中华台北”。而在协议规定范围之外，继续沿用“中国台北”的译名。台湾某些媒体和人士认为大陆媒体违背香港协议，有意将“中华台北”改称为“中国台北”，这是混淆了香港协议的内外范围，与客观事实不符，不利于双方建立互信。资料显示，1989年4月6日，两岸奥委会负责人在香港签署了如下协议：“台湾地区体育团队及体育组织赴大陆参加比赛、会议或活动，将按国际奥会有关规定办理。大会（即举办单位）所编印之文件、手册，寄发之信函，制作之名牌，以及所做之广播等等，凡以中文指称台湾地区体育团队及体育组织时，均称之为‘中华台北’。”
中国奥委会从1980年起派队参加冬季奥运会，从1984年起全面参加奥运会，并在洛杉矶奥运会上实现了中国运动员在奥运会上无奖牌和无金牌历史性的“零的突破”。
何振梁于1981年和1985年当选为国际奥委会委员和执委会委员。1989年8月，何振梁当选为国际奥委会副主席，这是中国人首次担任这个职务。1994年和1999年，何振粱再次当选为国际奥委会执委。1996年7月，吕圣荣作为国际羽毛球联合会主席被选为国际奥委会委员（注：吕的任期已在2001年7月结束）。2000年9月，于再清以中国奥委会副主席的身份当选为国际奥委会委员。中国在国际奥委会下属小组委员会中任职的有：何振梁（文化委员会主席）、邓亚萍（运动员委员会）、屠铭德（群体委员会）、张长久（医务委员会）、高殿民（新闻委员会）、吕圣荣（妇女和体育工作小组）、魏纪中（奥林匹克项目委员会）、于再清（国际关系委员会）、邓亚萍（体育与环境委员会）。
中国奥委会一直与国际奥委会保持着良好的关系。中国奥委会积极参加和支持国际奥委会所开展的各种活动，配合国际奥委会对其五环标志在中国实行保护。中国先后有19人荣获国际奥委会颁发的奥林匹克勋章。1986年，国际奥委会授予中国奥委会奥林匹克杯，以表彰中国对发展中国家，特别是对非洲国家体育援助作出的巨大贡献。2000年3月6日，国际奥委会在巴黎授予中国女子足球队“妇女和体育奖”。
1993年，中国奥委会曾向国际奥委会提出了北京举办2000年奥运会的申请，但最后以2票之差而落选。而2000年的奥运会的举办地则是澳大利亚的悉尼。
1999年1月6日，中国奥委会全会在北京召开，决定由北京再次代表中国申办2008年第29届奥运会。2001年7月，在第112届国际奥委会全会上，北京赢得了2008年奥运会主办权。
2001年，中国的哈尔滨市向国际奥委会提出了举办2010年第21届冬季奥运会的申请。不幸的是2002年8月，哈尔滨在国际奥委会对申办城市的预选中落选。
2001年12月13日，2008年北京第29届奥运会组委会（BeijingOrganizingCommitteefortheGamesofXXIXthOlympiad，200）正式成立。
北京奥运会的主题是“绿色奥运、人文奥运和科技奥运”。整个筹备工作将分成三个阶段进行：第一阶段为前期准备阶段，时间为2001年12月至2003年6月，主要任务是制定并实施《奥运行动规划》，健全组织领导机构，全面落实奥运场馆建设的前期工作和施工准备，环保和基础设施建设开始，市场开发工作启动运行。第二阶段为全面建设阶段，时间为2003年7月至2006年6月，主要任务是全面完成“十五”计划确定的各项任务，基本完成奥运场馆建设，各项准备工作基本就绪。第三阶段为完善运行阶段，时间为2006年7月至奥运会开幕，主要任务是对所有的建设项目和各项准备工作进行检查、调整、测试和试运行，组织工作、安全保卫工作以及各项服务工作全部就绪。国际奥委会副主席：于再清
国际奥委会委员：何振梁（曾任国际奥委会副主席）
国际奥委会委员：杨扬
国际奥委会道德委员会委员：杨扬
国际奥委会委员：李玲蔚
国际奥委会文化与奥林匹克教育委员会主席：何振梁
国际奥委会运动员委员会委员：邓亚萍
国际奥委会妇女与体育工作委员会委员：吕圣荣（1996年当选，是中国第一位国际奥委会女委员)。
国际奥委会医务委员会运动生化委员会委员：吴侔天
国际奥委会新闻委员会委员：高殿民
国际奥委会体育与环境委员会委员：邓亚萍
国际奥委会项目委员会委员：魏纪中
国际奥委会群众体育委员会委员：屠铭德
国际奥委会国际关系委员会委员：于再清
国际奥委会广播电视委员会委员：于再清
该组织品牌在世界品牌实验室（WorldBrandLab）编制的2006年度《世界品牌500强》排行榜中名列第三十三
