2004年的雅典奥运会是王皓首次参加奥运会，年仅21岁的王皓当时已经成为中国队主力，在乒乓球男单比赛中，王皓一路高奏凯歌，半决赛遭遇队友王励勤，此前王皓对阵王励勤十战十败，唯独雅典王皓战胜了王励勤挺进决赛，决赛对手是击败了老瓦的韩国选手柳承敏。作为奥运会乒乓球分量最重的男单冠军，当时国人的目光都盯在了这个20岁出头的小伙子身上。以王皓的实力，许多国人都顺理成章地把这枚金牌提前归入中国队囊中，因为在奥运会比赛前，王皓和柳承敏数次交手，都是王皓以绝对优势取胜。
决赛开始后，王皓明显背上了想赢怕输的包袱，而柳承敏一反常态，采用极具搏杀性的战术，把王皓一下子打蒙，先胜了第一局。第二局，王皓开始发威，在一次暂停以后，艰难拿下了第二局。第三局和第四局，王皓在关键比分上有些保守，而柳承敏的搏杀战术又屡屡奏效，被柳承敏再拿下两局以后，王皓已经以1比3落后，被逼上了绝境。第五局王皓开局不顺，在气势上被对手压倒，失误依然不断，比分上也渐渐被对手超出。不过他随后顽强的将比分迎头赶上，在11:11平后，他连得两分扳回一局。第六局王皓在2:0领先后被对手连得四分。虽然他奋力将比分追到9:9，但还是被对手连得两分结束比赛。总比分定格在4:2上，柳承敏获得冠军。北京奥运会成了王皓乒坛生涯的巨大障碍，此后，他患上了“决赛恐惧症”。每次比赛，他都能凭借自己的实力打入决赛，可是一到决赛的时候，他又变得魂不守舍、神情恍惚。2005年全国十运会决赛他输给王励勤；2005年、2006年，王皓两次打入世乒赛决赛，2005年他在大比分3:2，第6局8:4领先的大好形势下被德国选手波尔翻盘；2006年又被马琳以0:2实现大逆转。王皓赖以成名的反手直拍横打技术，在决赛中也仿佛失去了攻击力，对“敌人”没有杀伤力。
连续四次重大赛事获得亚军，有媒体称王皓为“千年老二”。几年的卧薪尝胆，让王皓终于有了脱胎换骨的变化。2006年11月，在多哈亚运会上，他战胜队友马琳，一举夺魁。紧接着，在11月举行的世界职业巡回赛总决赛中，他又一次摘得桂冠，2006年冬天成了王皓丰收的季节。
2007年获得世乒赛男单季军，男双亚军，世界杯男团、男单冠军，国际乒联巡回赛斯洛文尼亚站男单冠军，克罗地亚站男双冠军（与马琳），深圳站男单男双冠军，南京站男单亚军、男双冠军，日本站男单冠军，男双亚军，亚锦赛男团、男单冠军、男双亚军。2008年北京奥运，男单决赛中，又以1:4不敌马琳，连续两届无缘奥运会男单金牌。在决赛中，王皓的开局很不顺利，马琳利用多变的球路连续拿下前两局比赛的胜利，将王皓逼到一个比较危险的境地。进入第三局比赛，王皓这个时候才算找到自己的最佳状态，并顺利扳回一局，不过这个时候，王皓的心理再次出现了一定的波动，在第四局中，他在开局阶段又显得有一些保守，马琳乘机将比分拉开，等到王皓再想通过搏杀来扭转比赛的局势时，马琳已经牢牢将主动权掌握在了自己的手中。第五局中王皓心理已经基本崩溃，马琳最终以4比1获得了本场比赛的胜利，摘走冠军。
男团决赛，王皓与队友马琳、王励勤勇夺乒乓球男子团体冠军，获得首枚奥运金牌。奥运会之后王皓并没有消沉太久，马上获得了世界杯冠军，这也是无机时代的第一项大赛，王皓证明了自己不容置疑的实力。在09年初的大王者杯上，王皓再次夺冠，而横滨世乒赛男单、男双两枚金牌，标志着王皓已经成为中国男乒当之无愧的领军人物。
2009年是属于王皓的一年，这一年最重要的两项单打比赛——世乒赛男单和全运会男单的冠军都被王皓获得。但是那之后王皓的状态迅速下滑，从11月的欧亚对抗赛负于波尔开始，他在不到半年的时间里连续6次输给国外选手，受到了主教练刘国梁的严厉批评。
2010年王皓的状态仍然不见起色，他没能获得过一个单打冠军，直通莫斯科队内选拔赛的发挥也不尽如人意，只是在与马琳与王励勤这两位老将的PK赛中占据了上风，才获得参加世乒赛的机会。世乒赛上王皓的表现不温不火，决赛他没有获得上场机会，对于王皓来说这无疑是一届不如意的世乒赛。
不过年底的世界杯他终于开始反弹，一路过关斩将后与队友张继科会师，最终王皓决赛以4-1击败张继科第三次获得冠军。进入2011年王皓的状态依旧稳定，但是在鹿特丹世乒赛和世界杯上，他却两次在决赛败在了队友张继科拍下，成就了后者的一年双冠。2012年伦敦奥运会，与往届奥运会当年申报参赛名单相比，提前一年确认仅有的两个单打参赛资格。2011年6月7日，国家体育总局乒羽中心7日下午召开媒体通气会，宣布对国际乒联提出的可直接获得2012年伦敦奥运会参赛资格的男女各两名单打选手进行确认，男队的王皓和张继科、女队的李晓霞和郭焱分别凭借各自在最新世界排名中的位置进入名单。
单打银牌
北京时间2012年8月2日晚22:30，伦敦奥运会乒乓球男单决赛再次上演“中国之战”。最终世界排名第一的张继科笑到了最后，他以4-1的总比分战胜王皓。王皓获得自己的第三枚奥运男单银牌。
男团金牌
中国男子乒乓球队在北京时间2012年8月9日凌晨结束的男团决赛中，直落3盘“零封”老对手韩国队。这是中国乒乓球队在奥运赛场再一次实现了包揽4枚金牌的壮举，这也是第4次在奥运赛场包揽全部金牌。
王皓在第三盘双打中登场，王皓/张继科面对韩国的吴尚垠/柳承敏，整体优势非常明显，以11比4、11比8、11比6完胜对手。帮助中国乒乓球队轻松包揽了伦敦奥运会乒乓球赛4枚金牌。
王皓收获了人生中的第二枚奥运乒乓球男团金牌。2014年12月22日，在郝帅爱子的百天宴上，王皓宣布自己退役，回到八一队任教。之前，中国乒乓球队主教练刘国梁就已经向媒体透露了有关王皓退出国家队的消息。在男子团体世界杯名单确定上，王皓并没有获得参赛资格。
从1998年底进入国家二队时起，王皓在中国乒乓球队待了16年，只差一步就能拿到所有的冠军。这些年，他一直是国乒直板打法的代言人，直板横打的打法被他用得炉火纯青，至今无人超越。
在中国乒乓球的历史上，王皓拥有非常重要的地位。在2014年5月份的团体世乒赛上，王皓随队创造了7连冠的壮举，自己也以18个世界冠军追平了老将马琳，并列获得世界冠军最多的男乒选手。18个世界冠军，3次打进奥运会单打决赛，团体世界大赛不败，王皓创造辉煌纪录的同时，却留下一项遗憾——未能获得一枚奥运单打金牌，因此无缘大满贯。
