秦始皇的身世，史书记载含糊不清，《史记·秦始皇本纪》载“秦始皇帝者，秦庄襄王子也”，母为吕不韦的姬妾。
《史记·吕不韦列传》则称始皇生母嫁给异人时，已经怀有身孕，至大期而生下了他，有人据此认为始皇是吕不韦之子。
吕不韦是阳翟（今河南禹州市）的大商人，他往来各地，以低价买进，高价卖出，积累起千金的家产。
公元前267年（秦昭王四十年），秦国悼太子死在魏国，运回国葬在芷阳。公元前265年（昭王四十二年），他的第二个儿子安国君被立为太子。
而安国君有二十多个儿子。安国君有个非常宠爱的妃子，立她正夫人，称之为华阳夫人。华阳夫人没有儿子，安国君有个排行居中的儿子名叫异人，异人的母亲叫夏姬，不受宠爱。异人作为秦国的人质被派到赵国。
因为秦赵世仇，秦国多次攻打赵国，赵国并不礼遇异人。作为秦王庶出的孙子，不受重视，被打发来赵国当人质，他乘的车马和日常的财用都不富足，生活困窘。
吕不韦到邯郸去做生意，见到异人后大喜，说：“异人就像一件奇货，可以囤积居奇，以待高价售出。”
吕不韦于是归家与父亲说：“耕田可获利几倍呢？”父亲说：“十倍。”吕不韦又问：“贩卖珠玉，或获利几倍呢？”父亲说：“百倍。”
吕不韦又问：“立一个国家的君主，可获利几倍呢？”父亲说：“无数。”吕不韦说：“如今努力耕田劳作，还不能做到丰衣足食；若是拥君建国则可泽被后世。我决定去做这笔买卖。”
于是他就前去拜访异人，道：“我能光大您的门庭。”异人笑着说：“你姑且先光大自己的门庭，然后再来光大我的门庭吧！”吕不韦顺势回复：“我的门庭要等待您的门庭光大了才能光大。”异人马上就明白吕不韦所言之意，就与他坐在一起深谈。
吕不韦说：“秦王已经老了，您的父亲安国君被立为太子。安国君现在意属您的兄弟子傒，子傒又有母亲在后宫照应，而您排行中间，母亲又不受宠，秦王死后，安国君继位为王，您也不要指望同您长兄和早晚都在秦王身边的其他兄弟们争太子之位。您自己又处于祸福难测的敌国，一旦秦赵开战，公子您的性命将难以保全。”
异人叹道：“是这样，但该怎么办呢？”
吕不韦说：“如果公子听信我，我倒有办法让您回国，且能继承王位。我私下听说安国君非常宠爱华阳夫人，华阳夫人无子，但她能参与选立太子，只能从她身上下手。您很贫窘，又客居在此，也拿不出什么来献给亲长，结交宾客。我吕不韦虽然不富有，但我愿意拿出千金来为你西去秦国游说，侍奉安国君和华阳夫人，让他们立您为太子。”
异人于是叩头拜谢道：“如果实现了您的计划，我愿意分秦国的土地和您共享。”
吕不韦于是拿出五百金给异人，作为异人在赵国日常生活和交结宾客之用。吕不韦又拿出五百金买珍奇玩物，自己带着西去秦国游说。
吕不韦有一个绝美而善舞的姬妾，异人在吕不韦家中筵席上看到此女后非常喜欢，就站起身来向吕不韦祝酒，请求把此女赐给他。
吕不韦很生气，但转念一想，已经为异人破费了大量家产，为的借以钓取奇货，于是就献出了这个女子。十月后，此女生下儿子名政（即秦始皇嬴政），异人就立此姬为夫人。
