据说巴特勒自己也不知道自己的父亲是谁，也有说是乔丹的私生子。巴特勒出生于休斯顿郊区的一个名叫汤巴尔的地方，当他还在襁褓中的时候，他的亲生父亲便离家出走，离开了他和他的母亲。但这并不是巴特勒悲惨童年的终点，到巴特勒长到13岁的时候，他的母亲竟然狠心地把他赶出了家门。
据巴特勒在2011年的一次采访中回忆，“我不喜欢你的长相，你走吧。”这是吉米-巴特勒的妈妈在抛弃他之前说的最后一句话。就这样，年少的巴特勒成为一个彻底的流浪儿。
自从13岁被赶出位于德克萨斯州Tomball的家，巴特勒竭尽所能的想要生存下去。他住在朋友家，直到不好意思再待下去，通常每过几周，他就要另觅住处，只要晚上能有一片瓦遮头，他就很满足了。
就在这个时候，篮球成为他生命中不可或缺的一部分，他也开始渐渐展露天赋。在他升入高四的那个夏天，作为Tomball的潜在明星球员，他吸引了不少目光——这可不同一般。一级联赛的教练们还没开始接触他，但一个九年级名叫乔丹-莱斯利的孩子却率先招募了他。
莱斯利也来自Tomball，对巴特勒很是关注。在夏季联赛的末声，他走到巴特勒身边向他挑战三分投篮比赛，他的自以为是让巴特勒很是吃惊，巴特勒接受了挑战。莱斯利也是名运动健将，同样是个很有前途的橄榄球和篮球双料明星。在乔丹-莱斯利 、向巴特勒挑战三分球后不久，巴特勒成为他家庭的一部分。在比赛过后，他们俩迅速成为朋友，莱斯利邀请巴特勒去他家玩游戏并让他过夜。从此之后，巴特勒的人生发生了180°的转变。
米歇尔-兰伯特，莱斯利的妈妈，最初对这事感到犹豫不决。她和已过世的第一任丈夫育有四子，她第二任老公本身也有三个孩子，这个家庭也不宽裕，而Tomball坊间也盛传吉米是个到处惹麻烦的孩子，最后兰伯特的老公告诉孩子们吉米可以留下来，但一次只限于一到两个晚上。但每晚七个孩子中总有一个会跑出来说：“今晚轮到我招待吉米了。”就这样过了好几个月，兰伯特夫妇妥协了，米歇尔告诉吉米他成为了这个家庭的一份子。
但在那之前她给巴特勒定了些规矩。巴特勒遭遇生平第一次的宵禁，他还必须去上学并在学业上有好的表现，他必须做家务，但最为重要的是，米歇尔告诉巴特勒，他应该成为家里孩子们的榜样。
“我告诉他我的孩子们都很钦佩他，”兰伯特说，“所以他必须远离麻烦，在学校用功读书，他必须为他们树立榜样。然后你知道吗，吉米做到了，不论我对他有什么要求，他都从不会问缘由并一一做到。”
“他们接纳我成为家庭的一份子，”巴特勒说，“那并不是因为篮球的缘故，这一切都是源于她的爱心，她经常做诸如此类的事，这简直令人难以置信。”
找到落脚点的巴特勒终于可以尽情展现他的篮球才华。在2006-07赛季，巴特勒场均19分加8个篮板，被评为汤巴尔高中当季最有价值球员。在选择大学阶段，巴特勒并没有得到热情的招募，他最终进入了得克萨斯的泰勒青年学院。不过短暂的大一之后，巴特勒转学到了马奎特大学(韦德[微博]的母校)，他的篮球才华逐渐被释放。尽管大二的赛季他只能作为替补，场均也只有5.6分和3.9个篮板，但升到大三之后，巴特勒成为主力前锋，并在2009-10赛季场均贡献14.7分和6.4个篮板。他在大东区赛事中先后绝杀康涅狄格大学和圣约翰大学，名声大噪，并帮助马奎特大学以11胜7负战绩打进NCAA全国锦标赛。
2011年，巴特勒在首轮第30顺位被公牛选中，终于踏入了NBA的大门。
