初代山口组组长、山口春吉于大正4年（1915年)在神户市内，与另外约50名的码头装卸工创立山口组，当时为“尾岛组”的一支。数年后，大正14年（1925年），山口春吉隐退，由他的长子山口登继承，成为第二代山口组组长；山口登被“尾岛组”逐出后，便涉足独占神户中央运输市场的搬运权，使势力范围扩大。
昭和15年（1939年），山口登在一次为了争夺营业权，在东京浅草被人斩成重伤、在昭和18年（1942年）逝世。二次大战后，昭和21年（1946年），田刚一雄被选为山口组的第三代组长。田刚一雄在位期间的昭和30～40年代（50～60年代），与许多地缘黑帮之间发生数起对立火拼事件，而使山口组扩大全国各地地盘，成为全国性的广域黑社会组织。
田刚一雄拥有超群的统御力及组织力，以雄厚的资金涉足演艺娱乐、营造、航空及各行业公司的经营权，加上文、武分明的强力战斗部队，成为称霸全国的原动力。
田刚一雄死后，第四代组长的遴选使山口组内部分裂；在昭和59年6月（1984年）选出第四代组长，继承者为竹中正久。造成内部反对势力“山广派”不服，集体退出山口组，另组“一和会”与山口组长期对抗达8年之久的“山一战争”；抗争期间，昭和60年1月（1985年）竹中正久遭到暗杀；最后，“一和会”也被山口组彻底瓦解。到了平成元年（1989年）由原第四代山口组若头渡边芳则继承组长一职，成为山口组第五代组长。第五代组长渡边芳则就任后，因积极扩张势力范围，造成与多个组织发生对抗事件，像“关东二十日会”组成的对抗事件即是。另外，平成9年（1997年），第五代山口组若头宅见胜被暗杀，亦是内部派系纠纷造成。
（2005年）5月弘田组组长司忍（本名“筱田建市”）继任第五代山口组若头；同年7月29日山口组举行“直系组长例行会议”，会后正午宣布领帮16年的第五代山口组组长渡边芳泽就任名誉总裁实质退休，并内定筱田建市继任第六代组长；同年8月27日山口组在神户总本部举行第六代组长的迹目相続继承仪式。此次山口组除改朝换代之外，在吸收东京活动的国粹会入其伞下，被视为关西为主的山口组将势力逐渐深入关东的心脏。
