黑手党的英文“Mafia”源自阿拉伯语，意思是指“逃难”。这个名词被借用来指一班在西西里岛居住的中年男子的松散组合。当时的西西里岛被突厥人及诺曼人占领，他们组织起来，原先是要保护家人，免受这些侵略者的骚扰。后来，这班人演变成一班为了复仇而私自执行法律的人，并进而演变成犯罪组织。在当地，成为黑手党的成员是一种光荣，会被称为“mafioso”，意思就是“man of honour”(君子)。他们会黑手党的起源并不算长久：他们与中世纪时的秘密组织无关。事实上，黑手党的兴起与19世纪后期意大利的统一有著密切的关系。他们主要聚集於西西里当地富翁人家集中的深绿海岸地带。在以巴勒莫郊外那些田园牧歌般的柑橘林与柠檬林为基础的，现代化的资本主义出口企业之间。
巴勒莫是这座有些世风日下的岛屿的核心(在意大利统治阶级看来)，它的权力和资本都集中在此处，并且正是在这些橘林间，在这片土地上，黑手党发展了它的手段：有偿保护，谋杀，领地统治以及帮派合作。所以，循序渐进地，黑手党开始宣称其作为地方政府施政工具的地位。合作关系与有偿保护在黑手党和土地所有者之间是普遍存在的。黑手党需要土地所有者，但是同样地，土地所有者也需要黑手党。地方政府也常常串通在这种关系之间。黑手党如同雇主，支配着在这片土地上为其工作的人们，因此，他们的势力，连同那些源自柑橘园的国际贸易，便蒸蒸日上地成长起来了。
在意大利像黑手党样的组织已经存在了几个世纪，它们区别于在不同的地区。直到20世纪50年代，意大利黑手党还主要集中在田园乡下，但自那以后便传播到了城市(例如巴勒莫)且随后变为集中了毒品、卖淫的更具国际性的组织。意大利黑手党以家庭为单位，主要以西西里为代表。在其他地区也有其他类似的组织，如那不勒斯的克莫拉等。
其他地区存有类似的组织：卡拉布里亚(Calabria)的Ndrangheta，阿普利亚(Apulia)的Sacra corona unita，那不勒斯(Naples)的Camorra。
在意大利法西斯专政期间，巴勒莫的区长切萨雷·莫里(Cesare Mori)利用种种特殊势力抵制黑手党的活动。许多黑手党人在他的压制之下锒铛入狱，另有不少不得不越洋渡海，远走他乡。但是事实上，西西里黑手党中的最关键的几个党魁都是法西斯组织MVSN中的成员。在MORI的行动中受到牵连的只是一些低层的犯罪嫌疑人而已。主要是出于宣传的需要。然而也有其他人称 这不过是美国的宣传为了在二战中拉近美国政府和黑手党的关系合作的又一种说法罢了来最终统领黑手党美国支部的约瑟夫博纳诺，昵称乔香蕉。在1943年进攻意大利的过程中，美国人利用当时的综合形势以及美国黑手党与西西里的联系。当时正在美国服刑的卢西阿诺(Lucky Luciano)以及黑手党的其他成员突然间变成了参加美国抗击法西斯战斗的可贵的爱国者。作为一个新美国公民，卢西阿诺接受了政府的道歉后，在1946年得以返回西西里，继续他的活动。
很多逃脱了追捕的黑手党党徒流亡到了美国。直到意大利在二战中投降后，黑手党的势力才得以壮大。然而在20世纪80、90年代，一系列的黑手党党派间的“帮派大战”中，不少声名显赫的黑手党党徒被谋杀。而新生代黑手党成员中，许多人倾向于将工作的重点置于高智商犯罪，而对传统的敲诈勒索不屑一顾。作为对此进展的反应，意大利新闻界惯用“La Cosa Nuova(新事物)”指代经过如上整建的组织。
特别是在意大利，黑手党暗杀警方公诉人和法官可谓由来已久，目的是挫败警察机关的旺盛精力。在美国，针对国家权威的谋杀却十分罕见，这主要是因为害怕造成激烈的反抗情绪。
据说暴徒达基·舒尔兹(Dutch Schultz)被他的同党杀害，便是因为后者担心他会执行针对纽约市检察官托马斯·杜威(Thomas Dewey)的暗杀。
在美国，黑手党的势力于20世纪70年代末和80年代初急转直下，这是因为《反犯罪组织侵蚀合法组织法(RICO Act)》及类似法律的出台，将从属于执行非法活动的组织定为犯罪，并且政府规划了证人保护计划。与此同时，死亡、联姻、意大利赴美移民短缺和文化同化，导致了美籍意裔黑手党团体日趋消亡。所有上述因素结合，令美国的黑手党走向衰败。
20世纪中叶，黑手党号称已经渗透了美国的许多工会组织，其中包括运输工人工会，该工会失踪的会长吉米·霍法(Jimmy Hoffa)被相信是遭黑手党暗杀了。在20世纪80年代，美国联邦政府下定决心，成功地移除了黑手党在工会组织中的势力。
有证据显示，在意大利，通过更健全的法律与“缄默法则(code of silence)”的崩解，强硬执法似乎最终对黑手党团体占据了优势。在与黑手党军事力量交锋的过程中，许多所谓的Pentiti(接受了宽大处理的脱离黑手党的成员)为政府立下了汗马功劳，例如多玛索·布吉亚达(Tommaso Buscetta)。据说黑手党保留了强大的金融影响力。因此，新近的调查经常会研究可疑分子的经济活动。
在最近几十年，据推测，一个与黑手党有关系的最著名人物之一的Toto Riina命令谋杀了法官Giovanni Falcone 和 Paolo Borsellino.
最近，前意大利总理朱利奥·安德莱奥蒂(Giulio Andreotti)，意大利天主教民主党成员，被控与黑手党结有联系，但是他最终被判无罪，因为审判涉及行为已超出追诉期限。
