铅笔芯不含铅，其主要成分是石墨，由於铅在岩石或墙壁上书写时，会有黑色痕迹，因此在古希腊及罗马时代，人们使用铅作为绘图及写字工具。中国古时，书写於绢帛及纸上，若有错误，则以铅粉涂改，所以古文中确有「铅笔」一词，但与现代的铅笔不同。
现在的铅笔之所以这样命名是由于其历史沿革造成的。古希腊、罗马曾用金属铅制成类似铅笔的铅棒。它们多为锥形，与其他物体磨擦后留下铅的痕迹，用来划线做标记，英国开始以石墨为笔芯，手工制出最原始的木杆铅笔。德国建成世界上第一座铅笔厂。法国康德采用黏土将石墨黏结制成笔芯，奠定了现代铅笔工业基础。在铅笔的笔杆上通常都有硬度标志，H表示硬质铅笔，前面的数字越大硬度越大：B表示软质铅笔，前面的数字越大笔芯越软。HB则表示软硬适中的铅笔，适合日常书写之用。
