第二次世界大战中，日本的工业水平比欧美列强差远了。日本陆军的轻武器十分落后，除了几种轻机枪以外，没有自动武器，而美军、德军和苏军都有冲锋枪和半自动步枪，甚至连中国国民党军嫡系部队也装备了不少先进的欧洲产自动武器。
日本人不甘落后，也在1935年开始研制冲锋枪，鲜为人知的百式冲锋枪便应运而生。
最初，这种枪称为南部式冲锋枪，其弹夹可放置50发子弹。弹夹呈弧线形，插在枪的下面，其形状类似香蕉。
随着试制工作的进展，弹匣逐渐被移至左侧面并呈水平状，这与后来的英国司登冲锋枪很象，这是为了卧射时更方便，这一设计方法在世界上是不多见的。该枪于1940年定型，由于时值日本神武纪年1000年，所以起了"百式冲锋枪"的名称。
该枪于1941年2月起装备部队。
百式冲锋枪共分为前期型、后期型和折叠枪托型三种，产量分别是1000、1万和数百枝。百式冲锋枪使用自由枪机原理，由于该枪始终处于没有保险的开膛待机状态，因此走火的危险很大，其枪机组件仿照德国MP-34冲锋枪。
该枪全长约900毫米，枪管长280毫米
