构成霉菌营养体的基本单位是菌丝。菌丝是一种管状的细丝，把它放在显微镜下观察，很像一根透明胶管，它的直径一般为3~10微米，比细菌和放线菌的细胞约粗几倍到几十倍。菌丝可伸长并产生分枝，许多分枝的菌丝相互交织在一起，就叫菌丝体。
根据菌丝中是否存在隔膜，可把霉菌菌丝分成两种类型：无隔膜菌丝：菌丝中无隔膜，整团菌丝体就是一个单细胞，其中含有多个细胞核。这是低等真菌（即鞭毛菌亚门和接合菌亚门中的霉菌）所具有的菌丝类型。
有隔膜菌丝：菌丝中有隔膜，被隔膜隔开的一段菌丝就是一个细胞，菌丝体由很多个细胞组成，每个细胞内有1个或多个细胞核。在隔膜上有1至多个小孔，使细胞之间的细胞质和营养物质可以相互沟通。这是高等真菌（即子囊菌亚门和半知菌亚门中的霉菌）所具有的菌丝类型。
吸器:由专性寄生霉菌如锈菌、霜霉菌和白粉菌等产生的菌丝变态，它们是从菌丝上产生出来的旁枝，侵入细胞内分化成根状、指状、球状和佛手状等，用以吸收寄主细胞内的养料。
假根:根霉属霉菌的菌丝与营养基质接触处分化出的根状结构，有固着和吸收养料的功能。
菌网和菌环:某些捕食性霉菌的菌丝变态成环状或网状，用于捕捉其它小生物如线虫、草履虫等。
菌核:大量菌丝集聚成的紧密组织，是一种休眠体，可抵抗不良的环境条件。其外层组织坚硬，颜色较深；内层疏松，大多呈白色。如药用的茯苓、麦角都是菌核。
子实体:是由大量气生菌丝体特化而成，子实体是指在里面或上面可产生孢子的、有一定形状的任何构造。例如有三类能产有性孢子的结构复杂的子实体，分别称为闭囊壳、子囊壳和子囊盘。
