那个关于卡农的故事不是真的，死于难产。
他年轻时在圣罗伦兹（St. Lorenz）高等学校就读，就追随许温默（Heinrich Schwemmer）和魏克（Wecker）两人学习作曲和器乐演奏的技巧。1669年6月29日，进入阿尔道夫学校（Altdorf），并在圣罗伦兹教堂内担任管风琴师。一年后，因为经济状况被迫辍学，终止了他的大学教育。然而在隔年春天他因为在学术知识上展露的天分，而被选入另一所学院接受学者训练，而且因为他在音乐上别有专精，学校更特许他在校外另外跟从普伦次（Kaspar Prentz）学习作曲。
1673年追随他的老师普伦次到维也纳担任圣史提芬教堂的管风琴师。维也纳是个天主教国家，他也因此接触到了德国南部和意大利的天主教音乐作品，在普伦次的影响下，逐渐将自己原有的北德风格转向意大利风格。 之后他进入了艾森纳赫（Eisenach）担任宫廷管风琴师，这是艾萨克逊-艾森纳赫公爵，即约翰·乔治王子的辖地。五年后因为王子的哥哥过世，宫廷守丧，乐师都被裁撤，他于是在1678年5月18日离开艾森纳赫。然后来到了艾尔福特（Erfurt）的普雷迪格教堂（Predigerkirche）。这个教堂对管风琴师的要求很严格，除了要伴奏新教派门徒演唱圣歌，还必须提供圣歌的前奏曲，不能即兴乱弹。因此，他的管风琴技术得以发挥便是在这个阶段，而且发表不少重要的管风琴作品，奠立了他巴洛克后期管风琴名家的声望。
1681年，28 岁时娶芭芭拉盖布勒（Barbara Gabler）为妻，两年后芭芭拉难产过世。隔年他再娶茱笛丝卓默（Judith Drommer），Judith为他生下了七名子女。艾森纳赫就是巴赫的故乡，所以他与巴赫的父亲也熟识，他还当了巴赫姐姐的教父，也负责教导巴赫的哥哥音乐。巴赫的父亲去世之后，这位长兄就负责教育巴赫音乐，所以我们可以称他为巴赫的师祖。
离开了艾尔福特（Erfurt），来到符腾堡（Wurttemberg）位于斯图加特(Stuttgart)的宫廷，这里是玛德莲娜女爵的辖地（Duchess Magdalena Sibylla），这个地方给他很多专业上的自由度，可惜好景不常，在1692年秋，因为法国大军入侵，他被迫返回出生地纽伦堡，最后辗转到了戈塔（Gotha）。碰巧出生地纽伦堡的圣塞巴德（St. Sebald）教堂的原任风琴师，也就是他的老师魏克过世，他得以顺利接任老师之职位。他就在这里一直待到他过世。在纽伦堡的五年间，他写下了感恩（Magnificat）等重要的宗教合唱曲和管风琴赋格，被视为他晚年的代表作。
