1931年初，嘎达梅林的爱人牡丹面临流产的危险，不得不和嘎达梅林分离，牡丹派女警卫到附近村里打听消息，以便找个合适的住宿地方。女警卫先到哈拉呼扎兰艾里(现为解放屯)，听说村里有个梭奈(蒙古语是密探子，专门为嘎达梅林通风报信的人)。说起来也挺巧，这家探子的邻居正给老母亲举办60岁大寿宴庆，请来了当地民间艺人桑杰胡尔奇(拉着四线胡说唱的人)。
那天晚上，桑杰胡尔奇边拉着四胡边说述唐朝的故事，而且说唱民间歌曲，很多时候还自编自唱，唱起民歌“陶格陶格”时，那悠扬的四胡声和动听的歌声，使逃难中的牡丹想起了嘎达梅林，一夜无法入眠，就想着：为什么不给嘎达梅林作个歌曲留下，来赞扬他的精神？她越想越激动，刚熬过这不眠之夜后，一大早就听到了嘎达梅林牺牲的消息，她悲痛万分，原本想了一夜要为嘎达梅林写歌曲，听到这个消息后，更有信心了，忍着悲痛求房东把桑杰胡尔奇请来。牡丹问：“胡尔奇阿爸，您一年拉胡说唱能挣多少钱？”桑杰胡尔奇回答：“不多，就是个四五只羊两三担粮食，十几个大洋，有时候有几双鞋和靴子。”经过一番谈话后，牡丹直接说出了自己的意图：“我很欣赏您的艺术才华，我给您两到三年的收入，求您给编作一支歌曲，至于歌名及内容一会儿告诉您。”桑杰胡尔奇从未接受过这么重的礼物和工钱。牡丹虽然内心很悲痛，外表却滴水不漏，沉重地对桑杰老人说：“胡尔奇阿爸，我对您抱有很大的希望，相信您能帮我，主要目的是编创一曲歌颂嘎达梅林的歌，并唱出来让众人听得到，我就心满意足了，没别的意思。”
一说起嘎达梅林，桑杰胡尔奇很激动，便欣然答应下来。桑杰胡尔奇最初编了几段《嘎达梅林》，和往常一样边拉着四胡边说唱着。他一开始把歌词配在民歌《秀英》的曲子上，结合了四胡说唱的独特腔调，悠扬动听。每次故事会开始之前，他就先唱起《嘎达梅林》，原歌词是：“南方飞来的大鸿雁要落南湖还是落到北湖，要说惹事的嘎达梅林是反抗王爷还是造反出走。北方飞来的小鸿雁，要落北湖还是落到南湖，要说嘎达梅林是为反抗军阀还是为了蒙古族的土地。”就这样，《嘎达梅林》就慢慢传唱开了。
由于全诗较长，后经作曲家安波整理译配后变为现在的四段词。
