旧名二站，土名甘井子。土名甘井子的起源，相传二百多年前，这里是杂草丛生、人烟稀少的荒芜之地，后来汉人自南方移居于此地，开垦种植，为解决饮水，他们挖地掘井，清泉自涌，井水清爽甘甜，自此以后，移民渐集，户口增多，遂将此地取名为甘井子。甘南之称的由来，据有关资料记载，“甘”指放荒丈地的甘字段；“南”是方位名词，指位于海拉尔之南。建置县治时，便以其二字命名。
上古三代为肃慎地，后为神籍之地。
新石器时期至周秦时期（约5000年以前—公元前206年），县境属秽貊族的先世与秽貊族活动生息的地方。
两汉及三国时期（公元前206年—公元265年），县境属秽貊族扶余王国之地。汉时属沦地，臣属于东汉，受东汉玄菟郡（今沈阳城东之上柏官屯附近古城址）管辖。汉末归附辽东公孙度政权，公元237年归魏，后汉、三国时期为扶余奴隶制王国的属地。
魏晋南北朝时期（公元265年—589年），县境属扶余，隶属晋襄平（今辽阳）“平州刺使兼东夷校尉监护”管辖。公元494年扶余亡，属北扶余遗人“豆莫人”（亦写作“大莫卢”、“达末娄”），亦作“寇漫汗国”。县境是其西部边境与室韦抵接边区之地。
隋朝时期（公元581年—618年）县境属室韦（失韦、失围）之地。役属东突厥汗国吐屯管辖。
唐朝时期（公元618年—907年），县境属南室韦乌丸部地。隶属于唐“营州都督所”，太宗时改称“东夷都护府”。唐贞元八年（792年）改属“室韦都督府”管辖，受唐“幽州节度使”节制。
五代十国及北宋、辽时期（公元907年—1127年），县境属契丹族政权辽国领地。公元901年契丹酋长耶律阿保机连破室韦、于厥，904年室韦诸部已统属契丹。县境为室韦故地，是时已归属契丹管辖。947年契丹正式建国为辽。县境归大辽上京道泰州管境，隶属“乌古迪烈统军司”（后改为“东北统军司”）管辖（治所为今泰来县塔子城古城址）。
南宋、金朝时期（公元1127年—1179年），县境属女真族政权金帝国疆土。辽天祚帝天庆五年（1121年）金廷为防辽人卷土重来，遣重臣宗人泰州总管婆鲁火，到此列置堡障，修竣界壕，亦称“泰州边堡”、“长春边堡”（今则统称“金东北路界壕”）。县境当时乃金东北路界壕护逻地，戍军“谋克”屯田的地方。隶属金上京蒲与路泰州与东北招讨司管辖（治所为今泰来县塔城子古城址）。
元朝时期（公元1206年—1368年），县境属蒙古王公贴木耳斡赤斤的封地。居辽阳行中书省开元路地面。
公元12世纪活动在西北贝加尔湖一带的蒙古族崛起，金章宗泰和六年（1206年），成吉思汗建立了蒙古汗国。于金卫绍王大安二年（1210年）开始攻金，1211年金东北路壕便被蒙古攻破。县境便被 占领归附蒙古，封为成吉思汗幼弟贴木耳斡赤斤的封地。元世袓至元八年（1271年），建立了全国统一的元帝国。县境隶属元辽阳行中书省开元路地面，归王府管辖（王府驻地为今泰来县塔城子地址）。
明朝时期（公元1368年—1636年），元至正二十八年（1368年）明帝国建立。今黑龙江、吉林省西部及呼伦贝尔边疆四境的广大地域仍为故元朵颜残部统治之下，于洪武二十一年（1388年）被征讨招抚归附明朝。初置福余、泰宁、朵颜“兀良哈”三卫，县境属福余卫地南。永乐六年（1408年）今黑龙江西部嫩江支流雅尔河（即雅鲁河之讹）设置了“阮里河卫”；永乐八年（1410年）在今齐齐哈尔城西180里设“噶称哥卫”（《盛京通志》作“喀齐卫克”）。县境先后属阮里河卫、噶称哥卫管辖，统属“奴尔干都指挥使司”（今俄罗斯黑龙江入海口特林地方）。
明末，明神宗万历十一年（1583年）起，努尔哈赤先后统一了女真诸部与黑龙江等地其他各部。万历三十八年（1610年）原奴尔干都司所辖各卫所，城寨部落均已陆续归服转属努尔哈赤的管辖之下。明万历四十四年（1616年）努尔哈赤称帝，建国“后金”。县境即属后金国土，受宁古塔将军属辖（治所为今宁安县故城）。
明朝时期（公元1636年—1911年），世祖顺治元年（1644年），清政府入主北京。东北地方归盛京总署管辖（今沈阳市）。康熙二十二年（1683年）为防御沙俄设“黑龙江将军”，县境随归黑龙江将军管辖区。康熙二十三年（1684年）原居住在黑龙江、嫩江上游地区的达斡尔、索伦（鄂温克）等族众因俄乱内迁今嫩江、诺敏江（河）沿岸定居，县境是时为布特哈八旗打牲部落的牧猎区，隶属布特哈管辖（今莫力达瓦达斡尔族自治旗尼尔基镇北后伊卧奇地方），受黑龙江将军与理藩院双重管理。
清光绪二十年（1894年）布特哈总管改副都统衔，治所迁至博尔多（今讷河县），县境随属布特哈副都统衙门管辖。光绪三十一年（1905年）裁撤布特哈副都统衙门，以嫩江为界划分为东、西布特哈总管，县境隶属西布特总管署管辖（今莫旗尼尔基镇北伊卧奇）。
1904年（光绪三十年），清政府解除封禁政策，开始移民招垦。
1905年（光绪三十一年）齐齐哈尔副都统程德全（字雪楼）将甘井子一带荒原勘入招垦设治计划，检派官员组设荒务行局。
1906年（光绪三十二年）3月，采址于老甘井子（今甘南县长山乡永青村），成立“甘井子荒务行局”，开始丈放甘井子段官荒。
1907年（光绪三十三年）采设城基，迁局址于二站（因距齐齐哈尔至呼伦贝尔古驿道上的第二站）正式勘定街基兴建县城，后设甘井子巡防局。为龙江府所辖。
1908年（清光绪三十四年）3月改荒务局为“甘井子巡防局”，正式兼理民事司法，办理军事、掌管治安。
1912年中华民国建立，1914年（民国3年）改为“龙江县甘井子佐治局”。
1926年（民国15年）改升为甘南设治局，隶属于黑龙江省长公署；改县城二站为甘南镇。
1933年（伪大同2年）日军侵占甘南后，改为县制，撤销设治局建县公署。
1934年（康德元年）十二月伪满洲国改行帝制后，实行地方行政机构改革，划东北为十四省，甘南县划归新设的龙江省所辖。
1945年抗日战争胜利后，12月11日中国共产党解放甘南县城，13日建立甘南县民主政府，隶属嫩江省。
1947年（民国三十六年）六月五日公布东北新省区方案，伪龙江省改为嫩江省，本县为嫩江省所签全国解放后，恢复东三省，甘南县划属黑龙江省管辖。
1949年8月改称甘南县人民政府，归黑龙江省辖。
1954年为黑龙江省嫩江地区辖，1960年归属齐齐哈尔市，1961年重归黑龙江省嫩江地区。
1985年实行市管县，撤销嫩江行署，归属齐齐哈尔市。
