光山历史悠久。周为弦子封国,故称“弦”;春秋为弦国地,战国属楚;秦代辖于九江郡;西汉置西阳县;南朝宋元嘉二十五年(448)置光城县,同年并置乐安县;隋开皇三年(583)光城县并入乐安县。隋开皇十八年(598年)析置光山县。唐宋以后属于光州辖县。此后一直是江淮河汉的军事、政治、经济和文化重地,有文字可考的历史4000余年。因有浮光山,“每有光耀”故名。
中华民国二年(1913年)属河南省属豫南道(1914年改豫南道为汝阳道),1928年5月河南省境划为14个行政区,属第十三行政区(潢川)辖区;1932年8月属于河南省第九区(潢川)辖区。
中华人民共和国成立后,属于河南省潢川专区辖区;1952年10月,信、潢两专署合并,属信阳专区。1970年属信阳地区。1998年6月9日开始,属信阳市管辖。