战国（公元前475～公元前221年），县境置阳禺国（治所在今县之东，即青莲峡头一带），属楚，时为广东境内三个小国之一。汉武帝元鼎六年（公元前111年）置阳山县，属桂阳郡。是为阳山建县之始。南朝梁天监六年（507年），置阳山郡（治所在含洭）、梁乐郡（今县境南部，治所无考），属衡州。阳山郡辖含洭、阳山、桂阳、广德四县，梁乐郡辖梁乐、洊安两县。明洪武二年（1369年），阳山县并入连山县。洪武四年废连山县，复置阳山县，管辖地区涵盖今三连一阳，为历史上最大范围。1958年11月，与连县、连南、连山合并为连阳各族自治县。1960年10月复县至今。2011年，阳山县下辖12个镇1个瑶族乡。

     一般认为，阳山县因秦朝末年在县境设阳山关而得名。另有一说，县有阳岩山，又名丫髻山，高出众山，日光先照，故名。