陽(yáng)山地域，古為南交地，周時(shí)屬楚，戰(zhàn)國(guó)時(shí)境內(nèi)有陽(yáng)禺國(guó)，治所在今縣之東，即青蓮峽頭一帶。秦時(shí)為長(zhǎng)沙郡南境。西漢，漢高祖析長(zhǎng)沙郡南部設(shè)桂陽(yáng)郡,置陽(yáng)山縣，屬荊州桂陽(yáng)郡。漢獻(xiàn)帝建安十九年（214），孫權(quán)取桂陽(yáng)郡地，遂屬孫權(quán)。建安二十五年（220），入含洭縣。吳甘露元年（265），析桂陽(yáng)郡置始興郡，仍屬荊州，以含洭縣之桃鄉(xiāng)置陽(yáng)山縣，屬始興郡。晉太康元年（280），始興郡隸屬?gòu)V州；永嘉元年（307），始興郡改隸屬湘州，咸和三年（328），始興郡又改為隸屬荊州。陽(yáng)山縣皆隨始興郡改屬。南朝宋時(shí)，陽(yáng)山縣屬始興郡。元嘉二十九年（452），始興郡隸屬?gòu)V州。元嘉三十年（453）又改隸屬湘州，陽(yáng)山縣皆隨郡改屬。泰始六年（470），析始興郡置宋安郡，隸屬湘州，陽(yáng)山縣屬湘州宋安郡。泰豫元年（472），廢宋安郡，陽(yáng)山縣仍歸屬始興郡，元徽四年（476），改始興郡為廣興郡，陽(yáng)山縣屬湘州廣興郡。建元元年（479），又改廣興郡為始興郡，陽(yáng)山縣屬湘州始興郡。梁天監(jiān)六年（507），置陽(yáng)山郡、梁樂(lè)郡（今縣境南部，治所失考），屬衡州（治所在含洭）。陽(yáng)山郡轄含洭、陽(yáng)山、桂陽(yáng)、廣德四縣，梁樂(lè)郡轄梁樂(lè)、洊安兩縣.陳因之。

　　隋開(kāi)皇十年（590），平陳，廢陽(yáng)山、梁樂(lè)兩郡，置連州，陽(yáng)山、梁樂(lè)兩縣屬連州。開(kāi)皇十八年（598），梁樂(lè)縣改為宣樂(lè)縣。大業(yè)三年（607），廢連州，置熙平郡，隸屬荊州，陽(yáng)山、宣樂(lè)兩縣屬荊州熙平郡。大業(yè)十三年（617），宣樂(lè)縣并入陽(yáng)山縣，熙平郡屬蕭銑。

　　唐武德四年（621），平蕭銑，改熙平郡為連州，陽(yáng)山縣屬連州。貞觀元年（627），連州屬江西道；天寶元年（742），改連州為連山郡，隸屬嶺南道。乾元元年（758），連山郡復(fù)為連州，隸屬湖南道。大歷三年（768），連州改隸嶺南道。陽(yáng)山縣俱隨州郡改屬。五代南漢時(shí)，陽(yáng)山縣屬連州。

　　宋開(kāi)寶四年（971），平南漢，陽(yáng)山縣屬?gòu)V南東路連州。

　　元至元十七年（1280），置連州路，陽(yáng)山縣屬連州路。元至元十九年（1282），升桂陽(yáng)縣為桂陽(yáng)州，初隸屬湖南道，后隸屬?gòu)V東道，陽(yáng)山縣屬桂陽(yáng)州。

　　明洪武元年（1368），陽(yáng)山縣仍屬桂陽(yáng)州。洪武二年（1369）四月，廢桂陽(yáng)州，陽(yáng)山縣并入連山縣，屬韶州府。洪武十四年（1381），復(fù)置陽(yáng)山縣，屬?gòu)V州府。洪武十三年（1380）十一月連山縣從陽(yáng)山縣析出。洪武十四年（1381），復(fù)置連州，陽(yáng)山縣隸屬?gòu)V州府連州。

　　清初，陽(yáng)山縣仍屬?gòu)V州府連州。雍正七年（1729），改連州為直隸州，陽(yáng)山縣屬連州直隸州。

　　民國(guó)3年（1914），陽(yáng)山縣屬?gòu)V東省嶺南道。民國(guó)15年（1926），屬?gòu)V東省北區(qū)。民國(guó)25年（1936），改屬?gòu)V東省第二行政區(qū)。

　　1949年10月1日，中華人民共和國(guó)成立。1950年1月，屬?gòu)V東省北江區(qū)。1952年9月，屬?gòu)V東省粵北行政區(qū)。1956年3月，屬?gòu)V東省韶關(guān)專(zhuān)區(qū)。1958年11月，陽(yáng)山縣并入連陽(yáng)各族自治縣，1960年10月，復(fù)置陽(yáng)山縣，均屬?gòu)V東韶關(guān)專(zhuān)區(qū)。1979年，屬?gòu)V東省韶關(guān)地區(qū)。1983年6月，屬?gòu)V東省韶關(guān)市。1988年2月屬?gòu)V東省清遠(yuǎn)市。