祭祀一忠一孝的文昌廟與關帝廟是古代舉行隆重大典的地方。安仁縣的文昌廟始建于宋建炎年間（1127—1130年），知縣汪杞建學宮于縣東育才坊（今余江二中所在地），元朝邑人王溥又建“大成殿”，創(chuàng)建了“明倫堂”。明清兩朝，幾經(jīng)廢興。清同治八年（1869年），代縣令姚迥和后任知縣朱潼發(fā)起鄉(xiāng)紳大加修建，此時的文廟（孔廟）由興賢門拾級而上，依次為欞（靈）星門、泮池、大成門、大成殿、崇圣祠，并把文昌宮和明倫堂連接起來，東西兩排小屋分別為名官、鄉(xiāng)賢、忠義、節(jié)孝四祠。新建“魁星閣”于孔廟東邊，各殿漆以紅漆，金碧輝煌，畫龍雕棟，檐桷拱飛，氣勢雄偉，與巍巍的文廟珠壁相輝，與挹仙亭遙相對峙，頗為壯觀。安仁文廟，面水背山，大有虎踞龍盤之勢，廟中遍植古槐，綠樹成蔭，郁郁蔥蔥。道光五年（1825年）正月十四日，颶風自正西吹來，山陵大樹連根拔起，孔廟部分建筑首當其沖，庭中古槐被吹倒，知縣陳公會同鄉(xiāng)紳捐資修復，并將古槐扶植于原穴，精心培育，次年又吐出新葉，這棵千年古槐至今仍有凌宵參天之勢。民國時期，安仁文廟一直作為學堂之用，解放后，為余江中學（后改名為余江二中）辦公用房，1977年，將文廟大成殿改造成二層辦公樓，殿基及窗臺下維持原貌。