桂齋在荷亭西北側,原為皇華亭故址。
新建的“桂齋”由前后兩院組成,北院為桂齋正廳和“林文忠公讀書處”組成,庭院西側有游廊和碑亭。南院為假山魚池,有六角亭及石拱橋各一。
桂齋東面院外為禁煙亭,建于民國十八年(公元1929年)六月,平面正方形,四角方形混凝土柱,西式疊澀檐口,攢尖頂,是1949年前留下的唯一建筑。
清道光九年(西元1829年),福建布政使程含章見屏山原李綱祠破敗不堪,“心竊傷之”,遂募集資金欲重建。時林則徐丁父憂在家守制,受托主持西湖疏浚工程,程含章與林則徐商議后,選西湖荷亭舊址,興建新的李忠定公(李綱)祠,并附建紀念李綱讀書處的“桂齋”。建成后留有程含章撰稿,林則徐手書《新建宋李忠定公祠堂記》。“桂齋”為李忠定公祠的花廳,取李綱晚年住所為名,并植桂花兩株。
林則徐曾語于親故:不求身后立祠,但得配祀李忠定公祠足矣。道光三十年(西元1850年)林則徐卒,翌年,州人奉其遺像祀于桂齋中。
光緒三十一年(西元1905年),澳門路林文忠公祠成,此處改稱“林文忠公讀書處”,并篆書石刻嵌于墻上。
民國十八年(公元1929年)又在齋旁建室一間和禁煙亭一座。
1949年以后,尤其是文革-時期,李忠定公祠和桂齋被毀。
1961年公布為福州市第一批市級文物保護單位。