國民政府接收台灣之後,曾發生嚴重的「二二八事件」及一連串的白色恐怖,許多社會上的精英及無辜者都在這裡被殺害或隔離,所以早年的綠島是著名的政治犯集中營和監獄,為了紀念這段歷史,當局特別設立了綠島人權紀念園區。
紀念園區的範圍包括牛頭山至三峰岩之間的海岸平地,當年是綠洲山莊的主要營區,而綠洲山莊就是過去的新生訓導處,面積 17 公頃,主要是對政治犯進行軍事化管理。
以弧線和白石建築的人權紀念公園佔地甚廣,約佔地 25 公頃,由柏楊人權基金會籌建及漢寶德建築師設計。這一帶景致優美,周邊更有史前遺址,加上人權紀念碑、珍貴史料展示等設施,實不失為一處集歷史、人文、海岸景觀、史前遺跡等多元化的紀念園區。

