江戸時代までは死者の弔いは各寺院で行うという「寺請精度」があり、埋葬は寺院の所有地内でした。明治維新、政府は朱引き内*1での埋葬の禁止を発令し、廃仏毀釈運動*2が起こる中、公家等の神葬の場として、美濃国郡上藩の藩主だった青山家の下屋敷跡に青山神葬祭地を開設しました。
その後、「墓地取締規則」が制定され公営墓地となり、新政府の官僚や文人など歴史に名を残す著名人が多く眠る場所となりました。
管理は東京府→東京市→東京都と変遷していますが、東京が急激に発展する中、当初より都心に広大な土地を持つ霊園の在り方が議論されました。戦後、その議論が再討議されることとなり、墓地から公園への施策を基に昭和３５年より新規貸付が停止されました。
近年都市部の霊園の在り方についての具体策が検討され、墓地と公園の共存が計られることになり、青山霊園はその開発モデルとして、緑と文化残しつつ、防災機能も持った公共の憩いの地に変わろうとしています。その一環として無縁墓地の整理、空き墓地の集積や公園化を進めるために平成１5年より新規貸付の募集が再開されることとなりました。

*1 江戸時代、江戸城を中心とした範囲を絵地図で丸く朱線で描き、その内側を朱引き内、外側を朱引き外として区別しました
*2 明治新政府が発した太政官布告「神仏分離令」、明治初期に出された詔書「大教宣布」などにより祭神の決定、寺院の廃合、僧侶の神職への転向、仏像・仏具の取り壊し、仏事の禁止、民間への神道強制などを急激に実施したために大混乱を招きました。