Trước năm 1895, chủ nhân của khu nhà là công chúa con vua Dục Đức. Người chủ tiếp theo là ông Phạm Đăng Khanh, cháu của đại thần Phạm Đăng Hưng, thời vua Gia Long. Năm 1920, nhà được bà Khâm Điệp tiếp quản. Năm 1936, đây là phủ đệ của Tuần Vũ Nguyễn Đình Chi, Tuần phủ Hà Tĩnh. Sau ngày ông Nguyễn Đình Chi mất, vợ ông là bà Đào Thị Xuân Yến (từng là Hiệu trưởng của trường Đồng Khánh xưa) tiếp tục quản lý khu nhà vườn. Năm 1997, bà Xuân Yến qua đời, An Hiên thuộc quyền thừa kế của người con dâu Phan Thị Hoàng Oanh và bốn người cháu nội.