Miếu bà Hoàng Phi Yến hay còn gọi là An Sơn miếu là nơi thờ bà Phi Yến – Thứ phi của chúa Nguyễn Phúc Ánh (Nguyễn Ánh), Bà có tên thật là Lê Thị Răm. Năm 1783,Nguyễn Ánh bôn đào ra Côn Đảo để tránh sự theo dõi của lực lượng Tây Sơn. Vì thất bại liên tục nên ông đưa hoàng tử Hội An (có tên tục là hoàng tử Cải) tháp tùng cùng Bá Đa Lộc sang Pháp làm con tin để cầu viện.
Bà Phi Yến ngỏ lời khuyên Nguyễn Ánh rằng: “Việc đánh nhau với Tây Sơn là chuyện trong nhà, thiếp nghĩ chúa công không nên nhờ vả ngoại bang, nếu thắng được Tây Sơn thì chẳng vẻ vang gì mà e còn lắm điều rối rắm về sau…”
Chỉ mấy điều khuyên can ấy mà chúa Nguyễn Ánh nổi trận lôi đình, nghi bà Phi Yến có ẩn ý thông đồng với quân Tây Sơn. Nếu không có các quan cận thần hết lời xin giảm án cho bà, ắt bà không thoát khỏi tội chém đầu. Tuy nhiên, Nguyễn Ánh vẫn truyền lệnh giam cầm bà vào một hang đá trên hòn đảo hoang vắng nằm về phía Tây Nam của quần đảo Côn Đảo (Hòn Bà ngày nay).
Vừa truyền lệnh giam cầm Thứ phi - Phi Yến xong thì Nguyễn Ánh được tin quân Tây Sơn sắp ra đến Côn Đảo, ông liền cùng đoàn tùy tùng xuống thuyền chạy tiếp. Lúc bấy giờ đứa con duy nhất của bà Phi Yến cùng với chúa Nguyễn Ánh là hoàng tử Hội An (5 tuổi) khóc lóc đòi mẹ bị Nguyễn Ánh ném xuống biễn, xác trôi tấp vào làng Cỏ Ống. Ngày nay tại làng cỏ ống còn ngôi mộ và miếu thờ hoàng tử Hội An(Thiếu Gia Miếu).
Theo truyền thuyết dân gian kể lại, bà Phi Yến đã được hai con vật rất khôn ngoan, trung thành cứu sống, đó là vượn bạch và hắc hổ. Chúng đưa bà đến làng Cỏ Ống nơi có nấm mộ hoàng tử Hội An. Dân làng Cỏ Ống hay tin đã dựng cho bà một ngôi nhà ở gần đó để tiện bề lui tới bên nấm mộ của con trai mình. Dân làng cám cảnh, họ hát ví:
"Gió đưa cây Cải về trời
Rau Răm ở lại chịu đời đắng cay"
Tuy nhiên, câu chuyện về cuộc đời của Bà Phi Yến không dừng lại ở đó. Người dân Côn Đảo kể rằng, sau khi xây mồ cho hoàng tử Cải, bà Phi Yến vẫn ở vậy. Cho đến một hôm, làng An Hải có cuộc đàn chay rất lớn và ban hội tề làng An Hải đã cử một bô lão cùng 4 dân phu đến tận làng Cỏ ống để thỉnh bà về. Bà Phi Yến được bố trí nghỉ ngơi trong một gian phòng đặc biệt. Trước nhan sắc tuyệt trần và tươi thắm của bà, tên đồ tể của làng An Hải là Biện Thi đã không ngăn nổi lửa lòng tà dục, dẫn đến làm liều. Chờ lúc bà đang ngon giấc, Biện Thi giả say rồi lén chui vào phòng bà. Khi hắn đụng đến cánh tay thì bà Phi Yến giật mình thức dậy và tri hô cho dân làng tóm cổ. Tủi nhục, dù tên đồ tể Biện Thi chỉ mới động đến cánh tay, bà Phi Yến đã tự chặt đứt cánh tay rồi sau đó liều mình tự vẫn để vẹn toàn danh tiết.
Tháng 10 (Âm Lịch) năm 1785, làng An Hải (nơi có ngôi An Sơn Miếu ngày nay) tổ chức hội làm chay tế lễ trong làng. Họ rước bà Phi Yến đến tham dự cho thêm phần long trọng. Đêm hôm ấy, tại làng An Hải bà đã bị tên Biện Thi (một tên đồ tể) lén vào cấm phòng của bà dở trò sàm sở, song Biện Thi chỉ vừa nắm được tay bà thì bà đã kịp tri hô cho dân làng bắt giam chờ xét xử. Cũng đêm hôm ấy bà Phi Yến đã liều mình tự tử để được vẹn toàn danh tiết.
Năm 1861 thực dân Pháp chiếm Côn Đảo lập nhà tù, thường dân bị di về đất liền. Ngôi đền cổ bị bỏ quên trở nên hoang tàn và xiêu vẹo. Năm 1958, ông Nguyễn Kim Sáu xem qua sử sách thấy một phụ nữ " Trung trinh tiết liệt " đã xin phép nhà cầm quyền, quyên góp tiền bạc, huy động sức tù xây lại ngôi đền trên vị trí toà miếu cổ.
- Bài vị thờ bà được đặt tại ngôi chính điện với đôi câu đối:
“ Mẫu nghi xưng hậu ấm Côn bang. Thánh đắc phối thiên An Hải quốc”.
- Hai bên tả, hữu là nơi thờ hoàng tử Cải và quan đô đốc quân Ngọc Lân. Hàng cột trước cửa chùa được khắc nổi hai câu đối:
“ Trung nghĩa gián quân thiên cổ chiếu. Tiết hạnh quyên sinh vạn đại truyền”.