Theo tài liệu của các nhà nghiên cứu lịch sử Phật giáo nước ta còn lưu lại, chùa Hang đã có từ thế kỉ thứ II trước Công nguyên. Ngày ấy có một vị sư tên gọi nôm là Sư Bần từ Thiên Trúc được phái sang vùng đất xứ Giao Châu (nước Việt cổ xưa) để truyền bá Đạo Phật. Nhà Sư Bần đi thuyền theo đường sông, đường biển đến vùng núi Đồ Sơn, Hải Phòng thấy cảnh trí thiên nhiên hài hòa, đẹp đẽ, lại có lòng hang thiên tạo khá rộng ẩn sâu trong dãy núi đá nên đã chọn làm nơi cư trú và các phật tử cùng góp công góp sức dựng chùa, đặt tên chùa là chùa Hang.

Khi đó, toàn bộ phần nội thất chùa được bố trí trong khoảng không gian của hang núi đá cao 3,5m, rộng 7m phân chia thành hai bậc thềm. Bậc thềm ngoài có diện tích khoảng gần 25m2. Bậc thềm trong cao hơn bậc thềm ngoài 0,5m và thu nhỏ lại theo hình thang - rộng ngoài, hẹp trong - sâu vào lòng núi, phía trong cùng của hang rộng khoảng 1,5m và cao gần 1,5m. Phía trước chùa đặt bàn thờ bằng đá, bát hương bằng đá, trên bàn thờ có tượng Phật Adiđà cũng bằng đá. Sâu trong hang núi đặt tượng Phật Quang với tư thế Ngài thiền ngự trên tòa sen (theo truyền thuyết, Phật Quang đã truyền dạy đạo pháp cho Thánh Chử Đồng Tử là một trong tứ vị Thánh bất tử của nước ta).

Chùa Hang Đồ Sơn.

Khi đó, chùa là một kiến trúc thiên tạo độc đáo đặt sâu trong lòng núi, hướng ra đón gió biển tạo nên nguồn không khí luôn thoáng đãng, mát mẻ nên người đương thời đã có thơ ngợi ca: Chùa Hang, Động Phật, hang Dơi/ Bốn phương, tám hướng chẳng nơi nào bằng và cũng lưu truyền trong ca dao cổ: Chùa Hang cảnh Phật nhiệm màu/ Ấy là Bụt mọc hay lầu Tiên xây.

Trải qua những thăng trầm biến đổi thời thế, vào khoảng năm 1930, quan Tuần phủ tỉnh Bắc Giang xin được Vua ban cho lô đất gần chùa đã tự ý cho phá núi xây biệt phủ nhưng do “Làm kinh động đến Thần Núi Vạn Sơn, bị Thần núi quở trách” - theo lời dân gian truyền khẩu - nên công trình xây dựng phải dừng lại, nhưng việc phá núi đã làm sập một phần cửa chùa Hang và làm hư hỏng bàn thờ đá cùng với tượng Phật Adiđà. Trong cuộc chiến tranh phá hoại của máy bay Mỹ ném bom miền Bắc, vào những năm 1964-1967, bộ đội công binh mở rộng lòng hang để cất giấu vũ khí, đạn dược, khí tài quân sự nên khung cảnh chùa ít nhiều cũng bị ảnh hưởng và hư hại.

Thực hiện chủ trương của TP Hải Phòng về tôn tạo chùa Hang để phục vụ nhu cầu của phật tử và khách du lịch, ở ngay vị trí khu vực chùa cổ trước đây đã xây dựng chùa Hang mới có kết cấu 3 tầng. Tầng 1 phục vụ cho sinh hoạt của nhà chùa cùng phật tử và là nơi đón khách lễ Phật, tham quan vãng cảnh chùa; tầng 2 là tòa Tam Bảo; tầng 3 là điện Tây Phương. Cổng nhà chùa đặt tượng Quan Thế Âm Bồ Tát với dung diện từ bi hướng ra biển. Bên cạnh là tòa tháp 7 tầng tượng trưng cho các vị Sư Tổ đã tu hành trụ trì chùa. Tiếp theo là dãy tượng các vị La Hán, Tứ Linh Long. Theo truyền thống Tam Giáo đồng nguyên của dân tộc nên bên cạnh nhà thờ Tổ của nhà chùa là đền thờ Tam Mẫu gồm Mẫu Thượng Thiên, Mẫu Thượng Ngàn và Mẫu Thoải.

Cùng với chùa Hang Đồ Sơn, miếu Thị Đa ở Cốt Liễu, huyện Kiến Thụy gần đó thờ Thánh Chử Đồng Tử đã tạo nên những điểm du lịch tâm linh với những chứng tích liên quan đến việc Đạo Phật du nhập vào nước ta từ những năm của thế kỉ thứ II trước Công nguyên. Đến tham quan du lịch Đồ Sơn, quý khách không chỉ được đón những làn gió biển trong lành mát rượi, thỏa thích vẫy vùng trên sóng biển mà còn được chầm chậm ngược dòng thời gian về cội nguồn Đạo Phật khi vào chùa Hang thắp nén hương chắp tay thành tâm lễ Phật để tinh thần thêm nhẹ nhàng, thư thái.