Tương truyền, quần đảo Cát Bà là nơi các bà, các mẹ và chị em phụ nữ lo trồng tỉa, hái lượm, chuẩn bị lương thảo giúp các chiến binh đánh đuổi giặc Ân. Bởi thế, hòn đảo các chiến binh đóng quân nơi tiền phương gọi là đảo Các Ông- đọc chệch thành Cát Ông, và đảo hậu phương được mang danh là đảo Các Bà- Cát Bà. Một sự tích khác về Cát Bà được lưu truyền theo là: Ngày xưa, có hai xác nữ thần chết trẻ không biết từ đâu trôi dạt vào đảo và được bà con ngư dân đắp thành hai ngôi mộ. Trong đêm ấy, các nữ thần hiển linh, báo mộng cho các vị chức sắc và dân chúng trên đảo biết về sự linh ứng của mình. Dân chúng bèn đóng góp tiền của, lập miếu thờ hai nữ thần ngay bên hai nấm mộ thiêng này, gọi là miếu Các Bà.

Sau khi lập miếu thờ, những năm tháng sau đó, ngư dân trên đảo không gặp các tai nạn trên biển như trước, đời sống không có dịch bệnh hoành hành, không có giặc ngoại xâm và cướp biển, dân trên đảo hưởng cuộc sống ấm no, thái bình. Tâm nguyện người dân trên đảo đều cho rằng đó là do các nữ thần hiển linh phù hộ. Hiện nay, đền thờ Các Bà ở xã Hiền Hào tồn tại cùng thời gian. Đảo Các Bà được đọc chệch đi thành Cát Bà như ngày nay.