Gereja Kish terletak di Kish, beberapa kilometer dari kota Sheki. Pada tahun 550 SM, Atrobats, gubernur Media dari Kekaisaran Persia, menamai tempat itu "Azerbaijan," yang berarti "dilindungi oleh api." Pada abad ke-4 M, sebuah suku yang menyebut diri mereka Arran mendirikan Kerajaan Albania, wilayahnya membentang di Pegunungan Kaukasus, dan mereka secara bertahap beralih dari Zoroastrianisme Persia ke Kristen. Mulai abad ke-7 M, Kerajaan Albania secara berturut-turut ditaklukkan oleh bangsa Arab, Mongol, Timurid, dan Kekaisaran Ottoman, hingga akhirnya lenyap sepenuhnya dari sejarah. Fragmentasi antara Persia, Kekaisaran Ottoman, dan Rusia dari abad ke-16 hingga ke-18 merupakan alasan penting bagi pembagian Azerbaijan saat ini menjadi tiga negara. Kerajaan Albania Kaukasus pernah meliputi sebagian besar Azerbaijan utara, tetapi hanya ada sedikit dokumen sejarah dan bahkan lebih sedikit situs kuno yang terkait dengan kerajaan Albania Kaukasus, sehingga gereja ini menjadi sangat penting secara budaya. Sejak lama, warga Azerbaijan berupaya menghapus jejak kehadiran orang Armenia di wilayah mereka, dengan mengklaim bahwa daerah-daerah ini telah menjadi "bagian integral dari Azerbaijan sejak zaman kuno." Gereja tersebut kini telah diubah menjadi Museum Kaukasus Albania, yang menceritakan masa lalu yang kompleks di wilayah Kaukasus. Bagian dalamnya menampilkan sejarah terkait, dan pengunjung dapat melihat sisa-sisa peninggalan kuno di bawahnya melalui jendela kaca di lantai gereja.