Baku'nun simgesi Kız Kulesi'nin gölgesinde, bir zamanlar büyük bir kilise olan St. Bartolomeus Kilisesi'nin kalıntıları yer almaktadır. 1892 yılında inşa edilen bu kilise, Hristiyanlığı bölgeye getiren İsa'nın On İki Havarisinden biri olan Havari Bartolomeus'un kalıcı etkisinin bir kanıtı olarak durmaktadır.
Kız Kulesi'nin yakınında bulunan kilise, Bartolomeus'un M.S. 71 yılında yerel putperestler tarafından çarmıha gerildiğine ve öldürüldüğüne inanılan yerde inşa edilmiştir. Yerel Hristiyan nüfusun bağışlarıyla inşa edilen kilise, mimar Johann Edel tarafından Rus kiliseleri tarzında tasarlanmış ve iç mekanında Bartolomeus ve diğer azizlerin ikonlarıyla süslenmiştir.
Baku'nun ilk ve en eski kilisesinin temelleri üzerine inşa edilen St. Bartolomeus Kilisesi, 1936 yılına kadar varlığını sürdürmüştür; bu tarihte din karşıtı bir Sovyet kampanyası sırasında yıkılmıştır. Ancak, Havari Bartolomeus'un mirası Baku'da yaşamaya devam etmektedir.
Her yıl 24 Haziran'da, St. Bartolomeus Günü'nde, Baku piskoposluğu kilisenin kalıntılarında bir moleben, yani dua hizmeti düzenleyerek havarinin anısını onurlandırmaktadır. 2003 yılında, İstanbul Patriği Bartolomeus I, St. Bartolomeus'un bazı kalıntılarını Azerbaycanlı Hristiyanlara hediye etmiş ve bu kalıntılar şimdi Kutsal Myrrhbearers Katedrali'nde bulunmaktadır.
St. Bartolomeus Kilisesi'nin kalıntıları 2015 yılında arkeolojik bir anıt olarak kaydedilmiş ve bu alanın zengin tarihi ile manevi öneminin korunması sağlanmıştır. Bugün, Baku'yu ziyaret edenler bu antik kalıntıları keşfedebilir ve Havari Bartolomeus'un kalıcı mirası ile Azerbaycan'daki Hristiyanlığın ilk günleri üzerine düşünme fırsatı bulabilirler.