Eski Tiflis'in kalbinde gizlenmiş olan Lower Bethlehemi Kilisesi, şehrin zengin dini tarihinin ve çeşitliliğinin bir kesitini temsil ediyor. Kutsal Bakireler'in Aziz Stepanos Kilisesi olarak bilinen bu yapı, 14. yüzyıldan 19. yüzyıla kadar uzanan bir tarihe sahip olup, heybetli Narikala kalesinin altında yer alıyor. Kilise, 1868 ile 1870 yılları arasında önemli bir dönüşüm geçirdi ve 1988'de Gürcü Ortodoks Kilisesi'ne geçmeden önce bir Ermeni kilisesi olarak faaliyet gösterdi.
Sololaki Sırası'nın kuzey sırtını geçerken, bu kilisenin benzersiz konumu gözler önüne seriliyor. Betlemi Merdiven Sokağı boyunca Kidisubani'nin dik yamaçında yer alan kilisenin tuğla yapısı, kayadan sanki kusursuz bir şekilde büyüyormuş gibi görünüyor ve mekâna ek bir zarafet ve gizem katıyor.
Kilise, İran'dan gelen Ermeni göçmenler tarafından kurulan Surb Stephanos manastırının bulunduğu alanda inşa edilmiştir. 1868'de bir kubbeli kilisenin inşası, alanı önemli ölçüde değiştirmiştir. 1910'da daha fazla yenileme yapılmış ve 1991 ile 1997 yılları arasında iç mekan boyama çalışmaları gerçekleştirilmiştir.
Bugün, kilise, taşla kaplı bir tuğla kalesinin üzerinde "yazılı haç" tasarımına sahiptir. Kubbeli pencereler bir kemer içinde yer almakta olup, girişler kuzey ve batı taraflarında bulunmaktadır. İki yönlü büyük bir taş merdiven, kuzey girişine doğru uzanmakta ve burada, kemerli demir kapının üzerinde, Elleriyle Yapılmamış Kurtarıcı'nın resmedildiği bir lunette süslenmiştir.
Kilise adını taşıyan Betlemi Mahallesi, Tiflis'in tarihi manzarasının önemli bir parçasını oluşturuyor. 120 basamaktan oluşan Betlemi Merdiven Sokağı, kayalık yüzeyi sararak Lower ve Upper Bethlehemi Kiliseleri arasında bir bağlantı sağlamakta ve şehrin en değerli mahallelerinden birinde büyüleyici bir yolculuk sunmaktadır.