Рядом с Девичьей башней находилось здание бывшей мечети, возведённое на фундаменте древнего храма огнепоклонников. После захвата города Баку и его присоединения к Российской империи, здание старой мечети было передано русскому военному ведомству. Они приспособили здание под арестантскую камеру - там содержались преступники, сосланные на крепостную работу. Затем здание служило военным складом.
В 1818 году здание перестроили в первую православную церковь в Баку - Святителя Николая Чудотворца.
Через несколько лет, после постройки другой новой православной церкви в городе, стал поднимался вопрос о том, чтобы старую церковь около Девичьей башни обратить обратно в мечеть. В 1870-х годах здание было в очень плохом физическом состоянии и саморазрушалось.
Поэтому в 1891 году германскому архитектору Иоанну Вильгельму Эделю (1863 - 14.02.1932) было поручено спроектировать и построить каменную часовню Святого Апостола Варфоломея около Девичьей Башни, на том месте, где располагалась первая в Баку православная церковь, а до неё мечеть.
Часовня, построенная на частные пожертвования, была освящена в 1892 году и названа в честь Святого Апостола Варфоломея, одного из учеников Иисуса Христа.
Часовня представляла собой маленькую красивую церковь в русском стиле, на куполе которой был водружен зеркальный крест.
К сожалению, после свержения Азербайджанской Демократической Республики в 1920 году и установления в стране коммунистической диктатуры, в 1930 году часовня была закрыта. Долгие годы она пустовала, пока в 1936 году окончательно не разрушилась и от неё остался лишь фундамент.