On pense que les juifs des montagnes vivent dans l'Azerbaïdjan actuel depuis des millénaires, après avoir migré vers le nord depuis la Perse. Ils parlent une langue unique, le juhuri, qui est fortement influencée par le persan. Au milieu du 18e siècle, ils ont établi leur propre colonie à Guba, le village rouge, dont la population est toujours entièrement juive des montagnes. Pendant le boom pétrolier de la fin du XIXe siècle, certains ont émigré à Bakou pour travailler et une petite communauté subsiste ici. La synagogue des juifs de montagne de Bakou fonctionne depuis 1945, date à laquelle, après la Seconde Guerre mondiale, les juifs de montagne ont reçu un vieux bâtiment pour leurs besoins religieux dans le centre de la ville, dans l'ancien quartier juif. Cependant, le bâtiment était en mauvais état et il était assez désagréable d'y prier, c'est pourquoi il a été entièrement restauré et rouvert le 5 avril 2011. Aujourd'hui, en plus d'être une synagogue fonctionnelle, c'est un lieu incontournable pour tous les visiteurs du pays qui s'intéressent au patrimoine juif de l'Azerbaïdjan. La salle de prière principale se trouve dans l'aile gauche et présente de hauts plafonds et de hautes fenêtres, des rideaux souples, un plafond en stuc Magen David de près de trois mètres de diamètre, un lustre massif avec des dizaines de lampes, des rangées de chaises confortables pour les fidèles, un Aron Kodesh en bois foncé et une Bimah avec des colonnes sculptées. Il y a aussi des étagères remplies de volumes de la sainte Torah, du Tanil, du Tehillim et d'autres livres contenant les valeurs religieuses et spirituelles des Juifs. L'aile droite de la nouvelle synagogue abrite des locaux administratifs et techniques : un réfectoire et une cuisine au rez-de-chaussée, une salle de conférence, le bureau du président et la salle de réception de la communauté au deuxième niveau, et une bibliothèque au troisième.
