La primera iglesia se conoció como «Iglesia Grande» y fue construido por Constantino el Grande y fue consagrada el 15 de febrero del 360 durante el reinado de Constancio II
El edificio fue construido como una basílica latina tradicional con columnas, galerías y un techo de madera, y estaba precedida por un atrio. Se afirmaba que era uno de los monumentos más destacados del mundo en esa época.
El Patriarca de Constantinopla, Juan Crisóstomo, entró en conflicto con la emperatriz Elia Eudoxia, esposa del emperador Arcadio, y fue enviado al exilio el 20 de junio de 404. Durante los disturbios que se produjeron tras este hecho, la iglesia fue quemada y derrumbada en gran parte y en la actualidad no se conserva nada de este primer edificio.
El emperador Teodosio II ordenó la construcción de una segunda iglesia, que inauguró el 10 de octubre de 415. Pero durante los disturbios de Niká se desató un incendio que quemó y derrumbó este segundo edificio, entre el 13 y el 14 de enero de 532.
Aún sobreviven algunos bloques de mármol de esta segunda iglesia. Entre ellos unos relieves que muestran doce corderos, representando a los doce apóstoles, y que originalmente formaban parte de una monumental puerta de entrada. Estos bloques se encuentran en una excavación junto a la entrada del museo.
El 23 de febrero de 532, el emperador Justiniano I decidió construir una tercera basílica completamente diferente, más grande y más majestuosa que sus predecesoras.
Justiniano eligió al físico Isidoro de Mileto y al matemático Antemio de Tralles como arquitectos, aunque Antemio murió durante el primer año de la empresa.
Para su construcción se emplearon más de diez mil personas y el emperador hizo traer material procedente de todo el imperio. Esta nueva iglesia fue reconocida por los contemporáneos como una gran obra de arquitectura. El emperador inauguró con mucha pompa la nueva basílica el 27 de diciembre de 537. Los mosaicos dentro de la iglesia se completaron bajo el reinado del emperador Justino II (565-578).
El 7 de mayo de 558 la cúpula principal se derrumbó por completo durante un terremoto. El accidente se debió principalmente al exceso de carga de la cúpula. El emperador ordenó la restauración inmediata, la cual se encomendó a Isidoro el Joven, sobrino de Isidoro de Mileto, que utilizó materiales más ligeros y elevó la cúpula, dando a la construcción su altura interior actual de 55,6 metros. Esta reconstrucción se completó en el año 562.
La basílica volvería a sufrir daños: primero por un gran incendio en el 859, y de nuevo por un terremoto, el 8 de enero de 869, que colapsó media cúpula. El emperador Basilio I ordenó las reparaciones. Un siglo después, el 25 de octubre de 989, un nuevo gran terremoto arruinó la cúpula, y fue el emperador Basilio II quien encargó su reparación. La magnitud de los daños requirió seis años de reparación y reconstrucción, hasta que la iglesia fue reabierta el 13 de mayo de 994.
