В XVI в. (на территории, где сейчас находится музей) находились «конюшенные» и «колымажные» дворы. В 1-й половине XIX в. на этом месте был открыт городской центр для обучения верховой езды и небольшой музей Конюшенного двора. Получить разрешение на строительство музея именно на этом месте оказалось трудной, но осуществимой задачей.
Конкурсный проект был выигран архитектором и академиком Романом Ивановичем Клейном и представлял концептуальную идею Ивана Владимировича Цветаева сделать музей центром изучения истории искусства и архитектуры. Была собрана команда из замечательных архитекторов и инженеров. Сначала они должны была решить градостроительную задачу: вписать новое здание в старую историческую застройку, стилистически объединив все построенное и перестроенное в единое целое. Задача усложнялась неровным рельефом, плохим грунтом с близким залеганием грунтовых вод. Поэтому для строительства было использовано самое высокое место Колымажного двора, в глубине. Композиция сразу стала похожа на традиционно усадебную. Объемное из-за большого количества залов и технических помещений прямоугольное здание (с тремя ризалитами - выступами на боковых фасадах) скрыто колоннадой. Главный фасад имеет четко выделенный центр с глубоким портиком с двойной колоннадой, внутренним дорическим и внешним коринфским ордером и двумя глубокими колоннадами-лоджиями справа и слева от него. Стена главного фасада прорезана высокими окнами. Они не только дают свет в залы, но и облегчают конструкцию. Знаменитая колоннада музея, прообразом для которой послужила колоннада храма Эрейхтеона 5 в. до н.э., ритмом, чередующимися светом и тенью, сделала музей центром квартала; не подавляя окружающую архитектуру, но объединяя ее.
Реконструкция Главного здания музея (первая за всю его историю) начнется в 2020 году, когда откроются три новых здания музейного городка, а также будет построен депозитарий для музейных коллекций. После завершения реконструкции в здании будет размещена экспозиция искусства древних цивилизаций - от древнего Египта и Месопотамии до стран Юго-Восточной Азии. Также сохранится “выставочная ось”, объединяющая Белый зал и колоннаду второго этажа - именно здесь традиционно проводятся самые значимые выставки Музея.
