Построено здание в 1848 году по проекту архитектора А. И. Штакеншнейдера для помещика греческого происхождения Н. Д. Алфераки. На этот величественный дворец невозможно не обратить внимания. Привлекает он своим необычным декором, тяжелыми украшениями в стиле барокко из лепнины и портиком с четырьмя колоннами.Облик дворца зданию придает фасад, украшенный лепниной и четырьмя коринфскими колоннами. В 70-х годах XIX века здание было куплено купцом Негропонте и в последующем передано в аренду клубу Коммерческого собрания. В конце XIX века дом полностью перешел в собственность клуба. Дворец был культурным центром города как в период жизни Н. Д. Алфераки, так и после его смерти. У него в гостях бывали М. С. Щепкин и М. П. Мусоргский. В этом доме устраивал прием будущий император Александр III. Бывали в нем и в клубе Коммерческого собрания и такие известные культурно-политические деятели России, как князь М. Г. Голицын, П. И. Чайковский и братья Поляковы. В самом большом зале дворца Алфераки в Таганроге устраивались концерты и балы, на которых бывал А.П. Чехов.Особенностью дворца является то, что по своей сути, интерьеру и архитектуре здание напоминает Эрмитаж небольших размеров. Дворец украшен превосходной скульптурной лепниной, кроме всего прочего, в интерьере присутствуют позолота, мрамор и хрусталь. Архитектура дворца Алфераки – образец южного пышного необарокко. Украшено здание коринфскими колоннами с классическими капителями. На центральной части фронтона установлен дворянский герб Алфераки. Балюстрадой обрамлена крыша, а внутри здания имеется мраморная лестница, включающая 41 ступень. -
Создан этот музей, как отмечалось выше, по инициативе А.П. Чехова. Разместился он во дворце Н.Д. Алфераки в 1930 году. На протяжении ХХ столетия экспозиция музея, как и сам дворец, претерпели множественные изменения.
Под музей здание дворца было передано в 1927 году, хотя начало формирования музейной коллекции пришлось на конец XIX века, и немалая заслуга в этом принадлежала Антону Павловичу Чехову. Чехов очень много сделал для родного города. По его ходатайству началось формирование коллекции нынешней картинной галереи Таганрога, а также историко-краеведческого музея. Первоначальной основой коллекции музея стали экспонаты, подаренные городу Петербургской Археологической комиссией. Коллекция постоянно пополняется, охватывая период с глубокой древности, когда здесь, на юге нашей страны появились люди, и заканчивая XX веком, драматичным как для всей страны, так и для Таганрога. Музейная экспозиция располагается в залах, где практически полностью воссоздан первоначальный декор, богатая лепнина, многие элементы убранства, мебели.
Городской музей в первые дни оккупации грабили местные жители и немецкие солдаты. Музей для германских властей стал своего рода вотчиной, куда приводили "высоких гостей", редко уходивших без ценных подарков. Картины, мебель и фарфор из фондов раздавались для украшения квартир и кабинетов чинов немецкой армии. При отступлении из города немцы вывезли ценные коллекции золотых и серебряных монет, художественный фарфор и фаянс, образцы медальерного искусства, несколько уникальных картин. А в музее градостроительства и быта находился штаб командующего 1-й танковой армии генерала-лейтенанта - полковника Клейста.