Родоначальник фамилии, Алексей Григорьевич Бобринский (1762-1813) был побочным сыном императрицы Екатерины II и графа Григория Григорьевича Орлова. В раннем детстве А.Г.Бобринский считался сыном камердинера (гардеробмейстера) императрицы Екатерины II – Василия Григорьевича Шкурина и воспитывался с его сыновьями под именем Алексея Григорьевича Сицкого. В начале 1770-х Екатерина II приобрела для сына земли в селе Бобрики Тульской губернии, где вскоре началось строительство усадьбы. В 1775 году Алексей поступил в Императорский сухопутный шляхетский кадетский корпус уже под фамилией Бобринский.
В 1796 году после воцарения императора Павла I Алексей Григорьевич Бобринский получил распоряжение явиться ко двору. Император назвал его «братом», возвел в графское достоинство, назначил генерал-майором и шефом конногвардейского эскадрона, Почетным опекуном и Управляющим Воспитательным домом Санкт-Петербурга. В 1798 году супруга Павла I – императрица Мария Федоровна передала во владение графу Алексею Григорьевичу Бобринскому «два каменных дома на Галерной». Это произошло после того, как граф отдал свой прежний дом – дворец на набережной Мойки, дом 50 (подаренный ему императором Павлом I, а до этого принадлежавший его отцу – графу Г.Г.Орлову) для расширения располагавшегося рядом Воспитательного дома. Дворец на Галерной улице стал ответным подарком императрицы графу Бобринскому.
А.Г.Бобринский был женат на баронессе Анне Владимировне Унгерн-Штенберг (1769-1846), у них было шестеро детей. Во дворце на Галерной улице граф Бобринский с семьей прожил почти двадцать лет до своей смерти в 1813 году.
Дальнейшая история дворца Бобринских связана с именем старшего сына графа – Алексея Алексеевича Бобринского (1800-1868). С 1817 года А.А.Бобринский служил в лейб-гвардии Гусарском полку, а в 1824 году перевелся в Кавалергардский полк и вышел в отставку в 1828 году в чине штаб-ротмистра.
В 1821 году вскоре после его женитьбы на графине Софье Александровне Самойловой (1799-1866) интерьеры дворца на Галерной были обновлены по проекту архитектора Андрея Алексеевича Михайлова (1773-1849; он также известен как Михайлов Второй).
После того как во дворце разместились Алексей Алексеевич Бобринский со своей женой Софьей Александровной (второе поколение графов Бобринских), в их доме сформировался один из наиболее прославленных салонов Петербурга. Среди частых гостей дома были Александр Сергеевич Пушкин (1799-1837), Петр Андреевич Вяземский (1792-1878), Василий Андреевич Жуковский (1783-1852), Алексей Алексеевич Перовский (1787-1836), а также сын первого владельца дворца Иван Петрович Мятлев (1796-1844). Среди гостей салона были также видные российские дипломаты – министры иностранных дел – Карл Васильевич Нессельроде (1780-1862) и Александр Михайлович Горчаков (1798-1883).
Софья Александровна, была близка к императрице Александре Федоровне (1798-1860) – супруге Николая I. Судя по сохранившимся документам, императрица зачастую приезжала к Бобринским без свиты, в сопровождении одной фрейлины или дочери. Императорская чета также неоднократно бывала на балах, которые устраивали во дворце на Галерной.
С 1832 года А.А.Бобринский служил в Министерстве финансов, был членом Совета министра финансов, написал ряд статей в области финансов и кредитования. Он был известен своим интересом к новейшим техническим достижениям того времени. Так, он был одним из первых, кто занимался изготовлением дагерротипов, был знаком с первыми профессиональными фотографами, в частности, с Сергеем Левицким, и собрал большую коллекцию дагерротипов и фотографий на бумаге.
Около 1834 года А.А.Бобринский построил в саду модель небольшого участка железной дороги (вполовину от реального размера), который был показан Николаю I. Вскоре после этого, в 1836 году началось строительство первой в России железной дороги из Петербурга до Царского Села. Будучи главным инициатором строительства, граф владел крупным пакетом акций железной дороги.
После смерти А.А.Бобринского в 1868 году владельцем усадьбы стал его старший сын – Александр Алексеевич Бобринский (1821-1903). По окончании юридического факультета Санкт-Петербургского университета граф поступил на государственную службу в Санкт-Петербургское губернское правление, затем – в министерство внутренних дел, канцелярию Санкт-Петербургского гражданского губернатора. В 1861-1864 годах он был гражданским губернатором Санкт-Петербурга, членом Государственного совета.
Последним владельцем дворца стал старший сын Александра Алексеевича и Софьи Андреевны – Алексей Александрович Бобринский (1852-1927) – правнук родоначальника фамилии Алексея Григорьевича. Алексей Александрович был сенатором, членом III Государственной думы (1906-1907), членом Государственного Совета Российской Империи (1912-1917), неоднократно избирался предводителем дворянства Санкт-Петербургской губернии. Он был последним и бессменным председателем Императорской археологической комиссии (1886-1918), вице-президентом Императорской академии художеств (1889-1890).
