Парк находится на месте бывшей купеческой усадьбы Вахрамеевых – Павловское. До октября 1917 года этими землями владели дворяне, крестьяне и купцы – представители разных сословий.
Красота Павловского вдохновляла многих художников и кинематографистов. В конце XIX века здесь гостил художник Иван Иванович Шишкин.
С этим волжским берегом перекликается и имя великого русского художника Алексея Саврасова. Две из четырнадцати его картин, датированных 1871 годом, связаны с Ярославлем: «Разлив Волги под Ярославлем» (Государственный Русский музей, Санкт-Петербург) и «Могила на берегу Волги» (Государственная Третьяковская галерея, Москва).
В 1921 году Павловское отдали Ярославскому профсоюзу железнодорожников. В 1922 году здесь открылся детдом им. Воровского, который проработал до 1950-х годов. Затем Павловское разделили на три организации: детский дом, совхоз и дом отдыха. В начале 1960-х в одном из оставшихся зданий открыли детский сад, в другом – общежитие. При строительстве Северного жилого района – Дзержинского района Ярославля их сломали. В 1981 году усадебный парк Павловский был отнесен к памятникам природы и взят под охрану государства.