Het Stedelijk Museum is gehuisvest aan één van de oudste dijken van Schiedam, de Hoogstraat. Loop over de Appelmarkt naar boven en keer daarna terug op de Lange Haven.
Het Sint Jacobs Gasthuis werd in de jaren tussen 1262 en 1272 gesticht door gravin Aleida van Henegouwen. Zij was de zus van Willem III, graaf van Holland. Het gebouw gaf onderdak aan arme bejaarden en zieken.
Aan het einde van de achttiende eeuw werd dit gebouw gesloopt om plaats te maken voor het huidige neoclassicistische gebouw. De regenten gaven de opdracht aan de van oorsprong Italiaanse architect Jan Giudici, die o.a. ook de Koopmansbeurs ontwierp. Het nieuwe gasthuis was in 1787 klaar en heeft als zodanig jaren dienst gedaan.
Sinds 1940 is het Stedelijk Museum hier gevestigd. Na een omvangrijke restauratie werd het gebouw op 14 mei 2022 heropend. Een belangrijk onderdeel van de vaste collectie bestaat uit kunstwerken uit de Cobra-beweging. Nieuw is het Panorama Schiedam, de eerste semi-permanente presentatie over de geschiedenis in het museum en in de stad.
