De Romeinse nederzetting situeerde zich in de stationsomgeving van vandaag. Nadien verhuisde het centrum van de Frankische nederzetting vermoedelijk naar de huidige Avendorenstraat. Het middeleeuwse stadscentrum bevond zich waar nu de Veemarkt is. Het eerste middeleeuwse stadhuis bevond zich dan ook op de Veemarkt tegenover de huidige Dekenij. Het zou rond 1370 zijn gebouwd. Het werd gedeeltelijk verwoest in 1488 en 1589. Op 9 juni 1635 werd het stadhuis zodanig vernield, dat het op diezelfde plaats niet meer werd opgebouwd.
Rond de Sint-Germanusheuvel groeide de stad doorheen de eeuwen steeds verder uit. Na de verwoesting van Tienen in 1635 werd het stadhuis voorlopig ingericht in de Peperstraat. Daarna werd de huidige Grote Markt dan het centrum van de stad.
Op 11 december 1711 kocht het toenmalig stadsbestuur het voormalige Huis van Immens op de Grote Markt. De oudste bezitter van het huis, Wouter Immens, was ooit burgemeester van de stad. Deze patriciërswoning in Vlaamse renaissancestijl werd tussen 1836 en 1837 verbouwd.
Stadsarchitect Drossaert ontwierp een nieuwe, neoclassicistische voorgevel voor de woning, waardoor het stadhuis nu doet denken aan een Griekse tempel. De voorbouw bestaat uit een gaanderij met zes arduinen pijlers. Boven de vensters, met driehoekig fronton, bevinden zich ronde nissen met zeven vergulde borstbeelden van historische figuren: Keizer Karel V (1500-1558), schilders Peter Paul Rubens (1577-1640) en Antoon van Dyck (1599-1641), schilder-architect Wenceslas Cobergher (1557-1634), grondlegger van de anatomie Andreas Vesalius (1514-1564), humanist Justus Lipsius (1547-1606) en musicus André Ernest Modeste Grétry (1741-1813). Zes Korinthische zuilen dragen de kroonlijst.
In 1897 werd het stadhuis voor een eerste maal vergroot door de aankoop van het aanpalende huis Nihoul. In de volksmond werd deze uitbreiding het Klein Stadhuis genoemd. Het stadhuis werd nogmaals vergroot door de aankoop van het huis van Delacroix op de hoek van de Peperstraat. Het vergrote stadhuis werd in 1979 geopend. Bij de verbouwing van het Klein Stadhuis in 1981 stortte het aanpalende café “Vlaams Heem” in. Nu is dat de "Grenadier".
