Este edifício teve diversas ocupações ao longo dos séculos. Inicialmente foi o Colégio de São Sebastião, fundado em 1605 pela Companhia de Jesus ou Jesuítas e deixou de ter esta função em 1759, quando os frades desta congregação religiosa foram expulsos de Portugal pelo Marquês de Pombal. Atualmente ainda existem vestígios dessa época através da igreja que alberga o Centro de Congressos da Câmara Municipal de Portalegre e do alpendre, que serve de entrada ao edifício e é um símbolo do edifício no conjunto do centro histórico da cidade.
Posteriormente, em 1771, o Marquês de Pombal tomou a iniciativa de fundar em Portalegre a Real Fábrica de Lanifícios e encarregou o Governador de Armas da Província do Alentejo, Manuel Bernardo de Melo e Castro de estabelecer a fábrica na cidade. A Fábrica conseguiu adaptar-se à evolução da indústria durante alguns tempos mas já não resistiu ao avanço das tecnologias do século XX, fechando portas. Anos mais tarde, acolheu a Manufatura das Tapeçarias de Portalegre, cujo responsável era a firma industrial Fino,
Em 2006, passou a albergar as instalações da Câmara Municipal de Portalegre. Neste edifício, encontra-se o Posto de Turismo, onde o visitante poderá esclarecer as suas dúvidas relativamente a este roteiro ou outras informações turísticas do concelho de Portalegre.