El edificio hasta el año 2010 acogía la sede de la Agencia Tributaria en Pontevedra forma parte del conjunto que en su día constituía el convento y la iglesia de San Francisco, que se construyó entre 1310 y 1360, según un informe del Arquivo Municipal. El conjunto, de estilo gótico tardío, fue declarado monumento histórico-artístico en 1896.
La parte que ocupaba Hacienda se reedificó en el siglo XVII, terminó de levantarse en 1800 y unos años más tarde se instaló en su fachada la Porta de San Domingos, que había formado parte hasta entonces de la muralla de
Pontevedra.
Tras la primera desamortización (1835) este inmueble, de 100 metros de largo por 30 de ancho y 24 de alto, pasó a ser propiedad pública y comenzó una larga sucesión de usos. Así, fue delegación de Hacienda Pública, al mismo tiempo que residencia del gobernador y sede del gobierno político. Incluso acogió las dependencias de la Diputación entre 1836 y 1890, cuando se produjo el traslado al actual Pazo Provincial.
En 1885 se intentó instalar en el edificio una fábrica de tabacos, pero la solicitud municipal fue rechazada. A principios del siglo XX se instaló en una dependencia con fachada a la parte trasera del inmueble el parque municipal de bomberos, y desde 1932, se quedó como uso exclusivo del Ministerio de Hacienda.
Mantuvo ese uso hasta que en el 2010 la Agencia Tributaria se trasladó a un edificio de nueva planta en Campolongo.