Il palazzo che ospita la Prefettura di Viterbo- U.T.G. è di proprietà della INVIMIT SGR S.p.A. società di gestione del fondo immobiliare di tipo chiuso denominato "i3 - Patrimonio Italia".
Risulta, da una cronaca del frate Francesco D'Andrea, che, insieme al palazzo del Comune, fu edificato nel 1247 come sede del Capitano del Popolo e dei Priori della Città.
Quando quest'ultimi si trasferirono nell'attuale palazzo dei Priori, venne adibito a sede del Podestà. Nel 1546 risulta abitato dai cavalieri del Giglio, ordine fondato in Viterbo dal Papa Paolo III Farnese.
In seguito il palazzo fu sede dei delegati apostolici e, successivamente, del Governatore dello Stato Pontificio.
Dal 1927 è la sede della Prefettura e, precedentemente, della sottoprefettura (soppressa con R.D.L. 2 gennaio 1927, n. 1, contestualmente all'istituzione della Provincia di Viterbo).
Il palazzo ha subìto due importanti restauri:
Il primo fu realizzato tra il XVI ed il XVII secolo quando vi risiedevano i delegati apostolici; si trattò di un restauro che determinò la distruzione di tutti gli elementi dell'originaria architettura duecentesca.
Il secondo, come attesta un'iscrizione sulla facciata principale, è relativamente recente: risale al 1779 e fu curato da Guglielmo Pallotta su incarico del Papa Pio VI.