Il palazzo del Governatore, inevitabilmente simbolo della perduta libertà per Siena, si erge massiccio in "opposizione" al Palazzo Pubblico, ed in un luogo fra i più importanti della città, la Piazza del Duomo, quasi a voler indicare una presenza visibile e salda accanto a quella altrettanto potente sede di potere rappresentata dalla dimora dell'Arcivescovo. La storia del Palazzo coincide, in buona parte, con quella della stessa città di Siena, soprattutto per quanto riguarda il periodo della dominazione medicea.
Il palazzo sembra sia stato voluto nel 1490 da Jacopo Petrucci, che acquistò delle case dallo Spedale della Scala e sulle quali intendeva costruire la propria residenza; in seguito l'edificio fu accresciuto dal figlio il Cardinale Raffaello Petrucci.
Il passaggio della proprietà ai Medici fu lungo e complesso: risalgono al 1568 i primi contatti, che si conclusero solo nel 1593 con la vendita dell'edificio per circa 8000 scudi.
L'opera di progettazione originale del palazzo viene attribuita a Bernardo Buontalenti, architetto mediceo per eccellenza. L'artefice del rifacimento voluto dai Medici, invece, sembra sia il meno conosciuto architetto fiesolano Raffaello di Zanobi Pagni. Il problema della prima ristrutturazione del Palazzo ha importanza relativa, perché ben poco di quanto fu fatto allora sopravvive oggi; l'edificio, infatti, conobbe una continua evoluzione e subì numerosi mutamenti.
Il principe Mattias de' Medici, terzogenito di Cosimo II, nominato Governatore della città di Siena nel 1629, dispose una ristrutturazione così generale del palazzo che si potrebbe parlare quasi di una nuova costruzione.
Al corpo centrale del Palazzo fu aggiunta un'altra costruzione utilizzata come dimora del Guardaroba e come fureria. Malgrado ciò, il palazzo così come si presentava non piacque molto al principe Mattias, che infatti lo fece modificare nuovamente secondo il proprio gusto.
L'attuale sobria veste tardo cinquecentesca e seicentesca è frutto soprattutto di questo intervento.
Durante questo periodo, non senza polemiche, si giunse anche ad una decisione per quanto riguarda la facciata prospiciente l'Ospedale della Scala, decisione che riguardava il numero delle finestre che dovevano ornare e dare luce al Palazzo. Si giunse alla decisione di aprirne tredici e di realizzare ulteriori lavori di rifacimento di minore importanza.
Nel giugno del 1660 gli interni del Palazzo erano quasi perfezionati, mentre esternamente la piazza era "ammattonata" solo lungo la facciata del Palazzo e le scalinate della chiesa.
La decisione del Governatore di risiedere nel Palazzo rese necessario il completamento della pavimentazione della Piazza; contemporaneamente si completò l'ornamento della facciata, inserendo il cosiddetto sistema "portale-balcone-finestra".
Le modifiche apportate al Palazzo furono dunque molteplici, tanto che alle soglie del XVIII secolo esso appariva molto diverso dall'originale: era infatti divenuto la degna residenza di una dinastia regnante, oltre che il monumento perenne al compimento dell'unificazione dello Stato toscano.
Nel corso del diciottesimo secolo (nel 1737 la dinastia medicea si estinse, ed il Granducato di Toscana "passò" agli Asburgo-Lorena), il Palazzo fu sottoposto a numerosi ulteriori interventi di restauro e di consolidamento, soprattutto negli ornamenti esterni perché di materiale tufaceo, molto sensibile agli eventi atmosferici.
Alla fine del 1700 Siena fu colpita da un violento terremoto, ma il Palazzo resse molto bene alle scosse telluriche: i danni maggiori riguardarono la muraglia esterna, che aveva subito dei cedimenti ed ai quali si ovviò mediante l'uso di catene di ferro.
Durante il cosiddetto "periodo francese", furono eseguiti alcuni lavori di consolidamento delle mura esterne; si provvide inoltre al rifacimento della decorazione dello zoccolo del basamento e delle finestre ed all'abbellimento della facciata che dà su Via del Capitano.
Il nuovo Stato italiano destinò il Palazzo per gli uffici della Provincia, riconoscendogli, ancora una volta, il ruolo di sede della massima autorità politica cittadina.
Il trasferimento nell'edificio degli Uffici della Prefettura è valso ad attribuire nuovamente al Palazzo quella funzione storica, esercitata durante tutta l'epoca medicea e lorenese, in quanto sede del rappresentante locale del governo.