Nel corso del 1844 Cesare Costa ricevette l'incarico di progettare un edificio da erigersi a Modena a spese del Ministero di Pubblica Economia ed Istruzione: edificio da situarsi lungo la passeggiata delle mura nella zona tra il bastione di S. Pietro e Porta Bologna.
Francesco IV desiderava che il "salotto cittadino" sulle mura si arricchisse di un caffè elegante, in grado di portare Modena all'lateza di altre città italiane dotate di consimili ritrovi alla moda.I lavori di costruzione, sull'area già sgombra dai precedenti edifici, iniziarono nel luglio dello stesso anno.
Nell'aprile del 1846 il nuovo duca Francesco V comunicava a Costa che era stata cambiata la destinazione del secondo piano del fabbricato del caffè: esso non avrebbe più ospitato abitazioni civili, ma le sedi delle più importanti istituzioni culturali modenesi.
Nell'edificio dovevano trovare posto la sede e la biblioteca dell'Accademia di Scienze, Lettere ed Arti, la biblioteca universitaria, quella del Gabinetto Letterario e quella della Società Italiana delle Scienze, oltre alla sede della Società di Incoraggiamento delle Arti.
Dopo l'Unità d'Italia venne destinato a sede della Prefettura, destinazione che mantiene tuttora.