I conti Alberti
Palazzo Pretorio era l'antica dimora dei conti Alberti, costruita intorno alla fine del XII secolo sulle rovine delle antiche case di questa famiglia. Probabilmente di origine longobarda, la famiglia Alberti, ricca di feudi, possedeva beni già dal 1000 nella zona di prato e successivamente estese i suoi domini lungo il corso dell'Arno, nella Val d'Elsa, e nella Val di Pesa. La potenza degli Alberti si accrebbe alla morte del conte Ugo dei Cadolingi e al matrimonio tra la vedova di lui e il figlio del conte Alberto tanto che i loro beni si estendevano dagli appennini fino a sud di Siena.
 Da un diploma di barbarossa dell'anno 1164 sappiamo che i conti Alberti possedevano il castello di Certaldo insieme ad altre terre della valdelsa: a Castelfiorentino, Pogni, Colle, Sammontana e Capraia. Da questa data il castello di Certaldo  e più direttamente il Palazzo Pretorio sono legati alle sorti della nobile famiglia degli Alberti.
 Le vicissitudini della famiglia Alberti si moltiplicano con il passare degli anni. Le controversie con la vicina Firenze costringono la famiglia a giurare pesanti patti al libero comune. Nel 1209 la grande famiglia si divide i possessi e questo segna l’inizio ufficiale del ramo certaldese dei conti Alberti. 
 L'edificio fu espropriato a questa famiglia con un decreto della signoria di Firenze nel 1325. Già nel 1398 risiedeva in questo palazzo, ormai ampiamente rimaneggiato, il podestà Francesco di Neri Pitti e poi, ininterrottamente i 707 vicari fiorentini succedutisi al governo dal 1415 al 1784. Si può stabilire che già nel 1420 il palazzo è sede certa del vicariato, come confermato da uno stemma sotto l'arco d'ingresso. 
 In tempi più recenti il palazzo fu adottato ad edificio pubblico dove si amministrava la giustizia
Il Vicario 
Il vicariato della valdelsa era stato istituito nel 1415 e conferiva al vicario nominato l'incarico di rappresentare e di esercitare nel territorio di competenza la pienezza dei poteri politici e giurisdizionale dello stato fiorentino. La durata dell'incarico del vicario era semestrale. Il criterio di scelta del vicario si fondava sull'estrazione a sorte da una serie più o meno consistente di nomi che, di fatto, dovevano comunque appartenere ai circuiti di potere e davano garanzia di fedeltà alle istituzioni, dovevano inoltre fare parte delle famiglie fiorentine più rappresentative. Solo con il tempo vennero ad aggiungersi famiglie di diversa estrazione sociale che con il loro attivismo e partecipazione alla vita pubblica dello stato potevano equiparare alle prime. La validità degli atti del vicario era assicurata dall'apposizione sugli atti dello stesso sigillo vicariale che altro non riproduceva che lo stemma di famiglia. Lo stesso stemma del vicario veniva poi riprodotto, a scelta, ad affresco, a scultura, in ceramica ed esposto sugli intonaci degli ambienti interni del palazzo o sul paramento murario della facciata. Tale consuetudine pare nata dall'usanza di donare il proprio scudo munito di insegna personale a ricordo e a testimonianza dell'ufficio svolto presso la comunità del luogo, nonché per affidare al futuro la memoria di colui, e della sua famiglia, che aveva detenuto un incarico così prestigioso. Tra i nomi più conosciuti troviamo i Ginori, i Pitti, gli Altoviti, i Tebaldi, i Medici e i Ridolfi che, solo a Certaldo, diedero ben tredici vicari nel corso di duecento anni.