L'ex convento dei padri minori conventuali francescani, in cui ha sede l'odierno Palazzo di Città è contemporaneo all'edificazione dell'annessa chiesa di S. Francesco, sec. XVIII. Si trova su una piccola collinetta all'interno del'originaria cinta muraria medievale. Originariamente l'edificio si estendeva su una superficie di 1600 metri quadri ed era dotato di due chiostri posti su livelli differenti. Nel 1809, a seguito della legge Murat fu tra i beni ecclesistici confiscati per poi essere, nel 1814 ufficialmente reso, per usi pubblici, all'Università di Andria che già ne utilizzava alcuni locali per archivio e assemblee del Decurionato. Nel 1839 l'allora sindaco di Andria Riccardo Porro incaricò l'architetto Luigi Castellucci (uno tra gli esponenti più importanti dell'architettura dell'Ottocento nel meridione e in Puglia in particolare), di realizzare un progetto di ristrutturazione. Nel 1850 grazie anche all'importante contributo del giovane architetto barlettano Federico Santacroce (suoi anche gli interventi presso la Cattedrale, il Convento di Santa Maria Vetere, la Chiesa di Santa Maria dell’Altomare, ed il Palazzo Ceci in piazza Catuma) venne rimaneggiata l'imponente facciata. Tale prospetto, che rappresenta la parte più considerevole dell'edificio, è stata la meno sottoposta a modifiche: neoclassica, simmetrica e sollevata su tre gradini, caratterizzata da ali laterali e da un avancorpo centrale comprendente lo scalone d'ingresso a doppia rampa, l'atrio con portico e l'attico sormontato da un orologio.

Nel XIX secolo sul chiostro posto a sinistra, fu costruito un carcere che a sua volta tra il 1960 e il 1965 fu abbattuto in quanto pericolante. Al suo posto sorge ora un edificio che ha ospitato, per diversi anni, il comando dei vigili urbani, prima del suo trasferimento al nuvo Palazzo degli uffici comunali di piazza Trieste e Trento.

Il chiostro -i cui locali per lunghi decenni sono stati adibiti ad uffici comunali- attualmente ospita eventi culturali e di particolare rilevanza pubblica. Nell' originario refettorio, posto al piano terra, con ingresso da via Mura San Francesco è stata ricavata una sala conferenze. L'ultimo restauro al quale fu sottoposto Palazzo di Città risale al 1962 mentre nel primo decennio del 2000 si sono avuti interventi conservativi per il chiostro di San Francesco.