Ple de llum i decorat senzillament, dins d'un ambient digne, ocupa el lloc del que va ser un nucli religiós, un lloc de recés, oració i treball.

Aquest espai fixat pel municipi quedava fora de l'emmurallat però proper a la ciutat. Quan els van cedir els terrenys, els frares de Sant Antoni van instal·lar-se a Tarragona i van donar així el nom a la zona.

El passeig de Sant Antoni comprèn tot el voltant de la muralla que puja des de l'accés del mig del nucli urbà fins al portal de Sant Antoni, tal com s'anomena la portalada de la muralla.

L'edifici fou construït a la segona meitat del segle XIV, quan un grup de frares que residien a la ciutat de Valls van sol·licitar al municipi de Tarragona un lloc per viure i per edificar una església i un convent.

Decorada amb la creu de Sant Antoni, la muralla es va aixecar per protegir, de manera simbòlica, l'entrada de la ciutat (1604) i àdhuc la plaça jardí de Sant Antoni.

En aquesta part, i a causa de les guerres, s'hi va construir un baluard per reforçar les defenses de la plaça forta. D'aquest baluard, del qual gairebé no queda res, se'n va dir el baluard de Sant Antoni.

El fet que el convent fos tan a la vora de la línia defensiva de la ciutat va ser la causa que es produïssin tants desperfectes i s'enderroquessin i reconstruïssin els murs en èpoques diferents. La darrera destrossa va ser a la Guerra del Francès (1808-1814).

L'edifici actual conserva part de la construcció, la reforma i l'eixamplament fets a les acaballes del segle XVII.

Aquestes obres es van fer amb l'ajuda personal de l'arquebisbe José Sanchiz (1680-1694), que pertanyia a l'orde de la Mercè, l'escut del qual es troba al Saló de Sessions de la Diputació, gairebé al mateix lloc per al qual va ser fet (1690).

Del traçat antic se n'han conservat el pati d'entrada, que correspon al claustre del convent, i el Saló de Sessions, en el qual s'ha mantingut part de la decoració restaurada, tal com podem veure a les pintures murals del segle XVII que hi ha a la que va ser una de les capelles laterals de l'església.

A la primera meitat del segle XIX (1835), amb la Desamortització, la propietat de l'edifici va passar de mans de l'Església a les de l'Estat, que va acabar cedint-lo per instal·lar-hi la Casa Provincial de Beneficència, la qual va acollir nens abandonats i necessitats. En van tenir cura les germanes de Sant Vicenç de Paül fins que es van traslladar i l'edifici es va destinar a la Diputació, el 20 de desembre de 1986 , que fins aleshores havia ocupat la meitat de l'actual Palau Municipal, la seu de l'Ajuntament de Tarragona.

El Palau de la Diputació és l'edifici que avui allotja els serveis de govern administratiu de la Diputació. El seu pati, a més, és un dels espais expositius de la Diputació.