Adquirida per la Diputació a finals dels anys seixanta, està situada al carrer dels Cavallers, a la Part Alta de la ciutat.

L'edifici, que va ser objecte de nombroses reformes tant a la façana com a l'interior, és una combinació d'estils arquitectònics, des del gòtic tardà fins al neoclàssic, amb alguns detalls renaixentistes. Una de les reformes més significatives és l'ampli pati de l'entrada, d'influència toscana, que dona una gran lluminositat i espaiositat a tota la planta baixa.

Per la grandiositat de les sales, la Casa Montoliu és idònia per rebre un alumnat i un públic nombrós.

El saló principal que hi ha a la segona planta, al qual s'accedeix per una escalinata ampla, sortosament restaurat i amb pintures murals recuperades, constitueix avui la Sala Noble del Conservatori, on se celebren durant el curs les audicions musicals. L'estança anomenada amb més nostàlgia en les memòries del senyor Montoliu és "el cuarto de la chimenea", on es feien tertúlies de caràcter intel·lectual i que en l'actualitat s'utilitza per a les classes col·lectives d'instruments i de solfeig.

L'any 1880, data en la qual la família Montoliu va abandonar Tarragona per anar a viure a Barcelona, l'edifici va esdevenir la seu de diferents entitats polítiques i socials: centre carlista, escola, habitatges de lloguer i celler als baixos, que es fa servir actualment com a biblioteca.

La Casa Montoliu, un dels més bells edificis de la Tarragona antiga, gaudeix d'una situació privilegiada, ja que des de la balconada de la façana posterior es domina una panoràmica que abraça la part moderna de la ciutat fins a la zona portuària; i des de la façana anterior es pot veure la Catedral i el nucli antic amb tota la seva esplendor i noblesa arquitectòniques.