Obra senyera de l’arquitectura catalana del segle XVI, i un dels casals renaixentistes més importants del país, va ser declarat monument historicoartístic d’interès nacional el 1931. Els seus orígens es remunten a l’edat mitjana i va ser reformat el XVI. En l’ampliació del bisbe Cardona va mantenir la planta gòtica existent i va afegir les dues torres laterals i la galeria amb arcs rebaixats del cos central. Hi ha en tot l’edifici diversos elements decoratius en portes i finestres de caire plenament renaixentista (bustos, medallons, motius florals...) que conviuen amb finestrals i arcs de tradició gòtica. Destaca la porta principal i l’escut de Joan Cardona al portal exterior del recinte. En dues de les finestres de la torre es troben esculpits els retrats de Carles V i d’Isabel de Portugal, protectors del bisbe.