A ma is álló Püspökvárat, Magyarország egyetlen középkori eredetű főpapi rezidenciáját a XIV. század közepén kezdte el építeni Kálmán püspök (1337-1375). A rezidencia későgótikus bővítése Nagylucsei Dóczy Orbán püspök (1481-1486) nevéhez fűződik. Ekkor épült a toronyhoz a püspök csillagboltozattal fedett magánkápolnája is.
Az épületegyüttest gróf Zichy Ferenc püspök (1743-1783) 1745-ben építtette át korszerű barokk rezidenciává, amely formájában ma is látható. A püspöki palota az elmúlt évszázadokban több alkalommal is menedékült szolgált a Szent Koronának. Ezt örökíti meg a díszes lépcsőházban felállított emlékmű. Az ebédlő, a könyvtár, valamint a Dohányzó és a Vörös Szalon gazdagon berendezett helyiségsora jelenlegi formájában a XIX. század végi átalakítás eredménye.
A szalonok és az ebédlők falát püspök portrék és bibliai témájú festmények díszítik. A bútorzat részben barokk, illetve 19-20. század eleji, különböző stílus szép berendezési tárgyak ötvözete. Külön ékessége a püspökvárnak a dohányzó szalonban felállított 17. századi pompás zöld-arany rokokó kályha.
