Das Barockschloss steht an der Stelle eines steinernen Burghauses eines Eichstätter Ministerialengeschlechts, das 1166 mit Merboto von Pfünz erstmals bezeugt ist. 1282 übergibt Albrecht Truchsess von Pfünz den Burgsitz als Lehen dem Hochstift. Nach 1353 verschwindet die Familie aus den Urkunden; ihr Sitz gelangt über die verwandten Waltinger an die Zantner. 1451 verkauft ihn Kunz Zantner zu Schönbrunn an Heinrich Rohrmayer zu Gungolding. Von dessen Erben erwirbt ihn 1475 Bischof Wilhelm von Reichenau „zur Erholung und zur Jagd“ und nimmt Erweiterungsbauten vor. Ein Wappenstein von 1578, jetzt in einem modernen Erweiterungsbau eingelassen, deutet auf eine Bautätigkeit unter Bischof Martin von Schaumberg hin.
Fürstbischof Johann Anton Knebel von Katzenellenbogen (1705 bis 1725) errichtet, wahrscheinlich nach Plänen des Hofbaumeisters Jakob Engel, das heutige Schloss. Neubaupläne von Maurizio Pedetti können nicht verwirklicht werden. Der letzte Fürstbischof Joseph Graf von Stubenberg (1791 bis 1824) – sein Wappen befindet sich über dem Portal – pflegt den größten Teil des Sommers hier zuzubringen. Der Hof-Garten hat damals „vier große mit Fischen besetzte Weiher und einen so breiten Kanal im Viereck herum, dass man mit kleinen Lustschiffen darin herumfahren kann“.
Nach der Säkularisation wird das Schloss um 6000 Gulden an Private verkauft. Unter den häufig wechselnden Besitzern verdient Dr. Friedrich Winkelmann (1852 bis 1934), der u. a. das Kastell Pfünz ausgegraben hat, Erwähnung. 1955 kauft die Diözese das Schloss zurück und baut es zum Diözesanjugendhaus um.