1055 wird Inching erstmals urkundlich erwähnt. Mit Adelbero von Inchhingen ist 1166 der einzige Angehörige eines Inchinger Orstadels bezeugt. Das Domkapitel, dem der Bischof bereits 1260 die Kirche von Inching übereignete, übt bis 1806 im Ort die Dorf- und Gemeindeherrschaft aus. Bis auf zwei Anwesen gehören alle anderen dem Domkapitel.
Das spätere Schlossgut könnte aus dem mittelalterlichen Adelssitz hervorgegangen sein. 1714 verkauft Domdekan Rudolf Dietrich Freiherr von Freyberg sein „FischGut“ zu Inching mit Gärten, Wiesen, Äckern und Fischwassern an den Domherm Friedrich Gottfried Ignaz Freiherr von Pfürdt um 3200 Gulden. Da die im Haus befindlichen „Gemälde, Sessel, Stühl und Bettstatt“ inbegriffen sind, dürfte das Schlösschen in seiner heutigen Form im wesentlichen schon bestanden haben.
Baumeister ist wohl Jakob Engel (1632 bis 1714). Der Saalbau im dritten Geschoss wird unter dem Freiherren von Pfürdt hinzugefügt. In seinem Testament von 1720 wird das Gütlein – ohne Gemälde und Möbel – auf 5000 Gulden geschätzt. Spätere Besitzer sind der Domprobst Franz Heinrich Wendelin Freiherr von Kageneck und der Domherr Franz Heinrich Benedikt Freiherr von Andlau. lm 19. Jahrhundert wechseln die Besitzer häufig. Seit 1919 gehört das Schlösschen der Familie Heinrich Ullmann bzw. deren Nachkommen.