Die wohl 1250 erbaute Burg war der Sitz der 1137 erstmals genannten Edlen von Rieshofen, die als Ministeriale im Dienst des Hochstifts Eichstätt und in engen Beziehungen zum Domkapitel standen. Ihre Burg war eichstättisches Lehen. 1310 verkauften die Witwe Elsbeth von Rieshofen und ihre Söhne Thomas und Konrad die Burg an das Eichstätter Domkapitel, das diesen Besitz bis zur Säkularisation (1803) behielt. Das Domkapitel ließ den zur Burg gehörigen Meierhof von einer Familie Kalteis bewirtschaften. Noch 1544 wird eine Ursula Kalteis auf Rieshofen erwähnt, die Klosterfrau in St. Walburg zu Eichstätt war.
Zu Beginn des 17. Jahrhunderts war die Burg bereits Halbruine. Aus dem Jahre 1689 wird uns über den Turm der Burg folgende Begebenheit berichtet: Der Jude Joseph aus Töging wurde wegen Hehlerei an gestohlenen silbernen Messgeräten vom Eichstätter Halsgericht gefoltert und zum Tode verurteilt. Man warf ihn in den Rieshofer Turm und ließ ihn qualvoll verhungern. Seit dieser Zeit wird der Bergfried im Volksmund "Hungerturm" genannt.