Die Geschichte der Stadt war von Anfang an mit der des Schlosses eng verknüpft.

Geschlechter kamen und gingen, aber es blieb immer der Sitz jener, die in Mattighofen etwas zu bestimmen hatten. Erst in der 2. Hälfte des vergangenen Jahrhunderts erhielt es nur noch einen repräsentativen Charakter, den es durch das äußere Bild bis heute bewahrt hat.

Einst agilolfingischer, später karolingischer Wirtschaftshof, dann fast vier Jahrhunderte unter der Herrschaft des Bistums Bamberg, von Pflegern bewohnt, kam es 1400 in den Besitz der Kuchler. Nach deren Aussterben (1436) kauften es die bayerischen Herzöge und das Schloss wurde weiterhin von Pflegern bewohnt. Eine erste Nachricht von baulichen Veränderungen des Schlosses erfahren wir aus der Zeit der Ortenburger. 1517 von Christoph von Ortenburg erworben, wurde es von dessen Sohn Joachim 1551 um- oder gar neugebaut. Wahrscheinlich dürfte es dabei an den Flügeln stattliche über Eck gestellte Türme erhalten haben, die noch 1700 existierten. Über einen tiefen Wallgraben führte zu dieser Zeit auch noch eine Zugbrücke. Aus der 2. Hälfte des 16. Jh. stammt auch jener eingemauerte Türstock aus rotem Marmor, der ursprünglich in den inneren Dachboden führte, heute aber an der rechten Seite der Schlosseinfahrt zu sehen ist. Er trägt die Inschrift "Joachim Grave zv Ortenburg etc. Vrsvla Gräfin zv Ortenburg geporene goggerin Freiin zv Khirchperg vnd Weissenhorn sein Gemachel MDLI" und im Renaissancegiebel die Wappen der Ortenburger und der Fugger. Nach dem Tode Joachims (1600) bis zum Frieden von Teschen (1779) waren mit einigen kurzen Unterbrechungen wieder die bayerischen Herzöge Besitzer des Schlosses und hatten dort ihr Pflegepersonal untergebracht.

Bald nach der Erwerbung des Innviertels durch Österreich wurde 1794 das Schloss samt den dazugehörenden Feld- und Wiesengründen an den Bräuer Jakob Haidenthaler verkauft, der es zu einem Braunbierbräuhaus umgestaltete. Doch schon 2 Jahre danach (1796) wurde es vom k. k. Aerar wieder zurückgekauft, den Vorplatz jedoch behielt sich Heidenthaler. Über den Grund dieser Transaktion ist nichts bekannt. Während der napoleonischen Kriege aber wurde 1799 das Schloss gänzlich umgebaut und im halbitalienischen Stil erneuert. Außen erhielt es Feuermauern mit nach innen eingezogenen Pultdächern, der Wallgraben wurde zugeschüttet und in einen Garten umgewandelt. Die nach Westen gekehrte Schauseite ist durch ein Halbgeschoss und eine waagrechte mit Zahnschnittfries verzierte Stirnmauer erhöht. Damals dürften auch die vier Erkertürme entfernt worden sein.

Mit dem Kauf des Kobernaußerwaldes durch den kaiserlichen Familienfonds im Jahre 1868 kam auch dieses historische Gebäude in dessen Besitz. Es wurde renoviert und zu einem kaiserlichen Jagdschloss umgestaltet. Das bis dahin im Schloss untergebrachte k. k. Steueramt kamen in das Stöger`sche Haus Nr. 5 (heute Stadtplatz 13) und dafür wurden Apartments für die kaiserliche Familie eingerichtet. Auch die Forstverwaltung fand darin Platz.

Das 20. Jahrhundert brachte mehrmals einen Besitzerwechsel, der immer mit den veränderten Besitzverhältnissen des Kobernaußerwaldes zusammenhing und stets politische Gründe hatte. So waren Schloss und Wald von 1918 bis 1938 Eigentum des Kriegsgeschädigtenfonds, während des 2. Weltkrieges gehörten sie den Deutschen Reichsforsten, danach kurz der amerikanischen Besatzungsmacht und schließlich ab1947 den Österreichischen Bundesforsten.

Ende im Jahr 2006/2007 wurde per Beschluss des Gemeinderates der Ankauf des Schlosses in die Wege geleitet. Es soll für die geplante Landesausstellung 2012 als Schauplatz der Ausstellungen zum Thema "Habsburger und Wittelsbacher" dienen.