1534 hat der württembergische Landesherr, Herzog Ulrich - nach Einführung der Reformation - das Kloster Hirsau in Besitz genommen.
Die Mönche mussten daraufhin das Kloster verlassen.
Eine evangelische Klosterschule wurde 1556 durch Herzog Christoph, dem Sohn von Herzog Ulrich eingerichtet
Anstelle des mittelalterlichen Abtshauses ließ Herzog Ludwig von Württemberg von seinem Hofarchitekten Georg Beer in den Jahren 1589 bis 1593 - angrenzend an die Klausur im Süden - ein Jagdschloss errichten. Verbunden war es mit ihr über einen viergeschossigen Torturm.
Die Qualität bei der Gestaltung des Gebäudes liefert Georg Beer. Durch den Einsatz vieler Handwerker aus der Residenz Stuttgart wurde zudem eine hohe Qualität bei der Ausführung der Arbeiten erreicht.
Heinrich Schickhardt (1558–1635) ein Schüler Beers und sein Nachfolger unterstützte das Bauvorhaben.
Die Dreiflügelanlage verlieh mit seiner nach außen gerichteten, gegliederten Renaissance-Fassade dem gesamten Baukomplex einen repräsentativen Charakter.
Sie erstreckte sich circa 37 Meter in Nord-Süd- und fast 76 Meter in Ost-West-Richtung. Im nahezu quadratischen Ostflügel
Die Repräsentationsräume waren vermutlich im Ostflügel zu finden. In diesem nahezu quadratischen Bau mit mit den vier Schweifgiebeln gab es einen Keller und eine große Halle mit Kamin.
Zeitgenössische Berichte geben an, dass ein Stockwerk mit einem schwingenden Boden versehen war, der beim Tanz rhythmisch mitschwang.
Als Verbindungsbau diente der langgezogene Südflügel mit Treppenturm, von dem nur die Mauern des Erdgeschosses erhalten blieben.
Standesgemäß nutzte der Herzog sein Schloss als Quartier für Bäderreisen nach Liebenzell, Bad Wildbad oder Bad Teinach und für den Aufenthalt bei Jagden.
Vermutlich diente das Schloss der herzoglichen Familie auch als Zuflucht, wenn in Stuttgart die sogenannte "Sterbensläufte" ausgebrochen waren. Gemeint waren damit Pest, Cholera oder andere Seuchen.
Die Fürstenherrlichkeit in Hirsau dauerte fast auf den Tag genau 100 Jahre (1592 -1692), dann wurden das Schloss und das angrenzende Kloster im Pfälzischen Erbfolgekrieg durch französische Truppen niedergebrannt.
Nur spärliche Reste wie Architekturfragmente und Teile eines großen Kamins haben sich von der einst prächtigen Ausstattung erhalten.
1740 wurde der weniger zerstörte Westflügel des Schlosses zum Getreidespeicher umfunktioniert.
Aufgrund zeitgenössischer Bilddarstellungen weiß man, dass die Brandschäden an den Gebäuden mit relativ geringen Mitteln zu beseitigen gewesen wären. Aber zum einen war Württemberg seit 1535 evangelisch, ein katholisches Männerkloster wurde deshalb nicht mehr benötigt. Zum anderen war das Land durch die ständigen Kriege und deren Folgen (30 jähriger Krieg, Erbfolgekrieg) nicht in der Lage und willens die für das Wohlergehen des Landes relativ unbedeutenden Liegenschaften zu unterhalten. Die Verwaltung gab die Ruinen als Steinbruch für die Bevölkerung frei, damit diese billiges Baumaterial gewinnen konnte.
Erst mit Beginn des 19. Jahrhunderts besann man sich des kulturellen Erbes und stellte die Klosteranlage unter Schutz. Schon lange vorher hatte sich die Natur der Schlossruine angenommen.
Aus dem Gemäuer wuchs eine Ulme heraus, die der Heimatdichter Ludwig Uhland in einem Gedicht besang. Der Baum wurde deshalb auch Uhland-Ulme genannt. Aufgrund einer Pilzerkrankung musste sie am 10. März 1989 gefällt werden, nur ein 6 m Stumpf blieb als Denkmal erhalten. Allerdings musste auch dieser aus Sicherheitsgründen entfernt werden.
