Im Laufe der Zeit wechselt auch der Wendelstein seine Besitzer. Nach dem Grafenkrieg mussten die Orlamünder die Burg vom Landgrafen zum Lehen nehmen. Zunehmende Verschuldung zwang sie zur Verpfändung an den landgräflichen Hofrichter Christian von Witzleben, dessen Nachkommen zweihundert Jahre lang auf der Burg saßen. Die Herren von Witzleben waren eigensüchtige und machtgierige Herren; sie bauten die Burg zu einer Festung aus, trieben tiefe Gräben in den Felsen und legten hinter ihnen Wälle, Tore und Türme an. An vielen Stellen ist noch ihr Wappen zu sehen. Aber es waren auch streitsüchtige Herren, die nicht nur unter sich uneins waren, sondern auch in ständigem Zwist mit ihren Nachbarn lagen. Im Thüringischen Bruderkrieg stand Kerstan von Witzleben auf der Seite des Kurfürsten von Sachsen, sein Vetter Friedrich aber auf der Seite des Herzogs Wilhelm. Jeder hoffte bei dieser Gelegenheit alleiniger Herr auf dem Wendelstein zu werden. Der „Stein“ wurde belagert und eingenommen, seine Umgebung verwüstet. Dabei sanken sechzig Dörfer in Schutt und Asche; das friedliche Volk musste für die Herrschergelüste seiner Feudalherren büßen.
Während des Großen Deutschen Bauernkrieges war der Wendelstein die Zufluchtsstätte aller Adligen im Umkreis. Mit Weib, Kind und Kasse saßen sie einträchtig auf der Burg, vergaßen ihren Hader und zitterten vor der Wut der Bauern. Von den Mauern und Zinnen sahen sie zu, wie die Klöster Donndorf, Roßleben und Memleben geplündert und zerstört wurden. Sie saßen sicher und konnten warten, bis die zu Hilfe gerufenen Söldner mit den „Rebellen“ fertig wurden. Erst die Schlacht bei Frankenhausen befreite sie von ihrer Furcht; vorsichtig krochen sie aus ihren Löchern hervor und nahmen, als keine Gefahr mehr bestand, Rache für die Angst, die sie ausgestanden hatten. Und wieder zahlte das Volk die Zeche! Die Erfahrungen des Bauernkrieges wurden dazu benutzt, den Wendelstein stärker zu befestigen. Dennoch gelang es den kursächsischen Truppen im Schmalkaldischen Krieg Ende 1546, die Burg völlig auszurauben. Anstatt nun darauf bedacht zu sein, das Erhaltene zu sichern, entfalteten die Herren von Witzleben, von dem Wahn besessen, sie könnten es den „Großen“ in Frankreich und Italien gleichtun, eine Pracht und einen Aufwand, der unweigerlich zur Verschuldung und zum Ruin führte. Ihre Jagden und Gelage, ihre Baulust und Spielwut verschlangen Summen, die sie auch mit der größten Skrupellosigkeit nicht aus ihren Untertanen herauspressen konnten. Dass sie bei ihren Festlichkeiten auch den Musen huldigten, das sie schöne Renaissancebauten aufführten und edle Pferde züchteten - auf einem Dresdener Turnier soll Heinrich von Witzleben mit seinen Vollblutpferden Aufsehen erregt haben - entschuldigt sie nicht. Heinrichs Sohn, Wolf Dietrich von Witzleben, vermehrte durch verschwenderische Wirtschaft und unmäßiges Leben die Verschuldung so, dass die Burg 1619 an den Hauptgläubiger Hans von Heßler verpfändet werden musste, der sie 1623 an den Kurfürsten Johann Georg von Sachsen verkaufte. Der Kurfürst von Sachsen legte neue Befestigungswerke an, konnte aber nicht verhindern, dass die Burg im Dreißigjährigen Krieg von den Kaiserlichen und den Schweden heimgesucht und geplündert wurde. Am 12. Dezember 1640 fiel sie nach viertägiger Belagerung den Schweden unter General Wrangel in die Hände, die sie mit Pechkränzen behängten und vollständig niederbrannten. Die Türme ließ der General durch Pulver in die Luft sprengen. Die Spuren dieses Vernichtungswerkes sind heute noch zu sehen.
Auf den übrig gebliebenen Grundmauern wurden nur noch schmucklose Fachwerkbauten errichtet. Mehr Wert als auf prunkvolle Gebäude legten die sächsischen Herzöge auf die Wiederbelebung der Pferdezucht, die in der Folgezeit einen bedeutenden Aufschwung nahm. Um 1750 verfügte der Wendelstein über ein Gestüt, in dem Hunderte von auserlesenen Pferden, polnische, türkische und tatarische Rassen, gezüchtet wurden. Die Zucht war weithin bekannt und bestand bis 1813. Ihr versetzte Theodor Körner den Todesstoß, als er seinen berühmt gewordenen Handstreich auf den Wendelstein unternahm. Mit dem Lützowschen Freikorps war er von Stendal aufgebrochen, um Streifzüge durch Thüringen zu unternehmen. Da es den Freiheitskämpfern an Pferden fehlte, erhielt er den Auftrag, sich nach „Ersatz“ umzusehen. Sein Auge fiel auf das Wendelsteiner Gestüt. Mit einem kleinen Kommando überfiel er am 26. Mai 1813 die Domäne und kam so unerwartet, dass kein einziges Pferd in Sicherheit gebracht werden konnte. Mit reicher Beute entschwand er den Augen der verblüfften Besatzung und war schon über alle Berge, als sie begriff, was geschehen war. Das Gestüt wurde danach nicht wieder eingerichtet, zumal Burg und Domäne Wendelstein zwei Jahre später an Preußen kamen.

Heute bewohnen Künstler Teile der oberen Burg. Weite Teile der Burg kann man heute besichtigen. Nach Voranmeldung gibt es auch Führungen durch die unter den Gebäuden und Höfen der gesamten Anlage in den Felsen gehauenen Keller.