Bereits seit 1554 stand das Schloß nur unter der Aufsicht von Schloßhauptleuten. Doch wohnte die Dienerschaft von zwei Witwen und drei nach auswärts verheirateten Gräfinnen noch da, die sich das Recht auf einen Wohnsitz vorbehalten hatten. Es entstand daher große Not, als im Sommer 1567 fast das halbe Schloß abbrannte, und die stehengebliebenen Teile zusammenzubrechen drohten.
Herrenloser Betrieb war in der Burg eingerissen. Am 18. März 1567 schreibt die Gräfinwitwe Margareta: »An meine getreue Dienerin Martte uff unserem Haus zu Leutenberg: Daß Du auch aus dem Schloß nit gehest, sondern wir Dich und die andern, die wir noch im Schloß beneben unserm Vieh haben, darin behalten wollen bis auf unser Zukunft. – Desgleichen hat mir die alte Gräfin zu Schwarzburg gesagt, wo ihr Gesinde essen, so sollt Ihr auch mit ihnen essen, denn ich Euch nichts schicken kann, bis ich mit ihnen verglichen werde, Ihr Euch auch wollt gegen den Hauptmann haben, so daß er nicht über Euch zu klagen habe.«
Ein Brief des Schössers Johann Schüffener an den Schloßhauptmann vom 26. März erwähnt die Gräfin Katharina: »Daß sie aber Euer Gnaden bei unserer alten Gräfin übel ausgetragen, ist hier nicht neu, denn es ist ihr alter Brauch. – Wann sie ihr wesentlich Bleibens wieder hier anstellen würde, ich wollt eher auf allen Vieren davonkriechen.«
Aus dem Briefe eines Grafen Günther an den Schösser in Leutenberg geht hervor, daß Graf Philipps Witwe oft gemahnt worden ist, das Schloß zu erneuern. »Wenn sie in das Haus einziehen will, Du wollest sie mit glimpflichen Worten abweisen und vermahnen, daß sie solches müßig zeihe und etwan in ein Wirtshaus bis auf unseren ferneren Bescheid einziehen wolle. – Und Du wollest ihr Gesind alsbald aus dem Haus abschaffen und sie etwan in ein anderes Haus ziehen und das Ihrige, so sie bedürfen, aus dem Haus folgen lassen und alsbald alle Türen und alles verschließen.« Die Gräfin Katharina selbst war zur Kur in Karlsbad und beklagt sich auf der Heimreise von Hof Pegnitz aus am 1. November bei ihrem »Schwager«, daß der Schösser ihr Gesinde »kompellieren« will, sie ist bereit, in ein, zwei, drei Bürgerhäuser zu ziehen, weil der Feuersunfall im hintern Schloß auch ihre Wohnräume daneben verderbet hat.
Da auch »beinahe die ganze Stadt in Feuersnöte geraten« ist, wird der Schriftwechsel dringender, und am 16. November gibt Christoph von Enzenberg dem Schloßhauptmann Eitel Kurt Glock den Auftrag, der Neubau soll vorbereitet werden. Der Bauanschlag sieht 700 bis 800 Taler vor, einen Betrag, der ziemlich viel bedeutet nach damaligem Wert, und neben dem noch die vertragsmäßig zu leistenden Frondienste und Sachlieferungen anzusetzen wären. Es muß demnach ein stattlicher Oberbau oder ein Anbau im Nordflügel entstanden sein.
Die Herrschaft Leutenberg wechselte nun rasch ihre Landesherren. Schon 1563 ließ Friedrich der Mittlere, Herzog von Sachsen, Landgraf in Thüringen und Markgraf zu Meißen, durch drei Weimarische Räte die Gemeinde Leutenberg den Huldigungseid leisten. Vier Jahre später wurde diese Abhängigkeit gelöst. Nach Graf Philipps Tode ging das Leutenberger Erbe an Albrecht VII. zu Rudolstadt und seinen Bruder Johann Günther von Sondershausen über. Graf Albrecht nahm sich 1571 des Amtes Leutenberg an und regelte die »Gerechtigkeiten, Mannschaft, Zugehörungen, Einkommen und Nutzungen«. Dem Stadtrat erteilte er 1578 das Privileg, auf dem neu erbauten Rathaus Bier und Branntwein zu schenken. Die Dörfer müssen das Bier in der Stadt nehmen, schoß- und zinsbare Güter dürfen nicht an Auswärtige verkauft werden. Nur Hausgenossen, nicht angesehene Bürger haben mehr als Treiber zur Hasenjagd und als Fröner zu dienen. Im Frühjahr darf der gräfliche Schäfer keinen umzäunten Grasgarten mehr öffnen und betreiben.
Graf Philipps hinterlassene Schulden ließen sich aber so bald nicht tilgen, und die Schwierigkeiten in der Landesverwaltung wuchsen übermächtig an. Deshalb verkaufen 1598 Graf Albrecht von Rudolstadt und seine vier Neffen von Sondershausen ihre Hoheit über die Herrschaft Leutenberg, Schloß, Stadt, Vorwerk Roda und 13 Dörfer für 56100 Gulden auf Wiederkauf nach sechs Jahren. Käufer war Melchior von Bodenhausen, auf Arnstein, Mühldorf und Almen, Kurfürstlich sächsischer Rat und Hauptmann, der auch Blankenhain innehatte. Der ausführlich abgefaßte Kaufvertrag sieht besonders vor, das »bishero in ziemlichen Abfall gekommene Schloß« von Jahr zu Jahr »zu rektifizieren und auszurichten« – »gegen Tilgung notdürftiges Bauholzes und Erstattung der Baukosten«. Während der Bodenhausenschen Verwaltung, die bis 1607 dauerte, sind tatsächlich Bauten im Schloß ausgeführt worden »an der alten Kirche«, die eingegangen war, »am vorderen Bau«, am Turm und am Brunnen. Doch läßt sich Genaueres nicht erschließen.
Im Jahre 1605 starb Albrecht VII. in Rudolstadt und hinterließ vier Söhne und sechs Töchter aus erster Ehe, sowie eine erst siebenunddreißig Jahre alte Witwe aus zweiter Ehe, die ihren Pflegekindern eine treue Erzieherin blieb.