In der Grundsubstanz entspricht das Schloß im Renaissancestil noch heute dem damaligen Bau. Erhalten ist auch die Mauer um die kleine Parkanlage. Der angrenzende Garten, der 1660 von Johann Theodor Mortaigne angelegt wurde, ist in seiner Gestaltung als Renaissancegarten nördlich der Alpen einmalig. Herzog Wilhelm Ernst von Sachsen - Weimar, der die Herrschaft 1692 erwarb, baute das Schloß zur Sommerresidenz um und errichtet eine Sammlung von 64 Büsten die in Nischen der Mauer ihren Platz fanden. Sie stellten überwiegend Landesherrscher dar, darunter der schwedische König Gustav Adolf, die Königin Anna von England, Heinrich IV von Frankreich und mythologische Figuren. Ende des 17. Jahrhunderts verfiel das Schloß zusehends. Erst 1823 sanierte der Sohn Karl Augusts, Großherzog Carl - Friedrich, Gebäude und Garten. Nach dessen Tod wollte seine Witwe das Anwesen in ein Damenstift verwandeln, kam aber nicht zum Zuge. Für das Herrscherhaus bedeutungslos, wurde der Besitz 1904 an den Kammerherren Conta verkauft, der es erneut restaurierte. Wie vielen erhaltenen Feudalbauten, wurde auch Schloß Kromsdorf nach dem Zweiten Weltkrieg das Schicksal wohnlicher Nutzung zuteil. Später zog im linken Flügel die Ortsbibliothek ein. Das Hauptgebäude des Schlosses selbst entwickelte sich in den vergangenen Jahren unter dem Engagement eines Fördervereins zu einem Begegnungs- und Kulturzentrum für den Raum Weimar.