Die Hallenburg, Schloss und Residenz der Grafen von Schlitz, ehemals befestigtes Hofgut auf dem Flurstück "Hall" gelegen, wurde im 16. Jahrhundert ausgebaut. 1706 - 1712 entstand dann nach den Plänen des französischen Architekten Louis Remy de la Fosse ein neues, spätbarockes Schloss mit Mansarddach.
Seit 1720 war die Hallenburger Linie der Herren von Schlitz alleiniger Besitzer der Landesherrschaft, nachdem die übrigen Linien im Mannesstamm ausgestorben waren. Schloss Hallenburg diente seit dem 18. Jahrhundert der anfangs noch freiherrlichen, später gräflichen Familie als ständiger Wohnsitz. 1755 brannte die Hallenburg teilweise aus, wurde wieder instand gesetzt; sie erhielt ihr jetziges Aussehen um 1800 nach einem Umbau durch den Grafen Karl Heinrich, der das Mansarddach beseitigte und ein neues Stockwerk aufsetzte. Im gartenwärts liegenden Saal der Beletage befindet sich eine seltene florale chinesische Panoramatapete aus dem 18. Jahrhundert. 1954 hat Graf Otto Hartmann das Schloss der Stadt geschenkt. Diese richtete dort ein Gymnasium ein, das 1977 nach Einführung der Oberstufenreform geschlossen werden musste.
Nach der Entscheidung der Stadt Schlitz, das Schloss für die Hessische Landesmusikakademie („Akademie für musisch-kulturelle Bildung e. V.“) herzurichten, konnte diese das Gebäude 2003 beziehen. Die dem Schloss gegenüber liegenden alten Wirtschaftsgebäude und die ehemalige Orangerie wurden anschließend zu einem Konzertsaal und einem Gästehaus umgebaut.
Zu Schloss Hallenburg gehört der Schlosspark, der sich nach der Schenkung ebenfalls im Besitz der Stadt Schlitz befindet. Ursprünglich ein Park nach rationalistisch- französischem Vorbild, wurde die heutige Anlage zu Beginn des 19. Jahrhunderts nach dem Muster englischer Landschaftsgärten grundlegend umgestaltet. Zahlreiche, auch exotische Gehölze wurden damals angepflanzt.
