Das Gebäude wurde Anfang des 20. Jahrhunderts nach Plänen des Wiener Architekten Friedrich Ohmann unter Verwendung von Stilelementen der Renaissance und Gotik erbaut. Mit der Eröffnung 1906 übernahm sein Gründungsdirektor Theodor Volbehr (1862-1931) die in Vereinen und im Besitz der Stadt eingerichteten kunsthandwerklichen Sammlungen und präsentierte im Zentrum der Museumsanlage die bedeutendsten "Alterthümer" aus der Stadtgeschichte.

Die Errichtung des Osttraktes erfolgte in einer zweiten Bauphase 1912/1913. Nach der Teilzerstörung am Ende des Zweiten Weltkrieges und dem nahezu vollständigen Verlust seiner wertvollen Kunstschätze in den Auslagerungsorten begann bereits 1945/46 der Wiederaufbau als Kulturhistorisches Museum, in dem dann auch das Museum für Naturkunde untergebracht werden musste

Der Kunstbestand umfasst derzeit Gemälde des 15.-20. Jahrhunderts, Textilien, kostbare Bildteppiche aus Flandern, Möbel aus verschiedenen Jahrhunderten, Keramik und einige Spezialsammlungen.