Der Ursprung des Schlosses befindet sich in einer 1175 errichten Burg (Otto der Reiche, Markgraf). Im Mittelalter bot das Haus Sitz der markgräflichen Hauptmünzstätte. Zwischen 1503 und 1539 residierten hier die Kurfürsten August (1526-1586) und Moritz (1521 bis 1553). Das Schloss erfuhr 1566 bis 1579 einen Neubau als Renaissanceschloss durch den damaligen Baumeister Hans Irmisch. Zar Peter der Große hielt sich 1711 dort auf und besuchte natürlich die Freiberger Hütten- und Bergwerke. Zwischen 1784 und 1805 wurde das Schloss zu einem Magazin (Militär, Getreide, Berg) umgebaut. 1813 wurde es als Lazarett in der Zeit der napoleoniscen Besetzung genutzt und in der ehemaligen DDR fand – wieder einmal – eine Umwidmung als Getreidespeicher statt. 2005-2008 wurde der Kirchenflügel zum Bergarchiv und des langen Hauses zur „Terra Mineralia“ umgebaut.
Das Haus erinnert (leider) nur im Groben und anhand des Grundrisses an ein Schloss.