Zámek byl vystavěn na místě gotického hradu, vybudovaného na pískovcových skalách propojených mosty, kolem r. 1350 Hynkem z Valdštejna. Původně se nazýval pouze Skály. Za Smiřických byl v 2. pol. 16. stol. renesančně přestavěn. Při opravách po požáru r. 1710 byl rozšířen na jih a východ. Nově upraven byl v r. 1804, kdy vznikl i anglický park. V r. 1821 koupil panství Jan z Aehrenthalu. Tento rod jej vlastnil do r. 1945. Zámek, jehož současná podoba je novogotická, sloužil od r. 1960 jako rekreační zařízení. Nyní je provozován jako hotel.
