Původní hrad a pozdější zámek byly od 12. stol. až do r. 1949 rezidencí olomouckých arcibiskupů. Biskup Bruno ze Schauenburku nechal postavit na místě původního hradiska gotický hrad. V 16. stol. byl hrad přestavěn na renesanční zámek, který za třicetileté války vyhořel. V druhé pol. 17. stol. ho biskup Karel II. obnovil a vybudoval mohutnou dvoupatrovou stavbu ve slohu římského baroka. Zámek odděloval od města příkop, zasypaný v roce 1833. Roku 1998 byl celkový soubor zámku a zahrad zařazen na seznam památek UNESCO.