Zámecké budovy ohraničují dvě nádvoří východně od centra města. Původně renesanční zámek byl často přestavován, dnes je majetkem města Tovačova. Dominantou je 96 m vysoká, z dáli viditelná Spanilá věž. V jeho prostorách si lze prohlédnout renesanční portál zámecké věže, zámeckou kapli s raně barokní štukaturou, nejmladší křídlo se schodištěm ve vídeňském stylu a obřadní síní města. Dále rytířský a sněmovní sál, expozice rodu Gutmannů, Ctibora Tovačovského z Cimburka a prusko-rakouské bitvy u Tovačova v r. 1866.
