Hrad byl vystavěn ve 13. stol. na rozsáhlém skalisku, podle něhož nese i jméno. V r. 1316 se Kámen stal oporou panovníka jako jeden z manských hradů. V 17. století se do historie hradu nejvýznamněji zapsal rytíř Jan Kryštof Malovec. Od roku 2011 je hrad pobočkou Muzea Vysočiny Pelhřimov, p.o. Z expozic upoutá muzeum motocyklů a kol, sbírka loveckých trofejí nebo soubor historických kočárků a kolébek. V r. 2016 uplyne 700 let ušlechtilého manství hradu pod správou jeho prvního držitele Nimíra z Kamene.
