Původ Kozího hrádku nelze přesně doložit. Nejstarší listiny o něm pocházejí z let 1377 a 1391. Zakladateli byli pravděpodobně páni z Hradce. V letech 1413 až 1414 zde pobýval mistr Jan Hus. Věnoval se zde kazatelské činnosti i literární tvorbě v latině a češtině. Někdy mezi roky 1438 - 1446 hrad pravděpodobně vyhořel a už jen r. 1542 se stručně připomíná jako pustý. Jeho zbytky byly odkryty v letech 1899 - 1929, na čemž měli největší zásluhu učitel J. Švehla a profesor A. Sedláček. Později bylo hradní zdivo zakonzervováno.