Pierwotna wieża mieszkalno-obronna była wzmiankowana w 1224 r. jako siedziba kasztelana. W 1274 r. miasto zostało rezydencją książąt świdnicko-jaworskich, a ks. Bolko I zbudował zamek. W 1392 r. objęli go królowie czescy jako siedzibę starostów. W 1408 r. wzniesiono dom mieszkalny, a ok. 1510 r. powstały fortyfikacje bastejowe. W latach 1552-68 zamek przebudowano po pożarze na renesansowy, po kolejnych zniszczeniach starosta Otto von Nostitz dokonał barokowej odbudowy w latach 1663-65. Po zajęciu Śląska przez Prusy umieszczono tu więzienie, działające do 1956 r., w związku z tym w 1751 r. przebudowano wieżę zegarową. Powstał neogotycki budynek bramny i zatarto cechy stylowe. Po remoncie w latach 1969-73 ulokowano tu mieszkania i siedziby instytucji.