Zamek wzmiankowany w 1277 r. zbudował ks. legnicki Bolesław II Rogatka. Jego najstarszą częścią jest wieża z dziobem. Rozbudowali go ks. świdnicko-jaworscy Bolko I Surowy, Bernard i Bolko II Mały, w poł. XIV w. został połączony z miejskimi fortyfikacjami. W 1392 r. zamek objęli królowie czescy. W 1463 r. król Jerzy z Podiebradów osadził tu rycerza-rozbójnika, Hansa von Tschirnhausa, co stało się powodem wyprawy mieszczan wrocławskich i świdnickich pięć lat później. W 1491 r. oblegał go król Władysław II Jagiellończyk. W latach 1539-1540 biskup wrocławski dokonał renesansowej przebudowy wg projektu Jakuba Parra, powstał wtedy Dom Niewiast, attyka i dekoracja sgraffitowa, zbudowano zewnętrzny pierścień murów z bastejami. W 1646 r. zamek zdobyły wojska szwedzkie, w 1703 r. po wymarciu von Zedlitzów przestał być rezydencją i zaczął podupadać. W 1850 r. rozpoczęto restaurację zamku, w 1922 r. ulokowano tu schronisko młodzieżowe i działające do dzisiaj muzeum regionalne. Od 1997 r. na zamku odbywa się festiwal muzyki gotyckiej Castle Party.