Ruiny zamku położone są na szczycie Karpiaka (782 m) w południowej części Gór Złotych. Prawdopodobnie w XII w. wzniesiono tu warownię strzegącą Solnej Drogi, wiodącej przez Przełęcz Karpowską do Czech. Zamek wzmiankowany był w 1. poł. XIV w. W 1341 r. kupił go Tomasz von Glubos, tworząc tu niewielkie państewko, od jego herbu – złotego karpia na niebieskim polu pochodzi nazwa zamku. W 1428 r. zamek został zniszczony przez husytów, później zajął go rycerz-rozbójnik Hinko Kruszyna. Miasta śląskie zorganizowały ekspedycję, która w 1443 r. zdobyła i zniszczyła warownię, ostatecznie dokonano tego w 1513 r. Kamień z ruin posłużył do budowy Starego Jerzego w Lądku-Zdroju. W 1885 r. otwarto tu wieżę widokową, zniszczoną w 1899 r., postawiono też kamienną ławę. Do dzisiaj zachowały się dość nikłe ruiny, pozwalające odczytać jednak kształt pierwotnego założenia.