Barokowy pałac zbudowano w 2. poł. XVII w. W latach 1785-90 Karl Georg von Hoym przebudował go na klasycystyczny według projektu słynnego architekta Carla Gottharda Langhansa. Kolejnej przebudowy dokonała w 1849 r. hrabina Toni von Lazareff-Hoym w stylu francuskiego neorenesansu, dzięki czemu pałac uzyskał wygląd romantycznego zamku nad Loarą. W 1945 r. obiekt spalono, po odbudowie w latach 1950-52 przywrócono klasycystyczną formę budynku. Obecnie mieści się w nim Dolnobrzeski Ośrodek Kultury. Za pałacem znajduje się ogród francuski, a na nadodrzańskim tarasie – rzeźby Garonny i Driady, stanowiące kopie rzeźb wersalskich. Powstały one w podparyskiej odlewni Val d’Osne ok. 1907 r. Obok rośnie pomnikowy platan. Do pałacu przylega oficyna z lat 1770-75, w której mieści się Urząd Miejski. Dalej znajduje się dawna stajnia i wozownia z wieżą z XIX/XX w., stanowiące siedzibę Środowiskowego Domu Samopomocy. Wreszcie przy wejściu do parku od ul. Kolejowej stoi stróżówka, tzw. Domek Szwajcara z pocz. XX w.