Pałac stoi na miejscu gotyckiego zameczku myśliwskiego księcia Ludwika I z końca XIV w. i jeszcze wcześniejszej siedziby kasztelana. W 1541 r. rozpoczęto budowę renesansowej rezydencji pod kierunkiem mistrza Jakuba z Mediolanu i Bernarda Niurona. Renesansowa część pełni obecnie funkcję plebanii pobliskiego kościoła. Pałac rozbudowała w stylu barokowym w latach 1673-80 księżna Ludwika, stąd nazwa Pałac Luizy. Projektantem był Carlo Rossi. Na terenie obecnego Placu Zamkowego założono ogród. Do 1734 r. w pałacu rezydował Jakub Sobieski, potem umieszczono tu lazaret i piekarnię, we wschodnim skrzydle znajdowały się koszary i fabryka cygar. W Pałacu Luizy mieściła się szkoła. Budynek zniszczony w 1945 r. odbudowano w latach 1952-58 jako siedzibę starostwa, obecnie mieści się w nim Urząd Miejski. Za pałacem stoi wieża ciśnień z pocz. XX w., która funkcjonowała do 1988 r.