Pierwotnie w miejscu tym stał drewniany zamek. W 1468 roku teren został wykupiony przez Melchiora von Rechenbrega (znanego m.in. z Borowa Polskiego), który wybudował tu zamek murowany. Przebudowany w XVI wieku zamek został zniszczony w 1721 roku w pożarze miasta, a część jego murów posłużyła jako podstawa do wybudowania zupełnie nowego pałacu. Właścicielami tej posiadłości została rodzina Barwitzów, której herby możemy jeszcze oglądać na bramie wjazdowej (od strony rynku), natomiast nad wejściem do pałacu widnieje herb rodu von Haugwitz (przejęła pałac w 1844 roku). Na dziedzińcu przed wejściem do pałacu stoi figura św. Jana Nepomucena, przeniesiona tu w 1743 roku z rynku (miejscowi protestanci uważali, że nie powinna stać w…