Zámek se nachází v centru města na levém břehu Tiché Orlice. Byl postaven jako renesanční objekt v 16. století, snad na místě starší tvrze, Zikmundem ze Šelmberka, jako jednopatrová budova. V roce 1574 byla zahájena přestavba zámku, kterou dokončil v letech 1587-1599 Hertvík Zejdlic ze Šenfeldu jako čtyřkřídlou stavbu s obdélníkovým nádvořím. Tuto dispozici si stavba zachovala do dnešních dnů. V 17. století se majitelé zámku a panství často střídali. V roce 1709 panství a zámek od Antonína Trauttmansdorfa koupil rod Kinských. Tehdy byly na zámku opraveny škody utrpěné během třicetileté války a po požáru v 19. století dostal zámek nové klasicistní fasády, jejichž podoba mu vydržela dodnes. Později bylo podle plánů B. Stacha, přestavěno východní křídlo zámku, kde byla vybudována pseudogotická zámecká kaple Nanebevzetí Panny Marie tvořící zároveň vstupní prostor do zámku. V současné době je zámek po rekonstrukci a je v majetku města. Sídlí v něm Orlické muzeum a Základní umělecká škola. Naproti zámku stojí někdejší centrum knížecích hospodářských úřadů a bývalý pivovar z poloviny 19. století.