Vuonna 1110 annettiin Kroměříž Olomoucin piispoille, ja eräs heistä, Bruno Schauenburgilainen, rakennutti 1200-luvulla goottilaisen linnan vanhan slaavilaisen linnoituksen paikalle. 1400 - 1500 -lukujen vaihteessa linna muutettiin nelisiipiseksi suurella tornilla varustetuksi renessanssirakennukseksi. Kolmikymmenvuotisen sodan lopulla vuonna 1643 Ruotsi-Suomen armeija tuhosi linnan ja sen tilalle rakennettiin ylellinen varhaisbarokkia edustava palatsi. Piispa Karel Liechtenstein kutsui Wienistä keisarin italialaiset arkkitehdit F. Lucchesen ja G. P. Tencallan, jotka osallistuivat myös tulipalossa tuhoutuneen kaupungin muihin rakennustöihin. Linnasta säilyi päätornin alaosa, jonka päälle rakennettiin upea 84 metriä korkea torni. Alkuperäisen pohjapiirroksen mukaan rakennettiin linnanpihaa ympäröimään kolmikerroksinen rakennus pylväskäytävineen, julkisivua rytmittävine ikkunarivistöineen ja muine rakennustaiteellisine yksityiskohtineen. Uusiin rakennustöihin ryhdyttiin palatsin tuhoisan tulipalon jälkeen vuonna 1752 ja jälleen 1800-luvulla. Kuohuvina vuosina 1848 - 1849 sinne siirrettiin Wienistä keisarikunnan perustuslakia säätävä elin ja vuonna 1885 palatsissa tapasivat toisensa Itävallan keisari Frans Josef I ja Venäjän keisari Aleksanteri I.
Sisätiloissa sijaitsi lukuisia koristeellisiin huoneita upeine tyylihuonekaluineen ja runsaine kokoelmineen. Salla terenasta pääsi linnan alapuolen puutarhoihin. Huoneilla oli kolme erillistä tehtävää - ne olivat edustustiloja, hiippakunnan hallintotiloja ja taidehistoriallisten kokoelmien säilytystiloja. Kymmenien salien joukosta löytyy kruunajaissali, parlamenttisali, talonpoikaissali, metsästyssalonki, tsaarin salonki, vanha kirjasto ja kesähuoneisto. Linnan taidegallerian kokoelmat ovat maan toiseksi arvokkaimmat ja esittelevät 1400 - 1700 -lukujen eurooppalaista maalaustaidetta. Edustettuina ovat mm. Tizian, Lucas Cranach vanhempi, Hans von Aachen, Paolo Veronese ja Jan Breughel vanhempi.
Linnan alapuolella sijaitseva puutarha perustettiin jo keskiajalla ja uusittiin myöhemmin renessanssi- ja barokkityyliin. 1800-luvulla se muutettiin 60 hehtaarin laajuiseksi englantilaiseksi puistoksi, jossa on kolme kalalampea ja joukko romanttisia rakennuksia, mm. pylväskäytäviä ja kiinalainen paviljonki. 1600-luvun lopulla perustettiin renessanssipuutarhojen mallin mukainen kukkatarha, jonka keskellä sijaitsee monumentaalisen 244 metrin pituisen pylväskäytävän ympäröimä koristeellinen kahdeksankulmainen rotunda. Huomiota ansaitsevat myös alueen kaivot sekä sen kaksi labyrinttiä, neliönmuotoinen ja pyöreä. Kroměřížin puutarhat kuuluvat Euroopan huomattavimpien puutarha-arkkitehtonisten nähtävyyksien joukkoon. Linnan alue puutarhoineen liitettiin vuonna 1998 UNESCOn maailmanperintöluetteloon.
