Die Bischöfe von Olomouc konntnen im Jahre 1110 auch die mährische Stadt Kroměříž (Kremsier) ihren Besitzungen anschließen, im 13. Jahrhundert ließ der Olmützer Bischof Bruno von Schauenburg an der Stelle einer früheren slawischen Wallburg eine im gotischen Stil gehaltene Burg errichten. An der Wende des 15. Jahrhundrts wurde die Burg im Stil der Renaissance zu einem repräsentativen Sitz mit einem verflügeligen Gebäude und einem großen Turm umgebaut. Nachdem schwedische Truppen das Schloss kurz vor dem Ende des Dreißigjährigen Krieges (1643) schwer verwüstet hatten, wurde an seiner Stelle ein prachtvoller, im frühbarocken Stil gehaltener Palast aufgebaut. Der Bischof Karl von Liechtenstein berief die italienischen Baumeister F. Luchese und G. P. Tencalla, die zuvor in Wien gearbeitet hatten und die im mährischen Kremsier später auch an weiteren Baumaßnahmen beteiligt waren, die durch einen Großbrand notwendig wurden. Der untere Teil des Haupturmes, der von der ursprünglichen Burg erhalten blieb, wurde zu einem beeindruckenden, 84 Meter hohen Turm umgebaut. Über dem Grundriss der ehemaligen Burg entstand ein neues Schloss mit drei Geschossen - ein Prachtbau mit einem von Arkaden geschmückten Innenhof. Die Stirnseiten des neuen Gebäudes waren mit langen Fensterreihen, mit Pilastern und Risaliten versehen. Doch nachdem das Schloss im Jahre 1752 und dann noch einmal im 19. Jahrhundert von einem Großbrand heimgesucht worden war, wurden aufs Neue Umbauten notwendig. In den Revolutionsjahren 1848-1849 kam in Kremsier der Konstituierende Reichstag zusammen. (Der Reichstag sollte ursprünglich in Wien stattfinden, wurde aber wegen der dort ausgebrochenen Unruhen ins mährische Kremsier verlegt.) Im Jahre 1885 trafen sich in Kremsier der österreichische Kaiser Franz Josef I. und der russische Zar Alexander I.
Im Interieur des Schlosses entstand eine ganze Reihe von Räumen mit hochwertiger Inneneinrichtung und wertvollen Kunstsammlungen, von der neuen Salla terrena konnte man direkt den Garten Unter dem Schloss betreten. Die Innenräume des Schlosses hatten drei Funktionen zu erfüllen - sie dienten der Repräsentation, der Präsentation kunsthistorischer Sammlungen und als Sitz der bischöflichen Wirtschaftsverwaltung. Unter den Dutzenden Schlossälen verdienen in erster Linie der Thronsaal, der Tagungssaal, der Lehnsherrensaal, der Jagdsalon, der Zaren-Salon, die Alte Bibliothek und die Sommerwohnung Aufmerksamkeit. In der Gemäldegalerie des Schlosses sind Werke europäischer Maler aus dem 15. bis 18. Jahrhunderts konzentriert, vertreten sind Tizian, Lucas Cranach der ältere, Hans von Aachen, Paolo Veronese und Jan Breughel der ältere - eine Gemäldesammlung, die als die zweite wertvollste Kollektion dieser Art in Tschechien eingestuft wird.
Der Garten Unter dem Schloss war schon im Mittelalter angelegt worden, in der Renaissance und im Barock wurde er den neuen Stilvorstellungen angepasst, im 19. Jahrhrundert nahm er schließlich die Gestalt eines romantischen Landschaftsparks an. Auf einer 64 Hektar großen Fläche kann man drei Teiche und eine ganze Reihe von Kleinarchitekturen, zum Beispiel die Pompejische Kolonnade, die Colloredo-Kolonnade, den Chineschischen Pavillon und Maxens Hof, finden. Nach dem Muster der Renaissance-Gärten wurde in der zweiten Hälfte des 17. Jahrhunderts der Blumengarten konzipiert: In seiner Mitte befindet sich außer einer achtkantigen, reich geschmückten Rotunde eine 244 Meter lange Kolonnade. Ferner gibt es hier den Löwenbrunnen und den Tritonen-Brunnen sowie auch ein viereckiges und ein kreisförmiges Labyrinth. Die Gärten von Kroměříž zählen in gesamteuropäischem Maßstab zu den wertvollsten Denkmälern historischer Gartengestaltung. Zusammen mit dem Schlossareal von Kroměříž wurden sie im Jahre 1998 in die UNESCO-Welterbeliste aufgenommen.
