מצודת קרומלוב נוסדה במחצית המאה ה-13 על צוק סלעי תלול כשמתחתיה מתפתל הנהר ולטָבָה. מייסדי המצודה היו האדונים מקרומלוב , המשתייכים למשפחת אצולה צ'כית נכבדת בשם וִיטקובצִי. בשנת 1302 המצודה עברה לבעלות משפחת רוז'מבֶּרג שהפכה אותה למעונה המרכזי. בתקופה של וילאם מרוז'מברג, הטירה הגותית הענקית שופצה, תחת הדרכתם של אומנים איטלקיים, למעון ייצוגי מונומנטאלי בסגנון רנסנס. באותה תקופה נעשתה קרומלוב למרכז תרבותי ,חברתי וכלכלי של הדומיניון הרחב של רוז'מבֶּרג. פטר ווק מרוז'מברג מכר את המעון לרודולף ה-2 מסיבות כלכליות. אך, כף רגלו של רודולף ה-2 מעולם לא דרכה במקום ובשנת 1622 בן דודו, הקיסר פרדיננד ה-2 העניק את הטירה לבנקאי שלו יָאן אולדזִ'יך מאֶגֵנבֶּרג. בסוף המאה ה-17, בתקופתו של יָאן קרִיסטִיאָן מאֵגֵנבֶּרג, הטירה עברה שיפוץ מקיף נוסף לסגנון בארוק. האולמות יושרו כך שנוצר מפלס אחד, נבנו בתי מדרגות ענקיים, עוצבו גני הטירה ונוסד בנין חדש של תיאטרון ומטבעה. לאחר סיום שושלת אגנברג, עברה קרומלוב בירושה למשפחת שווַרצֵנבֶּרג ומאיחוד הרכוש של שתי משפחות האצולה הללו נוצר דומיניון המזכיר במיקומו ובגודלו את תקופת שושלת רוז'מברג. שיפוצים בסגנון הבארוק המאוחר ורוקוקו בוצעו בתקופת יוסף אדם משוורצנברג. במהלך השיפוצים הוא חידש את אולם המראות ואולם הנשפים, שקושט בציורי רוקוקו אשלייתי על ידי יוסף לֵדֵרֶר. המבנה של תאטרון אגנברג חודש וצויד באוסף גדול של תפאורות מציירים וינאים, תלבושות של תיאטרון ואביזרי במה מהמאה ה-18.
בֵּלַריה, ארמון הקיץ, העומד בגן, שופץ, נבנה פאביליון מוסיקה מעץ ונוסד בית ספר חורף לרכיבה. התיאטרון והפארק נגישים מהפרוזדורים של הקומות העליונות דרך הגשר הבארוקי, מבנה טכני מיוחד החוצה את תעלת המגן של הטירה. בסוף המאה ה-18 נפסקה פעילות הבנייה הנמרצת בקרומלוב והטירה ננטשה. רק בשנת 1900 הדוכס אָדולף יוסף משוורצנברג החל בחידוש הטירה והחליט לפתוח חלק מהחדרים הייצוגיים לציבור. בשנת 1940 כל הרכוש של משפחת שוורצנברג הוחרם על ידי הגסטאפו. אחרי מלחמת העולם השנייה הטירה הייתה שוב נגישה לציבור.
בשנת 1992 כל הקומפלקס ההיסטורי של קרומלוב נכלל ברשימת מורשת תרבותית עולמית של אונסק"ו.
