Böömin kuningas Otakar II lahjoitti Broumovin kallioisen niemen Břevnovin benediktiiniläismunkeille vuonna 1213. Vuonna 1322 perustettiin benediktiinien tuomiorovastin virka ja goottilaisen puolustuslinnan paikalle alettiin rakentaa luostaria. Alkuperäinen kirkko edusti gotiikkaa ja oli nykypäivän tapaan pyhitetty Pyhälle Vojtěchille. Protestanttien ja katolisten välisten hussilaissotien aikaan luostaria piiritettiin lukuisat kerrat, mutta vahvat muurit suojasivat sitä valloittajilta. Nykyinen täysbarokin mukainen ulkonäkö on vuosilta 1728 - 1733. Tällöin rakennustöitä johti arkkitehti Kilian Ignatius Dientzenhofer, joka suunnitteli myös sisätilat - prelaatin, ruokasalin ja kirjaston. Niiden toteutuksesta vastasivat Prahan barokin loistavat taiteilijat. Pyhän Vojtěchin apottikirkkoa koristavat Jan Jakub Steinfelsen Pyhän Vojtěchin elämää kuvaavat freskot sekä Václav Vavřinec Reinerin alttaritaulu ja Václav Matěj Jäcklin veistokset. Uskonsotia edeltävällä ajalla luostarin kymnaasi oli merkittävä oppilaitos, jossa opiskelivat mm. Prahan arkkipiispa Arnošt Pardubicelainen sekä kirjailija Alois Jirásek. Toisen maailmansodan päätyttyä suurin osa luostarin saksankielisistä munkeista siirrettiin Baijerin Rohriin. Myös jäljelle jääneet veljet joutuivat jättämään luostarin, jossa vuodesta 1950 toimi eri veljeskuntiin kuuluvien pappien ja munkkien keskitysleiri. 1990-luvulla se palautettiin benediktiiniläisveljille, joita ei luostarissa kuitenkaan asu. Yhteensä heitä on Tšekin tasavallassa vain parisenkymmentä ja veljeskunnan pääluostari on Břevnovin luostari Prahassa. Todennäköisesti Broumov tulee siirtymään benediktiiniläisnunnien käyttöön.
Nykyisin alue on yleisölle avoin. Opastetulla kierroksella näkee mm. Torinon lakanat vuodelta 1651 sekä ns. Vambergin muumion, papin muumioituneet jäännökset. Luostarin kellarissa on lukuisten merkkihenkilöiden hautoja. Kierroksella näkee myös kirkon sekä sakariston intarsiakoristellut huonekalut. Ruokasalin messukasukoiden näyttelyssä on esillä mm. aidoin böömiläisin granaatein koristeltu kasukka. Laajassa kirjastossa on noin 17 000 nidettä. Vanhojen painosten näyttely esittelee mm. Raamattuja. Taidegalleriassa on esillä mm. Petr Brandlin ja Molitorin maalauksia.
