Niespełna 30 lat później Dolny Śląsk staje się obszarem walk w wojnach husyckich. W roku 1420 zamek zdobywa Franz von Pogorell, rycerz rozbójnik, a dziewięć lat później ród Schelllendorfów, którzy łupią okoliczne wsie i karawany kupieckie długo po zakończeniu wojen. W 1483 roku na rozkaz króla czeskiego Macieja Korwina zamek zdobywa Georg von Stein i wysadza go powietrze. Dzieła ostatecznego zniszczenia w kolejnych latach dokonują miejscowi chłopi, którzy rozbierają większość murów zamku jako materiał budowlany.
„Rankiem, na świętego Michała Roku Pańskiego 1483, pod mury naszego Rogowca przybył Korwinowy pacyficator, surowy niczym ów dominikanin Torqemada, słusznie przy tym swoim nazwiskiem zwany, Georg von Stein, co nie inaczej, jak na Kamień się tłumaczy. Panowie moi, Niclas i Hanz ze Schellendorfów, raubritterzy i hulaki okrutne, zadrżeli na wieść o tem. Siła rejzy Steinowej nie była wielka, pół setki zbrojnych najwięcej, ale sława okrywająca dowódcę potężna. Poselstwo von Steina, zwanego też Praskim Sprzątaczem, zawarowało natychmiast punkty kolejne kapitulacji moi panków. Sprzątacz z Pragi dał nam czas do południa na opuszczenie zbójeckiej sadyby, przy tym jako golce zamek mieliśmy zostawić.
Rejwach tedy powstał, bo pankowie w komorze piwnicznej skarbek już spory zgromadzili łupiąc kupców i wielmożów na trakcie i zostawić go nie chcieli. Koniec końców skórę własną woleli ratować. Skarbek zakamuflowali, a na przedmurze jak stali z końmi tylko wyszli. I tak ich Sprzątacz von Stein wziął i na powrozach powiesił za pięści, a gdy o majątku zdać sprawy nie chcieli, pobliską lipę nimi przyozdobił. Truchła ich aż do jesieni wisiały pod zamkiem. Sługi von Steina Rogowiec do skały przejrzeli, ale skarbku Schellendorfów nie naszli. Praski Sprzątacz marsa na twarzy objawił, poczem uśmiechnął się złowieszczo i nakazał prochu w mury nasypać i zamek w niwecz obrócić.
Tak oto skarb raubritterów do dzisiaj na zamku się ostał.” Z opowieści pachołka w jednej z tabern w Reichenbach spisany roku 1524 przez cystersa brata Anzelma.
Religijne wojny husyckie (1419-36) wprowadziły na południu Dolnego Śląska spore rozprzężenie w strukturach ówczesnej władzy. W wielu miejscach powstały dziedziny „bezkrólewia”, które chętnie pod swe ciemne skrzydła brali rycerze rabusie zwani raubritterami. Ci z rodów szlachetnych panowie, w zmiennym ogniu pochodów wojsk i bitw, pragnęli z chciwości wykorzystać sytuację. Sytuowali się na niedostępnych warowniach, by stamtąd wyruszać na grabieżcze misje do okolicznych wsi i osad, nie szczędząc przy tym przemierzających tutejsze trakty kupieckich karawan, poselstw, ani podróżujących bogaczy. Wojny husyckie ustały, raubritterzy jednak, rozpasani w bandyckim rzemiośle, ani myśleli powrócić do spokojnego trybu życiu.
Na warowni Rogowiec nasamprzód – jeszcze w czasie husyckich rejz – osiadł w 1420 roku Franz von Pogorell. Dziewięć lat później Rogowiec przejęła niechlubna familia Schellendorf, która pozostała na nim aż do czasu, kiedy to król czeski Maciej Korwin, zmęczony narzekaniami mieszkańców na bandycki proceder Hansa i Niklasa Schellendorfów, wysłał z misją na północ swojego ulubionego pacyfikatora Georga von Steina. W 1483 roku Georg von Stein wysadził w powietrze Rogowiec, który nigdy już nie podniósł się z ruiny.
Historia warowni Rogowiec jest krótka. Kamienny zamek powstał na miejscu drewnianej fortecy w połowie XIII wieku. W 1392 roku Rogowiec wraz z dobrami księstwa jaworsko-świdnickiego przechodzi pod panowanie czeskie. Niewiele później następują na tych terenach rejzy oddziałów husyckich, szczególnie taborytów, którzy plądrują zamek. Później budowlę przejmują kolejny raubritterzy. Rogowiec, jako sadyba dla rabunkowych wypadów rodu Schellendorf służy aż do roku 1483, kiedy to pacyfikator króla czeskiego Macieja Korwina, Georg von Stein przybywa z jego rozkazu, zdobywa zamek i wysadza go w powietrze. Rogowiec nigdy nie wróci już do życia.