Pierwsze obiekty były zapewne drewniane, ale jeszcze przed 1480 wzniesione zostało murowane prezbiterium kościoła św. Katarzyny, z wieżą i zakrystią oraz przyległymi do niej pomieszczeniami biblioteki i spiżarni. Rozbudowa konwentu trwała do pierwszych lat XVI wieku. Przy jednonawowej świątyni powstały od południa zabudowania klasztorne z czworobocznym wirydarzem z krużgankami pośrodku i skrzydłem gospodarczym. Z XVI stulecia pochodzi budynek gospodarczy z piramidalnym kominem, tzw. piekarnik. Mieściła się tu kuchnia klasztorna i warzelnia wosku. Jest to jedyny tego typu obiekt w kraju i jeden z nielicznych na świecie. Pod koniec XVI wieku od strony północnej kościoła dobudowana została kaplica św. Anny. Późnorenesansowy szczyt kaplicy, przekształcony zresztą w XIX wieku, powstał prawdopodobnie na początku XVII stulecia. Między 1842 a 1855 rokiem do kaplicy św. Anny dostawiono nieco mniejszą kaplicę św. Agnieszki (albo Aniołów Stróżów).
W czasie poprzedzającym powstanie styczniowe klasztor był głównym miejscem działalności patriotycznej w Radomiu. To tutaj gen. Marian Langiewicz dokonał przeglądu uzbrojenia i sprawdzał stan przygotowań do wybuchu powstania. W lipcu 1863 roku zabudowania klasztorne zostały zajęte przez wojska carskie i przeznaczone na więzienie.
27 listopada 1864 władze zaborcze – za pomoc udzielaną powstańcom – zdecydowały o kasacie konwentu. Bernardyni musieli opuścić Radom, a budynki przejął rząd gubernialny. Obowiązek opiekowania się opuszczonym kościołem spadł na sandomierską kurię, która wyznaczała księży rektorów do sprawowania tu mszy.
Ok. roku 1906 czynione były starania o zniesienie kasaty i powrót bernardynów, ale gubernator warszawski stanowczo się temu sprzeciwił. Zakon ponownie znalazł się w Radomiu dopiero w 1936. Być może jednak nadzieja na rychły powrót bernardynów skłoniła ks. rektora Piotra Dembowskiego do restauracji, a przy okazji rozbudowy świątyni. O zaplanowanie i nadzorowanie tych prac poproszono Stefana Szyllera, prawdopodobnie na przełomie 1909 i 1910 roku. Ostateczny kształt projekt przybrał w lipcu 1911.
https://www.cozadzien.pl/zdjecia/kosciol-oo-bernardynow-oswietlony/43648
Najpierw w kościele skuto tynki, co pozwoliło odsłonić fragmenty pierwotnej polichromii i napisów gotyckich oraz późniejsze malowidła. Przy okazji w zamurowanych framugach okien kaplicy św. Anny odkryto obrazy – Chrystusa i św. Anny. Przebudowa objęła północną i zachodnią część świątyni. Dzięki połączeniu kaplic św. Anny i św. Agnieszki powstała nawa boczna. Od północy dobudowano do niej kruchtę z bogato zdobionym portalem zwieńczonym płaskorzeźbą. We wnęce umieszczona została figura Chrystusa. Zmieniła się też kruchta od strony zachodniej – Szyller ją obniżył, by odsłonić rozetę w fasadzie, dodał neogotycki szczyt schodkowo-sterczynowy i narożne przypory. Z lewej strony kruchty powstała okrągła wieżyczka, w której poprowadzono schody na chór. Wejście do kruchty zyskało gotycki portal – przeniesiono go z dawnej kaplicy św. Agnieszki. Szyller zaprojektował również nowy, neogotycki chór.
Radomski zespół należy do najlepiej zachowanych średniowiecznych założeń bernardyńskich w Polsce.
Na podstawie książki Małgorzaty Omilanowskiej Architekt Stefan Szyller 1857–1933 oraz przewodnika Szlak architektoniczny Stefana Szyllera. Prace na ziemi radomskiej.