Po utworzeniu w 1815 r. Królestwa Polskiego Radom został wytypowany na miejsce stacjonowania 2 Kompanii Lekkiej 1 Brygady Artylerii Pieszej, czyli ok. 260 żołnierzy i oficerów. Decyzja ta oznaczała, że miasto i mieszkańcy muszą zapewnić wojsku mieszkania, koniom stajnie, a także znaleźć pomieszczenia na sprzęt, broń i amunicję. No chyba, że wybuduje się koszary. Do ich zorganizowania władze Radomia wezwała w lutym 1817 r. Komisja Województwa Sandomierskiego. Mieszkańcy miasta i okolicznych miejscowości zobowiązali się do przekazania na ten cel ok. 21 tys. zł. Koszary zdecydowano się usytuować na północny wschód od miasta – między szosą warszawską, dzisiejszą ul. Chrobrego, pl. Jagiellońskim i Potokiem Północnym. Wcześniej tereny te należały do parafii farnej; na początku XIX w. przejęło je państwo.
W latach 1817-22 w miejscu, gdzie dziś jest pl. Żołnierzy 72 PP, powstały, zaprojektowane w stylu klasycystycznym, magazyny i stajnie. Od piaskowego koloru tynków ta część koszar została później nazwana „żółtymi”. „Najpiękniejszą atoli ozdobą Radomia są stajnie artylerii konnej i szopy na działa. Są one tak gładko zbudowane, tak pięknie pomalowane, tak czysto utrzymane, ogrodzone, iż w miniaturze można by je postawić za serwis do wetów” - zachwycał się w 1820 r. Julian Ursyn Niemcewicz.
Po przeciwnej stronie szosy warszawskiej urządzono plac do ćwiczeń. Stanęły tu też koszary „czerwone” - nieotynkowane. W drugiej połowie XIX w. rosyjski zaborca rozbudował je nieomal do cmentarza prawosławnego. Wybudowano także kompleks 10 budynków dla wojska.
Do czasów powstania listopadowego w koszarach stacjonowało wojsko polskie, potem – aż do połowy 1915 r. - Rosjanie, później Austriacy, a od jesieni 1918 r. – znów wojsko polskie.
Z czasem niektóre budynki przeznaczono na potrzeby cywilne, głównie na potrzeby szpitala św. Kazimierza. Stajnie z kolei w okresie międzywojennym przerobiono na mieszkania dla bezrobotnych. Nieco później na terenie koszar wybudowano stadion piłkarski i pływalnię.
Na początku okupacji koszary zajęli Niemcy. Utworzyli tu przejściowy obóz jeniecki dla żołnierzy polskich, głównie z Samodzielnej Grupy Operacyjnej „Polesie” gen. Franciszka Kleeberga. W październiku 1945 r. ponownie do koszar wróciło polskie wojsko; stacjonował tu 2 Pułk Artylerii Lekkiej. Kiedy pod koniec lat 50. żołnierze opuścili budynki, zaadaptowano je na mieszkania dla radomian. W 2002 r. pozostałe obiekty wyburzono, a teren miasto sprzedało inwestorowi galerii Słonecznej.
Do dzisiaj przetrwały dwa parterowe neogotyckie budynki przy ul. Malczewskiego 20B (obecnie siedziba Ośrodka Interwencji Kryzysowej) oraz tzw. bloki oficerskie przy ul. Malczewskiego 20, 26 i 26A.
