Kiedy ulica Żeromskiego funkcjonowała jeszcze pod nazwą ulicy Lubelskiej, po jej południowej stronie, tuż przy Placu Konstytucji 3-go Maja, w latach 1827-1828, wzniesiono jeden z pierwszych budynków, znajdujących się przy tej ulicy. Obiekt zaprojektowany został przez Stefana Balińskiego. Budynek powstał dzięki inicjatywie radomskich przemysłowców: Ewie i Nepomucena Kierzkowskich. Elewacja zawiera charakterystyczny element monumentalnych budowli Grecji i Rzymu – tympanon, w którym umiejscowiony został herb Kierzkowskich oraz akcesoria wojenne. W pałacu znajdowało się niegdyś kasyno dla oficerów, czytelnia Polskiej Macierzy Szkolnej, sklep z arsenałem myśliwskim, a także szkoła muzyczna.
