Stavba kláštora bola zahájená v roku 1694 na dvoch pozemkoch, ktoré piaristi odkúpili od mesta a dokončená v roku 1713. Je to dvojpodlažná budova s excentricky umiestnenou kaplnkou. Má nepravidelný štít priečelia, za ktorým sa nachádza baroková strešná vežička. Neskoršími úpravami stavba získala klasicistický ráz.
V kaplnke bývalého kláštora je dnes umiestnený najstarší oltárny obraz v Brezne – tabuľová maľba sv. Barbory z neskorogotického krídlového oltára kostola Na bráničke – pochádzajúci z konca 15. storočia. Zároveň je tu umiestnená aj najstaršia hnuteľná pamiatka mesta Brezna – plastika Madony s dieťaťom – polychrómovaná drevorezba z konca 15. storočia, umiestnená na neogotickom oltári.
Kostolík (kaplnka) pôvodne slúžil ako domáca kaplnka piaristov a pre školskú mládež. Rozmery: dĺžka 18 metrov, šírka 6 metrov, výška 4,5 metra. V roku 1848 breznianskym farárom (čiže piaristom ako užívateľom farského benefícia) bola odňatá dežma. Piaristom sa nedostávalo žiadnej pomoci, aj mesto im ju odoprelo. Zatvorili gymnázium a chystali sa odísť. 14. -16. januára 1851 komisia zaistila nehnuteľnosti patriace farskému benefíciu a kollégiu piaristov. Na základe šetrenia tejto komisie piaristi 9. -11. júna 1856 odovzdali faru banskobystrickému biskupovi Štefanovi Moyzesovi. Kláštornú budovu darovali štátu s tým, že kláštorný kostolík zastane majetkom katolíckej cirkvi. Štát túto podmienku prijal, ale patronátne povinnosti nad kláštorným kostolíkom neprevzal. Kláštorný dom bol odovzdaný štátu a bol tu umiestnený berný úrad, okresný súd a niekdajšie izbičky pátrov boli prerobené na väznicu. Bolo to v roku 1898. Pri tejto príležitosti dal štát opraviť nielen bývalý kláštorný dom ale aj kláštorný kostolík. Vymenili a osadili sa nové okná a dvere. Bol vymaľovaný zvnútra a zvonku. Dlažba vo vnútri bola vyložená cementovými kvadričkami. Ostatnú vnútornú opravu hradila kostolná pokladnica. V roku 1906 kostolík dostal gotický drevený oltár s novými bočnými sochami – archanjela Michala a svätého Jána Nepomuckého. Do stredu oltára bola umiestnená socha Madony s dieťaťom. V roku 1927 boli zakúpené: bočný oltár svätého Jozefa Kalazánskeho v gotickom slohu, gotická spovedelnica, železné šránky, kostolnícka lavica, nový kríž do sakristie. Kostolík bol vymaľovaný znovu v roku 1928. Vtedy boli zakúpené i nové lavice, ktoré dodal brezniansky stolár Ján Cudzí.
Socha Madony s dieťaťom znázorňuje Pannu Máriu s Ježiškom. Bola zachránená pri požiari v roku 1517. Patrí medzi najstaršie a najvzácnejšie pamiatky mesta. V roku 1906 bol a obnovená štiavnickým majstrom Jozefom Kraussom. Táto neskorogotická pamiatka potom prežila I. a II. svetovú vojnu. Zub času ju stále nahlodával, ale správcovia fary márne žiadali o povolenie sochu reštaurovať. Až 15. septembra 1989 správca fary Jozef Šmál prostredníctvom biskupského úradu v Banskej Bystrici dostal od ONV povolenie reštaurovať vzácnu Madonu. Hned‘ v tom istom mesiaci bola socha odovzdaná Vysokej škole výtvarných umení v Bratislave. Prácu previedol Štefan Mlich pod vedením profesora Porubského. Socha bola na oltár Piaristického kostolíka v Brezne inštalovaná 17. a 18. augusta 1990 a vysvätená banskobystrickým biskupom Rudolfom Balážom.
Zdroj: Mesto Brezno – www.brezno.sk
