1744-ben Johann Entzenhoffer bécsi építész tervei szerint, a budai Mayrhoffer Ádám kőművesmester vezetésével megkezdődik a kiscelli trinitárius kolostor építése. Mayrhoffer halála (1747) után Jäger János Henrik irányításával folytatták a munkát. 1747-ben a kolostor templomának ünnepélyes alapkőletétele.
A templom építését Schaden János Mihály budai mester irányítja. A templom kriptájában egyedül Zichy Miklóst temették el 1758-ban. 1784-ben II. József feloszlatja a trinitárius rendet. A kiscelli kolostor berendezési tárgyait elárverezik. A kiscelli kolostor- és templomépületet az Esterházy gyalogezred laktanyájává alakítják. A templom terét négy szintre osztják, a templom tornyait visszabontják, az építtető Zichy Miklós síremlékét lebontják. (az erről leszerelt domborműves portréját a kriptában helyezik el).
1793-1801 között az épületbe a koalíciós háború során francia hadifoglyokat szállásolnak el. Az elkövetkező évtizedekben tüzérségi és katonai ruharaktárként, hadikórházként, valamint hadastyánok menhelyeként használja az épületet a hadikincstár. 1890-ben felszámolják a kiscelli katonai ruharaktárt, a hadikincstár megpróbálja értékesíteni az épületet. Ideiglenesen szükséglakásokat alakítanak ki benne. 1910-ben a bécsi bútorgyáros és műgyűjtő, Max (Miksa) Schmidt megvásárolja az épületet.
1935-ben Schmidt Miksa meghal. A kastélyban a lakberendező cégének bemutatótermeit rendezi be, az egykori templomtérben pedig műgyűjteményét helyezi el. Végrendeletében az ún. Attila-parkot, az épületet, és az abban hátrahagyott műgyűjteményt a fővárosra hagyja azzal a kikötéssel, hogy a parkot a budai gyermekek számára közparkká alakítják, a műkincseit tartalmazó épületet pedig múzeumként nyitják meg a nagyközönség előtt.
1944-1945-ben a kiscelli épületegyüttes súlyos sérüléseket szenved Budapest ostromakor: a templom mennyezete beomlik, a Johann Gfall által festett mennyezetfreskók megsemmisülnek. 1956-ban a múzeumba három katona, valamint tizenévesek csoportja veszi be magát. Kilőnek egy szovjet menetoszlopban haladó tehergépkocsi sofőrjét a Bécsi úton, majd néhány nap alatt megadják magukat. A három felnőttet 1958-ban kivégzik.
A XVIII. századi kolostor templomtere alatt végigfutó kripta eredetileg a Zichy-család temetkezőhelye volt. Óbuda egykori földesura, Zichy Miklós volt itt eltemetve, akinek a síremlékét a templom szentélyében állították fel. A trinitárius szerzetesrend feloszlatása után, 1784-ben a kolostorral együtt a kriptát is kiürítették, a síremléket pedig lebontották - egyes darabjai ma a múzeum gyűjteményében találhatóak. A kripta ma filmforgatások kedvelt helyszíne.
