Pomysł wybudowania pustelni z kaplicą powstał podczas pierwszego pobytu Brata Alberta (Adama Chmielowskiego) w Zakopanem, gdy przyjechał odwiedzić przebywającego tu na leczeniu swego monachijskiego i warszawskiego przyjaciela, Stanisława Witkiewicza. Plany te stały się realne, gdy Władysław hr. Zamoyski ofiarował grunt pod budowę klasztoru na Kalatówkach. Albertyni przyjechali do Zakopanego 29 stycznia 1898 r., a budowę – wg proj. Stanisława Witkiewicza – rozpoczęli na wiosnę. Najpierw wybudowano klasztor
w formie baraku, a następnie kaplicę. Poświęcenia dokonał 14 grudnia tegoż roku ks. Kazimierz Kaszelewski. W 1899 r., w ogrodzie przed kaplicą wzniesiono kapliczkę w formie groty, a w 1901 domek Brata Alberta, w którym zamieszkał po objęciu pustelni przez siostry (bracia w 1902 r. przenieśli się do klasztoru na pobliskiej Śpiącej Górce). W 1911 r. zbudowano oddzielny domek dla sióstr chorych na płuca. Kolejna rozbudowa miała miejsce po r. 1934. W maju 1968 r. został zniszczony dach chatki podczas pamiętnego wiatru halnego.
Zespół stanowi pierwsze zastosowanie stylu zakopiańskiego w architekturze sakralnej.