In der 1864 gegründeten „Bruderschaft der allerheiligsten Dreifaltigkeit“ engagieren sich Wiener Bürger, allen voran der Buchdruckerei-Besitzer Franz Eipeldauer (unterstützt von Karl Haiser) und der Domkapitular zu St. Stephan Ludwig Titus Graf Coudenhove, um die soziale Not im kaiserlichen Wien zu lindern. Zu dieser Zeit stirbt jede/r vierte BewohnerIn in Wien an Tuberkulose. Schwindsucht, Unterernährung oder Rachitis machen zahllose Menschen zu chronisch Kranken. Wer als „hoffnungslos und unheilbar krank“ gilt, wird verstoßen.
Als Hauptaufgabe sieht die Bruderschaft die Führung eines Hauses für „Unheilbare, Arme und Kranke“ an. Für die Betreuung der chronisch Kranken gewinnt sie den Orden der Barmherzigen Schwestern vom Hl. Vinzenz von Paul. (Diese zogen sich 130 Jahre später, also 2005 aus der Pflege zurück.)

Am 20. Juli 1875 kommen aufgrund eines Gestellungsvertrags vier Schwestern mit ihrer künftigen Oberin, Schwester Theresia Küpper, von Graz nach Wien.

Am 23. Juli 1875 eröffnet die „Bruderschaft von der Allerheiligsten Dreifaltigkeit“ das Haus der Barmherzigkeit nach nur 2jähriger Bauzeit in Wien-Währing. In diesem „Asyl für arme, verlassene, schwer- und unheilbar Kranke“ in der Vinzenzgasse waren zu Beginn 22 Männer, Frauen und Kinder untergebracht, die – in dieser Zeit einzigartig - auch kostenlos medizinisch behandelt werden.
Damit wird die Einrichtung zum Vorbild vieler ähnlicher Institutionen im In- und Ausland und kann als "Geburtsstätte der Geriatrie" bezeichnet werden.

Ein zentraler Stiftungsgedanke war bereits bei Gründung die „Pflege für arme, verlassene, schwer- und unheilbar Kranke unabhängig von Glaubensbekenntnis und Nationalität“ sowie „den Kranken Abwechslung zu bieten und Freude zu bereiten…“(Zitat aus der 50 Jahre Festschrift, 1925)

Das Haus der Barmherzigkeit hat bereits 500 Betten. Das schnelle Wachstum ist nicht zuletzt auf die zahlreichen Spenden von Privatpersonen zurückzuführen. Im Gästebuch finden sich Eintragungen von Kaiser Franz Joseph, Kaiserin Elisabeth und ihrer Tochter Marie Valerie.

„Im Oktober 1934 stehen 375 Frauen und 95 Männer in Pflege, mehr als die Hälfte davon sind bettlägerig. Behandelt werden: Alterskrankheiten, Nervenkrankheiten, Gelenksleiden, Geschwülste, Luestische Folgeerscheinungen (Syphilis), Tuberkulose und sonstige vor allem innere Leiden.“ (Zitat aus der Festschrift „60 Jahre Haus der Barmherzigkeit“.)

264 von 470 Personen waren bettlägerig und zwanzig von ihnen über 80 Jahre alt.

Anstaltsarzt Dr. med. Hans Mras zitiert in der Festschrift „60 Jahre Haus der Barmherzigkeit“ Immanuel Kant: „Der unheilbar Kranke will so behandelt und gepflegt sein, als wäre seine Krankheit heilbar, als vermöchte ärztliche Kunst sein wertvollstes, sein Leben zu erhalten, und zwar so, dass es für ihn auch lebenswert ist.“ Zu dieser Zeit werden im Haus 470 Kranke versorgt „und nie steht ein Bett leer!“

Theodor Kardinal Innitzer besucht aus Anlass des 60jährigen Jubiläums BewohnerInnen des Hauses in der Vinzenzgasse.

Im Rahmen des NS-Euthanasieprogramms verschwinden nach und nach alte, kranke und behinderte PatientInnen, darunter auch Kinder.
Zwei Überstellungen von zwanzig BewohnerInnen aus der Vinzenzgasse und dem Clementinum in die damalige Nervenheilanstalt „Am Steinhof“ sind dokumentiert.  So werden am 23. Oktober 1942 elf Kinder dorthin gebracht, die, wie die Chronik des Hauses festhält, „in kürzester Zeit, in manchen Fällen schon nach wenigen Tagen starben“. Aus dem Clementinum in Kirchstetten wird eine größere Anzahl Epileptiker abgeholt. Sie fielen der NS-Medizin als „unwertes Leben“ zum Opfer. Mit Sicherheit gibt es weit mehr Opfer als Namen bekannt sind. Im Gedenken an diese BewohnerInnen wurde 2002 eine Gedenktafel enthüllt.

Seit den 60ern-Jahren erhält das HB eine Spende von der Tanzschule Elmayer. Diese wird traditionellerweise am Faschingsdienstag beim Elmayer-Kränzchen überreicht.

1970 wird das Haus in Wien-Währing mit der Eröffnung des Antonigasse-Trakts erweitert, 1978 und 1982 werden neue Bauten in der Teschnergasse und Mitterberggasse errichtet.

Bundespräsident Dr. Rudolf Kirchschläger besucht BewohnerInnen des HB Vinzenzgasse.

Personalmangel ist im Bereich der Krankenpflege weit verbreitet. Jugoslawische Franziskanerinnen helfen bei der Pflege. Viele können auf Grund mangelnder Deutschkenntnisse jedoch nicht voll zur Betreuung der Kranken eingesetzt werden. Auch über die Zeitung sucht das Haus der Barmherzigkeit nach Hilfskräften. Gute Entlohnung wird versprochen. Gefordert werden „lediglich Pflichtbewusstsein und ein Herz für die Kranken“.

Ein neuer Trakt mit Pflegestationen wird in der Vinzenzgasse eröffnet.

Ab 1991 gibt es im HdB und im Clementinum eine „weltliche“ Pflegedienstleitung (Eva Mutz-Amon).

2003 wird anlässlich des 100 Jahr-Jubiläums im Clementinum das neuerbaute Pflegeheim eröffnet. Das Haus bietet Platz für 90 BewohnerInnen.

In der Maria-Rekker-Gasse (1100 Wien) wird ein HABIT-Wohnverbund mit zwei Wohngemeinschaften und einem internen Basalen Tageszentrum eröffnet. Weiters öffnet das Basale Tageszentrum in der Lobenhauerngasse (1170 Wien). Dort werden tagsüber 38 Klienten betreut und gefördert.

Im Juli 2008 übergibt die "Schwesterkongregation der Dienerinnen Mariens von Österreich" die Leitung des Pflegeheims „St. Josefsheim“ in Wien-Liesing an das Haus der Barmherzigkeit.