Schnell wurde die gastfreundliche Künstlervilla zum Treffpunkt von Münchner Persönlichkeiten der Jahrhundertwende: Wilhelm Furtwängler, Cosima Wagner, Prinzregent Luitpold, Kronprinz Rupprecht, Wilhelm Röntgen, Max Reger, Richard Strauss, Ricarda Huch, Hermann Levi, Karl Wolfskehl, Hans Pfitzner, Werner von Siemens, Georg Kerschensteiner gingen hier ein und aus. Am 18. Januar 1921 starb Adolf von Hildebrand in seiner Villa, die sein Sohn, der Religionsphilosoph Dr. Dietrich von Hildebrand und eine seiner Töchter, die Malerin und Bildhauerin Irene Georgii (verheiratet mit dem Bildhauer Theodor Georgii) erbten. Auch danach blieb die Villa ein Zentrum künstlerischer und intellektueller Begegnungen, bis 1933 Dietrich von Hildebrand vor den Nationalsozialisten aus München fliehen musste und die Erben das Haus nicht mehr halten konnten und verkauften.
Das Hildebrandhaus beendete mit dem Besitzerwechsel die glanzvollen Epoche einer Künstlervilla während der Prinzregentenzeit und wurde von jetzt an Zeuge eines der düstersten Kapitel deutscher Geschichte, der systematischen Enteignung, Verfolgung, Entrechtung, Deportation und Ermordung Münchner Juden während der nationalsozialistischen Zeit.
Am 25. September 1934 erwarb das Hildebrandhaus laut Kaufvertrag die Schriftstellerin Elisabeth Braun. Theodor Georgii sicherte sich ein lebenslanges Nutzungsrecht für ein Atelier und ein Quartier im Dachgeschoss. Zwischen 1937 und 1941 bewohnten um die 15 Personen das Haus, denn Elisabeth Braun nahm »nicht arisch« Verfolgte, vor allem allein stehende Frauen, im Hildebrandhaus auf, um sie vor dem nationalsozialistischen Regime zu schützen. Am 21. Juni 1940 schrieb Elisabeth Braun unter dem Druck der Repressionen ein Testament, in dem sie die »Evangelische Landeskirche in Bayern rechts des Rheins« als Erbin des Hildebrandhauses einsetzte. Die Kirche sollte das Anwesen zur Mission und vor allem den Verfolgten weiter zur Nutzung zur Verfügung stellen.
Im August 1941 wurden Elisabeth Braun und einige ihrer Mitbewohnerinnen in das Internierungslager in der Clemens-August-Straße 9 (Kloster der Barmherzigen Schwestern) in Berg am Laim umgesiedelt und im November 1941 nach Kaunas in Litauen verbracht, wo sie am 25.11.1941 erschossen wurde. Am 11.3.1948 wurde Elisabeth Braun für tot erklärt, die von ihr vorgesehene soziale Nutzung des Hildebrandhauses wurde jedoch nicht realisiert.
Eine am 19. November 2004 vor dem Hildebrandhaus errichtete Installation mit 17 weißen Koffern von Wolfram P. Kastner und Peter Weismann erinnerte an die ermordeten Elisabeth und Rosa Braun sowie die 15 Bewohner, denen sie in der Villa Zuflucht gewährt hatte. Parallel dazu setzte die Ausstellung »Auf einmal da waren sie weg …« ein Zeichen gegen Ausgrenzung und Vergessen der jüdischen Mitmenschen in Bogenhausen während des »Dritten Reichs«. Am 26. November 2009 enthüllte Kulturreferent Dr. Hans-Georg Küppers in Erinnerung an Elisabeth Braun und die 15 jüdischen Bewohner eine Gedenktafel im Eingangsbereich der Villa.
1965 verkaufte die Evangelisch-Lutherische Landeskirche Bayern das Anwesen für ca. 700.000 DM an den Generalkonsul Edgar Heckelmann. Er beantragte sofort eine Abbruchgenehmigung. Der für den Immobilienbesitzer arbeitenden Architekt und Karikaturist Ernst Maria Lang attestierte der Villa Hausschwamm und Mauersalpeter und arbeitete bereits Pläne für einen Neubau auf dem wertvollen Grundstück nach dem Abriss der Künstlervilla aus. Die Abrissgenehmigung wurde jedoch von der Stadt München abgelehnt – bei einem weiteren Objekt Heckelmanns, der nahe gelegenen Villa Oberkamp in der Möhlstraße 44, erfolgte dies übrigens nicht und die Biedermeier-Villa wurde 1964 planiert und durch einen Wohnblock ersetzt.
Bis 1969 zogen die letzten Mieter (in der Mehrzahl Künstelrinnen und Künstler, unter ihnen auch der Bildhauer Rolf Nida-Rümelin) aus und das Haus verfiel rapide. Im selben Jahr erwarb die Raulino Treuhand- und Verwaltungs AG den Besitz für 1,6 Millionen DM und konnte zunächst eine Abbruchgenehmigung vor Gericht erstreiten. Doch nach einem vier Jahre dauernden Rechtsstreit gelang es der Stadt München, das Anwesen unter Denkmalschutz zu stellen (1. Oktober 1973). Sie kaufte die Villa im Oktober 1974 für ca. 2,5 Millionen DM aus den Mitteln des Bayerischen Denkmalschutzfonds. Die Schwierigkeiten der Stadt München diese bedeutsame Künstlervilla vor dem Abriss zu retten, trugen zur Novellierung des Bayerischen Denkmalschutzgesetzes wesentlich bei (Gedenktafel im Inneren der Villa).
Mit einem Kostenaufwand von weiteren 2,4 Millionen DM wurde die Künstlervilla für den Einzug der Monacensia, dem Literaturarchiv der Stadt München, umgebaut, renoviert und in die Ausstattung investiert, die eigens auf die Monacensia-Sammlung zugeschnitten wurde. Ab 1984 kam die Diskussion über einen Umzug der Monacensia in den Gasteig auf. Julian Nida-Rümelin, der in dem Haus aufgewachsen ist, setzte sich für die Nutzung als Künstlerhaus ein. Er schrieb: „In ein Künstlerhaus mit fünf Ateliers gehören Bildhauer, Maler, Musiker, aber keine Bücher.“ Ein Stadtratsbeschluss im April 1986 setzte dem Tauziehen ein Ende und die Monacensia-Sammlung verblieb in den Räumen des Hildebrandhauses.
Heute stehen hier das Literaturarchiv und die Bibliothek der Monacensia, als Institut der Münchner Stadtbibliothek, der Öffentlichkeit zur Verfügung. Als literarisches Gedächtnis der Stadt München erforscht die Monacensia die regionale Kulturgeschichte und präsentiert ihre wertvollen Ergebnisse in Publikationen, Ausstellungen und Veranstaltungen.
