Nach dem Tod von Montgelas (1838) wurde sein Anwesen an der heutigen Ismaninger Straße 109 an Herzog Max in Bayern veräußert. Der herzoglichen Familie war es jedoch nur bis zur Jahrhundertwende möglich, den Park zu halten. Die Absicht, hier den Münchner Tierpark anzulegen, ließ sich nicht verwirklichen, da die Stadt damals die erforderlichen Mittel nicht aufbringen konnte. Schloss und Nebengebäude verfielen.
Schließlich erwarb das 2,38 Hektar große Grundstück um 1900 der Maler Prof. Ernst Philipp Fleischer zur Errichtung eines Wohn- und Gesellschaftshauses, inklusive Gemäldegalerie und Atelier. Während andere Münchner Künstlerhäuser oft eine Zwischenstellung zwischen Herrschafts- und Wohnbauten einnahmen (wie etwa die Villa »Lindenhof« oder die Stuck-Villa), beauftragte Fleischer die Baufirma Heilmann & Littmann mit der Errichtung eines pompösen, barockisierenden Schlossbaus von 86 mal 21 Metern Grundgröße auf dem stattlichen Parkgelände. Eine Freitreppenanlage und überkuppelte Mittel- und Seitenrisalite wiesen das frei ins Grundstück gesetzte, langgestreckte Gebäude als aristokratische Wohnanlage aus und vermittelten den Anspruch des Künstlers, an der Spitze der gesellschaftlichen Rangfolge zu stehen. Anders als auch beim Lenbachhaus, wo Künstlertum und hohe soziale Stellung als Einheit präsentiert wurden, überwog bei Fleischers Schloss aber die Hervorhebung der gesellschaftlichen Einordnung. Das Atelier war dementsprechend, als solches nicht erkennbar, seitlich vom Hauptgebäude in einem Pavillon untergebracht und erschien nur als effektvolle architektonische Beigabe zum Haupthaus.
Die Pläne für das Riesenprojekt kamen von Architekt Franz Zell im Frühjahr 1909, doch schon ein Jahr später – der Monumentalbau mit seiner kostspieligen Sandsteinfassade war noch nicht einmal im Rohbau fertig -, wurden die Baumaßnahmen aufgrund finanzieller Schwierigkeiten eingestellt. Der Eigentümer hatte sowohl seine künstlerische Karriere als auch den Erfolg als Farbenfabrikant offensichtlich falsch eingeschätzt. Es wurde nichts daraus, dass man hoch zu Ross durch Aufschüttung beim Haupteingang in den ersten Stock reiten kann … Man versuchte erfolglos, den Rohbau zu verkaufen, aber das Objekt war für alle Zwecke zu überdimensioniert. Auch der Plan, das Gebäude abzureißen und auf dem Areal 30 Villen zu errichten scheiterte. Zurück blieb die Bogenhausener Schlossruine.