Als Arthur Nikisch – seit 1895 Chefdirigent des Berliner Philharmonischen Orchesters – 1922 starb, bewarb sich der 36-jährige Wilhelm Furtwängler um dessen Nachfolge und überzeugte sowohl die Orchestermitglieder wie auch das Management. Mit ihm kam eine Musikerpersönlichkeit ans Pult der Berliner Philharmoniker, die auf den Errungenschaften seiner Vorgänger Hans von Bülow und Nikisch aufbaute und dem Orchester zu weiterhin steigendem Renommee verhalf. Wie Nikisch verstand sich auch Furtwängler als Neuschöpfer der Werke.
Legendär war seine eigenwillige Schlagtechnik, die von den Musikern eine große Eigenverantwortlichkeit und Sensibilität forderte. Furtwängler formte die Berliner Philharmoniker zu seinem ureigensten Instrument, das seine interpretatorischen Vorstellungen kongenial umsetzte. Beethoven, Brahms und Bruckner bildeten die Eckpfeiler seines Repertoires, aber er setzte sich auch für zeitgenössische Komponisten wie Prokofjew, Strawinsky, Bartók, Schönberg und Hindemith ein – nicht immer zur Freude des Publikums, und ab 1933 schon gar nicht im Sinne der nationalsozialistischen Führung.
1934 kam es zum Eklat: Nachdem die NS-Regierung die Uraufführung von Hindemiths Oper Mathis der Maler verboten hatte, legte Furtwängler sein Amt als Chefdirigent nieder. Ein Jahr später kehrte er – der sich als unpolitischen Künstler bezeichnete, nie der NSDAP angehörte und sich für viele jüdische Musiker einsetzte – zu den Philharmonikern zurück – jedoch nur als Dirigent der Philharmonischen Konzerte, ohne offizielle Ämter zu übernehmen. Gleichwohl betrachtete er die Philharmoniker weiterhin als »sein« Orchester.
Im Gegensatz zu seinen Vorgängern nahm er starken Einfluss auf dessen künstlerische und organisatorische Belange. Nach 1945 erhielt Furtwängler Berufsverbot. 1947 in einem Entnazifizierungsverfahren freigesprochen, stand er erstmals im Mai desselben Jahres wieder am Pult der Philharmoniker. Die Position des Chefdirigenten erhielt er offiziell allerdings erst 1952, zwei Jahre vor seinem Tod, zurück.
Auch die triumphalen Erfolge mit Wilhelm Furtwängler konnten die prekäre finanzielle Situation der Berliner Philharmoniker nicht verbessern. 1933 steckte das Orchester in einer besonders schweren Existenzkrise und sah nur einen Ausweg: die Umwandlung in ein Staatsorchester. Die nationalsozialistische Führung übernahm nur zu gerne die Finanzierung des berühmten Klangkörpers, mit dem sie sich auf ihren Veranstaltungen schmückte. Für das Orchester waren die Jahre des Dritten Reichs eine Gratwanderung zwischen der Erfüllung kulturpolitisch-ideologischer Vorgaben und der Bewahrung künstlerischer Autonomie.
Es genoss zwar eine privilegierte Stellung (die Musiker waren vom Kriegsdienst freigestellt), widersetzte sich jedoch auch immer wieder der künstlerischen und politischen Einflussnahme durch die nationalsozialistischen Machthaber. Die Konzertagentur Wolff, ein jüdisch geführtes Unternehmen und von Anfang an ein wichtiger Partner der Berliner Philharmoniker, hielt den Repressalien des Regimes nicht stand und löste sich 1935 auf. Am 30. Januar 1944 wurde die Philharmonie bei einem Bombenangriff zerstört. Das Orchester, nun heimatlos geworden, spielte weiter: vor allem in der Staatsoper, im Admiralspalast, im Berliner Dom. Mit der Kapitulation Deutschlands im Mai 1945 begann auch für die Berliner Philharmoniker eine neue Zeit.
Der Konzertbetrieb wurde nach Kriegsende schnell wieder aufgenommen – trotz schwieriger Bedingungen: das angestammte Haus zerstört, Furtwängler vorerst mit Auftrittsverbot belegt und die materielle Zukunft ungesichert. Doch in Leo Borchard, der sie seit 1933 mehrfach geleitet hatte, fanden die Philharmoniker rasch einen Dirigenten für den schwierigen Neubeginn. Das Orchester spielte in verschiedenen Ausweichquartieren: in Kinos und Gemeindezentren, im Titania- und Admiralspalast sowie der Städtischen Oper.
Die fruchtbare Zusammenarbeit zwischen Borchard und den Philharmonikern endete plötzlich und tragisch, als der Dirigent an einem Augustabend versehentlich von einem amerikanischen Soldaten erschossen wurde.
Das war die Stunde des jungen, unbekannten und noch unerfahrenen rumänischen Dirigenten Sergiu Celibidache. Ihm wurde die Leitung des Orchesters anvertraut, und er erwies sich als »Taktstockgenie«, das die Philharmoniker künstlerisch sicher durch die unruhigen Nachkriegsjahre dirigierte – zugleich auf die Nachfolge Furtwänglers hoffend.
Daneben begann eine neue junge Dirigentengeneration gerngesehene Gäste des Orchesters zu werden: Georg Solti, Ferenc Fricsay und André Cluytens. Im Laufe der Jahre klärte sich auch die materielle Situation. Anfänglich vom Magistrat des amerikanischen Sektors unterstützt, wurden die Berliner Philharmoniker 1949 eine städtische Einrichtung.
Im selben Jahr gründeten engagierte Berliner Bürger die Gesellschaft der Freunde der Philharmonie e.V. (heute Freunde der Berliner Philharmoniker e. V.) mit dem Ziel, dem Orchester wieder zu einem eigenen Konzertsaal zu verhelfen.