Herbert von Karajans erster Auftritt bei den Berliner Philharmonikern im April 1938 war eine Sensation – und entfachte die Eifersucht von Chefdirigent Wilhelm Furtwängler, der den Nachwuchs-Star seither als Rivalen empfand. Furtwängler starb 1954, weshalb man Karajan die Leitung einer bereits geplanten Amerika-Tournee im folgenden Jahr übertrug. Nachdem die Reise erfolgreich absolviert worden war, wurde 1956 Karajan zum Chefdirigenten ernannt. Eine neue Ära begann.
Karajan verkörperte den Dirigententyp des 20. Jahrhunderts: energisch, charismatisch, visionär, nicht nur der Musik, sondern auch anderen schönen Dingen des Lebens zugewandt. So war er ein begeisterter Pilot, Sportwagenfahrer, Skifahrer und Segler. Er bewunderte und verehrte Arturo Toscanini und Wilhelm Furtwängler, zwei Musikerpersönlichkeiten wie sie gegensätzlicher nicht sein konnten, und machte sich zum Ziel, das Beste von beiden zu seinem eigenen Stil zu verschmelzen.
Zu seinen Eigenheiten gehörte, dass er Konzerte meist mit geschlossenen Augen dirigierte, das irritierte viele Orchestermusiker. Allerdings waren sie durch die intensive Probenarbeit Karajans gründlich auf die Aufführungen vorbereitet worden. »Seine Philosophie lautete, dass alles, was das Orchester braucht, vorher zu geschehen hatte«, erinnerte sich Kontrabassist Rudolf Watzel.
Unter Herbert von Karajan entwickelten die Berliner Philharmoniker eine ganz eigene Spielkultur, die sich durch Klangschönheit, betörende Legati, Virtuosität und Perfektion auszeichnete.
Er bediente bevorzugt das klassisch-romantische Repertoire: Beethoven, Brahms, Bruckner, Schumann, Tschaikowsky, Wagner und Strauss. Darüber hinaus widmete er sich der Zweiten Wiener Schule sowie führenden Komponisten des frühen 20. Jahrhunderts wie Ravel, Strawinsky und Debussy und machte gelegentlich Abstecher ins Zeitgenössische mit Werken von Messiaen und Henze, ja sogar Penderecki.
Unter Karajans Führung entwickelten sich die Berliner Philharmoniker auch zum Global Player – dank spektakulärer Tourneen nach Amerika, Japan und China sowie zahlloser Ton- und Bildaufzeichnungen.
Karajan war ein Medienmensch, aufgeschlossen für sämtliche Neuerungen im Bereich der Aufnahmetechnik. Mit enzyklopädischer Zielstrebigkeit spielte er sein gesamtes Repertoire auf Schallplatte, später auf CD ein und hielt viele seiner Opern- und Konzertaufführungen filmisch fest. Die mediale Strahlkraft der Berliner Philharmoniker nahm durch die rege Produktionstätigkeit ihres Chefdirigenten enorm zu.
Äußeres Zeichen für den wachsenden Ruhm war der neue Konzertsaal, für dessen Bau sich Karajan energisch einsetzte. 1963 bezog das Orchester die von Hans Scharoun entworfene Philharmonie am Kemperplatz. Das Haus mit seinem neuen, avantgardistischen Konzertsaal, in dem das Podium und damit die Musik den Mittelpunkt bildet, unterstreicht das künstlerische Selbstverständnis von Orchester und Dirigent.
1987 erhielt die Philharmonie einen »kleinen Bruder«, den Kammermusiksaal, der von Scharouns Schüler und Mitarbeiter Edgar Wisniewski realisiert wurde.
Und noch weitere Neuerungen führte Karajan ein: 1967 gründete er die Salzburger Osterfestspiele, bei denen sich die Philharmoniker auch als Opernorchester profilieren konnten, 1973 folgten die Salzburger Pfingstfestspiele. Der 1969 erstmals veranstaltete Herbert-von-Karajan-Dirigierwettbewerb diente jungen Dirigenten wie Mariss Jansons und Valery Gergiev als Sprungbrett zur Weltkarriere.
Auch darüber hinaus förderte Karajan vielversprechende Talente, darunter Claudio Abbado, Seiji Ozawa und die Geigerin Anne-Sophie Mutter. Aus Sorge um den Nachwuchs initiierte er 1972 die Orchester-Akademie, die angehende Orchestermusiker auf die Arbeit in einem Berufsorchester vorbereitet. Herbert von Karajan und die Berliner Philharmoniker galten als »Dreamteam«. Doch die Zusammenarbeit der späten Jahre war überschattet von Auseinandersetzungen und der Entfremdung.
Der wohl in der Öffentlichkeit am spektakulärsten erscheinende Konflikt war der Fall der Klarinettistin Sabine Meyer, die Karajan – gegen den Einspruch des Orchesters – für die Berliner Philharmoniker verpflichten wollte. Im April 1989 legte Karajan nach neuerlichen Auseinandersetzungen sein Amt als Chefdirigent der Berliner Philharmoniker nieder. Drei Monate später starb er in Anif.