Am Anfang stand ein Akt der Rebellion: Im März 1882 weigerten sich 50 Mitglieder der Kapelle des populären Musikdirektors Benjamin Bilse ihre neuen Kontrakte zu unterschreiben – zu schlecht erschienen ihnen die Konditionen: So sollten sie kaum mehr verdienen als Tagelöhner. Die Musiker beschlossen, sich selbständig zu machen und fortan auf eigenes Risiko zu arbeiten. Das neue Orchester nannte sich zunächst – mit Verweis auf seine Herkunft – »Ehemalige Bilsesche Kapelle« und verfolgte ähnliche Programmkonzepte wie sein früherer Arbeitgeber: In den sogenannten »Populären Konzerten« setzte es in der Regel mehr auf Unterhaltsames, während es in seinen »Sinfonie-Concerten« anspruchsvollere Werke und »Novitäten«, d.h. neue Stücke zeitgenössischer Komponisten, präsentierte.
Berlin war damals noch keineswegs eine europäische Musikmetropole von Rang. Den Ton gaben andere Städte an: Leipzig oder Wien. Diese verfügten über ein entwickeltes Konzertwesen und entsprechend repräsentative Konzertsäle. Die ersten Auftritte des »Philharmonischen Orchesters« – wie sich die Formation bald nannte – fanden hingegen in einem Gartenlokal statt. Vom Sommer 1882 an spielte das Orchester im Saalbau einer ehemaligen Rollschuhbahn in der Bernburger Straße, die über 2000 Plätze verfügte. Nach Renovierungen und Umbauten avancierte dieser zu Berlins wichtigstem Konzertsaal: der »Philharmonie«.
Das junge Orchester war sehr ehrgeizig und ambitioniert. Unter Dirigenten wie Ludwig von Brenner, Ernst Rudorff und vor allem Franz Wüllner feierten die Philharmoniker ihre ersten großen Erfolge. Die Selbstständigkeit barg jedoch finanzielle Risiken: Zwar bekamen die Musiker von Anfang an administrative Unterstützung von dem rührigen Konzertagenten Hermann Wolff, der mit ihnen eine eigene Abonnement-Reihe organisierte und sie sachkundig beriet. Doch schon bald nach der Gründung wurde das Orchester von einer schweren Existenzkrise gebeutelt.
Zur dauerhaften Sicherung ging es eine Kooperation mit der Königlichen Hochschule für Musik ein, die der berühmte Geiger Joseph Joachim leitete. Die Philharmoniker verpflichteten sich, der Hochschule für eine bestimmte Anzahl von Konzerten zur Verfügung zu stehen. Doch Joseph Joachim und Hermann Wolff waren zwei Persönlichkeiten mit unterschiedlichen musikalischen Weltanschauungen. Es kam zwischen ihnen zu Rivalitäten und Konkurrenz. Hermann Wolff gelang es, seinen Einfluss auf das Orchester stärker auszubauen und einen der bedeutendsten Dirigenten seiner Zeit als Ständigen Leiter seiner Abonnementskonzerte zu gewinnen: Hans von Bülow.