1872 wurde er „artistischer Direktor“ der „Gesellschaft der Musikfreunde“, also Leiter der Wiener Philharmoniker. Bereits nach drei Jahren wurde der Vertrag aufgelöst. Finanziell unabhängig und als Komponist, Konzertpianist und Dirigent gleichermaßen gefragt, unternahm er weite Konzertreisen, auf denen er überwiegend eigene Werke aufführt.
1894 geriet Brahms Welt ins Wanken. Zum einen durch den Tod seines Freund und Mäzen, dem Chirurg Theodor Billroths. Sechs Tage später starb Hans von Bülow in Kairo. War der gewandte und vermögende Mäzen Billroth in Wien sehr förderlich gewesen, so war es in viel höherem Maß Bülow für die Verbreitung Brahms’scher Musik in Deutschland. Mitte Mai 1896 starb auch noch seine geistige Gefährtin Clara Schumann. Kaum war er von der Beerdigung in Bonn zurück, schrieb der Musiker Richard Heuberger (5. Juni 1896): „Brahms kam mir heute etwas anders, nämlich weit magerer vor. Als ich ihm gegenüber eine derartige Bemerkung machte, sagte er ,Unsinn! Ich bin immer gleich dick, trage immer dieselben Kleider. Sie bilden sich das nur ein.’“
Im Ärzteblatt ist nachzulesen: „Ein Dr. Hertzka hatte „Icterus catarrhalis", eine einfache Gelbsucht als gewöhnliche Begleiterscheinung einer Hepatitis, diagnostiziert. Seiner Sache jedoch nicht sicher, hatte er Prof. Schrötter hinzugezogen. Leopold von Schrötter, Primarius für Innere Medizin am AK Wien, bestätigte Hertzkas Beunruhigung über den Tastbefund einer nicht nur geschwollenen, sondern auch verhärteten Leber. Wie ernst dieser Befund war, ließ Schrötter bei seiner Untersuchung nicht durchblicken und sprach von einer „Gelbsucht, nicht weiter von Belang“. Dies ist der Beginn eines sich über acht Monate hinziehenden Täuschungsmanövers, in dem natürlich Brahms mitspielte. Von Juckreiz gequält, schließlich „efeugrün" im Gesicht, wurde er Freunden zum gespenstischen Bild der „Verwüstung eines Menschen“. Im Januar 1897 ließen die Kräfte so weit nach, daß er seine Spaziergänge nicht mehr regelmäßig machen konnte; und in Wien kam das Gerücht auf, er liege im Sterben. Der ärztliche Bericht seines letzten Arztes, Dr. Breuer, besagt, dass die nun rasch fortschreitende Krankheit „in immer intensiverer Gelbsucht, Nahrungsekel und Wassersucht immer schwerere Leiden brachte“. Am 25. März traten Darmblutungen ein, Brahms ansprechbar. Bei Brahms waren in der letzten Nacht seines Lebens seine Vermieterin und sein Arzt.
Zum Leichenzug am 6. April 1897 waren Delegationen des Hamburger Senats, der Berliner Philharmoniker und der Berliner Akademie der Künste zugegen, sowie Professoren und Schüler des Konservatoriums, Vorstände aller in- und ausländischen Musikgesellschaften, Dirigenten wie Felix Weingartner und Arthur Nikisch, die Komponisten Antonín Dvorák und Feruccio Busoni, der Verleger Fritz Simrock, schließlich der Wiener Kreis mit Max Kalbeck, Julius Epstein, Ludwig Bösendorfer.
Angeführt wurde der Trauerzug von einem berittenen Standartenträger mit lorbeergeschmücktem Banner - dahinter Laternenreiter, sechs Blumenwagen mit Kränzen und Gebinden und der von Windlichtern umgebene gläserne Sarg. Organisiert wurde der Zug von der Gesellschaft der Musikfreunde. Nach drei Stunden erreichte der Menschenstrom den Zentralfriedhof. Fackelträger begleiteten den Sarg zum offenen Grab. Doch Brahms wurde noch einmal umgebettet. Die ewige Ruhe fand er erst einige Wochen später in einem Ehrengrab - bei Beethoven und Schubert..