Sie freundeten sich an und entwickelten gemeinsam die Idee der Carnegie Hall, deren Bau 1890 aufgenommen wurde[3]. Andrew Carnegie finanzierte den Bau des Konzerthauses und kam auch über viele Jahre hinweg für die Verluste auf, die der Betrieb des Hauses verursachte. Seit den Eröffnungskonzerten von 1891 (als er sich das Dirigieren mit Tschaikowski teilte) bis zu seiner letzten Vorstellung mit den New York Philharmonikern am 27. März 1942 trat Damrosch 850-mal in der Carnegie Hall auf.
Von dem fulminanten Erfolg von George Gershwins Rhapsody in Blue stark beeindruckt, beauftragte Damrosch Gershwin, für die New York Symphony Society ein Orchesterwerk zu schreiben. Dieser sagte ein Klavierkonzert zu und erhielt die Garantie von sieben Auftritten als Solist in New York, Philadelphia, Washington und Baltimore. Die Uraufführung des Concerto in F fand am 3. Dezember 1925 in der Carnegie Hall mit dem Komponisten am Klavier unter der Leitung von Damrosch statt. Damrosch dirigierte auch die Uraufführung von Gershwins An American in Paris am 13. Dezember 1928.
Damrosch machte sich besonders einen Namen als Wagner-Dirigent, setzte sich aber auch für seine amerikanischen Zeitgenossen wie George Gershwin und Aaron Copland ein. 1921 war er Mitbegründer des Amerikanischen Konservatoriums in Fontainebleau..