Crumb genoss eine klassische Ausbildung, war aber außerdem mit Unterhaltungsmusik vertraut und spielte während der High School in Jazz-Combos.
Er studierte am Mason College of Music and Fine Arts, an der University of Illinois, an der University of Michigan bei dem amerikanischen Komponisten Ross Lee Finney und bei Boris Blacher in Berlin. Später unterrichtete er an der University of Colorado in Boulder und von 1965 bis 1997 an der University of Pennsylvania in Philadelphia.
Zu seinen Schülern zählten u. a. Jennifer Higdon, Uri Caine, Christopher Rouse, Osvaldo Golijov und Gerald Levinson..