Nach Abschluss des Unterrichtes erhielt Volkmann 1839 eine Stelle als Gesangslehrer in Prag, die ihm allerdings nicht sonderlich zusagte. Im Jahre 1841 erfolgte der Umzug nach Budapest, wo er bis 1844 als Privatlehrer und Korrespondent der Allgemeinen Wiener Musikzeitung wirkte. Nach einer kurzen Periode freien Schaffens sah er sich gezwungen, 1848 erneut eine Stelle zu suchen und wurde Chordirektor und Organist am israelischen Reformtempel. Anfang der 1850er Jahre konnte er erste Erfolge als Komponist verbuchen (vor allem mit seinem zweiten Klaviertrio). Ab 1854 lebte Volkmann in Wien, ohne jedoch den erhofften (finanziellen) Erfolg zu erzielen. Deshalb kehrte er 1858 wieder zurück nach Budapest, wo er den Rest seines Lebens verbrachte. In den 1860er Jahren erfreute er sich wachsender internationaler Anerkennung und schuf viele seiner bedeutendsten Werke. Seit etwa 1870 komponierte er kaum noch. 1875 wurde Volkmann schließlich Professor für Komposition an der Landesakademie in Budapest, eine Stelle, die er bis zu seinem Tode innehatte. Volkmann lässt sich stilistisch zwischen Robert Schumann und Johannes Brahms, mit dem er persönlich befreundet war, einordnen. Ausgangspunkt für sein Schaffen ist jedoch die Komponistentrias Wolfgang Amadeus Mozart – Joseph Haydn – Ludwig van Beethoven. Teilweise lassen sich auch „ungarische“ Elemente und einzelne Einflüsse der neudeutschen Schule dingfest machen. Allerdings muss Volkmann insgesamt eher als konservativ angesehen werden. Auf Grund der vielen unterschiedlichen Einflüsse kann er aber keiner bestimmten Strömung zugerechnet werden. Volkmann favorisierte kleinere Formen wie Klavierstücke und Lieder, komponierte jedoch auch einige großformatige Werke. Während seine kleineren Werke teilweise Gefahr laufen, biedermeierlich zu wirken, weisen einige seiner größeren manchmal eine gewisse Unfähigkeit zur Konzentration auf einen einzigen Gedanken auf. Andere jedoch machen diesen Mangel durch sehr geschlossene, konsequent durchgearbeitete Strukturen wieder wett. Von seinen sechs Streichquartetten sind die letzten drei hochbedeutend, während die ersten drei lediglich solide Kammermusik, besonders für den Hausgebrauch geeignet, darstellen. Auch steht sein zweites Klaviertrio (op. 5), das von seinen Freunden Johannes Brahms und Franz Liszt als Meisterwerk gelobt wurde und die klassische Form zugunsten einer zyklischen Geschlossenheit aufgibt, deutlich über dem ersten (op. 3); und ähnlich verhält es sich mit den beiden Sinfonien, deren erste als „die bedeutendste zwischen Schumann und Brahms“ (Die Musik in Geschichte und Gegenwart, 1966) bezeichnet wird. Insgesamt findet sich in Volkmanns Schaffen Grandioses, das den Vergleich zu den „Großen“ seiner Zeit nicht zu scheuen braucht, neben eher wenig Bedeutendem. Allerdings stehen seine besten Werke weit über dem Durchschnitt seiner Zeit und weisen eine sehr persönliche Handschrift auf..