Mit ihr spielte er später häufig im Duo.
Von 1899 bis 1901 war Lhévinne Professor am späteren Konservatorium Tiflis. 1902 debütierte er in Berlin. 1902–1906 lehrte er am Moskauer Konservatorium. 1906 gab er sein erfolgreiches Debüt in der Carnegie Hall, gefolgt von einer Tournee mit über 100 Konzerten. Als Lebensmittelpunkt wählten die Lhévinnes ab 1907 Berlin, das damals eines der wichtigsten Musikzentren der Welt galt.
Bei Ausbruch des Ersten Weltkrieges wurde Lhévinne mit seiner Familie in ihrer Villa in Wannsee interniert. Eine für 1914 geplante Amerika-Tournee wurde abgesagt. Neben täglichen Meldepflichten wurde ihm auferlegt, nicht zu konzertieren, solange Deutschland und Russland im Krieg lagen. Dennoch wurde ihm 1915 erlaubt, in Wohltätigkeits- und Benefizkonzerten aufzutreten. Während des Krieges hielt Lhévinne sich und seine Familie in erster Linie durch Unterrichten über Wasser.
Obwohl sich ihre Situation nach dem Ende des Ersten Weltkrieges schnell verbesserte, wanderten die Lhévinnes 1919 nach Amerika aus.
1922 wurden Josef und Rosina Lhévinne Lehrer an der Juilliard School. Josef Lhévinne starb in New York 1944 an einem Herzinfarkt. Rosina überlebte ihn um mehr als 30 Jahre und starb 96-jährig 1976; ihre berühmtesten Schüler waren Van Cliburn und der Komponist John Williams..