Der Durchbruch gelang ihm 1936 mit der Musik für den Film „Die große und die kleine Welt“; hernach schrieb er die Musik für Zarah-Leander-Filme, gründete und leitete das Tanz- und Unterhaltungsorchester des Berliner Rundfunks und nach dem Krieg das Radio-Berlin-Tanzorchester. Jary schuf insgesamt die Musik zu über 100 Filmen und zahlreiche, u. a. von Zarah Leander, Rosita Serrano, Evelyn Künneke, Gerhard Wendland, Heinz Rühmann und Hans Albers interpretierte Lieder..