1853/54 erwogen beide Komponisten sogar einen „Tausch“ ihrer Stellen.
Ein Stipendium des Königs Friedrich Wilhelm IV. ermöglichte Stern ein Gesangsstudium in Paris, wo er im September 1843 eintraf. Hier leitete Stern als Nachfolger von Conradin Kreutzer den deutschen Gesangverein und lernte Giacomo Meyerbeer – der ihn auch protegierte – und Hector Berlioz kennen. Daneben verkehrte dort bei dem Bankier Auguste Léo, wo Stern Frédéric Chopin begegnete. 1844 kehrte er nach Berlin zurück.
Ab 1844 sang Stern in der Sing-Akademie zu Berlin und gründete 1847 einen eigenen Gesangsverein, der bald eine ernsthafte Konkurrenz für die Sing-Akademie darstellte. Mit diesem führte er zunächst Werke von Felix Mendelssohn Bartholdy, später auch die Missa solemnis und die 9. Sinfonie von Ludwig van Beethoven auf. In seiner Berliner Zeit nahm Stern in verschiedenen Miethäusern seinen Wohnsitz, so um 1848 zunächst an der Spittelbrücke 2, ab den 1870er Jahren in der Friedrichstraße 214 im Berliner Stadtzentrum.
Gemeinsam mit Theodor Kullak und Adolf Bernhard Marx gründete Julius Stern im Jahr 1850 die „Musikschule für Gesang, Klavier und Komposition“. Am 20. Januar 1852 heiratete er die elf Jahre jüngere Elisabeth Meyer (1831–1919), Tochter des Berliner Kaufmanns Itzig Meyer,[4] deren Schwester Jenny Meyer (1834–1894) später eine geschätzte Konzertsängerin wurde. Ab 1857, nach dem Ausscheiden der beiden Mitbegründer, firmierte die Schule als das Stern’sche Konservatorium. Das Institut war eine der bedeutendsten Ausbildungsstätten für den musikalischen Nachwuchs in Berlin und hatte sowohl namhafte Lehrer als auch Schüler vorzuweisen. Neben der alleinigen Leitung des Konservatoriums übernahm Stern auch den Dirigentenposten des Chores der Synagoge der Reformgemeinde in der Johannisstraße unter Rabbiner Samuel Holdheim.[5]
Im Jahr 1855 gründete Stern einen Orchesterverein, der aufgrund wirtschaftlicher Probleme keinen langen Bestand hatte. Später leitete er die Berliner Symphoniecapelle, bis er sich 1873 als Dirigent zurückzog. Im gleichen Jahr trat er der Gesellschaft der Freunde bei..