Anschließend sah man ihn vier Spielzeiten lang am Stadttheater Bremen, wo man ihn auch als Lustspielregisseur arbeiten ließ.
In jenen frühen Jahren umfasste Arndts Rollenrepertoire so unterschiedliche (oftmals humorig angelegte) Charaktere wie den Dorfrichter Adam in Der zerbrochne Krug, den Argan in Molières Der eingebildete Kranke, den Striese im beliebten Schwank Der Raub der Sabinerinnen, den Cölestin in Nitouche, den Klosterbruder in Nathan der Weise, den Zettel in Shakespeares Ein Sommernachtstraum sowie den Malvolio. Nach einem erneuten Zwischenstopp in Berlin, wo man ihn an dem von Alfred Halm geleiteten Neuen Schauspielhaus sehen konnte, gelang Arndt 1910 der Wechsel ans Wiener Burgtheater, seiner langjährigen Wirkungsstätte. An dieser bedeutendsten und angesehensten österreichischen Bühne sollte Arndt seine größten Erfolge feiern.
Er erhielt im Laufe seiner dortigen Karriere zahlreiche staatliche Ehrungen (Ernennung zum Kammerschauspieler und Professor), am 13. März 1931 wurde ihm die Bürgerurkunde der Stadt Wien verliehen. Arndt unternahm (seit Kriegsende 1918) auch gelegentlich Abstecher zum österreichischen Film, doch sind seine dortigen Auftritte von minderer Bedeutung.
Der betagte Künstler befand sich bereits im Ruhestand, als das Burgtheater-Ehrenmitglied Arndt nach dem Anschluss Österreichs im März 1938 isoliert wurde. Am 10. Juli 1942 erfolgte seine Deportation in das KZ Theresienstadt, zweieinhalb Monate darauf (am 23. September 1942) wurde er in das Vernichtungslager Treblinka verlegt. Dort ermordete man den 81-jährigen Juden unmittelbar nach seiner Ankunft..