Nach seinem Scheitern unterstützte er mit Paul von Hindenburg den Vertreter der nationalkonservativen Rechten gegen den Zentrumsabgeordneten Wilhelm Marx.
Im selben Jahr schloss er für den Freistaat Bayern ein Konkordat mit dem Heiligen Stuhl. 1925 folgte ein Staatsvertrag mit der evangelischen Landeskirche. Held setzte sich in Regierungsdenkschriften zur Reichs- und Verfassungsreform 1924, 1926 und 1928 sowie bei der Länderkonferenz zu Berlin für eine verfassungsrechtliche Stärkung der Länder ein, konnte sich damit aber nicht durchsetzen.
Anfang 1925 prangerte Held in einer Protestrede die vom italienischen Faschismus in Südtirol betriebene Unterdrückung und Italianisierung der deutschsprachigen Bevölkerung scharf an. Benito Mussolini reagierte darauf mit dem Beschluss zur Errichtung eines Siegesdenkmals in Bozen.
Am 4. Januar 1925 empfing Held den nach dem Hitlerputsch aus seiner Festungshaft entlassenen Adolf Hitler, der ihm versicherte, seine Ziele künftig nur noch auf legalem Wege zu verfolgen. Held hob daraufhin das Verbot der NSDAP und des Völkischen Beobachters auf.
Er grenzte sich aber deutlich von den Nationalsozialisten ab und erließ 1930 das erste Uniformverbot für die NSDAP. Held vertrat einen entschiedenen Föderalismus; diese Einstellung verschärfte sich noch während der Ära Heinrich Brünings und der Absetzung des preußischen Ministerpräsidenten Otto Braun durch Reichskanzler Franz von Papen.
Nach einer Abstimmungsniederlage im Landtag 1930 blieb Held geschäftsführend im Amt. Im Winter 1932/33 nahm er mit Kronprinz Rupprecht von Bayern Kontakt auf, um ihn im Falle einer nationalsozialistischen Machtübernahme nach Artikel 64 der Bayerischen Verfassung zum Generalstaatskommissar zu ernennen. Nach der Machtübernahme der Nationalsozialisten 1933 zögerte Held jedoch, als Schutz gegen die Gleichschaltung den Kronprinzen zum Generalstaatskommissar zu berufen oder das Königtum in Bayern zu restaurieren.
Am 9. März 1933 übertrug Reichsinnenminister Wilhelm Frick die vollziehende Gewalt in Bayern Franz Ritter von Epp. Am selben Tag ließen Adolf Wagner, Ernst Röhm, Heinrich Himmler und Ritter von Epp den noch amtierenden Ministerpräsidenten von SA-Leuten zwangsweise in das Braune Haus abholen und erklärten ihn für abgesetzt. Der ebenfalls verhaftete Innenminister Karl Stützel wurde bei dieser Gelegenheit mißhandelt.[2] Anschließend wurde das Regierungsgebäude besetzt. Vergeblich brachte Held telegrafisch im Präsidentenpalais in Berlin seine Beschwerden vor. Schon drei Tage später begab Hitler sich nach München. Am 15. März legte Held sein Amt nieder und zog sich nach Regensburg ins Privatleben zurück..