Http hinter ein Nginx Proxy Manager auf https umstellen, aber wie?

Jupp, kann ich aus Erfahrung so bestätigen, dass es funktioniert.

Statt NPM nutze ich allerddings OPNsense mit HAProxy- und acme-Plugin und lasse mir so bei LE ein Wildcard-Zertifikat ausstellen. Dieses wird dann per Automation bspw. an Proxmox und Synology gepusht. (Aktuell hat die Automation für Proxmox noch einen Bug, aber dafür gibt es Abhilfe: OpnSense ACME Automations -> Proxmox VE - #7 von Lonaril)
Für Webseiten, die öffentlich zugänglich sein sollen, übernimmt der HAProxy selbst die Zertifikate, quasi so, wie NPM es tun würde.

Da mein Hoster, bei dem ich meine Domain-Verwaltung (DNS) habe, keine API hat, greife ich auf ipv64.net von Dennis zurück, indem ich einen CNAME in meiner Domain-Verwaltung nach ipv64.net einrichte und in OPNsense zudem auf Alias-Challenge umstellen muss.

Klappt bestens.