Точно знаю, что поможет директива
proxy_redirect http://$http_host https://$http_host;
Но не знаю, как ее можно применить только если $scheme=https.
В "if ( $scheme = "https" ) ... " не работает, т.к. nginx пишет "proxy_redirect" directive is not allowed here"