Я так сделал, нужно было чтобы php генерил абсолютные ссылки с учетом схемы:
server {
listen 80;
location / {
proxy_pass ... ;
...
}
}
server {
listen 443 ssl;
location / {
proxy_pass ... ;
...
proxy_set_header HTTPS on;
...
}
}