Спасибо за ответы, разобрался.

Вот, что у меня получилось в итоге:

server {
listen 80 default;
server_name _;
return 403;
}

server {
listen 80;
server_name https_443;
rewrite ^ https://$host$request_uri?;
}

server {
listen 443 ssl;
server_name https_443;
...
}