В конфиге прописано, чтобы все ошибки 504 выводились как 503:

error_page 504 =503 /;

Так же в конфиге прописаны 2 бэкенда:

upstream back {
ip_hash;
server 192.168.0.1;
server 192.168.0.2;
}

на них идет ссылка через proxy_pass

При попадании на страницу, которая действительно не отдается с бэкенда я все так же вижу 504 на клиенте.

При прописывании
location /aaa.html {
return 504;
}

и попытке загрузить эту страницу, на клиенте вижу 503.

Почему так получается?