К сожалению, не всё так просто. Ответ бекенда сильно меньше секунды, а умолчания для proxy_{connect,send,read}_timeout аж минута.
Чтобы уберится, что дело точно не в этом, сделал так:

proxy_connect_timeout 1h;
proxy_send_timeout 1h;
proxy_read_timeout 1h;

Я, всё же, думаю, что это баг nginx'а и блокировка там не атомарная, за счёт чего происходит гонка.