В версии 1.15.6 появилась эта опция.

Вставляю в location - не работает.

Подозреваю что по аналогии с fastcgi_pass нужно вместо:

location @fallback {
proxy_pass http://127.0.0.1:8080;
proxy_socket_keepalive on;
}
Нужно так сделать:

upstream proxy_backend {
server 127.0.0.1:8080;
keepalive 32;
}

location / {
proxy_pass proxy_backend;
proxy_socket_keepalive on;
}

Правильно я понимаю ?