Может ли nginx авторизоваться на upstream серверах за клиента, т.е.
если клиент вообще не шлет заголовка Proxy-Authorization?

Указание proxy_set_header Authorization не помогает, nginx шлет 407 Proxy Authentication Required