Спасибо.

В итоге заборол с помощью директивы proxy_redirect.

Насчет forward proxy: а какая разница forward или reverse. Весь вопрос в том, кого считать клиентом, а кого upstream'ом.
У меня такая конфигурация пока что отлично работает.