1. Про ssl верно, мы замеряли сколько времени занимает установка соединения. Это 20-30мс, не больше.
2. Пробовали, не помогает

Во всем этом самое странное, что время ответа через прокси и напрямую примерно одинаковое, хотя если верить upstream_response_time оно должно быть сильно больше через прокси.