Виталий, спасибо за ответ.

Да, тупит на стороне nginx'а. Я же написал: TTFB = быстрый, все файлы уже на диске сервера nginx, в директории указанной в proxy_cache_path лежат. Он проксирует и кэширует исправно (видно что файлы берутся из его кэша, т.к. upstream_response_time = 0, но почему так медленно в браузер отдаёт ответ не ясно.

>Соберите tcp трейс на стороне сервера и посмотрите сколько времени реально уходит у nginx'а и нет ли tcp retry в сторону клиента.
Собирал. Смотрел Wireshark'ом - есть несколько TCP ACK Duplicates (от клиента)