Я, в результате экспериментов с конфигурациями (примерно такое же кол-во запросов ~3000 r/s), сделал следующую вещь: на сервер с php-fpm (эпликэйшн бэкэнд) поставил проксирующий nginx который переадресовывал всё на порт php-fpm (этого же хоста). С фронтенда проставил proxy_pass на этот nginx (а не на php-fpm). В результате бэкэнд стал отдавать во много раз быстрее результаты (кэширования на бэкэнде нет), снизилась нагрузка на бэкэндах существенно...

Я не смог понять почему так происходит (не хватает теории).