Провел нагрузочное тестирование.
При использовании статической картинки, nginx работает только с памятью и не грузит диск.
При использовании proxy_module nginx грузит диск, и скорее всего поэтому запро выполняется дольше на два порядка.
Вопрос теперь, как заставить proxy_module загружать картинку в память и не использовать диск?