Пара исправлений.
1. Да, proxy_store и proxy_cache работают одинаково.
Просто proxy_store отсылает 304Not Modified а proxy_cache в моей конфигурации нет.
При полном выключении кэша в FF результаты оказались порядка 200 - 300 мс в обоих случаях.
Вот точный лог nginx для эапроса через proxy_cache: https://gist.github.com/3136421

2. Но при запросе через memcached, результат составляет на два порядка меньше:2-5 мс
Вот лог для memcached: https://gist.github.com/3136454

memcached модуль проставляет Content-Length, а proxy_module нет.
То есть в nginx вообще нет возможности закэшировать конкретную картинку(например) в памяти ?