Да. Полез тестить и в тестовой среде - все работало. Уже закешированные ответы отдавались.

Полез тестить на продакшене, при погашенном бэкенд сервере не отдавался даже уже закешированный (лежащий на диске) контент.
Возможно это было изза того, что полез чего то менять уже после того, как бэкенд был выключен, и nginx был перезапущен, чтобы применилась директива.
Nginx рестартанул, в памяти активных ключей нет, cache manager еще не отработал, а запросы уже пришли. И nginx стал отдавать proxy_timeout.png на ВСЕ запросы.

Тут время на тесты закончилось и пришлось все вназад откатывать.

Я вообще правильно понял, что для обслуживания запросов из кеша, при выключенном бэкенде нужно использовать proxy_cache_use_stale timeout;?