>Так с кешем все нормально, все что нужно кешится?

Да, спасибо большое, без ваших подсказок, я бы ещё долго ковырялся.

В итоге без этой строчки не работает proxy_ignore_headers Cache-Control;

Похоже, приложение говорит так nginx не кешить и он не кэшит.
А эта строчка игнорирует заголовок и nginx кэшит.

А как проверить, что именно из кэша отдаётся статика, а не к приложению идёт запрос?
с proxy_store можно было просто перекрыть путь, а тут так не получится.