А поженить proxy_store и proxy_cache нельзя? :)
например: если нет в proxy_cache, то искать в alias у proxy_store, и если там нет то тогда идти к proxy_pass бекенду на поклон?

Наверное выглядит немного бредово, но это отчасти решает проблему бекапа статики которая изначально появляется на бекенде