> Я собираюсь иногда чистить его самостоятельно, никаких проблем не
> должно возникнуть?

Скорей всего всё будет без проблем.
Проблемы будут если вы начнете редактировать файлы кеша, особенно в новых версиях Nginx.
Например если в кеше отредактировать значения ETag, сделать запрос, Nginx уходит в аут, я так и не смог дождаться его ответа )

Кстати советую для удобства разработки, выводить заголовок в котором будет указываться состояния кеша в момент ответа

add_header X-Cache-Status $upstream_cache_status;