Hello!

On Wed, Apr 24, 2019 at 01:21:06PM -0400, Ilya Evseev wrote:

> Nginx 1.15.11
> Система - CentOS 7 с ядром 4.18
> /data живёт на Cepf.
>
> Обнаружено преждевременное удаление файлов из кэша Nginx.
> Кэш настроен так:
>
> proxy_cache_path /data/user123/nginx_cache keys_zone=user123:3000m
> max_size=20000g inactive=30d levels=1:2 use_temp_path=off;
>
> В /data/user123/nginx_cache сейчас лежит около 5 миллионов файлов (т.е.
> примерно 20% от максимума 3000m),
> которые занимают 6 терабайт (30% от максимума 20TB).

На вскидку вспоминаются две причины, почему может быть так:

- При работе на экзотических файловых системах сообщаемый nginx'у
размер на диске может значительно отличаться от собственно
размера файла и/или значительно меняться в процессе. Такое,
например, наблюдается на XFS
(https://trac.nginx.org/nginx/ticket/157).

- Если вдруг из каталога кэша кто-то удалил часть файлов в
процессе работы - nginx будет продолжать считать, что эти файлы
существуют, и учитывать их при очистке кэша по max_size. Частным
случаем этой ситуации может являться запуск другого nginx'а,
использующего тот же каталог для хранения кэша - уже наблюдал, как
люди пытаются таким образом строить "общий кэш" на нескольких
серверах, однако следует понимать, что такой подход принципиально
неверен и чреват проблемами.

С учётом использования Ceph для хранения кэша (зачем?!) - я бы
предположил, что причиной может быть как любая из этих причин, так
и обе они вместе.

--
Maxim Dounin
http://mdounin.ru/
_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru