Рома, извините, не все вопросы увидел.
Вот ответы.

Roman Arutyunyan Wrote:
-------------------------------------------------------
> Какое время прошло от старта nginx?

Примерно 20 часов. Хотя сегодня инцидент повторился спустя 10 часов после рестарта, т.е. тут нет четкой закономерности.

>
> Судя по логу, вы релоадили nginx и, вероятно, даже меняли число
> воркеров.
> Это так? Если этого не делать, проблема также появляется?

Нет, число воркеров не менялось. Nginx не релоадил. Можете указать, по каким признакам вы это увидели?
Дело в том, что на этих же серверах стоит corosync + pacemaker (который теоретически может это делать). Но судя по логам corosync и uptime воркеров, это маловероятно.


>
> Это и есть основная проблема. У вас есть возможность поискать эту
> строку
> в более ранних логах? Cache manager очищает кеш в порядке lru, так
> что
> этот файл появился в кеше некоторое время назад и успел с тех пор
> стать
> самым старым.
>

Чуть позже посмотрю более ранние логи. Не факт что найду, поскольку нет возможности хранить большие объемы логов на сервере.

> Что касается поиска файла, соответствующего ключу, я вам в прошлый раз
> дал
> не совсем верный алгоритм. Надо искать чуть иначе, вот пример из
> вашего же лога:
>
> 2015/05/05 22:45:33 [debug] 6696#0: http file cache forced expire: #0
> 1 b139cb65
> 2015/05/05 22:45:33 [debug] 6696#0: http file cache expire:
> "/opt2/nginx-cache-images1/c8/de/0ac4a89e20a39c1fb139cb65c2ffdec8"
>
> b139cb65 -> /opt2/nginx-cache-images1/c8/de/0ac4a89e20a39c1f b139cb65
> c2ffdec8
>
>
> Конфигурации и действия, которые вы производите с nginx, одинаковы?
>

На последний вопрос ответил в предыдущем посте.
И еще раз скажу, в промежутке между инцидентами конфигурация nginx не меняется и сам nginx не релоадится.