Мне также доводилось видеть такую проблему на сервере с CloudLinux, но пока никаких подтверждений что виновато ядро или система не нашлось. Все ресурсы в интернете сылаются на тюнинг nginx (либо kernel shmall / shmmax).