Странно, worker_processes рекомендуют ставит по количесту ядер, я и поставил 2, потому что у меня 2.
worker_processes 1 помогло, теперь он не ложится. Но при первоначальной загрузке сайтов, картинки все таки ужасно долго загружаются частями, может не дописал в конфиг?
И ещё почему-то страница 404 отображается апаческая, а не nginx.