похоже это баг
http://trac.nginx.org/nginx/ticket/235

у меня в версии 1.4.5 воспроизводится.

посмотрель
tail -f /var/log/nginx/errors.log | grep signal

выяснил, что при запросе на https из сафари

2015/06/18 23:07:06 [alert] 1487#0: worker process 1493 exited on signal 11
2015/06/18 23:07:07 [alert] 1487#0: worker process 1514 exited on signal 11
2015/06/18 23:07:07 [alert] 1487#0: worker process 1491 exited on signal 11

Попробуйте выставить

ssl_session_cache shared:SSL:10m;
ssl_session_timeout 10m;

и убрать default_server

мне помогло.