net.core.somaxconn=262144
net.ipv4.tcp_max_syn_backlog = 4096
net.core.netdev_max_backlog = 10000
Попробовал с такими настройками на сервере (и в listen для nginx прописал backlog=4096).
Без изменений.

netstat -n | awk '{print $6'} | sort | uniq -c | sort -nr
966 ESTABLISHED
247 TIME_WAIT
61 FIN_WAIT2
58 FIN_WAIT1
44 CONNECTED
13 LAST_ACK
7 SYN_RECV
4 CLOSING

> Забивается listen backlog сокета
> и клиент посылает syn-ы
> повторно? Попробуйте
> поднять
> backlog в системе(net.core.somaxconn) и
> у nginx.