Все получилось. Оказывается nginx не рестартовал после рекомпила, и новые опции не применялись, писало в error "unknown directive "set_real_ip_from" in", но при nginx -t писало ok. Ну, может так и должно быть...

В общем теперь все по местам. X-Real-IP=$remote_addr в X-Forwarded-For список прокси которые прошли клиенты.

Остался только вопрос с этим:

> > if ($host = "") {
> > return 444;
> > }
>
> в документации
> http://nginx.org/en/docs/ такой метод
> не рекомендуется.
Насколько я понял, не стоит делать такое условие с хостом? Правильно ли будет сделать

server {
server_name "";
return 444;
}

Или имелось ввиду на счет закрытия коннекта без ответа?