Проверил:

nginx -T | grep listen -- только TCP-порты
nginx -T | grep unix: -- только fastcgi_pass
ss -nlp | grep -w nginx -- только TCP-порты
nginx -T | grep access_log -- только стандартный и combined

Единственный сторонний модуль - nchan

Возможно, дело действительно в нём, потому что пустой remote_addr только в записях для тех запросов, которые обрабатывает nchan.