Разобрался, суть проблемы в том, что в убунту по умолчанию идет конфик:

<IfModule mod_rpaf.c>
RPAFenable On
RPAFsethostname On
RPAFproxy_ips 127.0.0.1
RPAFheader X-Real-IP
</IfModule>

делаем дамп модулей apache2ctl -M
видим там rpaf_module (shared)

заменяем <IfModule mod_rpaf.c> на <IfModule rpaf_module>
apache2ctl graceful

вуаля...

PS^ Думалось что директива RPAFproxy_ips имеет значение по дефолту равное 127.0.0.1, но видимо это не так.
Надеюсь кому поможет.