Как вы правильно заметили, да IP другой, мы используем docker swarm и он выдает виртуальный IP своим сервисам.
И как оказалось, проблема в этом самом VIP, если переключить сервисы на dnsrr, все работает замечательно.

Даже тема есть похожая: https://forum.nginx.org/read.php?5,275243,275243

Тем не менее, спасибо за ответ, он помог мне обратить внимание на vip!