Иван, спасибо за помощь.

Использую панель управления Vesta на веб-сервере, nginx.conf:

load_module "modules/ngx_http_geoip_module.so";
...

http {
...

# Защита от F5
# Настраиваем лимиты кроме ip адреса
#map $http_x_forwarded_for $binary_remote_addr {
# 5.187.78.183 1;
#}
#limit_req_zone $binary_remote_addr zone=perserver:10m rate=1r/s;
#limit_conn_zone $binary_remote_addr zone=perip:10m;

limit_req_zone $binary_remote_addr zone=perserver:10m rate=1r/s;
limit_conn_zone $binary_remote_addr zone=perip:10m;

...
}

Закоментированный код, как раз не работает :(

Конфиги виртуальных хостов:

server {
...

location / {
limit_req zone=perserver burst=10 nodelay;
limit_conn perip 10;
proxy_pass http://XXX.X.XXX.XX:8080;
}

...
}