Здравствуйте
Столкнулся с такой ситуацией, что, видимо, не понимаю в каком случае срабатывает fail_timeout, max_fails.
Как я это понимаю при моей конфигурации:
например, я делаю 1 запрос http://localhost:80/mem/key10, вычисляется хэш, ему ставится в соответствие сервер из upstream - это 172.16.11.46:11211 (в моем случае), и если сервер завис, не отвечает или произошла ошибка соединения с сервером (машина выключена/не существует), то в течение 30 секунд запросы на эту машину/сервер не идут.
Однако, что получается в действительности - после того, как не удалось соединиться, начинает ретрансмит через 1 секунду, затем 2, потом (т.к. тут уже вступает в игру memcached_connect_timeout и ретрансмита между последней попыткой и новой не будет, т.к. тогда будет разница в 4 сек.) nginx рехэширует запрос/ключ, и он попадает на работающий сервер, делает запрос и отдает то, что есть в другом сервере (в моем случае, это 127.0.0.1:11211).

Так какой же вопрос ?
Почему последующий запрос http://localhost:80/mem/key10 не идет сразу на 127.0.0.1:11211, а продолжает те же самые попытки - достучаться до 172.16.11.46:11211 ?

Как проверяли ?
С помощью tcpdump.
tcpdump -i any -s 0 -vvv -w /tmp/dump_240_46.pcup

Конфигурация:
upstream memcached_cluster {
server 127.0.0.1:11211 fail_timeout=30s max_fails=1;
server 172.16.11.46:11211 fail_timeout=30s max_fails=1; # <---- is not working now

hash $uri/3.6; # nginx_upstream_hash
hash_again 1000; # nginx_upstream_hash
keepalive 512;
}

memcached_connect_timeout 5s;

location /mem {
set $memcached_key "$uri/3.6";
memcached_pass memcached_cluster;
}

Окружение:
nginx version: nginx/1.4.2
built by gcc 4.4.7 20120313 (Red Hat 4.4.7-3) (GCC)
TLS SNI support enabled
configure arguments: --user=nginx --group=nginx --prefix=/usr/share/nginx --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/var/lib/nginx/tmp/client_body --http-proxy-temp-path=/var/lib/nginx/tmp/proxy --http-fastcgi-temp-path=/var/lib/nginx/tmp/fastcgi --pid-path=/var/run/nginx.pid --lock-path=/var/lock/subsys/nginx --with-http_secure_link_module --with-http_random_index_module --with-http_ssl_module --with-http_realip_module --with-http_addition_module --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_gzip_static_module --with-http_stub_status_module --with-http_perl_module --with-http_xslt_module --with-debug --with-mail --with-mail_ssl_module --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic' --with-ipv6 --add-module=/root/rpmbuild/BUILD/nginx-1.4.2/nginx-push-stream-module --add-module=/root/rpmbuild/BUILD/nginx-1.4.2/nginx_upstream_hash --add-module=/root/rpmbuild/BUILD/nginx-1.4.2/nginx-memcached-hash-pass

OS: CentOS release 6.6 (Final)
Kernel: Linux tve-lab-240 2.6.32-504.12.2.el6.x86_64 #1 SMP Wed Mar 11 22:03:14 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux

Документация по стороннему модулю:
https://github.com/evanmiller/nginx_upstream_hash
http://hb.321key.org/hb/nginx-1.3.8/03A6EA3ED31C437BB3DF5902E32F2E68/4B83DA8DC7.htm