Спасибо огромное.
Убрал вообще sendfile_max_chunk и теперь стало 1 мс. Что и требовалось доказать.
Вот, кстати еще мои настройки:
# GZIP
gzip on;
gzip_static on;
gzip_min_length 640;
gzip_buffers 64 8k;
gzip_comp_level 1;
gzip_http_version 1.0;
gzip_proxied any;
gzip_types text/plain application/xml application/x-javascript text/css;
gzip_disable "MSIE [1-6]\.(?!.*SV1)";
gzip_vary on;

output_buffers 32 512k;
#sendfile_max_chunk 128k;
postpone_output 1460;
server_names_hash_bucket_size 64;

## TCP options
#tcp_nopush off;
#tcp_nodelay on;

# Size Limits
client_max_body_size 1m;
client_body_buffer_size 128k;
client_header_buffer_size 1k;
large_client_header_buffers 4 4k;


...

proxy_buffering on;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 10m;
proxy_headers_hash_bucket_size 256;

--
Тут нет косяков на первый взгляд?

Можно ли проставить абсолютное время сброса кэша?