# vmstat -z
ITEM SIZE LIMIT USED FREE REQUESTS
FAILURES

UMA Kegs: 208, 0, 96, 6, 96,
0
UMA Zones: 704, 0, 96, 4, 96,
0
UMA Slabs: 568, 0, 18921, 7, 20091,
0
UMA RCntSlabs: 568, 0, 16896, 2, 16896,
0
UMA Hash: 256, 0, 0, 15, 3,
0
16 Bucket: 152, 0, 165, 10, 172,
0
32 Bucket: 280, 0, 298, 10, 299,
0
64 Bucket: 536, 0, 406, 0, 425,
270
128 Bucket: 1048, 0, 3293, 7, 31842996,
25
VM OBJECT: 216, 0, 5805, 1251, 290347,
0
MAP: 232, 0, 7, 25, 7,
0
KMAP ENTRY: 120, 413013, 56, 719, 9240,
0
MAP ENTRY: 120, 0, 1850, 2025, 955226,
0
DP fakepg: 120, 0, 0, 0, 0,
0
SG fakepg: 120, 0, 0, 0, 0,
0
mt_zone: 2056, 0, 207, 8, 207,
0
16: 16, 0, 2754, 1782, 4089333,
0
32: 32, 0, 3706, 2253, 28850,
0
64: 64, 0, 5531, 2701, 201069,
0
128: 128, 0, 7298, 2011, 62918,
0
256: 256, 0, 2165, 1285, 59492,
0
512: 512, 0, 1006, 863, 28438,
0
1024: 1024, 0, 84, 556, 19245,
0
2048: 2048, 0, 75, 323, 1494,
0
4096: 4096, 0, 340, 678, 16753,
0
Files: 80, 0, 21987, 56133, 4872774,
0
TURNSTILE: 136, 0, 737, 163, 737,
0
umtx pi: 96, 0, 0, 0, 0,
0
MAC labels: 40, 0, 0, 0, 0,
0
PROC: 1120, 0, 70, 410, 12414,
0
THREAD: 912, 0, 573, 163, 581,
0
SLEEPQUEUE: 64, 0, 737, 607, 737,
0
VMSPACE: 392, 0, 51, 529, 12395,
0
cpuset: 72, 0, 2, 98, 2,
0
audit_record: 952, 0, 0, 0, 0,
0
mbuf_packet: 256, 0, 0, 1408, 8528,
0
mbuf: 256, 0, 1150, 33022, 140995574,
0
mbuf_cluster: 2048, 262144, 2003, 31789, 107340535,
10380
mbuf_jumbo_page: 4096, 16896, 0, 0, 0,
0
mbuf_jumbo_9k: 9216, 8448, 0, 0, 0,
0
mbuf_jumbo_16k: 16384, 4224, 0, 0, 0,
0
mbuf_ext_refcnt: 4, 0, 42, 2142, 132034,
0
ttyinq: 160, 0, 165, 171, 600,
0
ttyoutq: 256, 0, 88, 122, 320,
0
g_bio: 232, 0, 0, 976, 128888,
0
ata_request: 312, 0, 0, 912, 32536,
0
ata_composite: 336, 0, 0, 0, 0,
0
VNODE: 472, 0, 4458, 806, 4770,
0
VNODEPOLL: 112, 0, 2, 97, 2,
0
S VFS Cache: 108, 0, 4658, 589, 119262,
0
L VFS Cache: 328, 0, 0, 48, 6,
0
NAMEI: 1024, 0, 0, 288, 1887311,
0
DIRHASH: 1024, 0, 1116, 128, 1116,
0
NFSMOUNT: 608, 0, 0, 0, 0,
0
NFSNODE: 648, 0, 0, 0, 0,
0
pipe: 728, 0, 6, 354, 8010,
0
ksiginfo: 112, 0, 470, 586, 470,
0
itimer: 344, 0, 0, 0, 0,
0
KNOTE: 120, 0, 20377, 56348, 13244547,
0
socket: 680, 102402, 29980, 71828, 29414249,
0
unpcb: 240, 102400, 47, 321, 552,
0
ipq: 56, 8253, 0, 0, 0,
0
udp_inpcb: 336, 102410, 2, 328, 2212,
0
udpcb: 16, 102480, 2, 1846, 2212,
0
tcp_inpcb: 336, 102410, 49130, 53280, 4021759,
25388188
tcpcb: 880, 102400, 29931, 71825, 4021759,
0
tcptw: 72, 20500, 19199, 1301, 267339,
3289061
syncache: 144, 102414, 1613, 18927, 18078696,
0
hostcache: 136, 15372, 1117, 479, 1117,
0
tcpreass: 40, 16464, 53, 787, 4682,
0
sackhole: 32, 0, 0, 1818, 9095,
0
ripcb: 336, 102410, 0, 220, 1537,
0
rtentry: 200, 0, 6, 51, 6,
0
pfsrctrpl: 152, 0, 0, 0, 0,
0
pfrulepl: 912, 0, 0, 0, 0,
0
pfstatepl: 392, 10000, 0, 0, 0,
0
pfaltqpl: 240, 0, 0, 0, 0,
0
pfpooladdrpl: 88, 0, 0, 0, 0,
0
pfrktable: 1296, 0, 0, 0, 0,
0
pfrkentry: 216, 0, 0, 0, 0,
0
pfrkentry2: 216, 0, 0, 0, 0,
0
pffrent: 32, 5050, 0, 0, 0,
0
pffrag: 80, 0, 0, 0, 0,
0
pffrcache: 80, 10035, 0, 0, 0,
0
pffrcent: 24, 50022, 0, 0, 0,
0
pfstatescrub: 40, 0, 0, 0, 0,
0
pfiaddrpl: 120, 0, 0, 0, 0,
0
pfospfen: 112, 0, 0, 0, 0,
0
pfosfp: 40, 0, 0, 0, 0,
0
IPFW dynamic rule: 120, 0, 0, 0, 0,
0
selfd: 56, 0, 236, 1024, 54606,
0
ip4flow: 56, 4158, 3642, 516, 120462,
3152043
ip6flow: 80, 4140, 0, 0, 0,
0
SWAPMETA: 288, 116519, 0, 0, 0,
0
Mountpoints: 752, 0, 7, 23, 7,
0
FFS inode: 168, 0, 4405, 611, 4713,
0
FFS1 dinode: 128, 0, 0, 0, 0,
0
FFS2 dinode: 256, 0, 4405, 515, 4711,
0

# sysctl hw.intr_storm_threshold
hw.intr_storm_threshold: 4000

сетевуха igb на какой то supermicro платформе.

> reset_timedout_connection on;
конечно включен

> Хотя 90k - это в общем не много.
в 9 раз больше обычного =(

sysctl kern.ipc.nmbclusters=262144
увеличил.

2010/12/9 Maxim Dounin <mdounin@mdounin.ru>

> Hello!
>
> On Thu, Dec 09, 2010 at 12:07:32AM +0300, -=HaRius=- wrote:
>
> > наверное пинать будете не в тему рассылки, но сжальтесь!!!
> >
> > с 12 часов лежимс =(
> >
> > че делать уже идеи кончались
> > перекрутил sysctl уже во все стороны
> > сервак начал немного ползать, но как только
> > nginx запускаю в консоль сразу начинает валится
> >
> > Dec 8 23:56:08 mail kernel: interrupt storm detected on "irq257:";
> > throttling interrupt source
> > Dec 8 23:56:08 mail kernel: Limiting open port RST response from 169 to
> 50
> > packets/sec
> > Dec 8 23:56:09 mail kernel: interrupt storm detected on "irq257:";
> > throttling interrupt source
> > Dec 8 23:56:09 mail kernel: Limiting open port RST response from 230 to
> 50
> > packets/sec
>
> Я правильно понимаю, что irq257 - сетевуха? Если она
> сколько-нибудь приличная, то попробовать потюнить буфера/задержки
> прерываний. Ну или просто поднять hw.intr_storm_threshold, чтобы
> по крайней мере сеть пыталась работать.
>
> > в логах полно:
> >
> > 80.138.138.94 - - [08/Dec/2010:23:32:16 +0300] "GET / HTTP/1.1" 0 0 "-"
> "IE
> > 7.0"
>
> [...]
>
> > что сделано
> > 1. fail2ban натравлен на поиск агента "IE 7.0" - блочит, но не спасает
> > 2. временно location = / { return 200; } - не спасает
> > 3. if ($http_user_agent = "IE 7.0" ) { return 412;}
> >
> > if ($http_referer = "") { return 412;} - тож не стасает
>
> Ну уж тогда return 444;.
>
> > 4. sysctl - накручен
> >
> > sysctl -n kern.ipc.numopensockets
> > 90228
>
> reset_timedout_connection on;
>
> Хотя 90k - это в общем не много.
>
> >
> > # netstat -Lan
> > Current listen queue sizes (qlen/incqlen/maxqlen)
> > Proto Listen Local Address
> > tcp4 0/0/128 *.4949
> > tcp4 0/0/4096 88.212.196.18.443
> > tcp4 0/0/4096 88.212.196.18.80
> > tcp4 0/0/128 *.22
> > tcp4 0/0/500 *.25
> > tcp4 0/0/5 88.212.196.18.5666
> > tcp4 0/0/20 127.0.0.1.53
> > tcp4 0/0/511 127.0.0.1.80
> > Some tcp sockets may have been created or deleted.
> > unix 0/0/1 /var/run/fail2ban/fail2ban.sock
> > unix 0/0/4 /var/run/devd.pipe
>
> Ну просто таки тишина и покой. Впрочем, это вероятно следствие
> "throttling interrupt source".
>
> > # netstat -m
> > 1377/36183/37560 mbufs in use (current/cache/total)
> > 754/33038/33792/33792 mbuf clusters in use (current/cache/total/max)
>
> А говорите sysctl накручен. У вас mbuf cluster'ов с гулькин фиг.
>
> sysctl kern.ipc.nmbclusters=262144
>
> В nginx'е можно ещё поуменьшать буфера на сокетах (listen ...
> rcvbuf=... sndbuf=...), дабы немного поэкономить память если её не
> хватает.
>
> > 36/1628 mbuf+clusters out of packet secondary zone in use (current/cache)
> > 0/0/0/16896 4k (page size) jumbo clusters in use
> (current/cache/total/max)
> > 0/0/0/8448 9k jumbo clusters in use (current/cache/total/max)
> > 0/0/0/4224 16k jumbo clusters in use (current/cache/total/max)
> > 1852K/75121K/76974K bytes allocated to network (current/cache/total)
> > 0/17954981/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
> > 0/0/0 requests for jumbo clusters denied (4k/9k/16k)
> > 0/0/0 sfbufs in use (current/peak/max)
> > 0 requests for sfbufs denied
> > 0 requests for sfbufs delayed
> > 1377 requests for I/O initiated by sendfile
> > 0 calls to protocol drain routines
> >
> > как еще бороться ?????
>
> Ну и vmstat -z посмотрите для комплекта, там лучше видно чего не
> хватает.
>
> Но при таком количестве mbuf cluster'ов при таком количестве
> сокетов - странно что оно вообще работает, должно всё в
> zonelimit'е висеть беспробудно.
>
> Maxim Dounin
>
> _______________________________________________
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://nginx.org/mailman/listinfo/nginx-ru
>
_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://nginx.org/mailman/listinfo/nginx-ru