Welcome! Log In Create A New Profile

Advanced

Re: Подскажите - как бороться с парсерами

April 20, 2011 06:04AM
On Wed, Apr 20, 2011 at 01:54:33PM +0400, Sergey Shepelev wrote:
> 2011/4/20 maxim <maxim@della.ua>:
> > У нас портал. На нем обьявления.
> > И возникает ситуация когда конкуренты начинают парсить скриптами сайт и
> > копипастить обьявления.
> > поставил в настройках nginx
> >
> > http {
> > .....
> >  limit_req_zone $binary_remote_addr zone=one:5m rate=25r/s;
> >  limit_zone two $binary_remote_addr  1m;
> > .....
> >
> > server {
> >         listen 80;
> > ......
> > limit_req zone=one burst=35 nodelay;
> > limit_conn   two  5;
> >
> > Но не помогло. Вчера была такая картина
> > Айпи                 Время                         Хиты
> > 93.126.72.176   20:28:07 - 20:28:07 1
> > 93.126.72.176   20:28:06 - 20:28:06 1
> > 93.126.72.176   20:28:05 - 20:28:05 1
> > 93.126.72.176   20:28:05 - 20:28:05 1
> > 93.126.72.176   20:28:04 - 20:28:04 1
> > 93.126.72.176   20:28:04 - 20:28:04 1
> > 93.126.72.176   20:28:04 - 20:28:04 1
> > 93.126.72.176   20:28:03 - 20:28:03 1
> > 93.126.72.176   20:28:02 - 20:28:02 1
> > ....
> > 93.126.72.176   20:26:52 - 20:26:52 1
> > 93.126.72.176   20:26:51 - 20:26:51 1
> > 93.126.72.176   20:26:51 - 20:26:51 1
> > 93.126.72.176   20:26:51 - 20:26:51 1
> >
> > Тоесть с этого айпи каждую секунду происходит одно соединение.
> > Понятно что это не человек.
> > Подскажите как с таким боротся? Возможно я неверно  указал настройки? Или
> > это не силами nginx делается?
> >
>
> Кажется, limit_req и limit_conn вместе не работают.

Работает. Только один запрос в секунду вполне вписывается в 25r/s.


--
Igor Sysoev

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

Подскажите - как бороться с парсерами

maxim April 20, 2011 05:40AM

Re: Подскажите - как бороться с парсерами

Sergey Shepelev April 20, 2011 05:56AM

Re: Подскажите - как бороться с парсерами

Igor Sysoev April 20, 2011 06:04AM

Re: Подскажите - как бороться с парсерами

Anton Kuznetsov April 26, 2011 09:18AM

Re: Подскажите - как бороться с парсерами

vitaly@rcdesign.ru April 27, 2011 03:08AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 177
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 500 on July 15, 2024
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready