Welcome! Log In Create A New Profile

Advanced

Подскажите - как бороться с парсерами

maxim
April 20, 2011 05:40AM
У нас портал. На нем обьявления.
И возникает ситуация когда конкуренты начинают парсить скриптами сайт и
копипастить обьявления.
поставил в настройках nginx

http {
.....
limit_req_zone $binary_remote_addr zone=one:5m rate=25r/s;
limit_zone two $binary_remote_addr 1m;
.....

server {
listen 80;
......
limit_req zone=one burst=35 nodelay;
limit_conn two 5;

Но не помогло. Вчера была такая картина
Айпи Время Хиты
93.126.72.176 20:28:07 - 20:28:07
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:06 - 20:28:06
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:05 - 20:28:05
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:05 - 20:28:05
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:04 - 20:28:04
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:04 - 20:28:04
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:04 - 20:28:04
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:03 - 20:28:03
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:28:02 - 20:28:02
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
....
93.126.72.176 20:26:52 - 20:26:52
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:26:51 - 20:26:51
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:26:51 - 20:26:51
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1
93.126.72.176 20:26:51 - 20:26:51
<http://my.212.ua/ru/statistics/visit_routes?page=9&search%5Bdate%5D=2011-04-19&search%5Bip%5D=93.126.72.176#>
1

Тоесть с этого айпи каждую секунду происходит одно соединение.
Понятно что это не человек.
Подскажите как с таким боротся? Возможно я неверно указал настройки?
Или это не силами nginx делается?

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

Подскажите - как бороться с парсерами

maxim April 20, 2011 05:40AM

Re: Подскажите - как бороться с парсерами

Sergey Shepelev April 20, 2011 05:56AM

Re: Подскажите - как бороться с парсерами

Igor Sysoev April 20, 2011 06:04AM

Re: Подскажите - как бороться с парсерами

Anton Kuznetsov April 26, 2011 09:18AM

Re: Подскажите - как бороться с парсерами

vitaly@rcdesign.ru April 27, 2011 03:08AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 154
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready