On 10/01/10 14:01, Sergey Shepelev wrote:
> 2010/10/1 Виктор Вислобоков<corochoone@gmail.com>:
>> Хех. По поводу robots.txt могут сказать две вещи:
>> 1. Файл robots.txt относится к содержимому сайта клиента! Хостер в сайт
>> клиента лазить не должен!
Тогда, да, проблема. Их воспитывать непросто...
Остаётся только подсовывать nginx'у конфиг, соответствующий времени суток.

>> 2. Далеко не все боты читают robots.txt и используют его директивы в деле
>> касающемся скорости и частоты индексации. Например, директива Crawl-delay:
>> понимается только Яндексом, а остальные на неё кладут.
>>
>> Далее, лично мне неизвестны директивы, которые позволяют задать разное
>> поведение индексирующего робота в зависимости от времени суток. Может
>> известны вам? :)
>
> http://en.wikipedia.org/wiki/Robots_exclusion_standard #Extended standard
> http://www.conman.org/people/spc/robots2.html
> ...
> Request-rate: 1/5 # maximum rate is one page every 5 seconds
> Visit-time: 0600-0845 # only visit between 06:00 and 08:45 UTC (GMT)
>
> Но, разумеется, практически никто этого не поддерживает.
Угу, это (кто что на данный момент поддерживает и кто на что забил)
знают только матёрые оптимизаторы, к числу коих я, к счастью, не
отношусь. То есть, затачивают robots.txt только под нужные поисковики,
остальных посылают подальше, исходя из $http_user_agent.

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://nginx.org/mailman/listinfo/nginx-ru