2010/10/1 Виктор Вислобоков <corochoone@gmail.com>:
> Хех. По поводу robots.txt могут сказать две вещи:
> 1. Файл robots.txt относится к содержимому сайта клиента! Хостер в сайт
> клиента лазить не должен!
> 2. Далеко не все боты читают robots.txt и используют его директивы в деле
> касающемся скорости и частоты индексации. Например, директива Crawl-delay:
> понимается только Яндексом, а остальные на неё кладут.
>
> Далее, лично мне неизвестны директивы, которые позволяют задать разное
> поведение индексирующего робота в зависимости от времени суток. Может
> известны вам? :)
>

http://en.wikipedia.org/wiki/Robots_exclusion_standard #Extended standard
http://www.conman.org/people/spc/robots2.html
...
Request-rate: 1/5 # maximum rate is one page every 5 seconds
Visit-time: 0600-0845 # only visit between 06:00 and 08:45 UTC (GMT)

Но, разумеется, практически никто этого не поддерживает.
_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://nginx.org/mailman/listinfo/nginx-ru