Хех. По поводу robots.txt могут сказать две вещи:
1. Файл robots.txt относится к содержимому сайта клиента! Хостер в сайт
клиента лазить не должен!
2. Далеко не все боты читают robots.txt и используют его директивы в деле
касающемся скорости и частоты индексации. Например, директива Crawl-delay:
понимается только Яндексом, а остальные на неё кладут.

Далее, лично мне неизвестны директивы, которые позволяют задать разное
поведение индексирующего робота в зависимости от времени суток. Может
известны вам? :)

1 октября 2010 г. 12:06 пользователь Andrey N. Oktyabrski
<ano@bestmx.ru>написал:

> On 10/01/10 11:13, Виктор Вислобоков wrote:
>
>> Да, можно найти обходной путь, написать скрипт, подменять конфиги,
>> перезагружать nginx, но возможно есть более удобный способ?
>>
> Чего только люди не придумают, лишь бы не рисовать robots.txt :-)
>
> _______________________________________________
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://nginx.org/mailman/listinfo/nginx-ru
>
_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://nginx.org/mailman/listinfo/nginx-ru