On Sat, 10 Oct 2015, Илья Шипицин wrote:

> говорят, что поисковики таким образом могут находить поисковый спам (т.е.
> ситуацию, когда контент, отдаваемый роботу, отличается от
> пользовательского).
> возможно, это сам гугл и был

Так и есть - большие поисковики регулярно "перепроверяют" проиндексированные
сайты, заходя из не-своих сетей. Но при этом они строго играют в "тайного
покупателя" - т.е. полностью отдают все присущие данному UA заголовки и
никакими специфическими заголовками себя не выдают ;-)



--
Best regards,
Andrey Kopeyko <andrey@kopeyko.ru>_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru