в идеале, в вашем случае было бы круто добавить заголовок Retry-After в
503-й ответ (чтобы роботу было понятнее, через сколько повторить запрос),
но, такого, насколько я знаю, limit не умеет.

поэтому сигнализацию по интенсивности логично вынести в robots.txt, а
вообще, роботы очень аккуратно делают запросы, они стараются не давать
нагрузку больше, чем дает обычный серфинг. если вы упираетесь при
индексации упираетесь в производительность, это звоночек о том, что запас
по производительности у вас маленький

8 августа 2016 г., 15:54 пользователь nNgzlTtv3k5lzmKRvlmS22tSl8sJr68k <
nginx-forum@forum.nginx.org> написал:

> Спасибо за совет, но хотелось бы получить разъяснение именно по настройкам
> nginx. Смысл вопроса - разобраться с нюансами работы nginx по ограничению
> запросов.
>
> Posted at Nginx Forum: https://forum.nginx.org/read.
> php?21,268830,268834#msg-268834
>
> _______________________________________________
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
>
_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru