Welcome! Log In Create A New Profile

Advanced

Re: Как закрыть сервер для всех стран кроме своей и сервисов гугл

Gena Makhomed
June 03, 2021 02:42AM
On 03.06.2021 0:40, Shilov wrote:

> Использую на базе Nginx реверсный прокси, работает чудесно, спасибо его создателю!
>
> Как в нем грамотно сделать то же самое - ограничить доступ к нему со всех стран, кроме своей и некоторых сервисов (гугл, счетчик и т.п.)?

самый простой способ - это закрыть сайт с помощью cloudflare
и настроить там фильтры соответствующим образом:

1. known bots: allow - это разрешит ходить на сайт гуглу и яндексу
2. country 'RU': allow - это разрешит ходить всем со своей страны
3. all: block - это запретит доступ всем остальным.

в п.2 можно указать несколько стран, из которых доступ разрешен.

Если попробовать обойтись без cloudflare - тогда проблематично будет
узнать все ип гугловских ботов, чтобы их не блокировать. Теоретически
- возможно поможет сканирование подсетей автономных систем гугла,
и составление белого списка всех гугловских ип адерсов.

Вот список автономных систем по состоянию на март 2014 года:
http://www.gilles-bertrand.com/2014/03/google-network-ip-address-business-intelligence-autonomous-systems.html

Вот список подсетей одной из этих автономных систем:
https://www.dan.me.uk/bgplookup?asn=15169

Более простой и менее надежный способ - это по наличию
подстроки 'google' в строке user-agent, но такой способ
не надежен, потому что строку user-agent легко подделать.

Документированный способ определения гугловского бота - с помощью днс,
https://developers.google.com/search/docs/advanced/crawling/verifying-googlebot
но этот способ в nginx не получится использовать в реальном
времени для не блокирования доступа гугловских ботов на сайт.

--
Best regards,
Gena

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

Как закрыть сервер для всех стран кроме своей и сервисов гугл

akoval September 09, 2020 06:07AM

Re: Как закрыть сервер для всех стран кроме своей и сервисов гугл

Илья Шипицин September 09, 2020 06:12AM

Re: Как закрыть сервер для всех стран кроме своей и сервисов гугл

akoval September 09, 2020 07:53AM

Re: Как закрыть сервер для всех стран кроме своей и сервисов гугл

Илья Шипицин September 09, 2020 08:18AM

Re: Как закрыть сервер для всех стран кроме своей и сервисов гугл

Илья Шипицин September 09, 2020 08:58AM

Непонятки со страницами ошибок

Shilov October 04, 2020 01:42PM

Re: Непонятки со страницами ошибок

fox October 04, 2020 10:14PM

Re: Непонятки со страницами ошибок

ALex_hha October 05, 2020 03:38AM

Re: Как закрыть сервер для всех стран кроме своей и сервисов гугл

Shilov June 02, 2021 05:42PM

Re: Как закрыть сервер для всех стран кроме своей и сервисов гугл

Gena Makhomed June 03, 2021 02:42AM

Re: Как закрыть сервер для всех стран кроме своей и сервисов гугл

Shilov June 03, 2021 03:06AM

Re: Как закрыть сервер для всех стран кроме своей и сервисов гугл

Shilov June 03, 2021 04:32AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 82
Record Number of Users: 6 on February 13, 2018
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready