Welcome! Log In Create A New Profile

Advanced

Помогите разобраться откуда берутся левые get-запросы

November 23, 2011 11:58PM
Выделенный сервер на Debian, на котором много сайтов (bind9, nginx+php-fpm).
Столкнулся с очень странной проблемой. В логах nginx отдельных хостов с завидной регулярностью замечаю get-запросы страниц другого сайта.
То есть например в логе первого сайта site1.ru.access.log Googlebot/2.1 и другие боты запрашивают страницы второго сайта
...
..."GET /stranica-site2-1.html HTTP/1.1"...
...
..."GET /stranica-site2-n.html HTTP/1.1"...
...
На самом деле это урл-ы сайта site2.ru и ссылок естественно таких на site1.ru нигде нет, поэтому то, что они запрашиваются тем боле поисковыми ботами, может означать только одно - ошибка где-то в конфигах. Я в первую очередь подумал, что дело в кешировании fast-cgi-запросов на nginx и убрал его - но это на мое удивление не решило проблему.
Я не могу понять почему такое может происходить и куда копать дальше.
Тому, кто даст правильную наводку в решении вопроса, готов заплатить 10 баксов за помощь (если проблема окажется серьезная, готов обсудить решение за вашу цену).

Вот конфиги:
общий nginx.conf
user www-data;
worker_processes 8;

# Уменьшает число системных вызовов gettimeofday(), что приводит к увеличению производительности
timer_resolution 100ms;

# Изменяет ограничение на число используемых файлов RLIMIT_NOFILE для рабочего процесса.
worker_rlimit_nofile 8192;

# Директива задаёт приоритет рабочих процессов от -20 до 20 (отрицательное число означает более высокий приоритет).
worker_priority -5;

events {
#worker_connections 1024;
worker_connections 16384;
use epoll;
multi_accept off;
}


pid /var/run/nginx.pid;


http {

##
# Basic Settings
##

include blockips.conf;

sendfile on;
tcp_nopush on;
tcp_nodelay on;
#keepalive_timeout 65;
keepalive_timeout 5;
types_hash_max_size 2048;
# server_tokens off;

# server_names_hash_bucket_size 64;
# server_name_in_redirect off;

include /etc/nginx/mime.types;
default_type application/octet-stream;

##
# Logging Settings
##

access_log /var/log/nginx/access.log;
error_log /var/log/nginx/error.log;

##
# Gzip Settings
##

gzip on;
gzip_disable "msie6";

# gzip_vary on;
# gzip_proxied any;
# gzip_comp_level 6;
# gzip_buffers 16 8k;
# gzip_http_version 1.1;
# gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;

# gzip_min_length 1100;
gzip_buffers 64 8k;
gzip_comp_level 8;
gzip_types text/plain application/xml application/x-javascript text/css;
gzip_proxied any;

#кеширование
#fastcgi_cache_path /tmp/nginx/ levels=1:2 keys_zone=fastcgi_cache:16m max_size=256m inactive=1d;

##
# Virtual Host Configs
##


# default virtual host
server {
listen 80 default;
server_name localhost;
deny all;
}


include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
}

конфиг хоста:
server {
listen 80;
server_name site.ru;
access_log /var/log/nginx/site.ru.access.log;
error_log /var/log/nginx/site.ru.error.log;

gzip_static on;

if ($http_user_agent ~ ZmEu) {
return 503;
}

##не принимать от клиентов запросы длиной более 1 Мб
client_max_body_size 1m;

root /var/www/site.ru;

## Default location
location / {
index index.php index.html index.htm;
include /var/www/site.ru/.htaccess;
}

location ^~ /uploads/ {
access_log off;
expires max;
}

location ^~ /templates/ {
}

location /robots.txt {
alias /var/www/site.ru/robots_$host.txt;
}

location /sitemap.xml {
alias /var/www/site.ru/uploads/sitemap_$host.xml;
}

## Images and static content is treated different
location ~* ^.+.(jpg|jpeg|gif|png|js|ico)$ {
access_log off;
expires max;
}

location /index.php {
return 301 /;
}

## Parse all .php file in the /var/www/site.ru directory
location ~ \.php$ {
try_files $uri =404;
fastcgi_split_path_info ^(.+\.php)(.*)$;
#fastcgi_pass 127.0.0.1:9000;
fastcgi_pass unix:/tmp/php-fpm.sock;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /var/www/site.ru$fastcgi_script_name;
include fastcgi_params;
fastcgi_param QUERY_STRING $query_string;
fastcgi_param REQUEST_METHOD $request_method;
fastcgi_param CONTENT_TYPE $content_type;
fastcgi_param CONTENT_LENGTH $content_length;
fastcgi_intercept_errors on;
fastcgi_ignore_client_abort off;
fastcgi_connect_timeout 60;
fastcgi_send_timeout 180;
fastcgi_read_timeout 180;
fastcgi_buffer_size 128k;
fastcgi_buffers 4 256k;
fastcgi_busy_buffers_size 256k;
fastcgi_temp_file_write_size 256k;
#кеширование FastCGI-запросов
#fastcgi_pass_header "Set-Cookie"; # Необходимо для передачи cookie в соответствующие переменные, например cookie с именем phpsessid будет находится в переменной $cookie_phpsessid
#
# #fastcgi_ignore_headers Cache-Control Expires Set-Cookie; # Игнорируем заголовки, относящиеся к кешированию, полученные от FastCGI-сервера
# fastcgi_cache_key "$server_addr:$server_port$request_uri|$cookie_phpsessid"; # Формируем уникальный ключ; в данном случае различаем пользователей с помощью $cookie_phpsessid
# fastcgi_cache fastcgi_cache; # Говорим о том, что использовать надо вышеобъявленную кеш-зону fastcgi_cache
# fastcgi_temp_path /tmp/nginx/temp 1 2; # Указываем папку для хранения временных файлов
# fastcgi_cache_use_stale updating error timeout invalid_header http_500; # Используем вариант из кеша (даже если он устарел) в случае ошибки
#fastcgi_cache_valid 200 302 10m;
#fastcgi_cache_valid 301 1h;
#fastcgi_cache_valid any 1m;
}

## Disable viewing .htaccess & .htpassword
location ~ /\.ht {
deny all;
}

}

server {
listen 80;
server_name www.site.ru;
rewrite ^ http://site.ru$request_uri?;
}

Подскажите, где косяк?
Subject Author Posted

Помогите разобраться откуда берутся левые get-запросы

valet November 23, 2011 11:58PM

Re: Помогите разобраться откуда берутся левые get-запросы

mva November 24, 2011 01:34AM

Re: Помогите разобраться откуда берутся левые get-запросы

valet November 24, 2011 01:54AM

Re: Помогите разобраться откуда берутся левые get-запросы

valet November 24, 2011 11:38AM

Re: Помогите разобраться откуда берутся левые get-запросы

valet November 24, 2011 01:55PM

Re: Помогите разобраться откуда берутся левые get-запросы

Eduard Kutuev November 24, 2011 04:50AM

Re: Помогите разобраться откуда берутся левые get-запросы

Валентин Бартенев November 24, 2011 01:00PM

Re: Помогите разобраться откуда берутся левые get-запросы

Gena Makhomed November 24, 2011 01:48PM

Re: Помогите разобраться откуда берутся левые get-запросы

valet November 24, 2011 03:56PM

Re: Помогите разобраться откуда берутся левые get-запросы

valet November 24, 2011 07:26PM

Re: Помогите разобраться откуда берутся левые get-запросы

valet November 25, 2011 03:53PM

Re: Помогите разобраться откуда берутся левые get-запросы

valet November 26, 2011 09:34PM

Re: Помогите разобраться откуда берутся левые get-запросы

valet November 27, 2011 08:08PM

Re[2]: get-

Andrey Repin November 24, 2011 06:36PM

Re: Помогите разобраться откуда берутся левые get-запросы

Богун Дмитрий November 24, 2011 08:06PM

Re: Помогите разобраться откуда берутся левые get-запросы

Gena Makhomed November 25, 2011 05:16AM

Re[2]: get-

Andrey Repin November 25, 2011 06:06PM

Re[2]: get-

Andrey Repin November 27, 2011 09:06AM

Re[2]: get-

Andrey Repin November 28, 2011 12:22PM

Re: Помогите разобраться откуда берутся левые get-запросы

Богун Дмитрий November 28, 2011 03:04PM

Re: Помогите разобраться откуда берутся левые get-запросы

Alex Smorodin November 24, 2011 02:14PM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 62
Record Number of Users: 6 on February 13, 2018
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready