Welcome! Log In Create A New Profile

Advanced

Re: Распределение временных файлов по дискам

ash2k -
May 06, 2010 12:50AM
5 мая 2010 г. 13:58 пользователь Sergey Shepelev <temotor@gmail.com> написал:
>>> Один из вариантов такой: поднять кластерную файловую систему. По узлу
>>> на каждом диске. Этих ФС сейчас как грязи, многие работают поверх
>>> другой ФС. Примонтировать её в одну точку. Заодно потом будет
>>> прозрачный переход на несколько машин, когда на этой диски закончатся.
>>
>> Да, наверное так можно сделать, только у меня итак на всех этих дисках
>> MogileFS и файлы загружаются туда асинхронно скриптом после записи их
>> nginx'ом во временное место хранения.
>
> Хорошо, тогда классический вариант для раздачи с разных дисков:
> поднять по одному nginx на каждый диск, аплоады балансить на них.
У меня на двух фронт серверах стоит кроме всего прочего haproxy,
проксирующий загружаемые файлы на backend сервера-хранилища на nginx,
откуда они загружаются в MogileFS. Можно настроить haproxy для
распределения запросов не по серверам, а по их дискам - для каждого
диска в сервере создать отдельный "сервер" в конфиге haproxy:

Часть предполагаемого конфига haproxy:
backend uploadserver
balance url_param X-Progress-ID
server storage1 ip1:8001 #это винт 1 сервера 1
server storage1 ip1:8002 #это винт 2 сервера 1
server storage1 ip1:8003
server storage1 ip1:8004

server storage2 ip2:8001 #это винт 1 сервера 2
server storage2 ip2:8002
server storage2 ip2:8003

тогда потребуется один nginx на каждом сервере. Хотел сделать как-то
так, но upload_store оказывается переменные не понимает (почему?):

http {
map $server_port $store_path {
8001 /mnt/hd1;
8002 /mnt/hd2;
8003 /mnt/hd3;
8004 /mnt/hd4;
}
server {
listen ip1:8001;
listen ip1:8002;
listen ip1:8003;
listen ip1:8004;
...

location = /upload {
upload_store $store_path;
...
}
}
}

Видимо придется делать несколько server на разных портах с разными
директивами upload_store, а include поможет избежать излишнего
дублирования.
Спасибо, то, что нужно.
_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

Распределение временных файлов по дискам

ash2k - May 04, 2010 07:50AM

Re: Распределение временных файлов по дискам

Sergey Shepelev May 04, 2010 07:56AM

Re: Распределение временных файлов по дискам

ash2k - May 04, 2010 09:10AM

Re: Распределение временных файлов по дискам

Sergey Shepelev May 04, 2010 09:22AM

Re: Распределение временных файлов по дискам

ash2k - May 04, 2010 09:56AM

Re: Распределение временных файлов по дискам

Sergey Shepelev May 04, 2010 10:10AM

Re: Распределение временных файлов по дискам

ash2k - May 04, 2010 12:00PM

Re: Распределение временных файлов по дискам

Sergey Shepelev May 04, 2010 12:44PM

Re[2]: Распределение временных файлов по дискам

jjjx128 May 04, 2010 01:32PM

Re: Re[2]: Распределение временных файлов по дискам

Sergey Shepelev May 04, 2010 01:44PM

Re: Re[2]: Распределение временных файлов по дискам

Богун Дмитрий May 04, 2010 01:48PM

Re: Распределение временных файлов по дискам

ash2k - May 04, 2010 11:26PM

Re: Распределение временных файлов по дискам

Sergey Shepelev May 05, 2010 04:00AM

Re: Распределение временных файлов по дискам

Gerasimenko Konstantin May 05, 2010 04:04AM

Re: Распределение временных файлов по дискам

Dmitry Banschikov May 04, 2010 10:06AM

Re: Распределение временных файлов по дискам

ash2k - May 04, 2010 11:56AM

Re: Распределение временных файлов по дискам

Dmitry Morozovsky May 05, 2010 07:30AM

Re: Распределение временных файлов по дискам

ash2k - May 06, 2010 12:48AM

Re: Распределение временных файлов по дискам

ash2k - May 06, 2010 12:50AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 129
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready