Welcome! Log In Create A New Profile

Advanced

Re: Еще раз о дисковой подсистеме

August 18, 2011 10:26AM
On Thu, Aug 18, 2011 at 05:48:38PM +0400, Илья Винокуров wrote:
> 18 августа 2011, 13:00 от Igor Sysoev <igor@sysoev.ru>:
> > On Thu, Aug 18, 2011 at 12:49:23PM +0400, Илья Винокуров wrote:
> > > А у меня другое мнение.
> > > Для раздачи long статики (фильмы длинные) RAID 10 будет эффективнее, чем независимые винты:
> > >
> > > 1) При раздаче одного файла участвуют все диски (у независимых винтов только один)
> >
> > Именно. То есть, весь рэйд при этом работает со скоростью одного диска.
>
> Для одного потока да - RAID10 может работать со скоростью одного винта, но Вы рекомендуете запускать
> столько процессов nginx, сколько ядер в системе... А в системе сейчас от 2-х ядер.
> Так вот, при параллельной работе нескольких потоков запросы к массиву будут параллелиться между дисками.

Для одного потока RAID10 будет работать со скоростью всех дисков:
1) процесс читает 1М,
2) с каждого диска ядро читает по 128К,
3) диски подвели головки к нужному трэку,
4) и прочитали в свой кэш целый трэк - 1-2М,
5) в ядро уходит блоки по 128К,
6) ядро читает следующие 128К,
7) они уже не читаются с диска, а берутся из кэша диска,
8) goto 4, до тех пор пока кэш не будет исчерпан.

В случае нескольких потоков пункты 1-5 те же самые, а на пункте 6 данные,
как правило, вытеснены другими потоками. То есть, мы заставляем диски
двигать головы на каждое чтение, что практически аналогично времени
случайного доступа к одному диску.

Что касается числа процессов nginx, то данная рекомендация относится
только, если nginx упирается в процессор. Если же узкое место диски,
то процессов нужно много - 10-30 и их число никак не связано с числов
процессоров.

> Рассматриваем ситуацию, когда разным процессам нужны разные блоки данных одного длинного файла.
> В схеме же с отдельными дисками один популярный длинный фильм может убить весь сервер, который
> только и будет делать, что ждать задыхающийся винт.

С RAID10 ничего не измениться. Только задыхаться будет весь RAID.

> > Для современного диска нет ощутимой разницы в чтении 1К или 1М. Поэтому
> > читать с нескольких дисков блоки по 128К, чтобы набрать 1М - бессмысленно.
>
> Поэтому я и предложил увеличить размер блока данных.
>
> > > PS: При монтировании RAID10 для длинных файлов следует увеличить величину блока
> > > до 1..2 мегабайт.
>
> > И многие рэйд позволяют подобное увеличение ?
>
> Конечно же, речь идет о софтовом решении. По моему мнению будущее за софтовыми RAID массивами,
> а точнее за RAIDовыми FS.

Замечательно, какие софтовые рэйды позволяют увеличить страйп до 1М ?

> > И всё равно он не полностью решает проблему - при попадании на границу
> > будут задействованы два диска вместо одного ?
>
> Если рассматривать работу в системе кучки процессов, насилующих RAID массив, то факт попадания одного
> файла на границу не играет никакой роли. Главное, чтобы план чтения блоков с конкретного диска был
> оптимальным. Посему рекомендации сводятся к использованию SAS дисков.

См. выше.


--
Игорь Сысоев
http://sysoev.ru

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

Еще раз о дисковой подсистеме

Anton Kuznetsov August 17, 2011 10:28AM

Re: Еще раз о дисковой подсистеме

Alexander Petrovsky August 17, 2011 10:46AM

Re: Еще раз о дисковой подсистеме

Илья Винокуров August 17, 2011 10:54AM

Re: Еще раз о дисковой подсистеме

Anton Kuznetsov August 17, 2011 11:06AM

Re: Еще раз о дисковой подсистеме

Gena Makhomed August 20, 2011 08:28AM

Re: Еще раз о дисковой подсистеме

Михаил Монашёв August 17, 2011 03:06PM

Re: Еще раз о дисковой подсистеме

Anton Yuzhaninov August 17, 2011 03:10PM

Re: Еще раз о дисковой подсистеме

Андрей Василишин August 17, 2011 03:18PM

RE: Еще раз о дисковой подсистеме

Савельев Александр August 18, 2011 12:06AM

Re: Еще раз о дисковой подсистеме

Igor Sysoev August 18, 2011 12:40AM

Re: Еще раз о дисковой подсистеме

Anton Gorlov August 18, 2011 01:42AM

Re: Еще раз о дисковой подсистеме

Daniel Podolsky August 18, 2011 03:04AM

Re: Еще раз о дисковой подсистеме

Gena Makhomed August 18, 2011 04:14AM

Re[2]: Еще раз о дисковой подсистеме

Илья Винокуров August 18, 2011 04:50AM

Re: Еще раз о дисковой подсистеме

Андрей Василишин August 18, 2011 04:58AM

Re: Еще раз о дисковой подсистеме

Igor Sysoev August 18, 2011 05:02AM

Re[2]: Еще раз о дисковой подсистеме

Илья Винокуров August 18, 2011 09:50AM

Re: Еще раз о дисковой подсистеме

Igor Sysoev August 18, 2011 10:26AM

Re[2]: Еще раз о дисковой подсистеме

Илья Винокуров August 18, 2011 11:34AM

Re: Еще раз о дисковой подсистеме

Konstantin Gerasimenko August 19, 2011 10:04AM

Re: Еще раз о дисковой подсистеме

Gena Makhomed August 18, 2011 11:02AM

RE: Re[2]: Еще раз о дисковой подсистеме

Савельев Александр August 19, 2011 08:42AM

Re: Еще раз о дисковой подсистеме

Gena Makhomed August 18, 2011 10:42AM

Re[2]: Еще раз о дисковой подсистеме

Михаил Монашёв August 18, 2011 12:50PM

Re: Re[2]: Еще раз о дисковой подсистеме

Anton Kuznetsov August 19, 2011 08:30AM

Re: Еще раз о дисковой подсистеме

Андрей Василишин August 19, 2011 09:30AM

RE: Еще раз о дисковой подсистеме

Савельев Александр August 18, 2011 02:08AM

Re: Еще раз о дисковой подсистеме

Gena Makhomed August 20, 2011 08:52AM

Re: Еще раз о дисковой подсистеме

Andrey N. Oktyabrski August 20, 2011 02:26PM

Re: Еще раз о дисковой подсистеме

Daniel Podolsky August 20, 2011 02:50PM

Re[2]: Еще раз о дисковой подсистеме

Михаил Монашёв August 21, 2011 04:44AM

Re: Re[2]: Еще раз о дисковой подсистеме

Daniel Podolsky August 21, 2011 05:36AM

Re: Еще раз о дисковой подсистеме

Vladislav V. Prodan August 21, 2011 10:40AM

Re: Еще раз о дисковой подсистеме

squirl August 21, 2011 12:46PM

Re: Еще раз о дисковой подсистеме

Vladislav V. Prodan August 21, 2011 01:06PM

Re: Еще раз о дисковой подсистеме

squirl August 21, 2011 01:36PM

Re: Еще раз о дисковой подсистеме

Vladislav V. Prodan August 21, 2011 03:34PM

Re: Еще раз о дисковой подсистеме

Den Ivanov August 21, 2011 11:30PM

Re: Еще раз о дисковой подсистеме

Igor V. Fatkulin August 21, 2011 11:52PM

Re: Еще раз о дисковой подсистеме

Den Ivanov August 22, 2011 12:42AM

Re: Еще раз о дисковой подсистеме

Anton Kuznetsov August 23, 2011 06:50AM

Re[2]: Еще раз о дисковой подсистеме

Михаил Монашёв August 24, 2011 05:36AM

Re: Еще раз о дисковой подсистеме

Gena Makhomed August 20, 2011 04:42PM

Re: Еще раз о дисковой подсистеме

Daniel Podolsky August 24, 2011 05:26AM

Re: Еще раз о дисковой подсистеме

Andrey N. Oktyabrski August 24, 2011 05:40AM

Re: Еще раз о дисковой подсистеме

Igor Sysoev August 24, 2011 06:28AM

Re: Еще раз о дисковой подсистеме

Andrey N. Oktyabrski August 24, 2011 07:42AM

Re: Еще раз о дисковой подсистеме

Dmitry Ishutkin October 07, 2011 06:20AM

Re: Еще раз о дисковой подсистеме

arty777 October 07, 2011 08:46AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 122
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 500 on July 15, 2024
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready