Welcome! Log In Create A New Profile

Advanced

Re: proxy cache stampede

Alex Vorona
September 22, 2011 09:18AM
22.09.2011 14:13, Евгений 'Rush' Непомнящий wrote:
> 22 сентября 2011 г. 12:36 пользователь Alex Vorona <voron@amhost.net> написал:
>> Это проблема медленной ФС, а не проблема slowfs_cache, до включения которого
>> подразумевается что кроме этой медленной ФС вообще нет другого хранилища.
>
> Alex, либо я вас не понял, либо вы меня. Постараюсь перефразировать, а
> вы меня поправьте в чём не согласны (впрочем всё, что я напишу - не
> только теория, но и практика):
>
> 1. Если nginx читает файл с "медленной" ФС (на самом деле важна не
> скорость чтения, а скорость отклика - тут то и начинается попа) то
> страдают _все_ клиенты данного воркера. В своё время долго гадали
> почему сервер с 12Gbit/s каналом не может отдать хотя бы 10Mbit/s
> локального файла - доходило до того, что сессия разваливалась. А всё
> потому, что в том же воркере nginx отдавал несколько файлов с nfs.
Да, это и понятно.
> 2. Гляньте на код модуля slowfs. В случае большого файла (а именно тут
> и будут затыки в п1.) он _сразу_ отдаётся клиенту, без
> предварительного копирования в кеш.
Файл любого размера, отсутсвующий в кэше, сразу отдаётся клиенту с медленного хранилища.
Просто в случае большого файла само скачивание его в кэш можно сделать в отдельном
процессе, чтобы именно это скачивание не блокировало worker nginx'а.
К тому, что раздача контента с медленного хранилища сама по себе блокирует worker nginx'а
и приводит фактически к отказу в обслуживании, модуль slowfs отношения не имеет, цель
модуля как раз смягчать эту ситуацию по возможности.
> Вывод - пока не будет закеширован весь популярный контент (в моём
> случае это десятки терабайт) nginx будет _СТРАШНО_ тормозить и тУпить,
> вплоть до разрыва сессий (Либо воркеров надо будет сделать столько,
> сколько соединений, что в мойм случае нереально).
Но и без slowfs nginx страшно тормозит и тупит при отдаче контента с "медленной" ФС и само
по себе лучше не становится.
> Ну и опять же про мой случай - закешировать контент _нереально_, он каждый день
> изменяется (не по 10Тб конечно, но всё равно) и slowfs cache мне
> принёс больше геморроя, чем пользы. Если точнее ещё раз (не он первый
> не он последний, конечно) оттянул момент заглядывания в исходники
> nginx для принятия решения об отказе совмещения медленных (читай -
> сетевых, медленной наши ФС назвать тяжело при 1-20Gbit/s) и nginx. Так
> что slowfs cache - только для небольших объёмов кешируемого контента
> (несколько гигабайт), быстрых каналах (от сотенки) и/или статического
> контента.
По-моему slowfs хорошо подходит для кэширования контента с low latency ФС, у которой
latency не вырастает значительно с ростом трафика.
То есть когда nginx ещё в состоянии работать без slowfs, но задержки уже начинают
ощущаться - slowfs может помочь.

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

proxy cache stampede

Vladimir Stavrinov September 21, 2011 11:14AM

Re: proxy cache stampede

Alex Vorona September 21, 2011 11:28AM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 12:16PM

Re: proxy cache stampede

Alex Vorona September 21, 2011 01:32PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 03:22PM

Re: proxy cache stampede

miksir September 21, 2011 04:00PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 04:58PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 06:40PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 21, 2011 07:28PM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 08:34AM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 08:56AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:16AM

Re: proxy cache stampede

kav September 22, 2011 09:20AM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 12:26PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 12:50PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 01:28PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 03:52PM

Re: proxy cache stampede

Alex Vorona September 22, 2011 04:28PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 04:38PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 04:56PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 06:02PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 07:06PM

Re: proxy cache stampede

Maxim Dounin September 22, 2011 07:42PM

Re: proxy cache stampede

Gena Makhomed September 23, 2011 06:50AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 07:22AM

Re: proxy cache stampede

miksir September 22, 2011 09:02AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 10:48AM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 11:18AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 12:26PM

Re: proxy cache stampede

miksir September 22, 2011 12:46PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 12:46PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 01:10PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 02:38PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 11:26AM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 11:30AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 12:56PM

Re: proxy cache stampede

Андрей Василишин September 22, 2011 09:14AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:28AM

Re: proxy cache stampede

Андрей Василишин September 22, 2011 04:38PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 09:26AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 01:12PM

Re: proxy cache stampede

ramm September 22, 2011 01:16AM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 02:06AM

Re: proxy cache stampede

ramm September 22, 2011 02:16AM

Re: proxy cache stampede

Rush September 22, 2011 02:28AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 08:10AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 06:12AM

Re: proxy cache stampede

ramm September 22, 2011 06:26AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 07:16AM

Re: proxy cache stampede

miksir September 22, 2011 07:36AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:06AM

Re: proxy cache stampede

ramm September 22, 2011 10:18AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 11:50AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 01:34AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 05:56AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 06:24AM

Re: proxy cache stampede

Maxim Dounin September 21, 2011 12:08PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 12:34PM

Re: proxy cache stampede

Maxim Dounin September 21, 2011 08:08PM

Re: proxy cache stampede

Vladimir Stavrinov September 23, 2011 02:36AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 06:16AM

Re: proxy cache stampede

Vladimir Stavrinov September 23, 2011 06:46AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 07:30AM

Re: proxy cache stampede

Alex Antropoff September 22, 2011 02:22AM

Re: proxy cache stampede

Rush September 22, 2011 02:58AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 03:22AM

Re: proxy cache stampede

Rush September 22, 2011 03:32AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 04:38AM

Re: proxy cache stampede

Rush September 22, 2011 07:14AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 09:18AM

nginx + memcache + 404

kisulja2000@mail.ru September 22, 2011 12:04PM

Re: nginx + memcache + 404

kisulja2000@mail.ru September 22, 2011 12:16PM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 181
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready