Welcome! Log In Create A New Profile

Advanced

Re: proxy cache stampede

Gena Makhomed
September 22, 2011 04:56PM
On 22.09.2011 22:50, Daniel Podolsky wrote:

>>> То, что nginx открывает больше одно коннекта к бекенду для контента,
>>> который все равно собирается закешировать - это плохо и неправильно.

>> Слова "греховно", "плохо", "неправильно" и т.п. обычно применяются
>> манипуляторами, когда они хотят добиться желаемого результата,
>> "надавив" таким образом на чувство вины и т.п. "кнопки".

> Это в техническом смысле плохо и неправильно.
> У кого хотите спросите, да хоть бы и у самого Игоря Сысоева :)

А вот если в техническом плане - то есть просто более или менее
оптимальные алгоритмы и их реализации в коде. Без лишних эмоций.

>>> Другое дело, что реализовывать busy locks в лоб через убогий ipc - это
>>> еще хуже и неправильней.

>> Пожалуйста, присылайте патч с хорошим и правильным решением проблемы.

> А его нет, правильного решения проблемы.

не понимаю, тогда о чем мы тут вообще и с какой целью сейчас говорим?
и что Вы называете словом "правильное решение проблемы" в таком случае?

> Есть очень плохое решение - сделать на shmem, и плохое - сделать в
> рамках одного воркера.

разрешите спросить, почему же решение через shared mem плохое ?
например, таким способом в nginx работает limit_req / limit_conn

и если это "очень плохое решение", то Вы наверно можете
предложить какое-то более оптимальное решение этой проблемы?

"сделать в рамках одного воркера" - это вообще не решение.
(в смысле - это не solution и не workaround, толку будет 0)

> Так что я как раз очень понимаю, почему в nginx -
> и в большинстве кеширующих прокси - этого функционала нет.

потому что это очень мало кому (кроме CDN) надо в действительности.
статику - лучше раздавать напрямую с диска, а не качать с backend`а.

и реализация этой функциональности (необходимой только CDN) в nginx
спровоцирует очередную волну демпинга и обвал рынка услуг CDN, имхо.

особенно, если сделать это в nginx "правильно" и наиболее оптимально -
с поддержкой Range-запросов, когда в первую очередь будут скачиваться
с backend`а те фрагменты файла, которые запрашивал клиент, и если в кеше
не окажется каких-то фрагментов при новом запросе - то тянуть только их,
и хранить кеш файла в sparse file, докачивая отсутствующие части
по мере необходимости, при этом сразу отдавая клиентам те части,
которые уже скачаны, не дожидаясь пока полностью весь файл
будет получен с backend`а и записан в кеш.

у кого есть свободное время, желание и возможность
реализовать такой алгоритм в виде патча к nginx?..
вот и я о том же: 3-в-1 пока что нет ни у кого.

хотя, кроме демпинга и обвала рынка услуг CDN, это спровоцирует также
и ускорение роста показателей "increase in market share" на странице

http://news.netcraft.com/archives/2011/09/06/september-2011-web-server-survey.html
September 2011 Web Server Survey

хотя, и сейчас уже nginx занимает первое место
в мире по темпам роста показателя "market share":

Nginx had the biggest increase in market share,
with a growth of 0.36 percentage points.

но с другой стороны, - чем больше будет "market share"
у nginx, - тем больше появится пользователей, которые начнут
требовать "сделайте мне красиво", обвиняя при этом в греховности.

--
Best regards,
Gena

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

proxy cache stampede

Vladimir Stavrinov September 21, 2011 11:14AM

Re: proxy cache stampede

Alex Vorona September 21, 2011 11:28AM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 12:16PM

Re: proxy cache stampede

Alex Vorona September 21, 2011 01:32PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 03:22PM

Re: proxy cache stampede

miksir September 21, 2011 04:00PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 04:58PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 06:40PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 21, 2011 07:28PM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 08:34AM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 08:56AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:16AM

Re: proxy cache stampede

kav September 22, 2011 09:20AM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 12:26PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 12:50PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 01:28PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 03:52PM

Re: proxy cache stampede

Alex Vorona September 22, 2011 04:28PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 04:38PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 04:56PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 06:02PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 07:06PM

Re: proxy cache stampede

Maxim Dounin September 22, 2011 07:42PM

Re: proxy cache stampede

Gena Makhomed September 23, 2011 06:50AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 07:22AM

Re: proxy cache stampede

miksir September 22, 2011 09:02AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 10:48AM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 11:18AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 12:26PM

Re: proxy cache stampede

miksir September 22, 2011 12:46PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 12:46PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 01:10PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 02:38PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 11:26AM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 11:30AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 12:56PM

Re: proxy cache stampede

Андрей Василишин September 22, 2011 09:14AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:28AM

Re: proxy cache stampede

Андрей Василишин September 22, 2011 04:38PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 09:26AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 01:12PM

Re: proxy cache stampede

ramm September 22, 2011 01:16AM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 02:06AM

Re: proxy cache stampede

ramm September 22, 2011 02:16AM

Re: proxy cache stampede

Rush September 22, 2011 02:28AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 08:10AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 06:12AM

Re: proxy cache stampede

ramm September 22, 2011 06:26AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 07:16AM

Re: proxy cache stampede

miksir September 22, 2011 07:36AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:06AM

Re: proxy cache stampede

ramm September 22, 2011 10:18AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 11:50AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 01:34AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 05:56AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 06:24AM

Re: proxy cache stampede

Maxim Dounin September 21, 2011 12:08PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 12:34PM

Re: proxy cache stampede

Maxim Dounin September 21, 2011 08:08PM

Re: proxy cache stampede

Vladimir Stavrinov September 23, 2011 02:36AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 06:16AM

Re: proxy cache stampede

Vladimir Stavrinov September 23, 2011 06:46AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 07:30AM

Re: proxy cache stampede

Alex Antropoff September 22, 2011 02:22AM

Re: proxy cache stampede

Rush September 22, 2011 02:58AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 03:22AM

Re: proxy cache stampede

Rush September 22, 2011 03:32AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 04:38AM

Re: proxy cache stampede

Rush September 22, 2011 07:14AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 09:18AM

nginx + memcache + 404

kisulja2000@mail.ru September 22, 2011 12:04PM

Re: nginx + memcache + 404

kisulja2000@mail.ru September 22, 2011 12:16PM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 199
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready