Welcome! Log In Create A New Profile

Advanced

Re: proxy cache stampede

Alex Vorona
September 21, 2011 01:32PM
21.09.2011 19:15, Vladimir Stavrinov wrote:
> On Wed, Sep 21, 2011 at 06:26:14PM +0300, Alex Vorona wrote:
>
>> Отдавайте редирект туда, где файл существует, в то время как сами
>
> А где же он ещё существует, если не на backend сервере?
Либо вместо редиректа - проксирование на backend без буфферизации.
>
>> закачиваете этот файл в
>
> Это я не понял. Кто закачивает и как, если мы запрос уже куда - то
> перенаправили? Или я должен в ручную это делать?
Это уже как вы сделаете. Можно и nginx научить закачивать, например потанцевав вокруг
post_action, можно анализировать access_log и тп.
> И какой в этом смысл,
> если все такие запросы пойдут на backend сервер?
- запросы будут обслужены
- подтянется в локальное зеркало/кэш файл и после этого запросы к нему будут обслужены
фронтендом.

Альтернатива - подождать реализации busy locks в nginx, как заметил Максим или ускорить её
вложением некоторой суммы.
>> этой проблемы, proxy_store тут в помощь.
>
> Я не вижу там никаких средств управления хранилищем. Как его чистить? По
> какому критерию? Как ограничить объём? Или это опять нужно делать
> вручную?
cron+find+sort+rm удаляют некоторое число файлов с самым старым atime по достижении
нужного % заполнения хранилища.

>> А по-вашему, что должен делать nginx, когда приходят ещё запросы на
>> один и тот же uri, отсутствующий в кэше на момент первого запроса и
>> уже тянущийся в 1 поток?
>
> Я не знаю, но наверно как то можно было бы сначала брать первую часть
> данных из одного временного файла, а потом, после удаления временного
> файла продолжить подкачивать уже из кэша. Или же не удалять временный
> файл до тех пор пока не будет обслужен полностью последний такой запрос.
> Но как бы там ни было, закачивать многократно одни и те же данные - это
> в принципе, это в корне не правильно не зависимо от размера файлов.
А c range-запросами(как раз для больших файлов актуально) и стримингом это совместить
будет нетривиально.

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

proxy cache stampede

Vladimir Stavrinov September 21, 2011 11:14AM

Re: proxy cache stampede

Alex Vorona September 21, 2011 11:28AM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 12:16PM

Re: proxy cache stampede

Alex Vorona September 21, 2011 01:32PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 03:22PM

Re: proxy cache stampede

miksir September 21, 2011 04:00PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 04:58PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 06:40PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 21, 2011 07:28PM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 08:34AM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 08:56AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:16AM

Re: proxy cache stampede

kav September 22, 2011 09:20AM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 12:26PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 12:50PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 01:28PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 03:52PM

Re: proxy cache stampede

Alex Vorona September 22, 2011 04:28PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 04:38PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 04:56PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 06:02PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 07:06PM

Re: proxy cache stampede

Maxim Dounin September 22, 2011 07:42PM

Re: proxy cache stampede

Gena Makhomed September 23, 2011 06:50AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 07:22AM

Re: proxy cache stampede

miksir September 22, 2011 09:02AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 10:48AM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 11:18AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 12:26PM

Re: proxy cache stampede

miksir September 22, 2011 12:46PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 12:46PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 01:10PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 02:38PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 11:26AM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 11:30AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 12:56PM

Re: proxy cache stampede

Андрей Василишин September 22, 2011 09:14AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:28AM

Re: proxy cache stampede

Андрей Василишин September 22, 2011 04:38PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 09:26AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 01:12PM

Re: proxy cache stampede

ramm September 22, 2011 01:16AM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 02:06AM

Re: proxy cache stampede

ramm September 22, 2011 02:16AM

Re: proxy cache stampede

Rush September 22, 2011 02:28AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 08:10AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 06:12AM

Re: proxy cache stampede

ramm September 22, 2011 06:26AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 07:16AM

Re: proxy cache stampede

miksir September 22, 2011 07:36AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:06AM

Re: proxy cache stampede

ramm September 22, 2011 10:18AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 11:50AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 01:34AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 05:56AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 06:24AM

Re: proxy cache stampede

Maxim Dounin September 21, 2011 12:08PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 12:34PM

Re: proxy cache stampede

Maxim Dounin September 21, 2011 08:08PM

Re: proxy cache stampede

Vladimir Stavrinov September 23, 2011 02:36AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 06:16AM

Re: proxy cache stampede

Vladimir Stavrinov September 23, 2011 06:46AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 07:30AM

Re: proxy cache stampede

Alex Antropoff September 22, 2011 02:22AM

Re: proxy cache stampede

Rush September 22, 2011 02:58AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 03:22AM

Re: proxy cache stampede

Rush September 22, 2011 03:32AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 04:38AM

Re: proxy cache stampede

Rush September 22, 2011 07:14AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 09:18AM

nginx + memcache + 404

kisulja2000@mail.ru September 22, 2011 12:04PM

Re: nginx + memcache + 404

kisulja2000@mail.ru September 22, 2011 12:16PM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 184
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready