Welcome! Log In Create A New Profile

Advanced

Re: proxy cache stampede

Maxim Dounin
September 21, 2011 12:08PM
Hello!

On Wed, Sep 21, 2011 at 07:13:23PM +0400, Vladimir Stavrinov wrote:

> Добрый вечер.
>
> Не знаю бага это или нет, но проблема не хорошая. Решения в конфигурации
> я не нашёл, поэтому и пишу сюда. Сам факт хорошенько проверил
> экспериментальным путём. Проблема лучше наблюдается на больших файлах,
> потому что в этом случае достаточно времени для наблюдения.
>
> Суть проблемы. Если несколько независимых клиентов одновременно (или с
> некоторым интервалом) запрашивают один и тот же контент, которого нет
> кэше (важна не одновременность, а отсутствие данных в кэше в момент
> запроса), то для каждого такого запроса создаётся отдельный файл во
> временной директории и устанавливается отдельное соединение с backend
> сервером. Даже если все эти клиенты досрочно оборвут соединение, то всё
> равно каждый такой файл будет закачан с backend сервера на наш
> кэширующий прокси полностью, причём каждый по своему отдельному
> соединению, то есть параллельно. В итоге и объём файлов на диске и, что
> ещё более важно - результирующий трафик умножаются на количество
> клиентов (запросов). Другими словами мы многократно закачиваем одни и те
> же данные. Не трудно себе представить, что будет если количество таких
> запросов будет расти. А если к этому добавить очевидную возможность
> одновременного существования нескольких таких групп (для разных
> запросов), то становится совсем плохо.
>
> Пробовал решить эту проблему директивой
>
> proxy_cache_use_stale updating;
>
> но это не помогает, что логично, ибо этот параметр регулирует обновление
> уже существующих данных в кэше, а у нас проблема возникает тогда, когда
> этих данных ещё нет.
>
> Не знаю, может я что то упустил и эту проблему можно решить средствами
> конфигурации, тогда напишите пожалуйста, как это делается. Хотя на мой
> взгляд, здесь нечего регулировать: такой проблемы просто не должно быть
> не зависимо от конфигурации.
>
> P.S. Проверено на версиях 1.1.0 и 1.1.2

Решение этой проблемы называется "busy locks" [1], и в настоящий
момент в nginx'е отсутствует. Сделать надо, но пока не.

[1] http://sysoev.ru/mod_accel/readme.html#busylocks

Maxim Dounin

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

proxy cache stampede

Vladimir Stavrinov September 21, 2011 11:14AM

Re: proxy cache stampede

Alex Vorona September 21, 2011 11:28AM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 12:16PM

Re: proxy cache stampede

Alex Vorona September 21, 2011 01:32PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 03:22PM

Re: proxy cache stampede

miksir September 21, 2011 04:00PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 04:58PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 06:40PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 21, 2011 07:28PM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 08:34AM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 08:56AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:16AM

Re: proxy cache stampede

kav September 22, 2011 09:20AM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 12:26PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 12:50PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 01:28PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 03:52PM

Re: proxy cache stampede

Alex Vorona September 22, 2011 04:28PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 04:38PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 04:56PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 06:02PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 07:06PM

Re: proxy cache stampede

Maxim Dounin September 22, 2011 07:42PM

Re: proxy cache stampede

Gena Makhomed September 23, 2011 06:50AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 07:22AM

Re: proxy cache stampede

miksir September 22, 2011 09:02AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 10:48AM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 11:18AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 12:26PM

Re: proxy cache stampede

miksir September 22, 2011 12:46PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 12:46PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 01:10PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 02:38PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 11:26AM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 11:30AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 12:56PM

Re: proxy cache stampede

Андрей Василишин September 22, 2011 09:14AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:28AM

Re: proxy cache stampede

Андрей Василишин September 22, 2011 04:38PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 09:26AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 01:12PM

Re: proxy cache stampede

ramm September 22, 2011 01:16AM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 02:06AM

Re: proxy cache stampede

ramm September 22, 2011 02:16AM

Re: proxy cache stampede

Rush September 22, 2011 02:28AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 08:10AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 06:12AM

Re: proxy cache stampede

ramm September 22, 2011 06:26AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 07:16AM

Re: proxy cache stampede

miksir September 22, 2011 07:36AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:06AM

Re: proxy cache stampede

ramm September 22, 2011 10:18AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 11:50AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 01:34AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 05:56AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 06:24AM

Re: proxy cache stampede

Maxim Dounin September 21, 2011 12:08PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 12:34PM

Re: proxy cache stampede

Maxim Dounin September 21, 2011 08:08PM

Re: proxy cache stampede

Vladimir Stavrinov September 23, 2011 02:36AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 06:16AM

Re: proxy cache stampede

Vladimir Stavrinov September 23, 2011 06:46AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 07:30AM

Re: proxy cache stampede

Alex Antropoff September 22, 2011 02:22AM

Re: proxy cache stampede

Rush September 22, 2011 02:58AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 03:22AM

Re: proxy cache stampede

Rush September 22, 2011 03:32AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 04:38AM

Re: proxy cache stampede

Rush September 22, 2011 07:14AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 09:18AM

nginx + memcache + 404

kisulja2000@mail.ru September 22, 2011 12:04PM

Re: nginx + memcache + 404

kisulja2000@mail.ru September 22, 2011 12:16PM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 170
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready