Welcome! Log In Create A New Profile

Advanced

Re: proxy cache stampede

Vladimir Stavrinov
September 22, 2011 12:56PM
On Thu, Sep 22, 2011 at 06:24:52PM +0300, Alexandr Gomoliako wrote:

> Это не косяк, а особенность.

Знакомая песня из классики: "Этот баг у нас фичей зовётся"

> Первая особенность: кэш лоадер, что приведет к деградации
> производительности после ребута, пока не заполнится.

Не существенно, особенно если не ребутить каждый день, как это в
некоторых так называемых системах принято.

> Вторая: хранение каждого запроса в файловой системе в виде отдельного
> файла, что на больших количествах файлов приведет к нескольким сикам
> по диску на каждый запрос, долгому разогреву кэша фс и соответственно
> деградации производительности.

Не только я, но и другие здесь уже написали, что раздаются файлы. То
есть речь не идёт о каких то разнообразных и сложно сочинённых запросах,
количество которых и соответствующих им файлов в кэше может расти
теоретически бесконечно. Каждый запрос - это изначально файл, который
отдаётся и количество их если и можно считать большим, то всё равно
ограничено. По крайней мере далеко от пределов возможностей системы. И с
файловой системой там уж точно нет никаких проблем.

> Третья особенность -- разделямая память для метаданных, а это уже lock
> contention и т.д. на большой нагрузке.

И здесь до этого далеко. Главную нагрузку создаёт тот самый паразитный
трафик, о котором я здесь всё время талдычу, но видимо без особого
успеха.

> Еще файлы ложатся во временную директорию и перемещаются/копируются в
> кэш по завершении загрузки, но вы об этой уже знаете.

Ещё раз про любовь. Само по себе перемещение файла в рамках одной
файловой системы не стоит ничего. Но если тебе вместо одного большого
файла приходится создавать несколько десятков таких же но не совершенно
не нужных, тогда это может стать проблемой.

И ещё раз - использование кэширующих прокси на CDN - это тенденция. Я
знаю, что говорю ибо помимо собственных ресурсов, мы пользовались и
пользуемся услугами мировых брэндов в этой области.

--

***************************
## Vladimir Stavrinov
## vstavrinov@gmail.com
***************************

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

proxy cache stampede

Vladimir Stavrinov September 21, 2011 11:14AM

Re: proxy cache stampede

Alex Vorona September 21, 2011 11:28AM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 12:16PM

Re: proxy cache stampede

Alex Vorona September 21, 2011 01:32PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 03:22PM

Re: proxy cache stampede

miksir September 21, 2011 04:00PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 04:58PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 06:40PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 21, 2011 07:28PM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 08:34AM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 08:56AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:16AM

Re: proxy cache stampede

kav September 22, 2011 09:20AM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 12:26PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 12:50PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 01:28PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 03:52PM

Re: proxy cache stampede

Alex Vorona September 22, 2011 04:28PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 04:38PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 04:56PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 06:02PM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 07:06PM

Re: proxy cache stampede

Maxim Dounin September 22, 2011 07:42PM

Re: proxy cache stampede

Gena Makhomed September 23, 2011 06:50AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 07:22AM

Re: proxy cache stampede

miksir September 22, 2011 09:02AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 10:48AM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 11:18AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 12:26PM

Re: proxy cache stampede

miksir September 22, 2011 12:46PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 12:46PM

Re: proxy cache stampede

Gena Makhomed September 22, 2011 01:10PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 02:38PM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 11:26AM

Re: proxy cache stampede

Alexandr Gomoliako September 22, 2011 11:30AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 12:56PM

Re: proxy cache stampede

Андрей Василишин September 22, 2011 09:14AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:28AM

Re: proxy cache stampede

Андрей Василишин September 22, 2011 04:38PM

Re: proxy cache stampede

Oleksandr V. Typlyns'kyi September 22, 2011 09:26AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 01:12PM

Re: proxy cache stampede

ramm September 22, 2011 01:16AM

Re: proxy cache stampede

Daniel Podolsky September 22, 2011 02:06AM

Re: proxy cache stampede

ramm September 22, 2011 02:16AM

Re: proxy cache stampede

Rush September 22, 2011 02:28AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 08:10AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 06:12AM

Re: proxy cache stampede

ramm September 22, 2011 06:26AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 07:16AM

Re: proxy cache stampede

miksir September 22, 2011 07:36AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 09:06AM

Re: proxy cache stampede

ramm September 22, 2011 10:18AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 11:50AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 01:34AM

Re: proxy cache stampede

Vladimir Stavrinov September 22, 2011 05:56AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 06:24AM

Re: proxy cache stampede

Maxim Dounin September 21, 2011 12:08PM

Re: proxy cache stampede

Vladimir Stavrinov September 21, 2011 12:34PM

Re: proxy cache stampede

Maxim Dounin September 21, 2011 08:08PM

Re: proxy cache stampede

Vladimir Stavrinov September 23, 2011 02:36AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 06:16AM

Re: proxy cache stampede

Vladimir Stavrinov September 23, 2011 06:46AM

Re: proxy cache stampede

Maxim Dounin September 23, 2011 07:30AM

Re: proxy cache stampede

Alex Antropoff September 22, 2011 02:22AM

Re: proxy cache stampede

Rush September 22, 2011 02:58AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 03:22AM

Re: proxy cache stampede

Rush September 22, 2011 03:32AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 04:38AM

Re: proxy cache stampede

Rush September 22, 2011 07:14AM

Re: proxy cache stampede

Alex Vorona September 22, 2011 09:18AM

nginx + memcache + 404

kisulja2000@mail.ru September 22, 2011 12:04PM

Re: nginx + memcache + 404

kisulja2000@mail.ru September 22, 2011 12:16PM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 140
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready