Welcome! Log In Create A New Profile

Advanced

Re: Re[2]: Что-то типа cache db планируется?

January 15, 2013 09:58AM
Михаил Монашёв Wrote:
-------------------------------------------------------
> Здравствуйте, Trurl.
>
> > У меня вообще одна голая практика... ферма (много апачей и не только
> > их) живет в штатах, а узлы CDN раскиданы по Европе и все это под
> > контролем ДНС с геобалансингом (+мониторинг состояния с отключением
> > упавших узлов). Например две точки в Москве (на разных провайдерах)
> > - между ними перекинуть видео весом в 2ГБ куда выгоднее чем тащить
> > со штатов, учитывая что "внешний" траффик зачастую лимитируется, в
> > отличии от проброса по М9/М10. Даже с Киевского узла его перегнать -
> > и то на порядок выгоднее.
>
> Вопрос не в том, чтобы перекинуть, а в том, чтобы потом эти данные
> как-то использовать. Чтобы использовать быстро, их хорошо бы в
> оперативке держать. Если такие данные приходят от нескольких серверов,
> то они съедят много оперативки и их хорошо бы не дублировать в разных
> местах.
>
> У Вас, как я понимаю, 2 параметра, по которым можно производить
> оптимизацию: время и стоимость доставки контента.

Стоимость доставки включает в себя и внутреннюю доставку между узлами.

>
> Если говорить про время, то отдавать контент надо с ближайшего кэша по
> геобалансингу (а лучше не по географии, а по rtt до подсети, из
> которой браузер сделал запрос), а проксировать запрос до ближайшего
> хранилища и параллельно до ближайших кэшей (если они ближе хранилища,
> работают и недогружены) и использовать того, кто первый ответит, а
> остальные соединения дропать. Или по таймауту как-нить останавливать
> передачу данных, а tcp-соединение оставлять для следующих запросов.
> Или tcp-соединения до возможных бэкендов заранее открывать в
> достаточном количестве и поддерживать их.

Ну у меня сейчас геобалансинг и есть, на основе IP запрашивающего ДНС (для гугля пришлось делать EDNS subclient и с ними договариваться). Точность не ахти, но достаточная.
Понятия хранилищ нету, весь контент работает по стандартам кеширования и разницы между страничкой сайта, сгенеренной на 2 минуты для всех, странички форума - для одного на 10 сек, или статики видео - на месяц как бы нет, в любом объекте написано как и на сколько его кешировать.
Сквиды на узлах у меня сейчас обмениваются базами и по UDP шлют запросы всем соседям и апстримам на предмет "у кого есть данный объект". Само собой что соседи, если у них есть в кеше такой объект, ответят быстрее. Если нет - пытаюсь запросить апстримы (их много, но все в одном месте), если они не доступны (пингуются постоянно + проверка ответов) - пытаюсь получить объект через соседа. Сосед при этом уже не имеет права спрашивать другого соседа - только апстримы. Этот "загиб" в России весьма востребован, ибо узлы у меня на разных внешних провайдерах сидят и это сильно спасает.

nginx у меня сейчас только использует один оконечных узлов (на соседнем компе с прямым линком) в качестве апстрима (+бекапом другой узел, тоже в Москве). Такой изврат после того как nginx 2 заза полностью забил канал апстримов (со сквидами такого не было никогда, видать они тормознутые в этом плане ;).

А вообще за nginx взялся только потому, что в сквиды под сильной нагрузкой частенько валятся по совершенно идиотским поводам и вообще странно глючат (например, как-то теряют название протокола и получается что-то типа (null)://www... ). Nginx под такой же нагрузкой нарягает только меня своими приколами, а не юзеров.

>
> --
> С уважением,
> Михаил mailto:postmaster@softsearch.ru
>
> _______________________________________________
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

Re: Что-то типа cache db планируется?

Михаил Монашёв January 14, 2013 03:12PM

Re: Что-то типа cache db планируется?

Trurl January 14, 2013 04:35PM

Re: Что-то типа cache db планируется?

Anton Kuznetsov January 14, 2013 05:18PM

Re: Что-то типа cache db планируется?

Михаил Панфилов January 14, 2013 05:26PM

Re[2]: Что-то типа cache db планируется?

Михаил Монашёв January 14, 2013 06:04PM

Re: Re[2]: Что-то типа cache db планируется?

Trurl January 14, 2013 07:52PM

Re[4]: Что-то типа cache db планируется?

Михаил Монашёв January 15, 2013 12:22AM

Re[2]: Что-то типа cache db планируется?

Михаил Монашёв January 14, 2013 11:56PM

Re: Re[2]: Что-то типа cache db планируется?

Trurl January 15, 2013 09:58AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 86
Record Number of Users: 6 on February 13, 2018
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready