Welcome! Log In Create A New Profile

Advanced

Re: Senfile + Threads + mincore in Linux?

Maxim Konovalov
June 29, 2015 11:02AM
On 6/29/15 5:43 PM, Валентин Бартенев wrote:
[...]
> 2. У вас остается race condition между вызовом mincore() и
> read()/sendfile().

Вот эта часть важная -- на практике под высокой нагрузкой между
этими двумя вызовами данные из кэша VM вымываются и читающий сисколл
блокируется. Чтобы закрыть это окно вам нужен mlock(), но не
простой, а неблокирующийся.

И мы это направление довольно подробно на FreeBSD исследовали.
Настолько, что получилось вот это:

https://www.freebsd.org/cgi/man.cgi?query=aio_mlock

Этот системный вызов в теории позволяет вам самостоятельно управлять
механизмом кэширования в памяти, не полагаясь на эвристику ОС.

Но натурные испытания показали, что идея не самая удачная. По
крайней мере на FreeBSD в конфигурации, когда активный dataset на
два и более порядков (XX TB vs XX GB) превосходит размер доступной
оперативной памяти, огромное количество mmap/munmap давало столь
большой оверхед, что выигрыш от хитрого кэширования с предчтением и
удержанием в памяти был неизмеримо мал.

Фактически, пришли к выводу, который был более или менее очевиден с
самого начала, что кэширование при таком профиле нагрузки не поможет.

--
Maxim Konovalov
http://nginx.com

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

Senfile + Threads + mincore in Linux?

Gelun, Artem June 28, 2015 03:12PM

Re: Senfile + Threads + mincore in Linux?

Andrey Istochkin June 29, 2015 04:40AM

Re: Senfile + Threads + mincore in Linux?

Igor M Podlesny June 29, 2015 05:52AM

Re: Senfile + Threads + mincore in Linux?

Валентин Бартенев June 29, 2015 09:20AM

Re: Senfile + Threads + mincore in Linux?

Igor M Podlesny June 29, 2015 09:30AM

Re: Senfile + Threads + mincore in Linux?

Валентин Бартенев June 29, 2015 09:42AM

Re: Senfile + Threads + mincore in Linux?

Gelun, Artem June 29, 2015 10:08AM

Re: Senfile + Threads + mincore in Linux?

Gelun, Artem June 29, 2015 10:10AM

Re: Senfile + Threads + mincore in Linux?

Валентин Бартенев June 29, 2015 10:46AM

Re: Senfile + Threads + mincore in Linux?

Maxim Konovalov June 29, 2015 11:02AM

Re: Senfile + Threads + mincore in Linux?

Igor M Podlesny June 29, 2015 12:12PM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 126
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready