Welcome! Log In Create A New Profile

Advanced

Re: piped logging from Nginx to MySQL

Ihalainen Nickolay
December 16, 2009 04:40AM
2009/12/16 Anton Yuzhaninov <citrin@citrin.ru>:
> Ihalainen Nickolay wrote:
>
>> Вариант с tail конешно хорош, но зачем эти бешенные гигабайты писать на диск?
>> gzip поможет с этой проблемой, однако, он будет дважды использовать
>> cpu: для записи на диск и для чтения с него.
>
> Запись логов из nginx на диск линейная, и в таком режиме можно писать много
> создавая небольшую нагрузку на диск.
>
> А вот mysql на каждую строчку которую в него insert-ят будет делать кучу сиков и
> создаст на диск нагрузку гораздо больше.
сишный или перловый парсер лога вообще может на диск/базу не писать.
Насколько я понимаю база нужна не для хранения, а для анализа. делая
анализ на лету а не по крону можно сильно экономить процессор и
дисковую полосу. запрещение | в логах это запрет стрелять, под
предлогом, что выстрел в собственную ногу это опасно.

Хотя стрелять в ногу никто не запрещает:
/etc/init.d/nginx stop
rm /var/log/access.log
mkfifo /var/log/nginx/access.log
(tail -f /var/log/nginx/access.log | /usr/local/bin/logtomysql ) &
/etc/init.d/nginx start

опять же, что если хочется ловить типовые запросы или медленные? тогда
5% от всех записей вполне можно добавлять в базу используя кольцевой
буфер и polling без задержек в nginx.
или пайпы работают медленней чем файлы?
_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

piped logging from Nginx to MySQL

Roman Yankovsky December 15, 2009 08:18PM

Re: piped logging from Nginx to MySQL

Peter Leonov December 15, 2009 10:26PM

Re: piped logging from Nginx to MySQL

akalend December 16, 2009 02:20AM

Re: piped logging from Nginx to MySQL

Ihalainen Nickolay December 16, 2009 03:32AM

Re: piped logging from Nginx to MySQL

Anton Yuzhaninov December 16, 2009 04:22AM

Re: piped logging from Nginx to MySQL

Ihalainen Nickolay December 16, 2009 04:40AM

Re: piped logging from Nginx to MySQL

Alex Vorona December 16, 2009 04:44AM

Re: piped logging from Nginx to MySQL

Gerasimenko Konstantin December 16, 2009 04:48AM

Re: piped logging from Nginx to MySQL

Alex Vorona December 16, 2009 04:50AM

Re: piped logging from Nginx to MySQL

Igor Sysoev December 16, 2009 05:10AM

Re: piped logging from Nginx to MySQL

Gerasimenko Konstantin December 16, 2009 05:22AM

Re: piped logging from Nginx to MySQL

Igor Sysoev December 16, 2009 05:30AM

Re: piped logging from Nginx to MySQL

Gerasimenko Konstantin December 16, 2009 06:00AM

Re: piped logging from Nginx to MySQL

Руслан Шарипов December 16, 2009 06:04AM

Re: piped logging from Nginx to MySQL

Vasiliy G Tolstov December 16, 2009 06:06AM

Re: piped logging from Nginx to MySQL

Vasiliy G Tolstov December 16, 2009 06:22AM

Re: piped logging from Nginx to MySQL

Igor Sysoev December 16, 2009 06:46AM

Re: piped logging from Nginx to MySQL

Vasiliy G Tolstov December 16, 2009 08:12AM

Re: piped logging from Nginx to MySQL

Eugene Mychlo December 17, 2009 03:22AM

Re: piped logging from Nginx to MySQL

Olexander Shtepa December 17, 2009 03:56AM

Re: piped logging from Nginx to MySQL

Vasiliy G Tolstov December 17, 2009 04:00AM

Re: piped logging from Nginx to MySQL

Eugene Mychlo December 17, 2009 04:20AM

Re: piped logging from Nginx to MySQL

Igor Sysoev December 17, 2009 04:56AM

Re: piped logging from Nginx to MySQL

Igor Sysoev December 17, 2009 05:28AM

Re: piped logging from Nginx to MySQL

Eugene Mychlo December 17, 2009 05:40AM

Re: piped logging from Nginx to MySQL

Anton Yuzhaninov December 16, 2009 06:50AM

Re: piped logging from Nginx to MySQL

Igor Sysoev December 16, 2009 06:54AM

Re[2]: piped logging from Nginx to MySQL

akalend December 16, 2009 06:14AM

Re: piped logging from Nginx to MySQL

vromanov December 18, 2009 01:29AM

Re: piped logging from Nginx to MySQL

Sergey Averyanov December 18, 2009 03:04AM

Re: piped logging from Nginx to MySQL

Peter Vereshagin December 18, 2009 06:28AM

Re: piped logging from Nginx to MySQL

Andrew Sitnikov December 18, 2009 07:00AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 58
Record Number of Users: 6 on February 13, 2018
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready