Welcome! Log In Create A New Profile

Advanced

Re: Re[2]: Как лучше хранить логи

October 29, 2010 09:13AM
сорр за оффтоп, но если уж спросили...

Изначально, спланк задумывался как анализатор логов
Но сейчас он вылился в эдакий локальный поисковик по своим индексам, которые формируются на основе указанных источников (в нашем случае - лог-файлов). Хотя, некотоыре люди парсят им rss-ки, почту, и вообще, его спектр использования гораздо шире, чем парсинг логов. Но я использую его именно для просмотра и анализа лог-файлов

Допустим у нас есть логи разных источников: mysql 10 хостов, nginx 5 хостов, apache 20 апликейшенов, и т.д.
спланк агрегирует логи и сохраняет их в своем (своих) поисковых индексах (в зависимости от настроек) и далее эти логи можно просматривать либо все сразу, либо по какому-то срезу источников (по типу источника, по перечню источников, по времени...)
можно делать контентный поиск, сравнивать различные временные отрезки, делать на основе этих данных графики и диаграммы и даже строить презентации реального времени (тут придется слегка попрограммировать).
Формат каждого лог-файла можно задавать отдельно, что оч. удобно, если нам достался кастомизированный формат лог-файлов.

Нужен нджинкс? ок. выбираем группу источников nginx (или индекс, если мы храним нджинксовские логи в отдельном индексе) и вуаля - вот они все в одной колбасе. Но смотреть N-мегабайт логов от 5 хостов нам не интересно. Поэтому, либо сами делаем, либо качаем уже готовые бесплатные (или платные, если у нас энтерпрайз) аддоны (фильтры, анализаторы, репортеры...) Либо, если нас интересуют вполне конкретные несложные выборки, можно наделать уже готовых запросов с контентно-временной выборкой и в один маусклик выводить их.

Довольно вкусная штука у спланка - поддержка событий. Например, делаем фильтр, который следит за, допустим, 500-й ошибкой в пулле логов nginx-ов. Как только событие случается, ставим, для примера, отправку письма на тревожный ящик или еще что-то...
Еще одна вкусность - им можно рулить (и конфигурить) как из командной строки, так и через хост - с помощью POST-запросов.

На самом деле, splunk в этом не уникален - есть куча других подобных приложений. Однако, спланковцы поддерживают свою базенку аддонов, да и самому их можно создавать по мере необходимости.
Есть и минусы. Довольно неприятная штука у спланка - свободная лицензия. Когда заканчивается триальный период, спланк становится однопользовательским. Так же, наличие новой версии характеризуется появлением раздражающего сплеш-скрина на дефолтной странице.
Кроме того, если колличество источников велико и траффик по ним довольно серьезный, лучше вынести его на отдельный хост, т.к. он будет "слегка" потреблять ресурсы железа. Да и индексы требуют дискового пространства.
И дефолтная диаграмма событий сделана на флеше...
Subject Author Posted

Как лучше хранить логи

tantra October 27, 2010 04:10PM

Re: Как лучше хранить логи

Александр Кутузов October 27, 2010 04:34PM

Re: Как лучше хранить логи

Andrey N. Oktyabrski October 28, 2010 12:50AM

Re: Как лучше хранить логи

serg October 28, 2010 05:01AM

Re[2]: Как лучше хранить логи

Михаил Монашёв October 29, 2010 06:36AM

Re: Re[2]: Как лучше хранить логи

serg October 29, 2010 09:13AM

Re: Как лучше хранить логи

Vladimir Rusinov November 08, 2010 04:42AM

Re: Как лучше хранить логи

Igor Sysoev November 08, 2010 06:16AM

Re: Как лучше хранить логи

Vladimir Rusinov November 09, 2010 04:32AM

Re: Как лучше хранить логи

Vladimir Rusinov November 09, 2010 04:56AM

Re: Как лучше хранить логи

Igor Sysoev November 09, 2010 05:16AM

Re: Как лучше хранить логи

Vladimir Rusinov November 10, 2010 03:36AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 249
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready