Evgeniy Berdnikov Wrote:
-------------------------------------------------------
> On Wed, Feb 14, 2024 at 02:30:57PM +0300, Anatoliy Melnik via nginx-ru
> wrote:
> > Все как раз получилось, дальше с этим работать было неудобно.
> > К тупой записи в файл претензий не было.
>
> Вы не сообщили, почему "дальше с этим работать было неудобно".
> Может, поясните? Если посмотреть на озвученный список задач --
>
> > Зачем мне это нужно:
> [...]
> > Регулярно требуется "нестандартная" статистика, например
> > "средний размер ($body_bytes_sent) по запросам типа "sc012" за
> сутки"
> > "соотношение обращений по http и https ($schema) по запросам типа
> "q1wr"
> > за час"
> > "наименьшее/среднее/наибольшее время ($request_time) по запросам
> типа
> > "sc012" за..."
> > "объем запросов типа "q1wr" (сумма $body_bytes_sent таких
> запросов) в
> > общем объеме трафика (сумма $body_bytes_sent всех запросов)"
> > и т.д.
>
> то вроде трудно придумать что-то проще и эффективней, чем прост
> парсинг
> логов. А лог что из файла, что из пайпа, что из сокета читается
> абсолютно одинаково, одним и тем же read(), и парсится одинаково.
>
> Но из файла якобы неудобно! Чем же неудобно, почему? При чём тут
> вообще
> какие-то unix-сокеты, если задача в разборе последовательно идущих
> строк
> и каких-то элементарных вычислениях?

1. первоначально логи сливались по сети и централизованно считались.(без записи в файлы)
при высоких нагрузках пошли расхождения.
2. Хорошо -- пусть каждый прокси сам свое считает: исключаются потери по сети, каждый прокси в этом плане становится автономно-независимой единицей.
При высоких нагрузках -- расхождения в статистике.
3. Хорошо, запишем в файл прям с nginx-а. файл распарсим-посчитаем.
3а.простыми методами (типа grep и awk) обработка статистики за 30 секунд занимает больше 30 секунд..
3б.пишем в файл->читаем из файла->удаляем файл в объемах 30-60Мбайт/сек... лично мое мнение - файл тут явно лишний. (Ваше мнение может отличатся от моего, я абсолютно не настаиваю).


>
> > Чисто техничски можно и без access-логов, будете сами
> реализовывать нечто
> > подобное -- выберете более близкое вам решение.
>
> Вы не назвали альтернативные решения.
Это сделали за меня:
Написать свой бекэнд (как вариант на Go) и отзеркалировать туда запросы с фронотов....
Не имею ничего против -- реализовуйте! Я не настаиваю на своем варианте.
Не продвигаю как единственно правильный (или у вас иное мнение?)

>
> > Мой вариант также страдает набором недостатков, но поставленные
> задачи
> > решает с устраивающей меня эффективностью.
>
> Вы не конкретизировали, какие недостатки видите у своего варианта и
> почему его плюсы по сравнению с другими подходами перевешивают.
Ну почему же?
Недостатки:
Скорее всего более высокая нагрузка на CPU по сравнению с альтернативой (замеров и испытаний никто не проводил, это чисто теоретический вывод)
Предположительно масштабируемость моего решения хуже по сравнению с предложенной альтернативой (чисто теоретический вывод)
Т.к. я не программист -- само качество решения в плане программного кода далеко от идеала..
Жесткое неприятие выбранного мной подхода со стороны некоторых участников обсуждения (почему-- для меня до сих пор загадка).
Плюсы:
При передаче всего этого хозяйства дальше на обслуживание в моем варианте разберется любой начинающий питонист, в предложенной схеме с зеркалированием квалификация нужна будет повыше мне кажется..
Запаса по вычислительной мощности более чем достаточно..
На существующих мощностях практически гарантированный порог 720тыс/сек.. прогнозируемый, (исходя из показателей работы системы на 240тыс/сек на одном сервере) -- порядка 1.1-1.2 млн./сек.
Что в 3 (проверенный) и 5 (прогноз) раз превышает имеющийся на данный момент уровень.
Чего хватает на 4-5 лет при росте нагрузки на 22-24% ежегодно. (имеющийся на данный момент прогноз оптимистичный оценивается максимум в 14-16% в год)
Затраты времени на реализацию значительно меньше, чем вариант со своим бекэндом.



>
> > Свой вариант я могу абсолютно спокойно масштабировать до
> необходимых мне
> > значений, и эти значения почти на порядок выше текущих нагрузок.
>
> Вы крутейший специалист :)) в своих собственных глазах, конечно.
Из лабиринтов собственных заблуждений скорее выберется тот, кто готов признать, что он заблуждается.
Лично я этот путь приодолел не единожды. Чего и вам желаю.
>
> > Концптуальная ошибка в этом опусе -- вы не обслуживание клиентов.
> > И "непродуктивность пути" определяете в данной конкретной
> ситуации не вы.
> > И конечную реализацию делаете не вы.
> > И за результаты отвечаете не вы.
> > Как и ответственность за все выполненное в итоге так же не на
> вас.
>
> И что, это лишает собеседника право высказать своё мнение о
> правильности
> постановки задачи?
Откуда такие выводы?
Собеседник не единожды высказал свое мнение и даже больше.
Придумал у меня проблему, которой нет. Привел для нее решение... нет смысла пересказывать -- все есть в ветке.

Я его принял к сведению, но разве я обязан после этого изменить свое собственное?
Разве я кого-то пытался убедить, что его подход в корне не верен, как в этом пытаются убедить меня?

Если я начну вас убеждать в неправильности вашего выбора.... ну пусть книг, которые вы читаете -- это ОБЯЗАТЕЛЬНО должно как-то кардинально повлиять на ваши вкусы?
Возможно вы полистаете что-то из рекомендованного, может понравится.. А если нет?

> Вы также не сообщили, каковы критерии
> "продуктивности
> пути", почему выбрана конретная реализация и т.д. Поэтому нет никаких
> оснований даже подозревать, что Вы что-то делаете правильно... :)
>
Ну нет оснований - и нет, не подозревайте.
Кто судит о правильности или не правильности?
Вы для себя сами решаете что правильно, а что нет. Я поступаю аналогичным образом... В чем я не прав?
Лишь в том, что выбрал подход, который вы считаете неправильным? И что? Ваше мнение я выслушал, принял к сведению и остался при своем.

Критерии продуктивности:
У меня все выполняет ту функцию, которую я и хотел, в нужных мне объемах и с устраивающим меня запасом прочности -- для меня вполне критерий.
Ваше мнение может отличаться от моего. Может очень сильно отличаться. Может вообще не иметь с моим мнением ничего общего... и что? для вас это повод для... чего?
Я же свои задачи решаю, а не ваши.
Когда и если я буду решать задачи по вашим ТЗ и постановкам -- буду реализовывать ваши подходы-мнения-рекомендации
в полном объеме вне зависимости от своего собственного мнения о правильности или не правильности выбранного вами подхода.

> > Эффективность реализации весьма эфемерное понятие.
> > Эффективность с точки зрения чего?
> > Мы с вами эффективность считаем по совершенно разным критериям.
> > Это не хорошо и не плохо. Это просто по-разному :)
>
> Вы не конкретизировали, по каким критериям оцениваете эффективность.
На глазок :)
мне кажется, что так-то и так-то будет проще, быстрее и удобнее...
А нет, ошибочка вышла, не проще, но удобнее... Не, вариант что-то не очень.
Подумаем иначе, если зайти не в лоб, а с боку --- так, эта проблема снимается, эта тоже, но всплывет вот эта!
Насколько она портит картинку по сравнению с предидущими? так, не будем ломиться в стену, поищем дверь..
Зачем при достижении пункта Д, при старте из пункта А я обязательно пытаюсь пройти через Л и Т? так ли уж необходимо там побывать?...
Ну и так далее. Обычная, по сути, мыслительная деятельность.
На финише и складывается представление об некой эфемерной "эффективности" как найденного решения, так и его альтернатив.
Но все начинается с определения цели дальнейших действий, оценки доступного ресурса,
желаемого результата в 3-х вариантах (удовлетворительно, хорошо, отлично), имеющегося в наличии решения,
которое из "хорошо" стало работать "удовлетворительно" (если таковое имеется)...
Но вряд ли это для кого-то новость :)

Предложение с написанием собственного бекэнда по пунктам "ресурс" и "имеющееся в наличии" проигрывало. в моем случае.
Ваше мнение может отличаться от моего :)

У вас критерии кардинально отличаются?
Вы оную считаете по какой-то отдельной формуле?


>
> > Оптимизировать можно по разным критериям.
> > Вы исходите из одних критериев оптимальности, я из других.
> > И это абсолютно нормально.
> > Не стоит убеждать меня в "неправильности" моих критериев..
>
> Ненормально то, что один собеседник пытается аргументировать свои
> мысли,
> а другой всё время отвечает "Не учите меня жить! У меня другая
> ситуация!"
> А какая именно -- не говорит.
С моей колокольни это выглядело несколько иначе.
Лично я там обнаружил, что у меня проблемы которых у меня на самом деле нет.
Что я решаю не те проблемы, которые должен.
Что я возвожу напраслину на nginx и чуть ли не на все комьюнити... ну и далее по тексту.
Хотя я с самого начала сказал, что свои вопросы я решил.
Или я опять не прав -- самонадеян -- заблуждаюсь -- ....??


> --
> Eugene Berdnikov
> _______________________________________________
> nginx-ru mailing list
> nginx-ru@nginx.org
> https://mailman.nginx.org/mailman/listinfo/nginx-ru

_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
https://mailman.nginx.org/mailman/listinfo/nginx-ru