Welcome! Log In Create A New Profile

Advanced

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Eugene Prokopiev
November 29, 2023 04:40AM
вс, 26 нояб. 2023 г. в 09:53, Eugene Prokopiev <eugene.prokopiev@gmail.com>:
>
> чт, 23 нояб. 2023 г. в 17:56, Vladislav Shabanov <vlad.shabanov@gmail.com>:
> >
> > Ну, как устроена реальная жизнь:
>
> Спасибо за интересный логрид :) Но вот как устроена наша жизнь на примере maven:

И все же не совсем так ... Небольшой итог для истории:

Есть примеры как сделать кэш для maven/pypi/npm с помощью proxy_cache_*:

* https://weblog.lkiesow.de/20170413-nginx-as-fast-maven-repository-proxy.html)
* https://github.com/hauntsaninja/nginx_pypi_cache/blob/master/nginx.conf
* https://gist.github.com/dctrwatson/5785675

Все они более-менее рабочие (для npm не очень, не хватает sub_filter*,
но его можно утащить из примера для pypi)

Все они используют proxy_cache* с гибкими настройками параметров
кэширования - но мне это не очень удобно, т.к. кэш получается вещью в
себе, его нельзя использовать как репозиторий непосредственно

А хочется чего-то в духе
https://www.altlinux.org/APT_%D0%B2_ALT_Linux/NginxAsCache - т.е.
возможности использовать кэш как обычный репозиторий (с помощью
proxy_store)

Это аналогичным образом работает для maven/pypi/npm - могу показать
конфиги, но там ничего сверхестественного

Однако возникает проблема с оглавлением - proxy_store просто не
скачает его еще раз, если оно уже есть - и значит о последних версиях
пакетов мы ничего не узнаем

Эта проблема лечится двумя способами:

* Удаляем (или откладываем в сторону на всякий случай) оглавление по
расписанию (например, каждую ночь)
* Не кэшируем оглавление вообще и собираем его в тот момент, когда нам
потребовалось использовать кэш как обычный репозиторий

Проще всего собрать оглавление для pypi -
https://packaging.python.org/en/latest/guides/hosting-your-own-index/#manual-repository

Сгенерировать maven-metadata.xml для maven и правильно ответить на GET
/{package_name} для npm тоже можно - но мороки уже больше

Так что artifactory/nexus не совсем уж зря едят свой хлеб - для
кэширования репозиториев maven/pypi/npm требуется хотя бы минимальное
понимание логики их работы


--
WBR,
Eugene Prokopiev
_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
https://mailman.nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Eugene Prokopiev November 23, 2023 06:30AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Vladislav Shabanov November 23, 2023 07:24AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Eugene Prokopiev November 23, 2023 09:24AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Vladislav Shabanov November 23, 2023 09:58AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Eugene Prokopiev November 26, 2023 01:52AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Evgeniy Berdnikov November 26, 2023 02:34AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Eugene Prokopiev November 26, 2023 02:42AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Evgeniy Berdnikov November 26, 2023 03:00AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Eugene Prokopiev November 29, 2023 04:40AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Илья Шипицин November 23, 2023 08:26AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

MihaKot November 23, 2023 08:28AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Eugene Prokopiev November 23, 2023 09:26AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Илья Шипицин November 23, 2023 10:36AM

Re: Кэширование репозиториев maven/pypi/npm - proxy_cache или proxy_store

Eugene Prokopiev November 26, 2023 02:02AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 255
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready