Welcome! Log In Create A New Profile

Advanced

Re[4]: Offtop: чем резервируете данные на стораджах?

Pavel V.
December 27, 2009 03:54AM
Здравствуйте, Ihalainen.

Вы писали 27 декабря 2009 г., 5:20:13:

> 2009/12/27 Руслан Шарипов <ufaweb@gmail.com>:
>> 27 декабря 2009 г. 2:55 пользователь Ihalainen Nickolay
>> <ihanick@gmail.com> написал:
>>> для бекапов картинок/музыки и другой статики великолепно подоходит
>>> rsync с его инкрементальными бекапами, могу поделиться хорошим
>>> скриптом.
>>
>> многие были бы Вам благодарны -)

> P.P.S. возможно из этого скрипта стоит сделать более универсальное
> решение и выложить где-нибудь отдельным проектом. если, конешно это
> нужно кому-то кроме меня.


Есть скрипт бэкапа, называется bontmia. Точный адрес офсайта не знаю,
в гугле найдется.

Идея скрипта легко и непринужденно передается следующим образом:

--- кусок кронтаба ---

15 6 * * * root /data/project/run_main
15 9 * * 6 root /data/project/make_hardlinks

--- файл make_hardlinks ---
#!/bin/bash
this_backup=$(date +%Y-%m-%d-%H:%M)
mkdir -p "/data/project/$this_backup"
cp -lR /data/project/last/* "/data/project/$this_backup"

--- файл run_main ---
#!/bin/bash
rsync -e "ssh -i /data/project/host_key" -a --delete --force --quiet root@my.host.tld:/web/project/htdocs/music_new /data/project/last


Т.е. раз в сутки приезжает копия с основного сервера (1.8 честных Тб,
mp3/avi/flv/файлообменник), благодаря могучим возможностям nginx эта
бэкапная копия используется для зеркальной раздачи, а в случае 404
делается редирект на основной сервер.

Раз в неделю запускается второй скрипт, который делает еженедельный
срез-копию текущего состояния. Конечно, лучше всего добавить в файл
run_main перед вызовом rsync создание "копии предыдущего дня", чтобы в
случае сбоя получить максимально актуальные данные.
Срез-копия создается путем создания хардлинков, так что это дело
практически занимает только нужное количество дискового пространства.

Наличие копий помогает выжить в той ситуации, если в результате сбоя
дискового контроллера директория /web/project/htdocs/music_new, куда
подмонтирован раздел, "становится пустой" (а такое было), и
соответственно rsync повинуясь, делает идентичную "копию" в бэкапах.

Bontmia делает все те же операции, но с чуть большим комфортом -
позволяет задать количество минутных/часовых/дневных/недельных/
месячных/годовых? бэкапов, автоматически удалить ненужные срезы и т д
Для личного удобства я в неё добавил парочку опций, типа возможности
задать ssh-ключ для авторизации, и опцию quiet чтобы скрипт меньше
выводил информации при его нормальной работе.


--
С уважением,
Pavel mailto:pavel2000@ngs.ru


_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 26, 2009 12:40PM

Re: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 26, 2009 03:34PM

Re: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 26, 2009 04:00PM

Re[2]: Offtop: чем резервируете данные на стораджах?

Dmitry Ivanov December 26, 2009 04:28PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 26, 2009 04:56PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Руслан Шарипов December 26, 2009 06:04PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 26, 2009 06:22PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Руслан Шарипов December 26, 2009 06:48PM

Re[4]: Offtop: чем резервируете данные на стораджах?

Pavel V. December 27, 2009 03:54AM

Re: Re[4]: Offtop: чем резервируете данные на стораджах?

Кари December 27, 2009 06:24AM

Re[6]: Offtop: чем резервируете данные на стораджах?

Igor V. Fatkulin December 27, 2009 06:56AM

Re[7]: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 27, 2009 08:48AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 09:02AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 09:48AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 11:36AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 01:24PM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 02:44PM

Re: Offtop: чем резервируете данные на стораджах?

Andrey N. Oktyabrski December 28, 2009 02:06AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Dmitry Morozovsky December 27, 2009 01:04PM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 27, 2009 02:30PM

Re[8]: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 27, 2009 02:42PM

Re: Re[8]: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 27, 2009 02:46PM

Re: Re[8]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 03:06PM

Re: Re[8]: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 27, 2009 03:16PM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 02:50PM

Re: Offtop: чем резервируете данные на стораджах?

ViRuZzz December 27, 2009 02:54PM

Re: Offtop: чем резервируете данные на стораджах? Attachments

Deomid Ryabkov December 27, 2009 02:20PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 08:50AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 09:46AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 11:34AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Boris Dolgov December 27, 2009 11:58AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 12:08PM

Re[3]: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 26, 2009 06:06PM

Re[4]: Offtop: чем резервируете данные на стораджах?

Dmitry Ivanov December 26, 2009 06:30PM

Re: Offtop: чем резервируете данные на стораджах?

Игорь Хомяков December 28, 2009 04:14AM

Re: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 28, 2009 04:56AM

Re: Offtop: чем резервируете данные на стораджах?

Alex Vorona December 28, 2009 06:06AM

Re: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 28, 2009 07:10AM

Re: Offtop: чем резервируете данные на стораджах?

Alex Vorona December 28, 2009 07:22AM

Re: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 28, 2009 07:46AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 82
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready