Welcome! Log In Create A New Profile

Advanced

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay
December 26, 2009 06:22PM
2009/12/27 Руслан Шарипов <ufaweb@gmail.com>:
> 27 декабря 2009 г. 2:55 пользователь Ihalainen Nickolay
> <ihanick@gmail.com> написал:
>> для бекапов картинок/музыки и другой статики великолепно подоходит
>> rsync с его инкрементальными бекапами, могу поделиться хорошим
>> скриптом.
>
> многие были бы Вам благодарны -)
справляется с несколькими сотнями гигабайт мелких картинок за 2-4
часа, бекап происходит параллельно со всех серверов, авторизация
rsync/ssh происходит по ключам
состоит из 2 частей:
скрипт на крон:
#!/bin/bash
BACKUP_ROOT=/backup
BACKUP_DIR=$BACKUP_ROOT/`date +%F`
LAST=`ls -rd $BACKUP_ROOT/200*|head -n1`
CUR=$BACKUP_DIR
[ $LAST = $CUR ] && exit 1;
mv $LAST $CUR
echo "`date` Backup $CUR last $LAST"
OPTS="--force --backup --backup-dir=$BACKUP_ROOT/incremental/`date
+%F` --ignore-errors --delete -az"
OPTS2="--force --backup --backup-dir=$BACKUP_ROOT/incremental/`date
+%F`-2 --ignore-errors --delete -az"
for i in `cat $BACKUP_ROOT/sources.list|grep -v '^#'|xargs`
do #echo -n $i
EXCLUDE=''
EXCLUDE_FILE=`echo $i|cut -d@ -f 2|tr '/' _|tr ':' _`.exclude
echo $BACKUP_ROOT/$EXCLUDE_FILE
[ -f $BACKUP_ROOT/$EXCLUDE_FILE ] && EXCLUDE="--exclude-from
$BACKUP_ROOT/$EXCLUDE_FILE"
rsync $OPTS $EXCLUDE -e ssh $i $BACKUP_DIR/ & echo "... first pass"
done
wait
### end of script
файла в котором содержатся пути
cat sources.list
/etc
backupuser@server1:/var/www
backupuser@server2:/usr/local/apache

файла с exclude для rsync
cat _etc
- /init.d
init.d

в папке BACKUP_ROOT всегда существует папка с самым последним бекапом
название - дата проведения бекапа
и папка incremental в которой находятся папки с датами: в них
изменённые/удалённые файлы и папки.

в опциях rsync также можно задать максимальную полосу, таким образом
снижается нагрузка на диски во время бекапа.

P.S. to raid-3,5,6: в последнее веремя есть партии жестких дисков (а в
покупном сервере все диски из одной партии) бывают случаи подыхания
всех дисков во время ребилда.
P.P.S. возможно из этого скрипта стоит сделать более универсальное
решение и выложить где-нибудь отдельным проектом. если, конешно это
нужно кому-то кроме меня.
_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 26, 2009 12:40PM

Re: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 26, 2009 03:34PM

Re: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 26, 2009 04:00PM

Re[2]: Offtop: чем резервируете данные на стораджах?

Dmitry Ivanov December 26, 2009 04:28PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 26, 2009 04:56PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Руслан Шарипов December 26, 2009 06:04PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 26, 2009 06:22PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Руслан Шарипов December 26, 2009 06:48PM

Re[4]: Offtop: чем резервируете данные на стораджах?

Pavel V. December 27, 2009 03:54AM

Re: Re[4]: Offtop: чем резервируете данные на стораджах?

Кари December 27, 2009 06:24AM

Re[6]: Offtop: чем резервируете данные на стораджах?

Igor V. Fatkulin December 27, 2009 06:56AM

Re[7]: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 27, 2009 08:48AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 09:02AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 09:48AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 11:36AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 01:24PM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 02:44PM

Re: Offtop: чем резервируете данные на стораджах?

Andrey N. Oktyabrski December 28, 2009 02:06AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Dmitry Morozovsky December 27, 2009 01:04PM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 27, 2009 02:30PM

Re[8]: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 27, 2009 02:42PM

Re: Re[8]: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 27, 2009 02:46PM

Re: Re[8]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 03:06PM

Re: Re[8]: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 27, 2009 03:16PM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 02:50PM

Re: Offtop: чем резервируете данные на стораджах?

ViRuZzz December 27, 2009 02:54PM

Re: Offtop: чем резервируете данные на стораджах? Attachments

Deomid Ryabkov December 27, 2009 02:20PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 08:50AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 09:46AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 11:34AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Boris Dolgov December 27, 2009 11:58AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 12:08PM

Re[3]: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 26, 2009 06:06PM

Re[4]: Offtop: чем резервируете данные на стораджах?

Dmitry Ivanov December 26, 2009 06:30PM

Re: Offtop: чем резервируете данные на стораджах?

Игорь Хомяков December 28, 2009 04:14AM

Re: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 28, 2009 04:56AM

Re: Offtop: чем резервируете данные на стораджах?

Alex Vorona December 28, 2009 06:06AM

Re: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 28, 2009 07:10AM

Re: Offtop: чем резервируете данные на стораджах?

Alex Vorona December 28, 2009 07:22AM

Re: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 28, 2009 07:46AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 70
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready