Welcome! Log In Create A New Profile

Advanced

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

December 27, 2009 02:44PM
на солярисах у меня тоже нет проблем с быстродействием ZFS ;-)

27 декабря 2009 г. 20:21 пользователь Ihalainen Nickolay
<ihanick@gmail.com>написал:

> 2009/12/27 Andriy Tovstik <andriy.tovstik@gmail.com>:
> > а какого рода нагрузка?
> > и это. вы про Solaris речь ведете? :)
> да, Solaris 10, на одной из машин mysql/innodb, на другой nginx и zfs
> страйп из мирроров 14 sata дисков 3U
> > 27 декабря 2009 г. 14:47 пользователь Ihalainen Nickolay <
> ihanick@gmail.com>
> > написал:
> >>
> >> 2009/12/27 Andriy Tovstik <andriy.tovstik@gmail.com>:
> >> > пробовал использовать на сервере куда сливались бэкапы rsync'ом. ZFS
> >> > стал
> >> > узким местом - 4 диска в RAIDZ тормозили просто безбожно при 10
> >> > запущеных
> >> > rsync с разных серверов. RAID10 на gmirror+gstripe работает на порядок
> >> > быстрее :(
> >> хм. у меня zfs работает быстрее чем ufs на блоках 16к
> >> data ONLINE 0 0 0
> >> mirror ONLINE 0 0 0
> >> c1t1d0 ONLINE 0 0 0
> >> c1t2d0 ONLINE 0 0 0
> >> mirror ONLINE 0 0 0
> >> c1t3d0 ONLINE 0 0 0
> >> c1t4d0 ONLINE 0 0 0
> >> mirror ONLINE 0 0 0
> >> c1t5d0 ONLINE 0 0 0
> >> c1t6d0 ONLINE 0 0 0
> >>
> >> >
> >> >
> >> > 27 декабря 2009 г. 11:53 пользователь Igor V. Fatkulin
> >> > <ingvar@westsib.ru>
> >> > написал:
> >> >>
> >> >> Давно смотрю на zfs, но уж очень неоднозначно ее оценивают. Думаете
> >> >> стоит использовать в боевых серверах?
> >> >>
> >> >> К> Рекомендую связку freebsd+zfs.
> >> >> К> Подробнее: http://forums.freebsd.org/showthread.php?t=3689
> >> >>
> >> >> К> 27 декабря 2009 г. 10:52 пользователь Pavel V. <pavel2000@ngs.ru>
> >> >> написал:
> >> >> >> Здравствуйте, Ihalainen.
> >> >> >>
> >> >> >> Вы писали 27 декабря 2009 г., 5:20:13:
> >> >> >>
> >> >> >>> 2009/12/27 Руслан Шарипов <ufaweb@gmail.com>:
> >> >> >>>> 27 декабря 2009 г. 2:55 пользователь Ihalainen Nickolay
> >> >> >>>> <ihanick@gmail.com> написал:
> >> >> >>>>> для бекапов картинок/музыки и другой статики великолепно
> >> >> >>>>> подоходит
> >> >> >>>>> rsync с его инкрементальными бекапами, могу поделиться хорошим
> >> >> >>>>> скриптом.
> >> >> >>>>
> >> >> >>>> многие были бы Вам благодарны -)
> >> >> >>
> >> >> >>> P.P.S. возможно из этого скрипта стоит сделать более
> универсальное
> >> >> >>> решение и выложить где-нибудь отдельным проектом. если, конешно
> это
> >> >> >>> нужно кому-то кроме меня.
> >> >> >>
> >> >> >>
> >> >> >> Есть скрипт бэкапа, называется bontmia. Точный адрес офсайта не
> >> >> >> знаю,
> >> >> >> в гугле найдется.
> >> >> >>
> >> >> >> Идея скрипта легко и непринужденно передается следующим образом:
> >> >> >>
> >> >> >> --- кусок кронтаба ---
> >> >> >>
> >> >> >> 15 6 * * * root /data/project/run_main
> >> >> >> 15 9 * * 6 root /data/project/make_hardlinks
> >> >> >>
> >> >> >> --- файл make_hardlinks ---
> >> >> >> #!/bin/bash
> >> >> >> this_backup=$(date +%Y-%m-%d-%H:%M)
> >> >> >> mkdir -p "/data/project/$this_backup"
> >> >> >> cp -lR /data/project/last/* "/data/project/$this_backup"
> >> >> >>
> >> >> >> --- файл run_main ---
> >> >> >> #!/bin/bash
> >> >> >> rsync -e "ssh -i /data/project/host_key" -a --delete --force
> --quiet
> >> >> >> root@my.host.tld:/web/project/htdocs/music_new /data/project/last
> >> >> >>
> >> >> >>
> >> >> >> Т.е. раз в сутки приезжает копия с основного сервера (1.8 честных
> >> >> >> Тб,
> >> >> >> mp3/avi/flv/файлообменник), благодаря могучим возможностям nginx
> эта
> >> >> >> бэкапная копия используется для зеркальной раздачи, а в случае 404
> >> >> >> делается редирект на основной сервер.
> >> >> >>
> >> >> >> Раз в неделю запускается второй скрипт, который делает
> еженедельный
> >> >> >> срез-копию текущего состояния. Конечно, лучше всего добавить в
> файл
> >> >> >> run_main перед вызовом rsync создание "копии предыдущего дня",
> чтобы
> >> >> >> в
> >> >> >> случае сбоя получить максимально актуальные данные.
> >> >> >> Срез-копия создается путем создания хардлинков, так что это дело
> >> >> >> практически занимает только нужное количество дискового
> >> >> >> пространства.
> >> >> >>
> >> >> >> Наличие копий помогает выжить в той ситуации, если в результате
> сбоя
> >> >> >> дискового контроллера директория /web/project/htdocs/music_new,
> куда
> >> >> >> подмонтирован раздел, "становится пустой" (а такое было), и
> >> >> >> соответственно rsync повинуясь, делает идентичную "копию" в
> бэкапах.
> >> >> >>
> >> >> >> Bontmia делает все те же операции, но с чуть большим комфортом -
> >> >> >> позволяет задать количество минутных/часовых/дневных/недельных/
> >> >> >> месячных/годовых? бэкапов, автоматически удалить ненужные срезы и
> т
> >> >> >> д
> >> >> >> Для личного удобства я в неё добавил парочку опций, типа
> возможности
> >> >> >> задать ssh-ключ для авторизации, и опцию quiet чтобы скрипт меньше
> >> >> >> выводил информации при его нормальной работе.
> >> >> >>
> >> >> >>
> >> >> >> --
> >> >> >> С уважением,
> >> >> >> Pavel mailto:pavel2000@ngs.ru
> >> >> >>
> >> >> >>
> >> >> >> _______________________________________________
> >> >> >> nginx-ru mailing list
> >> >> >> nginx-ru@nginx.org
> >> >> >> http://nginx.org/mailman/listinfo/nginx-ru
> >> >> >>
> >> >> К> _______________________________________________
> >> >> К> nginx-ru mailing list
> >> >> К> nginx-ru@nginx.org
> >> >> К> http://nginx.org/mailman/listinfo/nginx-ru
> >> >>
> >> >>
> >> >>
> >> >> --
> >> >> С уважением,
> >> >> Игорь Фаткулин, директор по технологиям ООО "Группа Вестсиб"
> >> >>
> >> >> mailto:ingvar@westsib.ru
> >> >>
> >> >>
> >> >> _______________________________________________
> >> >> nginx-ru mailing list
> >> >> nginx-ru@nginx.org
> >> >> http://nginx.org/mailman/listinfo/nginx-ru
> >> >
> >> >
> >> >
> >> > --
> >> > WBR, Andriy Tovstik
> >> > UNIX System Administrator
> >> > JID: squirl@jabber.kiev.ua
> >> > nick-handle: SQ22-UANIC
> >> >
> >> > _______________________________________________
> >> > nginx-ru mailing list
> >> > nginx-ru@nginx.org
> >> > http://nginx.org/mailman/listinfo/nginx-ru
> >> >
> >> >
> >> _______________________________________________
> >> nginx-ru mailing list
> >> nginx-ru@nginx.org
> >> http://nginx.org/mailman/listinfo/nginx-ru
> >
> >
> >
> > --
> > WBR, Andriy Tovstik
> > UNIX System Administrator
> > JID: squirl@jabber.kiev.ua
> > nick-handle: SQ22-UANIC
> >
> > _______________________________________________
> > nginx-ru mailing list
> > nginx-ru@nginx.org
> > http://nginx.org/mailman/listinfo/nginx-ru
> >
> >
> _______________________________________________
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://nginx.org/mailman/listinfo/nginx-ru
>



--
WBR, Andriy Tovstik
UNIX System Administrator
JID: squirl@jabber.kiev.ua
nick-handle: SQ22-UANIC
_______________________________________________
nginx-ru mailing list
nginx-ru@nginx.org
http://nginx.org/mailman/listinfo/nginx-ru
Subject Author Posted

Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 26, 2009 12:40PM

Re: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 26, 2009 03:34PM

Re: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 26, 2009 04:00PM

Re[2]: Offtop: чем резервируете данные на стораджах?

Dmitry Ivanov December 26, 2009 04:28PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 26, 2009 04:56PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Руслан Шарипов December 26, 2009 06:04PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 26, 2009 06:22PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Руслан Шарипов December 26, 2009 06:48PM

Re[4]: Offtop: чем резервируете данные на стораджах?

Pavel V. December 27, 2009 03:54AM

Re: Re[4]: Offtop: чем резервируете данные на стораджах?

Кари December 27, 2009 06:24AM

Re[6]: Offtop: чем резервируете данные на стораджах?

Igor V. Fatkulin December 27, 2009 06:56AM

Re[7]: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 27, 2009 08:48AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 09:02AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 09:48AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 11:36AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 01:24PM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 02:44PM

Re: Offtop: чем резервируете данные на стораджах?

Andrey N. Oktyabrski December 28, 2009 02:06AM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Dmitry Morozovsky December 27, 2009 01:04PM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 27, 2009 02:30PM

Re[8]: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 27, 2009 02:42PM

Re: Re[8]: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 27, 2009 02:46PM

Re: Re[8]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 03:06PM

Re: Re[8]: Offtop: чем резервируете данные на стораджах?

Alexey Bobok December 27, 2009 03:16PM

Re: Re[6]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 02:50PM

Re: Offtop: чем резервируете данные на стораджах?

ViRuZzz December 27, 2009 02:54PM

Re: Offtop: чем резервируете данные на стораджах? Attachments

Deomid Ryabkov December 27, 2009 02:20PM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 08:50AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 27, 2009 09:46AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 11:34AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

Boris Dolgov December 27, 2009 11:58AM

Re: Re[2]: Offtop: чем резервируете данные на стораджах?

squirl December 27, 2009 12:08PM

Re[3]: Offtop: чем резервируете данные на стораджах?

Михаил Монашёв December 26, 2009 06:06PM

Re[4]: Offtop: чем резервируете данные на стораджах?

Dmitry Ivanov December 26, 2009 06:30PM

Re: Offtop: чем резервируете данные на стораджах?

Игорь Хомяков December 28, 2009 04:14AM

Re: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 28, 2009 04:56AM

Re: Offtop: чем резервируете данные на стораджах?

Alex Vorona December 28, 2009 06:06AM

Re: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 28, 2009 07:10AM

Re: Offtop: чем резервируете данные на стораджах?

Alex Vorona December 28, 2009 07:22AM

Re: Offtop: чем резервируете данные на стораджах?

Ihalainen Nickolay December 28, 2009 07:46AM



Sorry, only registered users may post in this forum.

Click here to login

Online Users

Guests: 177
Record Number of Users: 8 on April 13, 2023
Record Number of Guests: 421 on December 02, 2018
Powered by nginx      Powered by FreeBSD      PHP Powered      Powered by MariaDB      ipv6 ready