Резервное копирование linux из windows

Всем добра, уважаемые читатели и гости. Сегодня публикую маленькую заметку о том, как сделать резервную копию файлов сайта по SSH. В интернете куча статей на данную тему, но чем я хочу выделить данную заметку? Тем, что при создании резервной копии на Windows машине с Linux\UNIX хостинга я столкнулся с множеством неудобств и проблем, которые я избежал, используя plink и putty.

Исходные данные для backup

Итак, имеем:

1. Linux\UNIX хостинг с доступом по SSH, адрес хоста: ssh.host.example
2. Компьютер с Windows, с помощью которого производим администрирование сайта.
3. командный интерфейс plink, который поставляется с ssh клиентом PuTTY
4. доступ в интернет для связи 1го и 2го.
5. имя пользователя на хостинге: user
6. пароль: P@sswOrd
7. каталог, где размещены файлы сайта: /var/www/host.example

Проблема backup

1. Очень часто, размещая сайт на хостинге, хостер предъявляет высокие требования и лимиты к операциям ввода-вывода на диск. В результате, при создании резервной копии в ssh консоли хостинга, процесс зашкаливающий по лимитам хостинга может быть убит и архив получится битый.
2. Так же, типичная ситуация, когда у тебя файлы сайта занимают 70-80% дискового пространства, предоставленного хостингом, и при создании архива из ssh консоли хостинга — для полного архива не хватает места.
3. Дополнительно, хостер может убивать процессы, которые создают большую нагрузку на CPU. Это тоже приведет к некорректно созданному архиву.
4. Для создания архива с Windows машины необходимо проделать кучу действий: 1. подключиться к консоли по ssh, 2. создать архив, 3. подключиться SCP/SFTP клиентом, 4. скопировать файл архива, 5. удалить архив. Тут же мы выполняем все это одной командой.

Решение проблемы backup через plink

В общем, ранее меня эти проблемы не напрягали, т.к. бэкап нужно было делать не часто, а когда я стал дорабатывать блог, то оперативные архивы стали очень необходимы и я стал искать решения. Я знал, что подключаясь из Linux — это делается элементарно, через pipe. Поэтому я стал искать аналогию на Windows. В конечном счете, необходимо было выполнить команду на удаленном сервере, которая создаст архив и сложит его в локальную папку на клиенте. Долго искать не пришлось — мне помог plink. Как говориться, все гениальное — просто: качаем putty и plink. Выполняем следующие действия, открыв cmd в каталоге с plink.exe:

 c:\PuTTY_folder>plink -pw P@sswOrd [email protected] tar czf - /var/www/host.example > c:\backup_by_plink\backup_of_my_site.tar.gz

Здесь:

• plink — собственно, сам exe’шник
• -pw P@sswOrd — пароль к учетной записи user
• [email protected] — имя пользователи и хост, на котором буде выполнены программа
• tar czf — /var/www/host.example — собственно, исполняемая программа (читаем основные команды linux). Указывая «-» мы говорим tar’y выводить архив на консоль (вернее stdout).
• > — символ командной строки Windows, осуществляющий перенаправление вывода команды в файл (аналог pipe в Linux)
• c:\backup_by_plink\backup_of_my_site.tar.gz — место сохранения архива.

Т.о. мы решаем все 4 проблемы. При этом, если отключим компрессию (ключ z), то практически снизим нагрузку на CPU на хостинге.

Ссылки

Plink и Putty — http://www.chiark.greenend.org.uk/~sgtatham/putty/
документация — http://www.chiark.greenend.org.uk/~sgtatham/putty/docs.html
документация на русском — http://putty.org.ru/docs.html

P.S. 

Надеюсь, что кроме меня данная заметка будет кому-то полезна. Так же, хочу отметить, что кроме tar, тут никто не мешает использовать mysqldump, например.  До новых встреч!

С Уважением, Mc.Sim!

---

Теги:

У нас идёт цикл об информационной суверенности: как не зависеть от зарубежных сервисов в важных компьютерных делах. Сейчас говорим о защите важных файлов. Эта операция из нескольких этапов: 

В чём задача

Задача — сделать так, чтобы важные файлы на нашем компьютере копировались в безопасное место без нашего участия. Например, можно иметь безопасную флешку, на которую при подключении будут записываться свежие версии важных файлов. 

Важно, чтобы это происходило автоматически, то есть без вашего участия. Если флешка вставлена, на неё всё копируется само. Если не вставлена, ничего не происходит. 

Решение будет состоять из двух частей: 

Что делаем

Сначала напишем скрипт, который делает бэкапы, а потом настроим всё так, чтобы он запускался автоматически. Звучит сложно, но на деле всё займёт 5 минут.

Скрипт мы сделаем с помощью системной утилиты rsync на Linux или Mac OS. На Windows используем утилиту nnBackup.

Автоматику будем запускать с помощью crontab — планировщика задач для Linux и Mac OS. На Windows используем либо встроенный планировщик задач, либо nnCron — клон crontab. 

Настраиваем резервное копирование в Mac OS и Linux

Чтобы скопировать данные из одного места в другое, во всех дистрибутивах Linux, UNIX и Mac OS используют команду rsync. Она почти всегда идёт в комплекте с системой и решает только одну задачу — что-то куда-то копирует, при этом сам процесс можно настроить довольно гибко.

Общий вид команды такой:

rsync -как_копируем что_копируем куда_копируем

Что_копируем — это путь к папкам, где лежат наши данные. Их мы будем копировать

Куда_копируем — это путь к папке, где будет храниться бэкап. Если второй папки нет, программа сама её создаст. Если папка на другом устройстве, а самого устройства в системе нет, rsync может завершить работу. 

-как_копируем — её параметры копирования. Их очень много; если нужен полный список, наберите rsync —help. Сейчас нас интересует только два параметра — архив и вывод на экран. Для справки — вот полный перечень: 

Чтобы команда знала, что нам нужно не просто скопировать, а сделать бэкап, используется ключ -a. Без него компьютер будет просто копировать файлы каждый раз, даже если в резервной копии они уже есть, и тратить на это каждый раз много времени. А с ключом -a команда поймёт, что это бэкап, и не будет туда добавлять те файлы, которые там уже есть. А если в бэкапе будет лежать старая версия, а у нас уже новая, то она просто заменит старую на новую, чтобы у нас всегда были актуальные данные.

Вывод на экран — необязательный параметр, который не влияет на экран, но сейчас нам он пригодится. Его смысл в том, что так компьютер будет выводить название каждого файла, который он копирует в данный момент, — так мы увидим, что всё работает как нужно.

Ещё есть ключ —delete — он означает, что если в исходной папке какой-то файл уже удалён, то и в бэкапе его тоже нужно удалить. Если вам в резервных копиях нужна точная копия какой-то папки — добавляйте этот параметр при запуске.

Например, если нам нужно на флешке сделать бэкап папки с фотографиями, то пишем такую команду:

rsync -av /Users/mike/Pictures /Volumes/WIN10_64/Pictures

Вот что она означает:

Если бы нам понадобилось сделать не архивный бэкап (со всеми старыми файлами), а точную копию папки с фото, то добавился бы ключ —delele:

rsync -av --delete /Users/mike/Pictures /Volumes/WIN10_64/Pictures

Резервное копирование в Windows

Для Windows нет родной команды rsync, поэтому разработчику Николаю Немцову пришлось сделать её аналог — nnBackup. Она устанавливается как обычная программа, и потом тоже запускается из командной строки. Чтобы с ней было проще работать, ставим её в свою папку в корень диска C:

Единственное, что отличается в работе, — порядок аргументов и ключи запуска. Чтобы получить тот же результат, что и в предыдущем примере, нужно в командной строке написать такое:

nnbackup.exe sync -i C:\Users\Mike\Pictures\ -o
F:\Pictures\ -v -da

Теперь посмотрим, что внутри:

Устанавливаем nnBackup на диск C:

Как будет работать автоматизация

Мы научились создавать бэкапы, но пока всё делается вручную. Это не дело — нужно, чтобы компьютер следил за этим сам.

Самый простой способ автоматизировать бэкапы — настроить выполнение команд по времени, например каждые 10 минут. Работает это так:

Интервал в 10 минут мы выбрали сами — можно поставить и раз в минуту, и раз в день, всё зависит от того, насколько часто у вас обновляются за день нужные данные.

Настраиваем расписание в Mac OS и Linux

За запуск команд по расписанию в Mac OS и Linux отвечает команда crontab. У неё много параметров и возможностей, но сейчас нас интересует только одно — как с её помощью запускать нашу команду для бэкапа раз в 10 минут.

Для этого делаем так.

*/10 * * * * rsync -av --delete /Users/mike/Pictures /Volumes/WIN10_64/Pictures

За запуск каждые 10 минут отвечает начало команды — */10 * * * *. Остальные звёздочки отвечают за часы, дни, недели и месяцы, а косая черта — за постоянное повторение каждые сколько-то минут. 

Теперь 6 раз в час наша команда будет запускаться и следить за актуальностью резервной копии. Если нужно несколько команд, то просто добавьте новые строчки и сохраните всё таким же образом.

Настраиваем расписание в Windows

Самый простой способ сделать что-то по расписанию в Windows — использовать «Планировщик заданий». Это встроенная программа с неудобным интерфейсом, но базовые вещи в ней можно настроить. 

Главный минус «Планировщика» в том, что большинство служебных задач в нём сделать сложно — нужно заполнить много полей, настроек и постоянно следить за тем, от имени какого пользователя это делается. 

Для запуска планировщика выберите Пуск → Средства администрирования → Планировщик заданий.

Мы пойдём другим путём — используем программу nnCron Lite. Это аналог crontab для Windows того же Николая Немцова. Скачиваем программу и устанавливаем её в папку C:\cron, чтобы было проще запускать.

Теперь нужно сказать программе, что и как запускать. Для этого в ней есть специальный текстовый файлик cron.tab — его нужно отредактировать. 

Заходите в папку с программой C:\cron, находите там файл cron.tab, открываете в Блокноте. Логика наполнения такая же, как в MacOS: сначала звёздочками указываем периодичность запуска, а потом пишем команду, которую нужно выполнить. В нашем случае это будет так: 

*/10 * * * * nnbackup.exe sync -i C:\Users\Mike\Pictures\ -o  F:\Pictures\ -v -da

Что дальше

Резервное копирование по времени — просто, но неоптимально. Намного круче запускать создание бэкапов именно в тот момент, когда мы вставляем флешку в компьютер. Как это сделать, расскажем в будущих статьях. Подписывайтесь на нас везде, где ещё можно