Страница 3 из 4
Re: подготовка регулярных бэкапов форума
Добавлено: 17 янв 2020, 20:39
Olej
Временами при подготовке бэкапов на удалённом сервере, там выплывает такое вот сообщение:
Код: Выделить всё
olej@277938:~$ bacsend
40,6MiB [ 646KiB/s]
tar: linux-ru.ru/files: файл изменился во время чтения
1,01GiB [2,82MiB/s]
Такой бэкап, с сомнительной целостностью, лучше не использовать и повторить.
Но такая же проблема возникает когда делаются:
1.
восстановление из бэкапов
2. обновление версии движка
phpBB
Вопрос в том, чтобы
изолировать форум от доступа снаружи на время выполнения таких операций.
Можно бы это сделать остановкой сервера Apache ... но это грубо.
Но в админпанели phpBB есть такая возможность: "Отключить конференцию".
После этого вход в конференцию с правами пользователя происходит с предупреждением (выделено красным):
Re: подготовка регулярных бэкапов форума
Добавлено: 24 янв 2020, 19:59
Olej
Olej писал(а): ↑15 янв 2020, 00:05
Выполняется это как-то так:
Код: Выделить всё
olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ ./remote_backup
40,5MiB [2,14MiB/s]
1,01GiB [2,11MiB/s]
-rw-r--r-- 1 olej olej 42456040 янв 13 16:23 backup-13.01.2020_16-23.sql
-rw-r--r-- 1 olej olej 1088499388 янв 13 16:31 backup-13.01.2020_16-23.tgz
Теперь, когда бэкапы форума создаются локально, легко, надёжно - самое время перейти ещё к одному пункту программы, расписаннной на самой 1-й странице этой темы:
Olej писал(а): ↑29 дек 2019, 16:23
4. как обеспечить автоматическую регулярность бэкапов (cron или что-то другое?)
Но тема уже непомерно разрослась ... всё оказалось не так просто, как ожидалось изначально ... - поэтому этот пункт программы реализуем в другой теме:
автоматизация создания бэкапов.
Re: подготовка регулярных бэкапов форума
Добавлено: 17 авг 2021, 18:12
Olej
Olej писал(а): ↑02 янв 2020, 16:14
Забегая вперёд, сразу скажу, что я убил уйму времени, борясь с тем Netcat, который по умолчанию установлен на Debian 10, на приёмном конце для сохранения, на стационарном домашнем компьютере на который уносится бэкап:
Ещё раз относительно
версий ncat, которые по-разному выбираются по умолчанию в разных дистрибутивах!!!
Это создаёт большие проблемы.
Вот как выглядят
альтернативы в экземпляре системы, где эта проблема решена (большой потерей времени!):
- Снимок экрана от 2021-08-17 18-11-36.png (73.05 КБ) 1240 просмотров
А вот как - в свежей инсталляции, например, Mint 20.2:
- Снимок экрана от 2021-08-17 18-16-27.png (38.93 КБ) 1238 просмотров
Re: подготовка регулярных бэкапов форума
Добавлено: 17 авг 2021, 18:23
Olej
Olej писал(а): ↑17 авг 2021, 18:12
А вот как - в свежей инсталляции, например, Mint 20.2:
Код: Выделить всё
olej@R420:~/2021/rus.linux.net.hist/timeweb$ aptitude search netcat
p netcat - инструмент для TCP/IP на все случаи жизни (переходный пакет)
v netcat:i386 -
i netcat-openbsd - инструмент для TCP/IP на все случаи жизни
p netcat-openbsd:i386 - инструмент для TCP/IP на все случаи жизни
p netcat-traditional - инструмент для TCP/IP4 на все случаи жизни
p netcat-traditional:i386 - инструмент для TCP/IP4 на все случаи жизни
olej@R420:~/2021/rus.linux.net.hist/timeweb$
Код: Выделить всё
olej@R420:~/2021/rus.linux.net.hist/timeweb$ sudo apt install netcat-traditional
[sudo] пароль для olej:
Чтение списков пакетов… Готово
Построение дерева зависимостей
Чтение информации о состоянии… Готово
Следующие НОВЫЕ пакеты будут установлены:
netcat-traditional
Обновлено 0 пакетов, установлено 1 новых пакетов, для удаления отмечено 0 пакетов, и 0 пакетов не обновлено.
Необходимо скачать 61,5 kB архивов.
После данной операции объём занятого дискового пространства возрастёт на 147 kB.
Пол:1 http://archive.ubuntu.com/ubuntu focal/universe amd64 netcat-traditional amd64 1.10-41.1ubuntu1 [61,5 kB]
Получено 61,5 kB за 0с (221 kB/s)
Выбор ранее не выбранного пакета netcat-traditional.
(Чтение базы данных … на данный момент установлено 388297 файлов и каталогов.)
Подготовка к распаковке …/netcat-traditional_1.10-41.1ubuntu1_amd64.deb …
Распаковывается netcat-traditional (1.10-41.1ubuntu1) …
Настраивается пакет netcat-traditional (1.10-41.1ubuntu1) …
Обрабатываются триггеры для man-db (2.9.1-1) …
Re: подготовка регулярных бэкапов форума
Добавлено: 18 авг 2021, 00:48
Olej
И вот теперь после этого:
Код: Выделить всё
olej@R420:~/2021/rus.linux.net.hist/timeweb$ ./remote_backup
47,2MiB [1,87MiB/s]
1,03GiB [1,40MiB/s]
-rw-rw-r-- 1 olej olej 49482200 авг 17 18:26 backup-17.08.2021_18-25.sql
-rw-rw-r-- 1 olej olej 1104500690 авг 17 18:38 backup-17.08.2021_18-25.tgz
Re: подготовка регулярных бэкапов форума
Добавлено: 01 янв 2023, 01:31
Olej
Скрипты бэкапов эти успешно работают для этого форума уже около 3-х лет ... с минимальными правками.
Но пришлось несколько раз переезжать с одного IP на другой.
И прописывалось это скриптом вида - было так:
Код: Выделить всё
olej@R420:~/.bin$ cat forum_ip
echo '185.200.243.3'
Но надоело переписывать IP при каждом переезде ... - пусть нам этот IP даёт DNS - теперь будет так:
Код: Выделить всё
olej@R420:~/.bin$ grep -v ^# forum_ip
host linux-ru.ru | grep -E "([0-9]{1,3}[\.]){3}[0-9]{1,3}" | cut -d' ' -f4
Re: подготовка регулярных бэкапов форума
Добавлено: 02 янв 2023, 08:00
Olej
Olej писал(а): ↑15 янв 2020, 00:05
Код: Выделить всё
olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ ./remote_backup
40,5MiB [2,14MiB/s]
1,01GiB [2,11MiB/s]
-rw-r--r-- 1 olej olej 42456040 янв 13 16:23 backup-13.01.2020_16-23.sql
-rw-r--r-- 1 olej olej 1088499388 янв 13 16:31 backup-13.01.2020_16-23.tgz
После очередного переезда а новый хостинг (
изменение сервера хостинга) передача бэкапа идёт медленнее (см. скорости):
Код: Выделить всё
olej@R420:~/2022/rus.linux.net.hist/timeweb$ time ./remote_backup
53,2MiB [ 477KiB/s]
1,17GiB [ 434KiB/s]
-rw-rw-r-- 1 olej olej 55832112 янв 2 01:22 backup-02.01.2023_01-20.sql
-rw-rw-r-- 1 olej olej 1259195713 янв 2 02:09 backup-02.01.2023_01-20.tgz
real 49m16,063s
user 0m13,292s
sys 1m55,099s
Но это не критично.
Спешить некуда.
Зато надёжно, на прямом коннекте, без всяких VPN и туннелей...
Re: подготовка регулярных бэкапов форума
Добавлено: 04 янв 2023, 07:06
Olej
Olej писал(а): ↑02 янв 2023, 08:00
После очередного переезда а новый хостинг (изменение сервера хостинга) передача бэкапа идёт медленнее (см. скорости):
Как показало время - всё очень зависит от времени суток и текущего состояния трассы:
Код: Выделить всё
olej@R420:~/2023/rus.linux.net.hist/timeweb$ ./remote_backup
53,7MiB [ 254KiB/s]
1,17GiB [2,83MiB/s]
-rw-rw-r-- 1 olej olej 56289472 янв 4 05:53 backup-04.01.2023_05-49.sql
-rw-rw-r-- 1 olej olej 1260121270 янв 4 06:00 backup-04.01.2023_05-49.tgz
Здесь скорость скачивания архива .tgz даже
выше, чем было когда-либо из С.-Петербурга.
Код: Выделить всё
olej@R420:~/2023/rus.linux.net.hist/timeweb$ ls -l backup-*
-rw-rw-r-- 1 olej olej 56289472 янв 4 05:53 backup-04.01.2023_05-49.sql
-rw-rw-r-- 1 olej olej 1260121270 янв 4 06:00 backup-04.01.2023_05-49.tgz
подготовка регулярных бэкапов форума
Добавлено: 10 янв 2023, 08:42
Olej
Olej писал(а): ↑04 янв 2023, 07:06
Как показало время - всё очень зависит от времени суток и текущего состояния трассы:
Всё (скорость скачивания) зависит от времени суток когда делаются бэкапы
Вот сегодня:
Код: Выделить всё
olej@R420:~/2023/rus.linux.net.hist/timeweb$ ./remote_backup
53,9MiB [2,59MiB/s]
1,17GiB [3,02MiB/s]
-rw-rw-r-- 1 olej olej 56470288 янв 10 07:31 backup-10.01.2023_07-30.sql
-rw-rw-r-- 1 olej olej 1261462336 янв 10 07:37 backup-10.01.2023_07-30.tgz
Это ничуть не хуже, чем при хостинге в С.-Петербурге.
подготовка регулярных бэкапов форума
Добавлено: 31 май 2023, 14:14
Olej
Olej писал(а): ↑02 янв 2023, 08:00
передача бэкапа идёт медленнее
Отличная идея: для коннектов, выполнения команд (архивирования) по SSH, и сбрасывания бэкапов по SFTP - использовать IPv6 mesh-сеть
Yggdrasil
Сеть:
- которую никакия падла, ни с какого государства и ведомства - не видит ... чтобы закрыть трафик
- которая разрешается через свои альтерантивные DNS, чтобы никто не мог разделегировать доменное имя...
- которая на прямом коннекте и не нужно использовать NetCat...
- не нужно на файерволе сервера держать открытые непревилегированные порты TCP для NetCat
Проверяю
скачивание:
Код: Выделить всё
olej@R420:~/2023/rus.linux.net.hist/timeweb/rus.linux.net.backups$ time sftp -6 olej@ygg.linux-ru.lib:backup-*
The authenticity of host 'ygg.linux-ru.lib (221:58c9:9a6:99be:f3d:c1ac:2b5b:9771)' can't be established.
ED25519 key fingerprint is SHA256:tUEdyliSRcHZzp1T6ds7GmMI6L0EBXy95rAXPMoXEic.
This host key is known by the following other names/addresses:
~/.ssh/known_hosts:57: [hashed name]
~/.ssh/known_hosts:63: [hashed name]
Are you sure you want to continue connecting (yes/no/[fingerprint])? y
Please type 'yes', 'no' or the fingerprint: yes
Warning: Permanently added 'ygg.linux-ru.lib' (ED25519) to the list of known hosts.
olej@ygg.linux-ru.lib's password:
Connected to ygg.linux-ru.lib.
Fetching /home/olej/backup-31.05.2023_12-54.sql to backup-31.05.2023_12-54.sql
backup-31.05.2023_12-54.sql 100% 58MB 2.7MB/s 00:21
Fetching /home/olej/backup-31.05.2023_12-54.tgz to backup-31.05.2023_12-54.tgz
backup-31.05.2023_12-54.tgz 100% 1253MB 3.4MB/s 06:14
real 7m8,153s
user 0m10,283s
sys 0m11,037s
Скорость - выше всего что с этим форумом (в этой теме) видел
Весь трафик - шифрованный средствами Yggdrasil.