подготовка регулярных бэкапов форума

Временами при подготовке бэкапов на удалённом сервере, там выплывает такое вот сообщение:

olej@277938:~$ bacsend
40,6MiB [ 646KiB/s]
tar: linux-ru.ru/files: файл изменился во время чтения
1,01GiB [2,82MiB/s]

Такой бэкап, с сомнительной целостностью, лучше не использовать и повторить.
Но такая же проблема возникает когда делаются:
1. восстановление из бэкапов
2. обновление версии движка phpBB

Вопрос в том, чтобы изолировать форум от доступа снаружи на время выполнения таких операций.
Можно бы это сделать остановкой сервера Apache ... но это грубо.

Но в админпанели phpBB есть такая возможность: "Отключить конференцию".

После этого вход в конференцию с правами пользователя происходит с предупреждением (выделено красным):

Olej писал(а): ↑
15 янв 2020, 00:05
Выполняется это как-то так:
Код: Выделить всё
olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ ./remote_backup
40,5MiB [2,14MiB/s]
1,01GiB [2,11MiB/s]
-rw-r--r-- 1 olej olej   42456040 янв 13 16:23 backup-13.01.2020_16-23.sql
-rw-r--r-- 1 olej olej 1088499388 янв 13 16:31 backup-13.01.2020_16-23.tgz

Теперь, когда бэкапы форума создаются локально, легко, надёжно - самое время перейти ещё к одному пункту программы, расписаннной на самой 1-й странице этой темы:

Olej писал(а): ↑
29 дек 2019, 16:23
4. как обеспечить автоматическую регулярность бэкапов (cron или что-то другое?)

Но тема уже непомерно разрослась ... всё оказалось не так просто, как ожидалось изначально ... - поэтому этот пункт программы реализуем в другой теме: автоматизация создания бэкапов.

Olej писал(а): ↑
02 янв 2020, 16:14
Забегая вперёд, сразу скажу, что я убил уйму времени, борясь с тем Netcat, который по умолчанию установлен на Debian 10, на приёмном конце для сохранения, на стационарном домашнем компьютере на который уносится бэкап:

Ещё раз относительно версий ncat, которые по-разному выбираются по умолчанию в разных дистрибутивах!!!
Это создаёт большие проблемы.
Вот как выглядят альтернативы в экземпляре системы, где эта проблема решена (большой потерей времени!):

Код: Выделить всё

olej@ACER:~$ galternatives
...

: Снимок экрана от 2021-08-17 18-11-36.png (73.05 КБ) 1585 просмотров

А вот как - в свежей инсталляции, например, Mint 20.2:

: Снимок экрана от 2021-08-17 18-16-27.png (38.93 КБ) 1583 просмотра

Olej писал(а): ↑
17 авг 2021, 18:12
А вот как - в свежей инсталляции, например, Mint 20.2:

Код: Выделить всё

olej@R420:~/2021/rus.linux.net.hist/timeweb$ aptitude search netcat
p   netcat                                                                                                 - инструмент для TCP/IP на все случаи жизни (переходный пакет)                                                     
v   netcat:i386                                                                                            -                                                                                                                  
i   netcat-openbsd                                                                                         - инструмент для TCP/IP на все случаи жизни                                                                        
p   netcat-openbsd:i386                                                                                    - инструмент для TCP/IP на все случаи жизни                                                                        
p   netcat-traditional                                                                                     - инструмент для TCP/IP4 на все случаи жизни                                                                       
p   netcat-traditional:i386                                                                                - инструмент для TCP/IP4 на все случаи жизни                                                                       
olej@R420:~/2021/rus.linux.net.hist/timeweb$

Код: Выделить всё

olej@R420:~/2021/rus.linux.net.hist/timeweb$ sudo apt install netcat-traditional
[sudo] пароль для olej:       
Чтение списков пакетов… Готово
Построение дерева зависимостей       
Чтение информации о состоянии… Готово
Следующие НОВЫЕ пакеты будут установлены:
  netcat-traditional
Обновлено 0 пакетов, установлено 1 новых пакетов, для удаления отмечено 0 пакетов, и 0 пакетов не обновлено.
Необходимо скачать 61,5 kB архивов.
После данной операции объём занятого дискового пространства возрастёт на 147 kB.
Пол:1 http://archive.ubuntu.com/ubuntu focal/universe amd64 netcat-traditional amd64 1.10-41.1ubuntu1 [61,5 kB]
Получено 61,5 kB за 0с (221 kB/s)           
Выбор ранее не выбранного пакета netcat-traditional.
(Чтение базы данных … на данный момент установлено 388297 файлов и каталогов.)
Подготовка к распаковке …/netcat-traditional_1.10-41.1ubuntu1_amd64.deb …
Распаковывается netcat-traditional (1.10-41.1ubuntu1) …
Настраивается пакет netcat-traditional (1.10-41.1ubuntu1) …
Обрабатываются триггеры для man-db (2.9.1-1) …

И вот теперь после этого:

Код: Выделить всё

olej@R420:~/2021/rus.linux.net.hist/timeweb$ ./remote_backup
47,2MiB [1,87MiB/s]
1,03GiB [1,40MiB/s]
-rw-rw-r-- 1 olej olej   49482200 авг 17 18:26 backup-17.08.2021_18-25.sql
-rw-rw-r-- 1 olej olej 1104500690 авг 17 18:38 backup-17.08.2021_18-25.tgz

Скрипты бэкапов эти успешно работают для этого форума уже около 3-х лет ... с минимальными правками.
Но пришлось несколько раз переезжать с одного IP на другой.
И прописывалось это скриптом вида - было так:

Код: Выделить всё

olej@R420:~/.bin$ cat forum_ip 
echo '185.200.243.3'

Код: Выделить всё

olej@R420:~/.bin$ ./forum_ip 
185.200.243.3

Но надоело переписывать IP при каждом переезде ... - пусть нам этот IP даёт DNS - теперь будет так:

Код: Выделить всё

olej@R420:~/.bin$ grep -v ^# forum_ip 
host linux-ru.ru | grep -E "([0-9]{1,3}[\.]){3}[0-9]{1,3}" | cut -d' ' -f4

Код: Выделить всё

olej@R420:~/.bin$ ./forum_ip 
90.156.230.27

Olej писал(а): ↑

15 янв 2020, 00:05

Код: Выделить всё

olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ ./remote_backup
40,5MiB [2,14MiB/s]
1,01GiB [2,11MiB/s]
-rw-r--r-- 1 olej olej   42456040 янв 13 16:23 backup-13.01.2020_16-23.sql
-rw-r--r-- 1 olej olej 1088499388 янв 13 16:31 backup-13.01.2020_16-23.tgz

После очередного переезда а новый хостинг (изменение сервера хостинга) передача бэкапа идёт медленнее (см. скорости):

Код: Выделить всё

olej@R420:~/2022/rus.linux.net.hist/timeweb$ time ./remote_backup
53,2MiB [ 477KiB/s]
1,17GiB [ 434KiB/s]
-rw-rw-r-- 1 olej olej   55832112 янв  2 01:22 backup-02.01.2023_01-20.sql
-rw-rw-r-- 1 olej olej 1259195713 янв  2 02:09 backup-02.01.2023_01-20.tgz

real    49m16,063s
user    0m13,292s
sys     1m55,099s

Но это не критично.
Спешить некуда.
Зато надёжно, на прямом коннекте, без всяких VPN и туннелей...

Olej писал(а): ↑
02 янв 2023, 08:00
После очередного переезда а новый хостинг (изменение сервера хостинга) передача бэкапа идёт медленнее (см. скорости):

Как показало время - всё очень зависит от времени суток и текущего состояния трассы:

Код: Выделить всё

olej@R420:~/2023/rus.linux.net.hist/timeweb$ ./remote_backup
53,7MiB [ 254KiB/s]
1,17GiB [2,83MiB/s]
-rw-rw-r-- 1 olej olej   56289472 янв  4 05:53 backup-04.01.2023_05-49.sql
-rw-rw-r-- 1 olej olej 1260121270 янв  4 06:00 backup-04.01.2023_05-49.tgz

Здесь скорость скачивания архива .tgz даже выше, чем было когда-либо из С.-Петербурга.

Код: Выделить всё

olej@R420:~/2023/rus.linux.net.hist/timeweb$ ls -l backup-*
-rw-rw-r-- 1 olej olej   56289472 янв  4 05:53 backup-04.01.2023_05-49.sql
-rw-rw-r-- 1 olej olej 1260121270 янв  4 06:00 backup-04.01.2023_05-49.tgz

Olej писал(а): ↑
04 янв 2023, 07:06
Как показало время - всё очень зависит от времени суток и текущего состояния трассы:

Всё (скорость скачивания) зависит от времени суток когда делаются бэкапы

Вот сегодня:

Код: Выделить всё

olej@R420:~/2023/rus.linux.net.hist/timeweb$ ./remote_backup
53,9MiB [2,59MiB/s]
1,17GiB [3,02MiB/s]
-rw-rw-r-- 1 olej olej   56470288 янв 10 07:31 backup-10.01.2023_07-30.sql
-rw-rw-r-- 1 olej olej 1261462336 янв 10 07:37 backup-10.01.2023_07-30.tgz

Это ничуть не хуже, чем при хостинге в С.-Петербурге.

Olej писал(а): ↑
02 янв 2023, 08:00
передача бэкапа идёт медленнее

Отличная идея: для коннектов, выполнения команд (архивирования) по SSH, и сбрасывания бэкапов по SFTP - использовать IPv6 mesh-сеть Yggdrasil

Сеть:
- которую никакия падла, ни с какого государства и ведомства - не видит ... чтобы закрыть трафик

- которая разрешается через свои альтерантивные DNS, чтобы никто не мог разделегировать доменное имя...

- которая на прямом коннекте и не нужно использовать NetCat...
- не нужно на файерволе сервера держать открытые непревилегированные порты TCP для NetCat

Проверяю скачивание:

Код: Выделить всё

olej@R420:~/2023/rus.linux.net.hist/timeweb/rus.linux.net.backups$ time sftp -6 olej@ygg.linux-ru.lib:backup-* 
The authenticity of host 'ygg.linux-ru.lib (221:58c9:9a6:99be:f3d:c1ac:2b5b:9771)' can't be established.
ED25519 key fingerprint is SHA256:tUEdyliSRcHZzp1T6ds7GmMI6L0EBXy95rAXPMoXEic.
This host key is known by the following other names/addresses:
    ~/.ssh/known_hosts:57: [hashed name]
    ~/.ssh/known_hosts:63: [hashed name]
Are you sure you want to continue connecting (yes/no/[fingerprint])? y
Please type 'yes', 'no' or the fingerprint: yes
Warning: Permanently added 'ygg.linux-ru.lib' (ED25519) to the list of known hosts.
olej@ygg.linux-ru.lib's password: 
Connected to ygg.linux-ru.lib.
Fetching /home/olej/backup-31.05.2023_12-54.sql to backup-31.05.2023_12-54.sql
backup-31.05.2023_12-54.sql                                                                                                                     100%   58MB   2.7MB/s   00:21    
Fetching /home/olej/backup-31.05.2023_12-54.tgz to backup-31.05.2023_12-54.tgz
backup-31.05.2023_12-54.tgz                                                                                                                     100% 1253MB   3.4MB/s   06:14    

real	7m8,153s
user	0m10,283s
sys	0m11,037s

Скорость - выше всего что с этим форумом (в этой теме) видел

Весь трафик - шифрованный средствами Yggdrasil.

Linux-ru