бэкапы в Google Диск (или другое облако)

[Olej]

Вопросы бэкапов в Google Диск здесь подняты с чисто утилитарной целью: периодические бэкапы этого форума забрасывать в мой Google Диск, в связи с см. изменение хостинга.

Пока за основу возьму публикацию Бэкап на Google Диск из командной строки:

18/03/2017

[Olej]

Пока за основу возьму публикацию Бэкап на Google Диск из командной строки:

Прежде всего нужна утилита работы с Google Диск. GIT репозиторий проекта здесь: https://github.com/gdrive-org/gdrive.
Проект написан на Go, и скомпонован статически (что часто на Go).

Код: Выделить всё

olej@ACER:~/2019_WORK/own.WORK/rus.linux.net.admin$ ls -l gdrive-linux-x64 
-rw-r--r-- 1 olej olej 6993472 дек 27 23:49 gdrive-linux-x64

Код: Выделить всё

olej@ACER:~/2019_WORK/own.WORK/rus.linux.net.admin$ chmod a+x gdrive-linux-x64 

Код: Выделить всё

olej@ACER:~/2019_WORK/own.WORK/rus.linux.net.admin$ ./gdrive-linux-x64 list --query 'mimeType contains "folder"'
Authentication needed
Go to the following url in your browser:
https://accounts.google.com/o/oauth2/auth?access_type=offline&client_id=367116221053-7n0vf5akeru7on6o2fjinrecpdoe99eg.apps.googleusercontent.com&redirect_uri=urn%3Aietf%3Awg%3Aoauth%3A2.0%3Aoob&response_type=code&scope=https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fdrive&state=state

Enter verification code: 

Идём в браузере по указанной ссылке для получения verification code ... указываем свой аккаунт Google ... и получаем отлуп!

Вход с аккаунтом Google временно заблокирован для этого приложения
В приложение нельзя войти, используя аккаунт Google, так как оно ещё не прошло нашу проверку.

Может 4 года назад Google и пускал gdrive, но...

[Olej]

Как-то мне раз от разу всё меньше хочется связываться с Google!
Попробую связываться с Яндекс.

Консольный клиент для Linux

Консольный клиент Яндекс.Диска для Linux позволяет вам управлять файлами на Диске без использования оконного интерфейса.
...
Пример установки с помощью менеджера пакетов dpkg
# dpkg -i yandex-disk_0.1.0.103_i386.deb

Index of /yandex-disk/

Код: Выделить всё

../
deb/                                                                                                                     12-Jul-2018 18:25       -
rpm/                                                                                                                     12-Aug-2013 18:00       -
GUI-FOR-YANDEX-DISK                                                                                                      05-Nov-2014 15:48     254
YANDEX-DISK-KEY.GPG                                                                                                      12-Aug-2013 18:10    1760
yandex-disk-latest.i386.rpm                                                                                              08-Jul-2019 16:31      4M
yandex-disk-latest.x86_64.rpm                                                                                            08-Jul-2019 16:31      5M
yandex-disk_latest_amd64.deb                                                                                             08-Jul-2019 16:31      5M
yandex-disk_latest_i386.deb                                                                                              08-Jul-2019 16:31      4M

[Olej]

Попробую связываться с Яндекс.

Код: Выделить всё

olej@ACER:~/Загрузки$ ls -l yandex-disk_latest_amd64.deb 
-rw-r--r-- 1 olej olej 4736010 дек 28 01:27 yandex-disk_latest_amd64.deb

Код: Выделить всё

olej@ACER:~/Загрузки$ sudo dpkg -i yandex-disk_latest_amd64.deb 
[sudo] пароль для olej: 
Выбор ранее не выбранного пакета yandex-disk.
(Чтение базы данных … на данный момент установлено 424398 файлов и каталогов.)
Подготовка к распаковке yandex-disk_latest_amd64.deb …
Распаковывается yandex-disk (0.1.5.1010) …
Настраивается пакет yandex-disk (0.1.5.1010) …
Using /usr/bin/wget
Обрабатываются триггеры для man-db (2.8.5-2) …

[Olej]

Консольный клиент для Linux

Вы можете выполнить начальную настройку клиента с помощью команды setup.
$ yandex-disk setup
1. Введите название каталога для хранения локальной копии Диска. Если вы оставите название пустым, в домашнем каталоге будет создана папка Yandex.Disk.
2. Укажите, использовать ли прокси-сервер (y/n).
3. Укажите, запускать ли клиент при старте системы (y/n).
4. Введите имя пользователя на Яндексе.
5. Введите пароль на Яндексе.

Код: Выделить всё

olej@ACER:~/Загрузки$ yandex-disk setup
Использовать прокси-сервер? [y/N]: n
Авторизация
Если у вас ещё нет аккаунта на Яндексе, его можно завести по ссылке https://passport.yandex.ru/passport?mode=register

Введите логин: o.tsiliuric@yandex.ua
Введите пароль: 
Токен сохранен в /home/olej/.config/yandex-disk/passwd
Настройка Яндекс.Диска
Введите путь к папке Яндекс.Диска (Оставьте пустым для использования папки '/home/olej/Yandex.Disk'): 
Запускать Яндекс.Диск при входе в систему? [Y/n]: n
Запуск демона...Готово

Код: Выделить всё

olej@ACER:~$ ls -l ~/Yandex.Disk 
итого 16
drwxr-xr-x  2 olej olej 4096 дек 28 08:41 forum.BACKUPs
drwxr-xr-x 17 olej olej 4096 дек 28 08:41 Документы
drwxr-xr-x  3 olej olej 4096 дек 28 08:41 Загрузки
drwxr-xr-x  2 olej olej 4096 дек 28 08:42 Картинки

[Olej]

Пока я выгружаю бэкапы этого нашего форума на Google.Диск и Яндекс.Диск вручную (пока не отработал скриптовую технику).
Файлы большие, порядка 1.5Gb в сумме, за раз.
Заметил, что загрузка на Яндекс.Диск идёт существенно быстрее, чем на Google.Диск.

[Olej]

Пока я выгружаю бэкапы этого нашего форума на Google.Диск и Яндекс.Диск вручную (пока не отработал скриптовую технику).
Файлы большие, порядка 1.5Gb в сумме, за раз.
Заметил, что загрузка на Яндекс.Диск идёт существенно быстрее, чем на Google.Диск.

Пока это всё не то!
Потому что все эти "консольные" клиенты облачных сервисов являются какими-то заумными средствами "синхронизации" облачных и локальных файлов ... но мне не нужно хранить дубликаты локально, для того чтобы их залить на облако мне только и нужны облачные сервисы.
Нужно что-то типа загрузки на облако по FTP (или HTTP) и выгрузка оттуда обратно при необходимости.

[Olej]

ужно что-то типа загрузки на облако по FTP (или HTTP) и выгрузка оттуда обратно при необходимости.

FTP доступ к облачным хранилищам — как настроить

Облачное хранилище Яндекс Диск не работает при помощи протокола FTP. И хоть Яндекс Диск дает немного места — всего 8 Гб для бесплатного пользования, эти гигабайты лишними не будут. Однако, не отчаивайтесь — к Яндекс Диску можно подключиться при помощи другого протокола, конкурента FTP, — WebDav. Подключаться к диску при помощи этого протокола так же удобно, как если бы вы зашли на Yandex через FTP.

Но здесь для нас есть несколько интересных инструментов...

Код: Выделить всё

olej@ACER:~$ aptitude show davfs2
Пакет: davfs2                                    
Версия: 1.5.5-1
Состояние: не установлен
Приоритет: необязательный
Раздел: utils
Сопровождающий: Luciano Bello <luciano@debian.org>
Архитектура: amd64
Размер в распакованном виде: 362 k
Зависит: libc6 (>= 2.15), libneon27, debconf (>= 0.5) | debconf-2.0, adduser
Описание: mount a WebDAV resource as a regular file system
 Web Distributed Authoring and Versioning (WebDAV), an extension to the HTTP-protocol, allows authoring of resources on a remote web server. davfs2 provides the ability to access such
 resources like a typical filesystem, allowing for use by standard applications with no built-in support for WebDAV. 
 
 davfs2 is designed to fully integrate into the filesystem semantics of Unix-like systems (mount, umount, et c.). davfs2 makes mounting by unprivileged users as easy and secure as
 possible. 
 
 davfs2 does extensive caching to make the file system responsive, to avoid unnecessary network traffic and to prevent data loss, and to cope for slow or unreliable connections. 
 
 davfs2 will work with most WebDAV servers needing little or no configuration.
Домашняя страница: http://savannah.nongnu.org/projects/davfs2
Метки: admin::filesystem, implemented-in::c, interface::commandline, network::client, protocol::http, protocol::webdav, role::program, scope::utility

Код: Выделить всё

olej@ACER:~$ aptitude show cadaver
Пакет: cadaver                                   
Версия: 0.23.3-2.1
Состояние: не установлен
Приоритет: необязательный
Раздел: web
Сопровождающий: Sebastian Harl <tokkee@debian.org>
Архитектура: amd64
Размер в распакованном виде: 248 k
Зависит: libc6 (>= 2.14), libgcrypt20 (>= 1.7.0), libgnutls30 (>= 3.5.0), libncurses6 (>= 6), libneon27-gnutls, libreadline7 (>= 6.0), libtinfo6 (>= 6), libxml2 (>= 2.6.27)
Описание: WebDAV-клиент для командной строки
 cadaver поддерживает выгрузку/загрузку файлов, отображение на экране, редактирование на месте, операции с областью видимости (перемещение/копирование), создание/удаление коллекций,
 изменение свойств и блокировку ресурсов. 
 
 Работает аналогично стандартному для BSD ftp(1) и smbclient(1) из проекта Samba. 
 
 В пакет включена поддержка GnuTLS (HTTPS). 
 
 WebDAV (Web-based Distributed Authoring and Versioning) -- это набор расширений для протокола HTTP, которые позволяют пользователям совместно работать с файлами на удалённых
 веб-серверах.
Домашняя страница: http://www.webdav.org/cadaver/
Метки: implemented-in::c, interface::text-mode, network::client, protocol::webdav, role::program, uitoolkit::ncurses

Код: Выделить всё

olej@ACER:~$ aptitude show hdav
Пакет: hdav                                      
Версия: 1.3.3-1+b1
Состояние: не установлен
Приоритет: необязательный
Раздел: web
Сопровождающий: Debian Haskell Group <pkg-haskell-maintainers@lists.alioth.debian.org>
Архитектура: amd64
Размер в распакованном виде: 19,7 M
Зависит: libatomic1 (>= 4.8), libc6 (>= 2.27), libffi6 (>= 3.0.4), libgmp10, libtinfo6 (>= 6), zlib1g (>= 1:1.1.4)
Описание: command-line WebDAV client
 hdav currently only supports copying a file and associated WebDAV properties from one URL to another.
Домашняя страница: http://floss.scru.org/hDAV

[Olej]

Но здесь для нас есть несколько интересных инструментов...

Код: Выделить всё

olej@ACER:~$ sudo apt install davfs2
[sudo] пароль для olej: 
Чтение списков пакетов… Готово
Построение дерева зависимостей       
Чтение информации о состоянии… Готово
Будут установлены следующие дополнительные пакеты:
  libneon27
Следующие НОВЫЕ пакеты будут установлены:
  davfs2 libneon27
Обновлено 0 пакетов, установлено 2 новых пакетов, для удаления отмечено 0 пакетов, и 64 пакетов не обновлено.
Необходимо скачать 315 kB архивов.
После данной операции объём занятого дискового пространства возрастёт на 652 kB.
Хотите продолжить? [Д/н] y
Пол:1 http://deb.debian.org/debian buster/main amd64 libneon27 amd64 0.30.2-3 [164 kB]
Пол:2 http://deb.debian.org/debian buster/main amd64 davfs2 amd64 1.5.5-1 [151 kB]
Получено 315 kB за 0с (729 kB/s)
Предварительная настройка пакетов …
Выбор ранее не выбранного пакета libneon27:amd64.
(Чтение базы данных … на данный момент установлено 424679 файлов и каталогов.)
Подготовка к распаковке …/libneon27_0.30.2-3_amd64.deb …
Распаковывается libneon27:amd64 (0.30.2-3) …
Выбор ранее не выбранного пакета davfs2.
Подготовка к распаковке …/davfs2_1.5.5-1_amd64.deb …
Распаковывается davfs2 (1.5.5-1) …
Настраивается пакет libneon27:amd64 (0.30.2-3) …
Настраивается пакет davfs2 (1.5.5-1) …
Обрабатываются триггеры для man-db (2.8.5-2) …
Обрабатываются триггеры для libc-bin (2.28-10) …

Код: Выделить всё

olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ ls /usr/sbin/mount*
/usr/sbin/mount.davfs  /usr/sbin/mount.exfat  /usr/sbin/mount.exfat-fuse  /usr/sbin/mount.fuse  /usr/sbin/mount.lowntfs-3g  /usr/sbin/mount.ntfs  /usr/sbin/mount.ntfs-3g

[Olej]

Код: Выделить всё

olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ sudo mkdir /media/YandexDisk
[sudo] пароль для olej: 

olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ sudo chmod a+w /media/YandexDisk

olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ ls -l /media
итого 12
lrwxrwxrwx  1 root root    6 дек 22  2018 cdrom -> cdrom0
drwxr-xr-x  2 root root 4096 дек 22  2018 cdrom0
drwxr-x---+ 2 root root 4096 янв 18 15:46 olej
drwxrwxrwx  2 root root 4096 янв 19 16:18 YandexDisk