бэкапы в Google Диск (или другое облако)

phpBB но не только...

Модераторы: Olej, adminn

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: бэкапы в Google Диск (или другое облако)

Непрочитанное сообщение Olej » 19 янв 2020, 17:42

Проверяем и используем:

Код: Выделить всё

root@ACER:~# mount -t davfs https://webdav.yandex.ru /media/YandexDisk
Please enter the username to authenticate with server
https://webdav.yandex.ru or hit enter for none.
  Username: o.tsiliuric@yandex.ua
Please enter the password to authenticate user o.tsiliuric@yandex.ua with server
https://webdav.yandex.ru or hit enter for none.
  Password:  

root@ACER:~# echo $?
0

root@ACER:~# df -h /media/YandexDisk
Файловая система         Размер Использовано  Дост Использовано% Cмонтировано в
https://webdav.yandex.ru    13G         5,3G  7,8G           41% /media/YandexDisk
Это бэкапы форума:

Код: Выделить всё

root@ACER:~# ls -l /media/YandexDisk
итого 0
drwxr-xr-x  3 root root 0 дек 28 01:32 forum.BACKUPs
drwx------  2 root root 0 янв 19 16:35 lost+found
drwxr-xr-x 17 root root 0 янв 13 19:30 my.OWN.books
drwxr-xr-x  2 root root 0 дек 20 16:06 Загрузки
drwxr-xr-x  2 root root 0 дек 12  2013 Картинки
root@ACER:~# tree /media/YandexDisk/forum.BACKUPs/
/media/YandexDisk/forum.BACKUPs/
├── backup-13.01.2020_16-23.sql
├── backup-13.01.2020_16-23.tgz
├── backup-15.01.2020_13-08.sql
├── backup-15.01.2020_13-08.tgz
├── backup-18.01.2020_10-03.sql
├── backup-18.01.2020_10-03.tgz
├── backup-30.12.2019_17-15.sql
├── backup-30.12.2019_17-15.tgz
└── localhost
    ├── backup-15.01.2020_19-28.local.sql
    └── backup-15.01.2020_19-28.local.tgz

1 directory, 10 files
А это вот собрание моих электронных книг, на которые ссылается блог Linux для программиста:

Код: Выделить всё

root@ACER:~# tree /media/YandexDisk/my.OWN.books/
/media/YandexDisk/my.OWN.books/
├── Antihack
│   └── antihacker1_09.odt
├── C99
│   ├── c.5.tgz
│   ├── c_details_12.odt
│   └── c_details_12.pdf
├── C_tasks
│   ├── c_codes.44.tgz
│   └── c_exersis_45.odt
├── Go
│   ├── Go_43.odt
│   ├── Go_43.pdf
│   └── Go.examples.41.tgz
├── Kernel
│   ├── Modules
│   │   ├── BOOK_KERN_224_1.odt
│   │   └── Kexamples-223.tgz
│   └── Practis
│       ├── BOOK_PRACTIS_247.odt
│       └── PRACTIS.Tasks.245.tgz
├── Localize
│   ├── Localiz_12.tgz
│   ├── localiz_14.odt
│   └── localiz_14.pdf
├── Many_Lang
│   ├── ManyLangL_44.odt
│   ├── ManyLangL_44.tgz
│   ├── ManySpeed_13.odt
│   └── ManySpeed_13.tgz
├── ManyLang
│   └── ManySpeed_13.odt
├── Net
│   ├── BOOK_NET_23.odt
│   └── Nexamples.23.tgz
├── Python
│   ├── python_all_113.odt
│   └── python_examples_112.tgz
├── RegExp
│   ├── Regex_09.tgz
│   ├── regex_11.odt
│   └── regex_11.pdf
├── SMP
│   ├── examples.SMP.06.tgz
│   └── SMP_06.odt
├── STL
│   ├── AllSTL_13.tgz
│   └── AllSTL_14.odt
├── Tools
│   ├── BOOK_TOOLS_116.odt
│   └── Texamples.116.tgz
└── С++_tasks
    ├── c++codes_50.tgz
    ├── cpp_exersis_51.odt
    └── cpp_exersis_51.pdf

17 directories, 37 files

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: бэкапы в Google Диск (или другое облако)

Непрочитанное сообщение Olej » 19 янв 2020, 19:18

Olej писал(а):
19 янв 2020, 17:08

Код: Выделить всё

olej@ACER:~$ aptitude show cadaver
Пакет: cadaver                                   
Версия: 0.23.3-2.1
Это выглядит как-то так ... диалоговый терминал работы с WebDav ресурсом:

Код: Выделить всё

olej@ACER:~/2020_WORK/rus.linux.net.hist$ cadaver https://webdav.yandex.ru
Authentication required for Yandex.Disk on server `webdav.yandex.ru':
Username: o.tsiliuric@yandex.ua
Password: 
dav:/> ls
Listing collection `/': succeeded.
Coll:   Загрузки                       0  дек 20 16:06
Coll:   Картинки                       0  дек 12  2013
Coll:   forum.BACKUPs                          0  дек 28 01:32
Coll:   my.OWN.books                           0  янв 13 19:30
dav:/> help
Available commands: 
 ls         cd         pwd        put        get        mget       mput       
 edit       less       mkcol      cat        delete     rmcol      copy       
 move       lock       unlock     discover   steal      showlocks  version    
 checkin    checkout   uncheckout history    label      propnames  chexec     
 propget    propdel    propset    search     set        open       close      
 echo       quit       unset      lcd        lls        lpwd       logout     
 help       describe   about      
Aliases: rm=delete, mkdir=mkcol, mv=move, cp=copy, more=less, quit=exit=bye
dav:/> cd forum.BACKUPs 
dav:/forum.BACKUPs/> ls
Listing collection `/forum.BACKUPs/': succeeded.
Coll:   localhost                              0  янв 16 11:38
        backup-13.01.2020_16-23.sql     42456040  янв 13 17:51
        backup-13.01.2020_16-23.tgz   1088499388  янв 13 18:17
        backup-15.01.2020_13-08.sql     42570260  янв 15 13:22
        backup-15.01.2020_13-08.tgz   1089001336  янв 15 13:29
        backup-18.01.2020_10-03.sql     42542432  янв 19 17:56
        backup-18.01.2020_10-03.tgz   1095028021  янв 18 16:40
        backup-30.12.2019_17-15.sql     45747680  дек 30 16:37
        backup-30.12.2019_17-15.tgz   1078077780  дек 30 16:55
dav:/forum.BACKUPs/> get backup-13.01.2020_16-23.sql
Downloading `/forum.BACKUPs/backup-13.01.2020_16-23.sql' to backup-13.01.2020_16-23.sql:
Progress: [=============================>] 100,0% of 42456040 bytes succeeded.
dav:/forum.BACKUPs/> quit
Connection to `webdav.yandex.ru' closed.

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: бэкапы в Google Диск (или другое облако)

Непрочитанное сообщение Olej » 20 янв 2020, 04:39

Olej писал(а):
19 янв 2020, 17:42
Это бэкапы форума:
Только upload больших размеров (бэкапы) на Яндекс.Диск виснут!
Убил на это 1/2 дня. :evil:

Код: Выделить всё

olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ mount | tail -n3
tmpfs on /run/user/1000 type tmpfs (rw,nosuid,nodev,relatime,size=1623868k,mode=700,uid=1000,gid=1000)
gvfsd-fuse on /run/user/1000/gvfs type fuse.gvfsd-fuse (rw,nosuid,nodev,relatime,user_id=1000,group_id=1000)
https://webdav.yandex.ru on /media/YandexDisk type fuse (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other,max_read=16384,uid=0,gid=0,helper=davfs)

Код: Выделить всё

olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ pv backup-19.01.2020_18-50.sql | sudo tee /media/YandexDisk/forum.BACKUPs/backup-19.01.2020_18-50.sql > /dev/null
[sudo] пароль для olej: 
40,6MiB 0:00:04 [9,70MiB/s] [==================================================================================================================================>] 100%            
olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ ls -l /media/YandexDisk/forum.BACKUPs/

итого 4459479
-rw-r--r-- 1 root root   42456040 янв 13 17:51 backup-13.01.2020_16-23.sql
-rw-r--r-- 1 root root 1088499388 янв 13 18:17 backup-13.01.2020_16-23.tgz
-rw-r--r-- 1 root root   42570260 янв 15 13:22 backup-15.01.2020_13-08.sql
-rw-r--r-- 1 root root 1089001336 янв 15 13:29 backup-15.01.2020_13-08.tgz
-rw-r--r-- 1 root root   42542432 янв 19 17:56 backup-18.01.2020_10-03.sql
-rw-r--r-- 1 root root 1095028021 янв 18 16:40 backup-18.01.2020_10-03.tgz
-rw-r--r-- 1 root root   42581544 янв 19 21:24 backup-19.01.2020_18-50.sql
-rw-r--r-- 1 root root   45747680 дек 30 16:37 backup-30.12.2019_17-15.sql
-rw-r--r-- 1 root root 1078077780 дек 30 16:55 backup-30.12.2019_17-15.tgz
drwxr-xr-x 2 root root          0 янв 16 11:38 localhost
Пока это 45Mb - всё ОК.
Но вот на 1Gb - облом:

Код: Выделить всё

olej@ACER:~/2020_WORK/rus.linux.net.hist/timeweb$ pv backup-19.01.2020_18-50.tgz | sudo tee /media/YandexDisk/forum.BACKUPs/backup-19.01.2020_18-50.tgz > /dev/null
[sudo] пароль для olej: 
1,02GiB 0:12:59 [1,34MiB/s] [==================================================================================================================================>] 100%      
Вот после этого любая команда (элементарная ls) с /media/YandexDisk - подвисает до бесконечности!
При этом уже размонтировать подвисший Яндекс.Диск уже невозможно! Это может продолжаться до бесконечности:

Код: Выделить всё

root@ACER:~# umount /media/YandexDisk
^C
Мало того, при выключении системы это висящее монтирование создаёт очень противную ошибку и задержку на ~1.5 минуты на закрытие этого устройства.

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: бэкапы в Google Диск (или другое облако)

Непрочитанное сообщение Olej » 20 янв 2020, 04:43

Olej писал(а):
20 янв 2020, 04:39
Только upload больших размеров (бэкапы) на Яндекс.Диск виснут!
Как оказалось, эта проблема Яндекс.Диск хорошо известна и многократно описана в Интернет!
Например Яндекс закрывает WebDAV на диске для сторонних приложений и не признается в этом.:
Летом приобрел 1Тб пространства на Яндекс.Диске с целью организовать хранение бэкапов домашних документов. И таки организовал при помощи кросплатформенной Duplicati, настроив работу с диском по WebDAV.
Однако недавно обнаружил, что некоторые бэкапы не создаются. Причем последний удачный бэкап для одной из копий был аж 5 октября.
Обследование показало что зависает загрузка бэкапов в облако.
... и дальше подтверждающая переписка с техподдержкой Яндекс!
28 ноября 2019
:!:
Т.е. Яндекс.Диск, кроме использования их собственного WEB-интерфейса (https://yandex.ru/), другими способами (программами, скриптами, ...) - для загрузок бэкапов не годится в принципе!

Ответить

Вернуться в «Управление WEB ресурсами»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 2 гостя