1U сервер DELL R420

Обмен опытом по установке Линукс на разные аппаратные конфигурации

Модераторы: Olej, vikos

Аватара пользователя
Olej
Писатель
Сообщения: 14426
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: 1U сервер DELL R420

Непрочитанное сообщение Olej » 29 мар 2021, 16:24

Olej писал(а):
29 мар 2021, 16:15

Код: Выделить всё

olej@R420:~/Загрузки/Docker$ docker -v
Docker version 20.10.5, build 55c4c88

Код: Выделить всё

olej@R420:~/2021/Zodiac_Systems/valhalla$ systemctl status docker.service
● docker.service - Docker Application Container Engine
     Loaded: loaded (/lib/systemd/system/docker.service; enabled; vendor preset: enabled)
     Active: active (running) since Mon 2021-03-29 15:28:12 EEST; 47min ago
TriggeredBy: ● docker.socket
       Docs: https://docs.docker.com
   Main PID: 40558 (dockerd)
      Tasks: 32
     Memory: 48.4M
     CGroup: /system.slice/docker.service
             └─40558 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock

мар 29 15:28:11 R420 dockerd[40558]: time="2021-03-29T15:28:11.813641642+03:00" level=warning msg="Your kernel does not support CPU realtime scheduler"
мар 29 15:28:11 R420 dockerd[40558]: time="2021-03-29T15:28:11.813663362+03:00" level=warning msg="Your kernel does not support cgroup blkio weight"
мар 29 15:28:11 R420 dockerd[40558]: time="2021-03-29T15:28:11.813682252+03:00" level=warning msg="Your kernel does not support cgroup blkio weight_device"
мар 29 15:28:11 R420 dockerd[40558]: time="2021-03-29T15:28:11.814200721+03:00" level=info msg="Loading containers: start."
мар 29 15:28:12 R420 dockerd[40558]: time="2021-03-29T15:28:12.370128792+03:00" level=info msg="Default bridge (docker0) is assigned with an IP address 172.17.0.0/16. Daemon option --b>
мар 29 15:28:12 R420 dockerd[40558]: time="2021-03-29T15:28:12.824554500+03:00" level=info msg="Loading containers: done."
мар 29 15:28:12 R420 dockerd[40558]: time="2021-03-29T15:28:12.852874335+03:00" level=info msg="Docker daemon" commit=363e9a8 graphdriver(s)=overlay2 version=20.10.5
мар 29 15:28:12 R420 dockerd[40558]: time="2021-03-29T15:28:12.853209402+03:00" level=info msg="Daemon has completed initialization"
мар 29 15:28:12 R420 systemd[1]: Started Docker Application Container Engine.
мар 29 15:28:12 R420 dockerd[40558]: time="2021-03-29T15:28:12.896996186+03:00" level=info msg="API listen on /run/docker.sock"
Но этого мало!
Нужно добавить пользователей в группу docker, чтоб дать им возможность работать без root:

Код: Выделить всё

olej@R420:~/2021/Zodiac_Systems/valhalla$ cat /etc/group | grep docker
docker:x:999:

olej@R420:~/2021/Zodiac_Systems/valhalla$ sudo usermod -a -G docker olej
[sudo] пароль для olej:       

olej@R420:~/2021/Zodiac_Systems/valhalla$ id olej
uid=1000(olej) gid=1000(olej) группы=1000(olej),4(adm),24(cdrom),27(sudo),30(dip),46(plugdev),114(lpadmin),134(sambashare),999(docker)

olej@R420:~/2021/Zodiac_Systems/valhalla$ cat /etc/group | grep docker
docker:x:999:olej
Теперь мой пользователь в группе...

Аватара пользователя
Olej
Писатель
Сообщения: 14426
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: 1U сервер DELL R420

Непрочитанное сообщение Olej » 29 мар 2021, 16:27

Olej писал(а):
29 мар 2021, 16:24
Но этого мало!
Но и этого ещё мало :lol:
Вот я сам писал:
Это так ... да не совсем так, и на этой самонадеянности я потерял часа 4 времени при инсталляции на новый компьютер :-D
После того, как добавили пользователя в группу Docker, нужно перезагрузить компьютер - Docker-сервис уже стартовал, и он не будет перечитывать права пользователей после того, как вы его запустили.

P.S. В случае многих других серверов-сервисов в подобных случаях бывает достаточно а). перезапустить сервис, или б). послать серверу сигнал на перечитывание конфигураций ... как в этом смысле с Docker - не знаю.
Проверить отсутствие прав (или наоборот) очень легко:

Код: Выделить всё

olej@R420:~/2021/Zodiac_Systems/valhalla$ docker version
Client: Docker Engine - Community
 Version:           20.10.5
 API version:       1.41
 Go version:        go1.13.15
 Git commit:        55c4c88
 Built:             Tue Mar  2 20:18:20 2021
 OS/Arch:           linux/amd64
 Context:           default
 Experimental:      true
Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.24/version: dial unix /var/run/docker.sock: connect: permission denied
Но применить изменения гораздо проще, чем перезагрузка:

Код: Выделить всё

olej@R420:~/2021/Zodiac_Systems/valhalla$ newgrp docker

Код: Выделить всё

olej@R420:~/2021/Zodiac_Systems/valhalla$ docker version
Client: Docker Engine - Community
 Version:           20.10.5
 API version:       1.41
 Go version:        go1.13.15
 Git commit:        55c4c88
 Built:             Tue Mar  2 20:18:20 2021
 OS/Arch:           linux/amd64
 Context:           default
 Experimental:      true

Server: Docker Engine - Community
 Engine:
  Version:          20.10.5
  API version:      1.41 (minimum version 1.12)
  Go version:       go1.13.15
  Git commit:       363e9a8
  Built:            Tue Mar  2 20:16:15 2021
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          1.4.4
  GitCommit:        05f951a3781f4f2c1911b05e61c160e9c30eaa8e
 runc:
  Version:          1.0.0-rc93
  GitCommit:        12644e614e25b05da6fd08a38ffa0cfe1903fdec
 docker-init:
  Version:          0.19.0
  GitCommit:        de40ad0

Аватара пользователя
Olej
Писатель
Сообщения: 14426
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: 1U сервер DELL R420

Непрочитанное сообщение Olej » 29 мар 2021, 18:12

Olej писал(а):
28 мар 2021, 22:52
запускаю в работу
Теперь это выглядит примерно так :lol:
Вложения
Снимок экрана от 2021-03-29 18-11-08.png
Снимок экрана от 2021-03-29 18-11-08.png (136.39 КБ) 236 просмотров

Аватара пользователя
Olej
Писатель
Сообщения: 14426
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: 1U сервер DELL R420

Непрочитанное сообщение Olej » 29 мар 2021, 18:29

Olej писал(а):
29 мар 2021, 18:12
Теперь это выглядит примерно так
А это пошла могучая компиляция/сборка проекта:

Код: Выделить всё

...
[1451/5120] ACTION //third-parties/easycwmp-1.7.0:art_download_bundle(//common/toolchains:cross_toolchain)
[art_download] easycwmp-1.7.0-linux-mipsel-tst.tbz2 version: 1208
[1630/5120] ACTION //third-parties/valgrind-3.14:art_download_bundle(//common/toolchains:cross_toolchain)
[art_download] valgrind-3.14-linux-mipsel-tst.tbz2 version: 1050
...
Собирается порядка 5120 файлов...
Снимок экрана от 2021-03-29 18-26-40.png
Снимок экрана от 2021-03-29 18-26-40.png (163.74 КБ) 236 просмотров
Тут и 12-ти процессорам поплохело, многие процессоры загружаются на 100%, и они нагрелись под 75 градусов:

Код: Выделить всё

olej@R420:~/2021/Zodiac_Systems$ sensors
coretemp-isa-0000
Adapter: ISA adapter
Package id 0:  +73.0°C  (high = +87.0°C, crit = +97.0°C)
Core 0:        +73.0°C  (high = +87.0°C, crit = +97.0°C)
Core 1:        +73.0°C  (high = +87.0°C, crit = +97.0°C)
Core 2:        +70.0°C  (high = +87.0°C, crit = +97.0°C)
Core 3:        +72.0°C  (high = +87.0°C, crit = +97.0°C)
Core 4:        +71.0°C  (high = +87.0°C, crit = +97.0°C)
Core 5:        +71.0°C  (high = +87.0°C, crit = +97.0°C)

coretemp-isa-0001
Adapter: ISA adapter
Package id 1:  +73.0°C  (high = +87.0°C, crit = +97.0°C)
Core 0:        +72.0°C  (high = +87.0°C, crit = +97.0°C)
Core 1:        +72.0°C  (high = +87.0°C, crit = +97.0°C)
Core 2:        +73.0°C  (high = +87.0°C, crit = +97.0°C)
Core 3:        +70.0°C  (high = +87.0°C, crit = +97.0°C)
Core 4:        +68.0°C  (high = +87.0°C, crit = +97.0°C)
Core 5:        +71.0°C  (high = +87.0°C, crit = +97.0°C)

Аватара пользователя
Olej
Писатель
Сообщения: 14426
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: 1U сервер DELL R420

Непрочитанное сообщение Olej » 04 апр 2021, 16:22

Olej писал(а):
29 мар 2021, 18:12
Теперь это выглядит примерно так
Единственны обнаруженный пока минус такого использования железа промышленного сервера для выполнения компиляций/сборки, т.е. десктопной работы, это заметно длительная начальная загрузка ... порядка 1.5-2 минуты (в следующие разы зафиксирую).
Он ведёт слишком детальный анализ подключенной аппаратуры ... например, для RAM он может выяснять и подбирать напряжение питания (1.3 или 1.5 вольт), частоту (1060, 1333, или 1600 Мгц.)

P.S. Точнее это даже не загрузка, а молчание на чёрном экране до пары минут (вначале ещё пишутся какие-то робкие текстовые сообщения :-D) ... после чего: мелькает коротко логотип дистрибутива Linux + следом совершенно мгновенная загрузка, в считанные единичные секунды!

Аватара пользователя
Olej
Писатель
Сообщения: 14426
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: 1U сервер DELL R420

Непрочитанное сообщение Olej » 04 апр 2021, 23:52

Olej писал(а):
29 мар 2021, 18:29
А это пошла могучая компиляция/сборка проекта:
Полная пересборка проекта из 5121 файов-целей у этого монстра-убийцы ;-) занимает 6 минут:

Код: Выделить всё

olej@R420:~/2021/Zodiac_Systems/valhalla$ ./gnb configs/zodiac-c5320-zebra-tst --deep-clean
...
...
[5121/5121] STAMP obj/default.stamp
...
real    6m41,669s
user    0m0,300s
sys     0m0,413s

    BUILD SUCCESS Вс 04 апр 2021 20:49:43 EEST
Вложения
Снимок экрана от 2021-04-04 20-37-14.png
Снимок экрана от 2021-04-04 20-37-14.png (193.88 КБ) 218 просмотров
Снимок экрана от 2021-04-04 20-47-21.png
Снимок экрана от 2021-04-04 20-47-21.png (47.86 КБ) 218 просмотров

Аватара пользователя
Olej
Писатель
Сообщения: 14426
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: 1U сервер DELL R420

Непрочитанное сообщение Olej » 05 апр 2021, 00:04

Olej писал(а):
04 апр 2021, 23:52
Полная пересборка проекта из 5121 файов-целей у этого монстра-убийцы занимает 6 минут:
А учитывая что а). системный монитор показывает затраты RAM <10% от общих 96Gb RAM и б). то что сам размер GIT репозитория проекта составляет:

Код: Выделить всё

olej@R420:~/2021/Zodiac_Systems$ du -hs 
16G	  .
Можно всю сбору перенести в RAM, на tmpfs - и ещё ускорить в разы!

Аватара пользователя
Olej
Писатель
Сообщения: 14426
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: 1U сервер DELL R420

Непрочитанное сообщение Olej » 05 апр 2021, 14:00

Olej писал(а):
05 апр 2021, 00:04
Можно всю сбору перенести в RAM, на tmpfs - и ещё ускорить в разы!
Можно. В принципе... ;-) ... или даже - в теории...
Только как оказалось - всё уже и так выжато до предела, с 24 процессорами и SSD серверным диском на 6 Mbit/s интерфейсе:

Код: Выделить всё

olej@R420:~/2021/Zodiac_Systems/valhalla$ inxi -D -xxx
Drives:    Local Storage: total: 344.68 GiB used: 64.20 GiB (18.6%) 
           ID-1: /dev/sda vendor: Toshiba model: THNSF8120CCSE size: 111.79 GiB speed: <unknown> serial: N/A rev: DAC9 
           scheme: MBR 
           ID-2: /dev/sdb vendor: Western Digital model: WD2500AAKX-0 size: 232.89 GiB speed: <unknown> serial: N/A rev: 1H15 
           scheme: MBR 
Хотя есть доступных до 48Gb размером RAM-диск:

Код: Выделить всё

olej@R420:~$ df -h | grep tmpfs
tmpfs            9,5G          10M  9,5G            1% /run
tmpfs             48G         307M   47G            1% /dev/shm
tmpfs            5,0M            0  5,0M            0% /run/lock
tmpfs             48G            0   48G            0% /sys/fs/cgroup
tmpfs            9,5G          28K  9,5G            1% /run/user/1000
Для нужных нам целей полностью копируем дерево репозитория собираемого проекта непосредственно на диск /dev/shm.

Но сборка проекта занимает ровно те же 6 мин., что и на SSD, ... всё, приехали до упору :lol: :

Код: Выделить всё

...
[5121/5121] STAMP obj/default.stamp
...

real    6m49,423s
user    0m0,334s
sys     0m0,378s

    BUILD SUCCESS Пн 05 апр 2021 13:17:34 EEST

Аватара пользователя
Olej
Писатель
Сообщения: 14426
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: 1U сервер DELL R420

Непрочитанное сообщение Olej » 07 апр 2021, 09:22

Ещё один сверхдлинный билд... :-o

- когда все 24 аппаратных процессорных потока загружаются временами под 100%:
Снимок экрана от 2021-04-07 08-51-08.png
Снимок экрана от 2021-04-07 08-51-08.png (162.04 КБ) 198 просмотров

Код: Выделить всё

olej@R420:~/Изображения$ uptime
 08:52:56 up  1:00,  1 user,  load average: 24,00, 18,99, 10,81
- а вот как оно себя чувствует по температуре:
Снимок экрана от 2021-04-07 09-03-24.png
Снимок экрана от 2021-04-07 09-03-24.png (144.43 КБ) 198 просмотров

Аватара пользователя
Olej
Писатель
Сообщения: 14426
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: 1U сервер DELL R420

Непрочитанное сообщение Olej » 07 апр 2021, 09:25

Olej писал(а):
07 апр 2021, 09:22
Ещё один сверхдлинный билд...

Код: Выделить всё

...
[5327/5327] STAMP obj/default.stamp
/home/olej/2021/Zodiac_Systems/valhalla

real    24m51,114s
user    0m0,527s
sys     0m0,483s

    BUILD SUCCESS Ср 07 апр 2021 09:07:27 EEST
Интересно то как, при его вентиляторах-турбинах, насколько интенсивно, быстро остывают процессоры на этом промышленном сервере (в отличие от десктопов) при сбросе нагрузки:
Снимок экрана от 2021-04-07 09-18-25.png
Снимок экрана от 2021-04-07 09-18-25.png (129.02 КБ) 197 просмотров

Код: Выделить всё

olej@R420:~$ sensors
coretemp-isa-0000
Adapter: ISA adapter
Package id 0:  +56.0°C  (high = +87.0°C, crit = +97.0°C)
Core 0:        +53.0°C  (high = +87.0°C, crit = +97.0°C)
Core 1:        +56.0°C  (high = +87.0°C, crit = +97.0°C)
Core 2:        +52.0°C  (high = +87.0°C, crit = +97.0°C)
Core 3:        +53.0°C  (high = +87.0°C, crit = +97.0°C)
Core 4:        +53.0°C  (high = +87.0°C, crit = +97.0°C)
Core 5:        +52.0°C  (high = +87.0°C, crit = +97.0°C)

coretemp-isa-0001
Adapter: ISA adapter
Package id 1:  +50.0°C  (high = +87.0°C, crit = +97.0°C)
Core 0:        +49.0°C  (high = +87.0°C, crit = +97.0°C)
Core 1:        +49.0°C  (high = +87.0°C, crit = +97.0°C)
Core 2:        +49.0°C  (high = +87.0°C, crit = +97.0°C)
Core 3:        +49.0°C  (high = +87.0°C, crit = +97.0°C)
Core 4:        +48.0°C  (high = +87.0°C, crit = +97.0°C)
Core 5:        +47.0°C  (high = +87.0°C, crit = +97.0°C)

Ответить

Вернуться в «Железо для Linux»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость