кластер PelicanHPC в VirtualBox

Виртуальные машины и среды исполнения

Модератор: Olej

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

кластер PelicanHPC в VirtualBox

Непрочитанное сообщение Olej » 31 окт 2012, 02:56

Эта тема переползла сюда вот отсюда: Помогите поднять кластер.

Задача: поднять кластер из N (2, 3, 4, ...) сетевых хостов, но для "раскрутки" всей этой конфигурации использовать все "хосты" виртуальные, VM под VirtualBox.
(а заодно это было бы ещё одной иллюстрацией мощи, которую представляет использование виртуальных машин и отработки на них)

1. Образ .iso беру здесь: https://download.mi.hs-heilbronn.de/pelicanhpc/ (Medical Informatics department of Heilbronn University and Heidelberg University), этот ресурс намного быстрее для скачивания чем сам сайт проекта:
...
pelicanhpc-v2.8.iso 21-Jun-2012 15:54 726M Archive / ISO
...

Код: Выделить всё

[Virtual@nvidia PelicanHPC]$ ls -l pelicanhpc-v2.8.iso 
-rw-rw-r--. 1 Virtual Virtual 761266176 окт.  30 22:59 pelicanhpc-v2.8.iso
2. Первая попытка заканчивается неудачей:
- этот образ pelicanhpc-v2.8.iso собран исключительно под 64-бит установку...
- а у меня на 64 процессоре

Код: Выделить всё

[Virtual@nvidia PelicanHPC]$ cat /proc/cpuinfo 
processor	: 0
vendor_id	: GenuineIntel
cpu family	: 6
model		: 23
model name	: Pentium(R) Dual-Core  CPU      E6600  @ 3.06GHz
stepping	: 10
...
- установлена 32-бит PAE хост система и в ней VirtualBox ...
Поэтому - слетаем :-o (viewtopic.php?f=20&t=1908&p=5502#p5502):
Изображение

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: кластер PelicanHPC в VirtualBox

Непрочитанное сообщение Olej » 31 окт 2012, 03:12

Olej писал(а):Поэтому - слетаем :-o
Вопросы здесь в настройках VM VirtualBox:

Относительно установки 64-бит гостевых VM в 32-бит хостах + условиях при которых это возможно - читаем, например, здесь: 64-bit гости.
В свойствах VM это выглядит так:
PelicanHPC - Свойства_003.png
PelicanHPC - Свойства_003.png (36.29 КБ) 11293 просмотра
(могу предположить, что это не последнее нестандартное изменение в настройках ... но я всё опишу)

PelicanHPC [Работает] - Oracle VM VirtualBox_001.png
PelicanHPC [Работает] - Oracle VM VirtualBox_001.png (86.72 КБ) 11296 просмотров
Поехали ...
PelicanHPC [Работает] - Oracle VM VirtualBox_004.png
PelicanHPC [Работает] - Oracle VM VirtualBox_004.png (17.35 КБ) 11319 просмотров
Определяем свой пароль входа:
PelicanHPC [Работает] - Oracle VM VirtualBox_005.png
PelicanHPC [Работает] - Oracle VM VirtualBox_005.png (15.48 КБ) 11294 просмотра
PelicanHPC [Работает] - Oracle VM VirtualBox_006.png
PelicanHPC [Работает] - Oracle VM VirtualBox_006.png (17.61 КБ) 11293 просмотра
Всё! Система загружена до logon!

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: кластер PelicanHPC в VirtualBox

Непрочитанное сообщение Olej » 31 окт 2012, 03:20

Olej писал(а):Всё! Система загружена до logon!
По установке есть отличное руководство и его перевод :
PelicanHPC Tutorial
Январь 2011
Michael Creel
Университет Autònoma в Барселоне
Перевод на русский язык
Февраль 2011
Богатырев Иван
Россия ДВФУ Владивосток
То, что я уже инсталлировал, они называют "терминал кластера" - управляющий хост:
Интерфейс и все вычислительные узлы должны быть объединены в сеть. ВАЖНО: терминал
кластера будет выступать в качестве сервера DHCP, так что не забудьте выделить
независимую сеть, используемую для кластера отдельно от общей сети, чтобы избежать
конфликтов с другими серверами DHCP.

Здесь ещё одна особенность установки в VM - я хочу раскрутить это в режиме адаптеров сети VM "внутрення сеть" - т.е. абсолютно виртуальная сеть, работающая между VM хостами над реальной сетью LAN и независимо от реё. Здесь будет ещё одна хитрость.

Ещё одно известное мне описание установки (отличающееся!) находится здесь Как быстро построить кластер? Вот этими 2-мя описаниями я и буду пользоваться ...

Но всё это будет уже завтра ... :lol: ...

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: кластер PelicanHPC в VirtualBox

Непрочитанное сообщение Olej » 31 окт 2012, 03:29

Olej писал(а): То, что я уже инсталлировал, они называют "терминал кластера" - управляющий хост:
Здесь даже можно уже выполнить:

Код: Выделить всё

$ startx
PelicanHPC-Xfce.png
(139.29 КБ) 10157 скачиваний

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: кластер PelicanHPC в VirtualBox

Непрочитанное сообщение Olej » 31 окт 2012, 14:29

Olej писал(а): Здесь даже можно уже выполнить:
Картинки с этого хоста я, естественно, сюда копирую (вставляю) уже из него, с этого инсталлированного терминального хоста кластера (Konqueror в PelicanHPC установлен по умолчанию (+)):
2.png
2.png (92.97 КБ) 11284 просмотра
P.S. А вот писать сюда текст я пока не могу, потому как в инсталляции PelicanHPC локали включены (в т.ч. и русская) (+) а вот плагин переключателя раскладки в Xfce не включён (-) - раскладку можно переключать войдя в настройки, но нельзя это сделать оперативно, комбинацией клавиш (например Alt+Shift). Но оставим это на потом...

(+) Т.е. сразу есть выход в WAN (в моём случае через реальную LAN 192.168.1.0/24 и шлюзом 192.168.1.1). И это большой плюс. Например, можно сразу же воспользоваться сетевыми репозитариями Debian для доустановки привычного ПО:

Код: Выделить всё

$ sudo apt-get install mc
А все хосты кластера инсталлировать во внутренней виртуальной LAN сети (у меня 192.168.2.0/24) c DHCP работающем на терминальном хосте 192.168.2.20/24.

P.S. Инсталляция вот этого релиза PelicanHPC 2012 г. оставляет очень приятное впечатление, но во всякой бочке мёда должна быть своя ложка дёгтя... Поэтому я буду сразу фиксировать с значками (+) и (-) достоинства и недостатки, потому как эти недостатки совсем не затронуты в описаниях, они в неожиданных местах, и временами просто ставят в замешательство и не позволяют вести инсталляцию дальше... Эти +/- не всегда являются недостатками сборки PelicanHPC, а возникают как "коммулятивный эффект" раскрутки PelicanHPC в виртуальном мире VirtualBox ... но мне то всё равно, я буду отмечать те места, где происходит "затык".

Все сетевые связи (вот так как описано) определяются настройками сети для VM в VirtualBox. Это совсем не очевидно, и не так легко было пробить, поэтому покажу подробно. Настройки сети терминального хоста:

- здесь 2 сетевых адаптера;
- 1-й - как мост в LAN и далее в WAN:
term_1.png
term_1.png (47.6 КБ) 11280 просмотров
- 2-й - во внутреннюю виртуальную LAN кластера:
term_2.png
term_2.png (47.42 КБ) 11279 просмотров
- ну, и для хостов (всех) запрещаю полностью проброс USB в VM - это уже какая-то особенность (-) сборки PelicanHPC, он не хочет грузиться с ;-) такими USB ... а мне USB устройства для моих целей и не нужны.
usb_1.png
usb_1.png (33.22 КБ) 11279 просмотров

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: кластер PelicanHPC в VirtualBox

Непрочитанное сообщение Olej » 31 окт 2012, 14:54

Olej писал(а): - здесь 2 сетевых адаптера;
С настройками сетевых интерфейсов уже в установленном PelicanHPC (изнутри) придётся повозиться:

- интерфейс eth0, как подключенный как сетевой мост к реальной LAN, получит IP по DHCP из реального DHCP-сервера этой LAN:

Код: Выделить всё

user@pel1:~$ ip addr show eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
    link/ether 08:00:27:ac:57:39 brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.20/24 brd 192.168.1.255 scope global eth0
    inet6 fe80::a00:27ff:feac:5739/64 scope link 
       valid_lft forever preferred_lft forever
- с интерфейсом eth1 дела хуже: для интерфейсов внутренней сети VirtualBox предполагает статические IP, но для изменений IP нужны права root:

Код: Выделить всё

user@pel1:~$ su -
Password: 
su: Authentication failure
user@pel1:~$ whoami
user
- пароль root я не видел нигде в доукментации и README (-) (нужно будет найти!), но зато в сборке установлен беспарольный sudo (+) для пользователя user, который создаётся при инсталляци, поэтому и с root можно систему обмануть, запустив новую оболочку shell с sudo:

Код: Выделить всё

user@pel1:~$ sudo sh
# whoami
root
- дальше можно установить IP:

Код: Выделить всё

# ifconfig eth1 192.168.1.1
...
- но как увидите дальше, это не нужно делать ... IP дальше будет установлен, но для получения root прав эти упражнения оказываются совсем не лишними ;-) .

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: кластер PelicanHPC в VirtualBox

Непрочитанное сообщение Olej » 31 окт 2012, 15:28

Olej писал(а):но для получения root прав эти упражнения оказываются совсем не лишними ;-) .
На этом установка терминального хоста закончена.

Дальше предстоит создать (инсталлировать) N-1 пассивных хостов кластера.
План здесь у меня таков:

1. Создать один бездисковый хост, без указания загрузочного .iso, без любых HDD, с загрузкой по сети PXE:
host-1.png
host-1.png (49.14 КБ) 11277 просмотров
host-2.png
host-2.png (46.84 КБ) 11279 просмотров
2. Когда всё благополучно запустится, клонировать (в терминологии VirtualBox) во сколько нужно виртуальных хостов, которые будут полностью идентичные, только отличаются MAC-адресом виртуальной сетевой карты... На каждый 1 новый хост при этом потребуется 10 секунд :lol:

3. Запускаемся...
И получаем отлуп :evil: :
PelicanHPC-N-1_008.png
PelicanHPC-N-1_008.png (19.38 КБ) 11277 просмотров

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: кластер PelicanHPC в VirtualBox

Непрочитанное сообщение Olej » 31 окт 2012, 15:40

Olej писал(а): 3. Запускаемся...
И получаем отлуп :evil: :
Картина в общем понятная... Но неприятная (я на этом месте застрял на 1/2 часа в недоумении):
- внутрення LAN работает (это видно по терминальному хосту)...
- но хост кластера не видит DHCP сервера (-) для получения ему IP ...
- хотя в описании сказано:
... терминал кластера будет выступать в качестве сервера DHCP, так что не забудьте выделить
независимую сеть, используемую для кластера отдельно от общей сети, чтобы избежать
конфликтов с другими серверами DHCP.

- "будет выступать"(с), но не выступает :-(

Ларчик достаточно просто открылся:
- DHCP на терминале кластера подымется только после команды инсталляции хостов кластера;

Код: Выделить всё

# pelican_setup
- после чего сам переконфигурируется и интерфейс eth1 на котором работает кластер (номер интерфейса будет запрошен в диалоге pelican_setup)

Код: Выделить всё

# ip addr show eth1
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
    link/ether 08:00:27:e3:3f:08 brd ff:ff:ff:ff:ff:ff
    inet 10.11.12.1/24 brd 10.11.12.255 scope global eth1
    inet6 fe80::a00:27ff:fee3:3f08/64 scope link 
       valid_lft forever preferred_lft forever
- почему я и писал выше, что конфигурировать eth1 вручную не надо!
- и, в итоге получаем, кластер из 2-х хостов:
3.png
3.png (32.98 КБ) 11271 просмотр

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: кластер PelicanHPC в VirtualBox

Непрочитанное сообщение Olej » 31 окт 2012, 16:17

Olej писал(а):- и, в итоге получаем, кластер из 2-х хостов
1-й промежуточный итог: всё там в свежем (2012г.) релизе PelicanHPC нормально, и никаких там особых граблей возникать не должно...

Далее:

1. останавливаю PXE-загружаемый хост (последний сделанный);

2. "размножаю" VirtualBox эту VM созданием клонов ... примерно так:
виртуальную машину_014.png
виртуальную машину_014.png (56.15 КБ) 11268 просмотров
3. получается что-то типа такого:
Oracle VM VirtualBox Менеджер_015.png
Oracle VM VirtualBox Менеджер_015.png (80.58 КБ) 11271 просмотр
4. на терминале кластера перестартую создание кластера (не знаю пока: нужно ли это всегда делать приреконфигурации ... предполагаю, что нужно)
4.png
4.png (27.18 КБ) 11265 просмотров
5. запускаю все имеющиеся виртуальные машины хостов (смешно видеть как они суетятся и стартуют :lol: ) ...
screen.png
(205.17 КБ) 10138 скачиваний
6. и вот вам результат ... "пятнадцать негритят"(с) :lol: - работает кластер из 6-ти узлов.
5.png
5.png (35.25 КБ) 11267 просмотров

Аватара пользователя
Olej
Писатель
Сообщения: 21338
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: кластер PelicanHPC в VirtualBox

Непрочитанное сообщение Olej » 31 окт 2012, 16:34

Olej писал(а): 6. и вот вам результат ... "пятнадцать негритят"(с) :lol: - работает кластер из 6-ти узлов.
1. На это потребовалось "за всё про всё" (ну, не считая вчерашней подготовки с установкой Linux - но это элементарно) времени:
- начало :
31 окт 2012, 14:29
- окончание :
31 окт 2012, 16:17
- итого : чуть меньше 2-х часов ...
- это не представляя "как" и не зная наперёд "что" делать
- для подъёма этого кластера в следующий раз, для испытаний и тестирования - потребуется, действительно, как пишут в описаниях, 5-10 минут.

2. что ещё единственно осталось проделать (ни в чём большем этот проект меня не интересует), так это:
а). создать образ перманентной памяти (эквивалент HDD) на терминальном хосте;
б). загрузить туда их экзамплы (многочисленные);
в). проверить как выполняется тестирование производительности кластера на этих экзамплах.

Ответить

Вернуться в «Виртуализация»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 10 гостей