Помогите поднять кластер

Обсуждение вопросов создания суперкомпьютера, работающего на ОС Linux, а также дистрибутивов, управляющих суперкомпьютерами

Модераторы: Olej, vikos

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 31 окт 2012, 13:57

homecluster писал(а):Этот реальное железо которое реально работает.
Оно не работает ;-) .
Пока оно у вас только жужжит, размахивает вентиляторами, и греет мировое пространство ;-)
homecluster писал(а):Жесткие диски уже есть и работают и было бы не плохо их использовать. Лайв и USB это от безысходности. В данном случает есть жесткие диски для загрузки системы.
1. HDD на хостах кластера (кроме терминального) - не нужны и даже вредны!
2. никаких Live + USB, и никаких HDD - загрузка хостов должна происходить через сетеую карту, по PXE, с терминального хоста.

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 31 окт 2012, 19:54

homecluster писал(а):Дело привычки и знаний. Не многие могут похвастать знаниями в виртуализации, но практически все ставили систему на HDD с загрузочного CD.
В теме http://linux-ru.ru/viewtopic.php?f=22&t=1920&p=5542#p5541 возник вопрос уже перехода к реальному железу:
homecluster писал(а):Есть вопрос. Сейчас на входе сети стоит роутер с DHCP. Он подключен к свичу. При включении роутер раздает адреса на свичь. Сетевые порты у нодов настроены по умолчанию на DHCP. То есть при включении всех нодов каждый получает свой доступ в интернет. При этом каждый нод пингуется с остальными нодами по полученным адресам. Что нужно изменить в этой схеме чтобы данный дистрибутив можно запустить для теста?
Вы ведь о роутерах и свичах ничего раньше не писали ... и уж тем более про доступ во внешний интернет ;-) - теперь начинаем уточняться:

1. в LAN не может быть 2 сервера DHCP

2. у вас есть 2 варианта, вообще-то говоря:

а). единая сеть и внутренняя LAN и внешняя с выходом в WAN:
- тогда вам аппаратный DHCP нужно останавливать ...
- DHCP у вас будет терминальный хост (он у них построен на dnsmasq - см. DNS сервер);
- остальные 3 получат от него IP из подсети 10.11.12.0/24 - это у них по умолчанию, можете перестроить...
- вам нужно обеспечить туннелирование из этой подсети в WAN (внаружу) - NAT (iptables) или другими способами на вашем роутере внаружу;
- кстати, каким физическим интерфейсом он подключен в наружу? : ADSL, WiFi, ещё что-то?
- если отлаживать этот вариант, то на время доводки кластера я бы выход во внешнюю WAN вообще бы отключил.

б). 2 отдельных сети: внутренняя LAN для кластера :
- это похоже на то, что я показывал в виртуальной сети ...
- ваша подсетка как она сейчас есть (192.168.1.0/24 ?) ...
- и отдельная (физически!) подсеть 10.11.12.0/24 для работы кластера;
- это по настройкам гораздо проще,
- но вам на терминальном хосте для этого нужно иметь 2 сетевых адаптера eth0 + eth1

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 31 окт 2012, 22:24

... но тут нас отвлекают ;-)

Введение в программирование на кластерах
Автор: С.А. Немнюгин
Уровень: для начинающих
Статус: бесплатный
Опубликован: 11.10.2012
И оттуда ссылка сразу - Программирование на кластерах с использованием инструментов Intel
Автор: С.А. Немнюгин
Уровень: для специалистов
Статус: бесплатный
Опубликован: 11.10.2012
...
Курс создан при финансовой поддержке компании Intel
Обратите внимание на даты опубликования ;-) ... нет, я понимаю, что Intel выпрыгивает из трусов ... времена не из лёгких :lol:

Но тем не менее, это нужно детальнейшим образом проработать, если вы хоть каким-то краем касаетесь кластерных реализаций!

Как учил дедушка Ленин:
man, man, и ещё раз man
:lol:

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 31 окт 2012, 22:33

homecluster писал(а):Про роутер и свичь есть упоминания в аппаратной конфигурации персонального суперкомпьютера. WAN роутера подключен к сети провайдера. WAN свича подключен в порт 1 роутера.
Может и было, но мало внятно :-(
Вы пишите "на пальцах": что вы называете роутер и что свитч? конкретные модели? чтоб было понятно ... конфигурации их, чтобы не рыться по сайтам производителей в поисках, например:
- свитч: D-Link <модель>, .... - 8 ethernet портов;
- роутер: TP-Linl <модель>, 1 ethernet порт + 1 ADSL порт + 1 WiFi порт

+ каким-то образом объяснить (нарисовать!) кто и каким образом подключен из ваших 4-х хостов к кому? и куда трафик идёт дальше?
homecluster писал(а):Самое простое по вашему - отсоединяем свичь от роутера, сетевой порт терминального нода втыкаем в WAN свича. При этом интеренета нет но есть сеть для тестирования. Терминальный нод грузится с DVD с загрузочного CD который я уже скачал. Дальше по описанным вами шагам которые вы прошли для виртуального варианта.
Грубо - да: самое "простое по-моему"(c):
- отсоединить всё, что касается выхода за пределы LAN ("отсоединяем свичь от роутера"(c))
- терминальный нод грузится "с DVD с загрузочного CD" ... а ещё лучше с Live USB (массу времени себе сэкономите на будущее ;-) )
- дальше все ноды грузятся с терминального по PXE.


Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 31 окт 2012, 23:50

homecluster писал(а): Роутер - Маршрутизатор D-Link DIR-100 5 порт=1WAN + 4LAN 10/100
Свичь - Коммутатор NETGEAR GS605 5 порт=1WAN + 4LAN 10/100/1000
Вы бы тщательнее описывали то, с чем работаете - и вопросов бы меньше возникало.
Вот так, примерно:

D-Link DIR-100
http://hotline.ua/network-marshrutizato ... k_dir-100/
Тип устройства Маршрутизатор (роутер)
Вход (WAN порт) 1x10/100BASE-T Ethernet (MDI/MDIX)
Интерфейс подключения (LAN-порт) 4х10/100BASE-TX Ethernet (MDI/MDIX)
Межсетевой экран (Firewall) +
DHCP-сервер +
Изображение
http://repka.ua/products/Kommutatori/ne ... ommutatori
NETGEAR GS605
Общее количество портов 5
Автоматическое определение скорости и дуплексного режима - Да
Протоколы передачи данных
IEEE 802.3i 10BASE-T Ethernet
IEEE 802.3u 100BASE-TX Fast Ethernet
IEEE 802.3ab 1000BASE-T Gigabit Ethernet
IEEE 802.1p приоритет трафика
Скорость подключения, Мбит/с 1000
Пропускная способность, Гбит/с 10
Изображение

Мне совершенно непонятно (может я чего-то и не понял?):
- зачем вы туда воткнули 2, в общем то, подобных устройств одного класса?...
- причём низшей, "бюджетной" ценовой группы (~$35), т.е. достаточно проблемных

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 01 ноя 2012, 02:30

homecluster писал(а):Схема которая "по вашему"?
http://cluster.linux-ekb.info/QuickStart.php
Таким образом и в консоли кластера и в его узлах необходимо иметь два сетевых интерфейса (две сетевые карты), Соответственно, нужно два набора свитчей, не связанных друг с другом, и два набора сетевых реквизитов для этих интерфейсов. То есть, NFS работает, например, в сети 192.168.1.0/24, а обмен данными происходит в сети 192.168.2.0/24. И соответственно, в файлах /etc/exports и /etc/fstab должны будут быть прописаны адреса из первой сети, а в файлах /etc/hosts и в файла machines.LINUX, описывающих кластер - адреса из второй. Что за файл machines.LINUX - смотрите в документации MPICH.
Это совсем не обязательно, это только одно мнение, один вариант, но ... сетевые конфигурации для кластера могут быть разные, и самые изощрённые.

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 01 ноя 2012, 18:52

homecluster писал(а):
Olej писал(а): Мне совершенно непонятно (может я чего-то и не понял?):
- зачем вы туда воткнули 2, в общем то, подобных устройств одного класса?...
- причём низшей, "бюджетной" ценовой группы (~$35), т.е. достаточно проблемных
Функционально - это разные устройства для разного применения.
Чем же они настолько разные?
Объясните.
homecluster писал(а): Хотя я не исключаю экзотических вариантов применения этих устройств
... да, то, что одно из них (любое) можно выбросить из вашей конструкции без потери её функциональности.

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 01 ноя 2012, 21:29

homecluster писал(а):Если вы возьмете на себя создание дистрибутива то может объединиться в продвижении персональных суперкомпьютеров с различными вариантами предустановленного софта. Я буду делать персональные суперкомпьютеры, вы представлять свои дистрибутивы под реальное железо и реальных клиентов.
Я вам ещё раз повторю:
- не нужны какие-то специальные дистрибутивы ...
- всё уже есть, и того, что есть, более чем достаточно ...
- вы вот возьмите и доведите до конца PelicanHPC (там делать то особенно нечего) ...
- и убедитесь в этом.

Но проблема даже не в том!
А в том, что:
- кластеры вообще не сильно нужны ;-)
- и с каждым уходящим годом их "нужность" видится всё меньше и меньше (объяснять?)
- потому, что решать на них задачи в режиме "суперкомпьютера" ;-) можно только крайне малую часть из общего числа задач ... может 0.1% от общего числа...
- потому что туда а). годятся только задачи хорошо подлежащие распараллеливанию (а таких немного) + б). программировать такие задачи нужно исключительно индивидуально, на специальных языках программирования (диалектах MPI), очень часто это диалекты FORTRAN, на котором никто в большинстве из IT специалистов работать и не умеет (уже, забыли) и не согласится... (я об этом ещё покажу и напишу там, где описываю виртуальный кластер ... но там и так уже понятно).

А вы предлагаете сделать из каменного топора ... "большой каменный топор" :lol:

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 02 ноя 2012, 11:27

homecluster писал(а):Если предположить что есть желающие купить персональный суперкомпьютер и купить ОС к нему с вариантами загрузок и предустановленным софтом то почему нужно называть таких покупателей "дураками". Может купить персональный суперкомпьютер для них мечта детства.
Производительность элементарных современных настольных компьютеров и так уже настолько высокая, что и она уже не нужна массовому потребителю ... а производители железок "из кожи вон" лезут, чтобы придумать чем ещё занять эту производительность и такие объёмы памяти - большинство потребностей пользователя компьютера "дутые", надуманные теми же производителями чтобы "впарить" потребителю ещё новую модель, они естественной потребностью не являются...

В этом смысле и совершенно естественным становится, что мэйнстримом в IT является не желание объединить вычислительные мощности нескольких процессоров, а, напротив, на одном процессоре разделить его мощность между разными потребностями - откуда и такой динамичный всплеск в развитии техник виртуализации, когда на одном процессоре создаётся несколько совершенно разнородных и разобщённых компьютеров ... процесс в точности до наоборот ;-) .
homecluster писал(а):Меня тема персонального суперкомпьютера интересует также в плане объединения вычислительных нодов быстрой шиной обмена.
А если уже кому ... в исключительном порядке ;-) недостаёт существующих мощностей, то...
Я уже писал в другом месте (параллельность + синхронизации (примеры)), но здесь специально повторюсь:

... на сегодня есть 3 способа получить суперпроизводительность чуть ли не на бытовых компонентах, это:

1. использование сильносвязанных многопроцессорных систем, с общей памятью RAM, а реально - это SMP многоядерные реализации ... на сегодня совершенно не редкость архитектура с 2-мя процессорами по 4 ядра каждый;

2. использование слабосвязных многопроцессорных систем, когда прцессоры (хосты) связаны высокоскоростными каналами связи (на сегодня 1Gb/s или даже 10Gb/s это не такая уже экзотика);

3. специальные мультипроцессорные вычислители ... но из которых (не считая всяческих экспериментальных штучек) реально к использованию пригодны только вычислители на графических процессорах (GPU) NVIDIA или ATI, см. NVIDIA & CUDA (это технологии очень новые).

Из них самым дешёвым и самым производительным будет способ 3, а большинство задач, которые могут быть параллельно запрограммированы для кластеров, могут быть запрограммированы и для этого способа. Цена решения здесь $100 ... 200 ... 300 за графический вычислитель - это вместо стоимости N процессорных плат для кластера.

А самый перспективный способ - №1! Потому, что для него не нужно специальных способов программирования, здесь достаточно использования стандартных POSIX потоков, семейства pthread_*(), и это сможет любой студент-недоучка ... а в способах 2 & 3 - это исключительно индивидуальное программирование каждой задачи, и на диких диалектах языков программирования (MPI и CUDA, соответственно).

И из всего этого должно уже стать понятно, что из всех этих 3-х направлений кластерный как-раз - самый "отстойный", и именно потому к нему ослабевает интерес, и там очень прохладное развитие в последние лет 5-7.

Ответить

Вернуться в «Персональный суперкомпьютер на Linux»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость