Помогите поднять кластер

Обсуждение вопросов создания суперкомпьютера, работающего на ОС Linux, а также дистрибутивов, управляющих суперкомпьютерами

Модераторы: Olej, vikos

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 27 окт 2012, 23:20

homecluster писал(а):Нет желания - это входной билет в сообщество живущих на воспоминаниях о возможных заслугах в прошлом.
Нет, не так ;-) : у меня просто достаточно много текущих планов и дел, более сложных и приближённых к реальным задачам, от которых не стоит отвлекаться на вещи достаточно гипотетические.
Вот как вариант: Разработка модулей ядра Linux, где мне нужно подготовить 3-4-5 статей каждый месяц, и которые действительно нужны (мне пишут, спрашивают, уточняют...). Это вещи реальные. От этого большая польза.

Вы начали разговор с того, что:
homecluster писал(а):Есть 4 компьютера. Хочу сделать из них кластер.
Хотите - делайте. И я подключусь и помогу, чем могу, если у вас будут конкретные трудности и непонятки в этом процессе, технические, инженерные ... А не на уровне только хотения. Ничего архисложного в том, чтобы поднять кластер нет - это нужно просто брать и делать.

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 30 окт 2012, 17:39

homecluster писал(а):
Olej писал(а): чтобы поднять кластер - нужно просто брать и делать.
Для начала мне хотелось бы узнать что брать.
Я во многом согласен с автором вот этой публикации, и если говорить о более-менее профессионально (или околонаучном) применении, то попробовал бы для начала воспроизвести Beowulf:

Код: Выделить всё

можно построить машину класса Beowulf, используя только стандартный дистрибутив Linux, без какого либо дополнительного математического обеспечения. Если имеются два соединенные сетью компьютера под ОС Linux, которые разделяют по меньшей мере файловую систему /home при помощи NFS, и позволяют друг другу выполнять удаленный шелл (rsh), то можно говорить, что это простой кластер Beowulf из двух узлов.
Эту технологию используют некоторые университеты ... т.е. она достаточно "академичная" ;-) , её приняли.

Если хотите более лёгкую конструкцию, вроде детского конструктора, то возьмите PelicanHPC GNU Linux,
С помощью специализированного дистрибутива PelicanHPC GNU Linux вы в любой момент, например после окончания рабочего дня и занятий в компьютерном классе, можете запустить кластер и на приведение его в боевую готовность потребуется не более пяти минут.
Там по указанной ссылке подробно расписано как раскрутить всё это хозяйство ... только на сегодня проще это делать, накатав требуемые образы на Live-USB.
homecluster писал(а):
Но чтобы понять что брать нужно знать для чего брать.
Золотые слова! :lol:
В том и беда, что распараллеливание работы между N процессорами (в SMP) или N хостами (в кластере) - оказывается очень неблагодарным занятием: только очень небольшой класс задач (преимущественно научных, моделирования и т.п.) можно хорошо распараллелить. А для задач широкого пользователя число использования обрабатывающих процессоров (ядер) выше какого-то уровня оказывается бесплезной тратой денег! Конечно ... даже в ОС общего применения (GPOS, Linux как одна из...) есть службы-сервисы, которые могут с пользой крутиться параллельно. Но их число (IMHO), и число ядер которое будет предлагаться для рабочих станций вряд ли должно превышать 4 ... всё, что выше - это будет развод производителем покупателя.
homecluster писал(а):
Вот прототип персонального суперкомпьютера - http://www.homecluster.ru .
Я посмотрел (внимательно) этот ресурс, и (предполагаю), что идея "суперкомпьютера" (а кластер не является таким уж суперкомпьютером) и дистрибутива ОС (или отдельной ОС?) - это всё у вас выступает как составная часть общественно-политической деятельности, программы ... в духе "русской ОС" и т.д. и т.п. Здесь на форуме уже кто-то тоже отметился: Русский linux.

Когда-то с этими идеями носился депутат Госдумы РФ Алкснис и его окружение... Меня году в 2006-2007 (?) пригласили (телекоммуникационно) в очень большое (по числу участников, объёму и продолжительности), но закрытое обсуждение на эту тему. Я им тогда набросал много страниц тех. обоснования и предложений "как, зачем и почему". Я это вспомнил только потому, что тогда это имело ещё какой-то минимальный смысл, но на сегодня (я объясню ниже) подобные намерения - это или пацанячий визг (сделаем нашу ОС! - массово приветствуется на RSDN сайте) или политический популизм, зарабатывание очков на пустом месте.

1. У нас и так всегда были собственные ОС (пусть не массовые, но уместные там, где их применяли): истории отечественных IT.

2. И не только были, но и есть: "Эльбрус 3", МСВС. Та же МСВС - это модификация Linux под цели использования.

3. Вот поэтому не нужны ещё какие-то особые дистрибутивы или ОС ... Когда появилось столько открытых операционных систем: Linux, Solaris, Free/Net/Open-BSD и др. (это и есть та причина, что я написал выше "объясню ниже").
Чьей системой станете считать Linux?
Финской? :lol:

4. Системы, которые замечательно покрывают все классы задач, которые вы только сможете придумать (или придумаете? :lol: ) ... в том числе, и многопроцессорность, SMP, кластеры...

5. Вот китайцы сваяли из Linux национальную ОС - RedStar ... и обещают финансовым институтам (банкам) не предоставлять бюджетных контрактов кто использует не национальную систему ;-). Или Бразилия, которая всё следующее поколение выучит в Linux.

Так что проблемы совсем не в отсутствии операционных систем или особых дистрибутивов, а в а). слабом желании и б). полном неумении ;-) применять профессионалами (якобы!) эти системы под решение конкретных задач реальной экономики, см. ещё раз: Практические применения Linux - удручающее, однако, зрелище! :-o

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 30 окт 2012, 21:44

homecluster писал(а): 2. Проект PelicanHPC я пытался установит но наткнулся на грабли. И сейчас это дистрибутив не развивается.
http://pareto.uab.es/mcreel/ParallelKnoppix/
Изображение
June 2012. v2.8 is available. Octave 3.6.2, dynare 4.3.0, new example code for estimation of nonlinear DSGE model (go to /home/user/Econometrics/MyOctaveFiles/Econometrics/IL/DSGE and execute ./runme), also the usual sync to Debian. You can dd the image onto USB storage to have bootable media, or you can boot the image with virtualization software.
http://pareto.uab.es/mcreel/PelicanHPC/ ... ialRus.pdf
PelicanHPC Tutorial
Январь 2011
Michael Creel
Университет Autònoma в Барселоне
Перевод на русский язык
Февраль 2011
Богатырев Иван
Россия ДВФУ Владивосток
(22 стр.)

http://pareto.uab.es/mcreel/PelicanHPC/download/ :
...
pelicanhpc-v2.8.iso 21-Jun-2012 15:54 726M
pelicanhpc-v2.8.iso.md5 21-Jun-2012 15:55 54
...
https://download.mi.hs-heilbronn.de/pelicanhpc/ (Medical Informatics department of Heilbronn University and Heidelberg University), утверждается, что этот ресурс намного быстрее для скачивания :
...
pelicanhpc-v2.8.iso 21-Jun-2012 15:54 726M Archive / ISO
...
Форум ... не так много, но вполне активен в 2012г., у других и того намного хуже, последнее обсуждение 08 сентября 2012г.

Мне бы так "не развиваться"(с) ;-)
homecluster писал(а): 2. Проект PelicanHPC я пытался установит но наткнулся на грабли. И сейчас это дистрибутив не развивается.
По поводу граблей я попробую посмотреть.

P.S. Как мне кажется, это тот проект, который очень легко раскрутить для пробы на N клонах виртуальных машин под VirtualBox.

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 30 окт 2012, 21:57

homecluster писал(а): 3. Вы допускаете типичное предположение - если программист имеет способность делать хорошие программы то это означает что он может быть хорошим политиком. Не означает. По этому не собирайте все что вы увидите в одну кучу.
А если политик "имеет способность делать"(с) хорошую политику, то это не означает, что он грамотно пишет свою мысль: может и "поэтому" написать раздельно :lol: ...
(только не становитесь в обиженную позу - это шутка такая была ;-) )
homecluster писал(а): Если вас интересует политика - можем поговорить о политике.
Ни в малейшей мере не интересует. ;-)
homecluster писал(а): 4. Чтобы понять чья система Linux достаточно получить ответ на вопрос кто владеет торговой маркой. Кстати вы в своей начальной лекции о модулях ядра четко определили чьей системой является Linux.
Я вот этой фразы совершенно не понял! Хотя - интересно. Требуется разъяснение.
homecluster писал(а): 5. ... Персональный суперкомпьютер как раз такая ниша в которой можно делать дистрибутив точно "заточенный" под конфигурацию персонального суперкомпьютера и позволяющий настроить его на любые типовые решения.
1. Я так не считаю ... хотя это можно обсудить отдельно.

2. Я никак не могу отождествлять понятия "суперкомпьютер" и "кластер" - это далеко не одно и то же. Кластер представляет интерес только для очень ограниченного круга задач + хуже всего, что с течением времени и этот круг всё сужается и сужается, т.к. у кластера "отбирают" области применения многоядерные SMP реализации.
(вы сами очень удачно поместили эту свою тему в раздел форума "Сети" ... а слабосвязной многопроцессорной системе очень трудно конкурировать с сильносвязной).

3. ... а тут ещё на пятки наступает технология быстрых параллельных вычислений (CUDA) на графических процессорах (GPU) NVIDIA, когда простейшая видеокарта GT-520, к примеру, может вести вычисление в 48 очень быстрых процессоров, а специальные GPU вычислители серии Tesla - в тысячи процессоров. Обратите внимание: несколько последних суперкомпьютеров в top 100 в последние пару лет имеют к каждому CPU обязательный GPU Tesla.

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 31 окт 2012, 00:10

Olej писал(а): (вы сами очень удачно поместили эту свою тему в раздел форума "Сети" ... а слабосвязной многопроцессорной системе очень трудно конкурировать с сильносвязной).
Вспомнилось... ;-)
Большинство пакетов-реализаций (все?) для организации сетевого кластера в Linux будут работать используя MPI (Message Passing Interface):
MPI является наиболее распространённым стандартом интерфейса обмена данными в параллельном программировании, существуют его реализации для большого числа компьютерных платформ. Используется при разработке программ для кластеров и суперкомпьютеров. Основным средством коммуникации между процессами в MPI является передача сообщений друг другу. Стандартизацией MPI занимается MPI Forum. В стандарте MPI описан интерфейс передачи сообщений, который должен поддерживаться как на платформе, так и в приложениях пользователя.
...
Первая версия MPI разрабатывалась в 1993—1994 году, и MPI 1 вышла в 1994.
Большинство современных реализаций MPI поддерживают версию 1.1. Стандарт MPI версии 2.0 поддерживается большинством современных реализаций, однако некоторые функции могут быть реализованы не до конца.
В MPI 1.1 (опубликован 12 июня 1995 года, первая реализация появилась в 2002 году) поддерживаются следующие функции:
...
Здесь подробнее: MPI: The Message Passing Interface (там вообще хороший ресурс, русскоязычный).

Последние 1-2 года активно предлагаются курсы учебные по подобным технологиям (высокопроизводительной параллельности): http://www.hpcu.ru/
Изображение

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 31 окт 2012, 00:45

Olej писал(а):
homecluster писал(а): 2. Проект PelicanHPC я пытался установит но наткнулся на грабли. И сейчас это дистрибутив не развивается.
По поводу граблей я попробую посмотреть.

P.S. Как мне кажется, это тот проект, который очень легко раскрутить для пробы на N клонах виртуальных машин под VirtualBox.

Код: Выделить всё

[Virtual@nvidia PelicanHPC]$ ls -l pelicanhpc-v2.8.iso 
-rw-rw-r--. 1 Virtual Virtual 761266176 окт.  30 22:59 pelicanhpc-v2.8.iso
Olej писал(а): https://download.mi.hs-heilbronn.de/pelicanhpc/ (Medical Informatics department of Heilbronn University and Heidelberg University), утверждается, что этот ресурс намного быстрее для скачивания :
Таки да ;-) : с сайта проекта оно мне прогнозирует >2 часа скачивания, а отсюда 28 мин.

В VitrualBox создаю VM, но без HDD вовсе (загрузка с .iso образа):
-1.png
-1.png (69.01 КБ) 5907 просмотров
Загрузка благополучно начинается:
PelicanHPC-001.png
PelicanHPC-001.png (86.72 КБ) 5907 просмотров
Но ... вот они, первые грабли:
PelicanHPC-002.png
PelicanHPC-002.png (16.63 КБ) 5998 просмотров
Эта сборка PelicanHPC 2012 года собрана под x86-64 процессор, а не i686.
Это 1-я небольшая неприятность, которой можно столкнуться.

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 31 окт 2012, 03:00

Olej писал(а):Эта сборка PelicanHPC 2012 года собрана под x86-64 процессор, а не i686.
Это 1-я небольшая неприятность, которой можно столкнуться.
Процесс пошёл... ;-)
Но как он пошёл - я стану описывать в новой отдельной теме, поскольку это установка в виртуальных машинах, и многое там будет о настройках VirtualBox.
Вот в этой теме: кластер PelicanHPC в VirtualBox

... чтоб не засорять основное повествование. ;-)
Потом уже, в случае успеха в виртуале - вернёмся сюда обратно для обсуждения кластера.

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 31 окт 2012, 11:29

homecluster писал(а):Мне интересен запуск дистрибутива на реальном железе.
А это только потому, что у вас отсутствует опыт работы с виртуальными машинами.
За последние 3-5 лет технологии виртуализация превратились из экзотики в "прорывные" технологии ... как почти ничто новое в технологиях десктопных компьютеров.
Всё, что можно поднять в виртуальной реализации - тут же элементарно повторяется в реальном железе.

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 31 окт 2012, 11:33

homecluster писал(а):Краткая информация . В корпусе типа мидитауэр установлены 4 компьютера формата mini-ITX . Каждый компьютер имеет процессорр Атом 510 двухядерный , 2 Гб DDR2 800 Мг , 250 Гб SATA 2 , порт для сети , разъемы для звука и видео . Также установлен гигабитный свичь на 5 портов и 100 мегабитный роутер на 5 портов . Все питается от одного блока питания на 550 вт . Установлены 4 кулера на 80 мм для вентиляции в корпусе .
Это всё конструктивные игрища :lol:

Мало понятно зачем вам видео на всех процессорах кроме одного - консоли кластера ... ну да они "на борту"...

Ещё менее понятно: зачем этим N-1 процессорам HDD?
Воздух греть?
Вы зимой мёрзнете? :lol:

Аватара пользователя
Olej
Писатель
Сообщения: 12706
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Помогите поднять кластер

Непрочитанное сообщение Olej » 31 окт 2012, 13:53

homecluster писал(а):Это замечательно. Но у меня есть железо и мне важно использовать железо. А если потом дополнить возможности железа технологией виртуализации то это отдельная тема.
Как-раз в точности до наоборот: сначала поднять кластер на виртуальных хостах и в виртуальной сети, а потом элементарно перенести это в реальное железо. И так не только для какого-то конкретного выбранного ПО поддержки кластера (в данном случае относительно PelicanHPC), а относительно любого альтернативного для этих целей ПО. Потому, что в виртуальном мире я на это "за всё про всё" потеряю 2-3 часа, а вы в реальном железе (в том случае, когда будете уже очень хорошо понимать что делаете) - 2-3 дня.

Ответить

Вернуться в «Персональный суперкомпьютер на Linux»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость