Подскажите литературу на тему реализации Кластеров

← →
@!!ex © (2009-06-23 21:18) [0]

Заказчик захотел сделать мегаПроект.
Хочет чтобы прога не на одном коспе работала, а сразу на нескольких...
Я слабый сетевик, и идея реализовывать кластер меня немного пугает...
Подскажите, что почитать на эту тему?

← →
palva © (2009-06-23 21:25) [1]

Похоже, что лучше читать не по кластерам, а что-нибудь из серии "Как ублажить заказчика"

← →
DVM © (2009-06-23 21:32) [2]

> Хочет чтобы прога не на одном коспе работала, а сразу на
> нескольких...

Что прога делать то должна?

← →
KilkennyCat © (2009-06-23 21:33) [3]

А я как-то считал, что прога тут не причем... что кластеризация и все плюсы осуществляется ОС сервера, и даже нотепад в этом случае будет так как надо.

← →
@!!ex © (2009-06-23 21:47) [4]

> [1] palva © (23.06.09 21:25)
> Похоже, что лучше читать не по кластерам, а что-нибудь из
> серии "Как ублажить заказчика"

Сделать все что он хочет.
Тем более хочет он не забесплатно, так что мне не жалко. :)

> [2] DVM © (23.06.09 21:32)
> Что прога делать то должна?

Выводить одну и туже картинку на всех компах.
Типа как Ил2 на нескольких мониторах. Только здесь мониторов очень много.

> [3] KilkennyCat © (23.06.09 21:33)

В данном случае все надо делать самим...
Соединять проги по сети и инхронизировать данные между ними.

← →
palva © (2009-06-23 22:01) [5]

> Выводить одну и туже картинку на всех компах.

Ну значит, на одном компе вэб-сервер, на остальных вэб-браузеры. И все любуются.
Вот такая порнография.

← →
Игорь Шевченко © (2009-06-23 22:05) [6]

мож программиста нанять ? Я вполне серьезно

← →
@!!ex © (2009-06-23 22:12) [7]

> [6] Игорь Шевченко © (23.06.09 22:05)

Первое что я предложил:
23.06.2009 22:03 @!!ex: Понял я идею. Нужен специалист по сетям, который сможет организовать кластер.

В прицнипе с заказчиком это потом обсудили. Подумал я, придумал вроде несложную архитектуру, которая должна работать. Но не хочется изобретать велосипда...

← →
@!!ex © (2009-06-23 22:13) [8]

> [5] palva © (23.06.09 22:01)
> Ну значит, на одном компе вэб-сервер, на остальных вэб-браузеры.
> И все любуются.
> Вот такая порнография.

Ее еще и считать нужно. Поэтому и нужно несколько компов, один комп не справляется.
Я немного не правильно выразился: картинка то одна и таже, но ракурсы камеры разные.

← →
palva © (2009-06-23 22:28) [9]

А чего тут кластерами мозги забивать. Нужно подробно обсудить задачу с заказчиком. Если требуется много компьютеров, с той целью, чтобы было много операторов, работающих с общими данными, то вполне подойдут самыме примитивные средства, с использованием готового вэб-сервера и скриптовых языков. Если много компьютеров требуется, чтобы увеличить вычислительную мощность, то нужно думать, как разделить задачу на части, каждую из которых можно поручить отдельному компьютеру. Можно даже свой сервер написать для управления, для распределения заданий и синхронизации.

Если же заказчику нужно слово кластер в техзадании только для того, чтобы пустить пыль в глаза вышестоящему начальству и освоить деньги, то надо и отнестись соответственно. Но конечно, всё согласуя с заказчиком.

← →
palva © (2009-06-23 22:30) [10]

Пока я соображал и писал, тут уже новая информация появилась.

← →
palva © (2009-06-23 22:40) [11]

> Нужен специалист по сетям, который сможет организовать кластер.

Сомнительно это. Обычная сеть, обычный сисадмин. Далее вэб-сервер и обычный программист. Конечно, надо будет писать модули на делфи (или на другом языке) под IIS или Apache. Я бы писал на asp.net, но в силу специфики форума, я это предлагать не буду. Назвать все это вычислительным кластером. Расписать заказчику, как это будет выглядеть. Если их это не устроит, вот тогда придется думать.

← →
@!!ex © (2009-06-23 22:44) [12]

Слово "кластер" заказчик не использовал.
Заказчик вполне адекватный, просто масштабы проекта немного выходят за рамки того на что я изначально подписывался, поэтому приходится вникать в новые технологии о которых ранее я был не в курсах...

← →
@!!ex © (2009-06-23 22:45) [13]

> [11] palva © (23.06.09 22:40)

неееет. заказчик тоже хотел через веб интерфейс делать. нееет.
тут локальная сеть, если делать через веб - все сдохнет.
UDP справится, веб нельзя делать...
Неееееетт!!!
*С криками бегает по комнате*...
*забился в угол*

← →
palva © (2009-06-23 22:53) [14]

> *С криками бегает по комнате*...
> *забился в угол*

Спокуха! Не называть это вэб. Не говорить никому, что протокол http. В конце концов, пусть будет сервер на сокетах. Только тогда его самому придется писать. А это дороже. Но udp-то зачем? Пусть будет tcp/ip

← →
@!!ex © (2009-06-23 23:00) [15]

> [14] palva © (23.06.09 22:53)

UDP быстрее очень заметно. Первая моя попытка сделать реалтайм сетевую игру провалилась из-за того, что я выбрал TCP/IP.
Вторая увенчалаксь успехом, во вногом благодаря выбору UDP. Главное заложить в протокол возможность потери пакетов.

← →
oxffff © (2009-06-23 23:07) [16]

В IBM, Sun не пробовал обращаться?

← →
palva © (2009-06-23 23:08) [17]

Ой. Тогда я пас.

← →
oxffff © (2009-06-23 23:10) [18]

> palva © (23.06.09 23:08) [17]
> Ой. Тогда я пас.

После прочтения [15] я тоже думаю пас.

← →
@!!ex © (2009-06-23 23:14) [19]

Ну я ж говорил, что не спец в сетях...
А вообще, если TCP работает с той же скоростью что и UDP, то почему все мега онлайн игры для обмена данными между игровыми серверами используют UDP?

← →
oxffff © (2009-06-23 23:19) [20]

> @!!ex © (23.06.09 23:14) [19]

google
UDP преимущества и недостатки

← →
oxffff © (2009-06-23 23:25) [21]

> @!!ex © (23.06.09 21:18)

По теме. Ты же не глупый парень. Верь в свои силы и у тебя все получится.
Начти с постановки задачи. Найти в нете решения аналогичной. По мере возможности усовершенствуй реализацию.
И главное потом и нас научишь. :)

← →
oxffff © (2009-06-23 23:28) [22]

От тебя требуется разделить задачу на атомарные единицы.
А потом придумать или взять алгоритм централизованной или децентрализованной сборки данных.

← →
@!!ex © (2009-06-24 00:05) [23]

В принципе архитектуру я уже придумал. НЕ уверен на 100% что все учел, поэтому и подумал, может есть какие-то правила, учебники...
Про UDP читал. Единственным его недостатоком является возможная потеря пакетов.
На это в принципе пофиг, потому что в моей архитектуре при потере пакета будет просто небольшой затык на 1/10 секунды, что не есть критично(во всяком сулчае от заказчика была фраза что допустим рассинхронизация в 10 кадров(читай треть секунды)).
Плюс потеря пакетов в локалке(без роутинга и прочего мешающего обвеса) вещь прямо скажем не частая.

← →
KSergey © (2009-06-24 10:32) [24]

дак а в чем задача-то? в чем смысл какого-то распаралеливания? Чего именно не может один комп обсчитать?
Может достаточно один комп назначить "сервером", остальные от него будут получать информацию о текущих координатах (ну я условно) и куда картинку вигать и т.п. информацию, достаточную для расчета картинки - и обсчитывать ее каждый комп будет независимо - вот и все? Может в этом задача?

Тогда собственно сеть становится лишь небольшим кусочком работы по передаче пакетиков с данными, главное суметь реализовать механизм рендеринга так, чтобы его модно было всегда прервать и начать заново с изменившимися условиями.

← →
Медвежонок Пятачок © (2009-06-24 11:19) [25]

сетевой ил2 летает на UDP

← →
Медвежонок Пятачок © (2009-06-24 11:20) [26]

сделать все на асп.нет
и распихать сборки на десять хостов

← →
Медвежонок Пятачок © (2009-06-24 11:21) [27]

а чтобы было непохоже на веб добавить силверлайт

← →
Empleado © (2009-06-24 11:54) [28]

> @!!ex © (23.06.09 21:18)
> Заказчик захотел сделать мегаПроект.
> Хочет чтобы прога не на одном коспе работала, а сразу на
> нескольких...
> Я слабый сетевик, и идея реализовывать кластер меня немного
> пугает...
> Подскажите, что почитать на эту тему?

Для начала, можно ознакомиться с теорией кластеров MS.
Все подробно и детально, а главное доходчиво, написано: какие виды кластеров, их функциональные особенности, требования и т.д.
Необходимо понимние базы - как оно работает. MSDN.
После этого уже сразу будет понятно какую реализацию выбрать, "чтобы прога не на одном коспе работала".

По правде говоря, никаких других сервисов и приложений, кроме сервисов и приложений от МS, на кластеры я не устанавливал. И не знаю, надо ли "подтачивать" собственное приложение для работы на серверах, организованных в кластер. Скорее всего. Надо читать на MSDN (developing applications for clusters).

Всего доброго,
JSE

← →
@!!ex © (2009-06-24 11:54) [29]

Проект уже сделан. Сам по себе он уже вполне рабочий.
Цели сделать чтобы было похоже на веб - нету. Надо сделать чтобы работало. Это единственное требование. :)

← →
Empleado © (2009-06-24 12:04) [30]

> Выводить одну и туже картинку на всех компах.
> Типа как Ил2 на нескольких мониторах. Только здесь мониторов
> очень много.

простой клиент-сервер. Клустер нафиг не нужен :)
Bye

← →
@!!ex © (2009-06-24 12:15) [31]

> [30] Empleado © (24.06.09 12:04)

Смотря что вы понимаете под словом кластер.
Кластер — группа компьютеров, объединённых высокоскоростными каналами связи, представляющая с точки зрения пользователя единую машину.
(C)http://ru.wikipedia.org/wiki/Кластер_(группа_компьютеров)

Это как раз то что мне нужно.

← →
Empleado © (2009-06-24 12:28) [32]

>@!!ex © (24.06.09 12:15) [31]
И как вот это
>> Выводить одну и туже картинку на всех компах.
сочетается с понятием клустер? Расшифруй, а то инфы мало.
Там производятся вычислительные распараллеливания задач? или же HA/LB реализовано?

← →
Вариант (2009-06-24 13:08) [33]

> @!!ex © (24.06.09 12:15) [31]

Если имеется ввиду передача данных (картинка) на все компьютеры, как на один компьютер, то для этого достаточно использовать например мультикаст(групповая рассылка). Рассылка идет на один групповой адрес,а уже задача конкретного компа подписаться на эту рассылку.

> @!!ex © (23.06.09 21:18)
> Заказчик захотел сделать мегаПроект.
> Хочет чтобы прога не на одном коспе работала, а сразу на нескольких...
> Я слабый сетевик, и идея реализовывать кластер

Итак, 23 числа в 21:18 все в будущем веремени, все только желается.

> @!!ex © (24.06.09 11:54) [29]
> Проект уже сделан. Сам по себе он уже вполне рабочий.

О, 24 числа в 11:54 все уже сделано! Оказывается, понадобилось всего 14 с половиной часов.

Слушай, автор, иди ка ты в Ж.
Какого хрена читать тебе про кластеры, если ты даже по-русски изъясняться не умеешь и сколь-нибудь четко формулировать свои желания? В каждом новом посте выясняются не просто новые подробности, а все становится совершенно иначе!

> [34] KSergey © (24.06.09 14:41)

Иди сам туда.
Проект разрабатывается уже около 10 месяцев. БЕЗ КЛАСТЕРА. И таки да, проект сам по себе готов. Для работа на ОДНОМ компе.
Я не просил давать мне советы. Я просил подкинуть литературы, для этого не надо знать подробности проекта. Если ты не умеешь читать по русски, то у тебя один выход - в школу опять учиться пойти.

Из этой фразы можно сделать очевидный вывод о том, что проект делается давно, а вопрос о распараллеливании вычислений встал только вчера и изначально не подразумевался. Было бы очень интересно какие еще варианты трактовки этой фразы есть...
> [12] @!!ex © (23.06.09 22:44)
> Заказчик вполне адекватный, просто масштабы проекта немного
> выходят за рамки того на что я изначально подписывался,
> поэтому приходится вникать в новые технологии о которых
> ранее я был не в курсах...

Еще варианты купить более мощный комп, заняться оптимизацией...

Пример кластера: http://www.ajedrezvinotinto.com/site/wp-content/uploads/2009/05/rybka01.jpg

← →
Styx_ (2009-06-24 15:26) [38]

> Пример кластера

Лучше вот: http://parallel.ru/cluster/ :)
Но вообще идея именно "кластера" в том, что пользователю он представляется как обычный компьютер, возможно, с некоторыми особенностями (типа той же mpirun).
Если Вам нужно другое - то это не кластер.

> [37] Mystic © (24.06.09 15:16)
> Еще варианты купить более мощный комп, заняться оптимизацией...

Заказчик хочется иметь возможность неограниченного расширения. ОДин комп этого дать не может. Хотя бы в силу ограниченности видеокарты.

> [38] Styx_ (24.06.09 15:26)

В том то и суть, пользователь видит перед собой кучу экранов и работает с одной системой. И знать не знает, что всей этой системой управляет не один комп, а 10.

> @!!ex ©

Я вижу совместную работу как то так:
1 компьютер является центральным, он обеспечивает работой остальные. В Твоем случае он передает информацию о том какую часть сцены рисовать.

Вы бы все ж свои ответы-то перечитали.

> @!!ex © (23.06.09 21:47) [4]
> > Что прога делать то должна?
> Выводить одну и туже картинку на всех компах.

тут вообще напрашивается предложение простого "параллельного" подключения мониторов - вот и все.
Однако ж вдруг выясняется:

> @!!ex © (23.06.09 22:13) [8]
> картинка то одна и таже, но ракурсы камеры разные.

Зашибись! Таки разная это картинка получается совершенно, а не одна и та же.

И, главное - кластер - такое заезженное слово, что нет его однозначного толкования ваще. Они эти толкования от разных применятелей совершенно про разное. И даже указанное в

> @!!ex © (24.06.09 12:15) [31]
> Кластер — группа компьютеров, объединённых высокоскоростными
> каналами связи, представляющая с точки зрения пользователя единую машину.

слишком ни о чем. Т.е. звучит красиво, но ведь ежу поянтно, что такого просто не может быть.
Что есть "единая машина"? этакий виртуальный процессор, котрый вдруг будет больше выполнять операций? Понятно, что это нереализуемо на IBM-PC архитектуре.
Паспаралелить на разных компах можно по сути лишь разные потоки (в виде разных процессов на разных машинах), имея некое синхронизирующее ядро. Но о том ли речь? Вавно как и объединить видеокарты на разных машинах в одну "мега-сепер" нельзя (в имеющейся архитектуре IBM-PC).

На сколько я сумел понять задачу - каждый комп таки справляется с расчетом одной картинки (в понимании картинки, а не сцены) и достаточно просто на каждый монитор подключить по одному компу, котрые будут синхронизировать параметры расчета от одного управляющего.
Расширяемость - пока деньги не кончатся.
Если же один комп не справляется с рачетом даже одной картинки - то есть подозрение, что надо другую платформу искать.

К слову о кластерах.
Делали в наших НИИ в 70-80-е годы тренажер для обучения летчиков-космонавтов пилотированию корабля "Буран".
В качестве "стекла кабины" использовались телевизоры с картинкой типа 300 на 500 пикселов (точно не знаю, примерно). Ну и были какие-то процессоры на тот момент, мощности каждого из которых хватало на вычисление в real-time "картинки" в один пиксель.
Космо-вояки, денег много - просто воткнули процессоров по количеству пикселей - вот и все.

> [42] KSergey © (24.06.09 16:36)
> тут вообще напрашивается предложение простого "параллельного"
> подключения мониторов - вот и все.
> Однако ж вдруг выясняется:

Я связан НДА. Скажи лишнего - получу по шее.

> [42] KSergey © (24.06.09 16:36)
> Если же один комп не справляется с рачетом даже одной картинки
> - то есть подозрение, что надо другую платформу искать.

ОДин комп справляется рисованием на двух мониторах без проблем. Может и 4 тащить. Этого мало(как выяснилось).

> [43] KSergey © (24.06.09 16:43)

Да. Эта задача очень похожа на нашу.

Вообще обсуждение уже не актуально. План работ и архимтектура вроде уже утверждена. Осталось закупиться железом и начать делать.

> @!!ex © (24.06.09 16:57) [45]
> > [40] DVM © (24.06.09 15:55)
> Угу. такая и планирую делать.

В KSergey © (24.06.09 10:32) [24] совсем не про то было написано, понятно.

Тогда почитай или просмотри Танненбаума...

Подскажите литературу на тему реализации Кластеров Найти похожие ветки