Архив форумов ЦИТФорума

[DmitriyS]

Доброе время суток.
Господа, кто-нибудь деала кластер на Linux'е (на интеловских процах)? Поделитесь опытом на каком именно кластере делать на Ваш взгяд.
Ситуация следующая:
есть 2-х проц-й сервер, докупается ещё модуль, т.е. бездисковый 2-х процессорный комп. Вот собственно как сделать из этого кластер?
Соединение между ними ес-но по гигабит овернету...

[ilyasov]

-

[DmitriyS]

Увеличение общей мощности, старый сервак не справляется, разместить его задачи на 2 машины возможности нет, покупать что-то 4-х или 8-ми процессорное для замены старого сервера - нет смысла.

[and3008]

-

[DmitriyS]

БД PostgreSQL (база более 5 гигов, сбор трафика)
Squid

[and3008]

Ну общее хранилище сделать проще, а вот как СУБД будет базу делить между двумя компами?

Я не знаком с PostgreSQL. Знаю что такие вещи могут делать специальные СУБД. Например DB2, Informix (почил в бозе...), Oracle, MS SQL.

[Dmitry.Karpov http://www.]

Возможно, дело не в процессорной мощности, а в производительности дисков. Возможно, поможет увеличение памяти и/или замена ее на более быструю RIMM RDRAM. Может, поможет использование RAID-0. А может, надо заменить процессоры на более быстрые - ты не написал, какая у тебя машина не справляется с двумя задачами, откуда стекается информация о трафике и др.подробности.

А самое простое - перенести Squid на другую машину.

[and3008]

Дим, положа руку на сердце, скажи:
Что бы ты сделал, если припекло и нужен был именно кластер? И именно кластер, решающий задачу распределения нагрузки.

[Dmitry.Karpov http://www.]

Есть много способов распределения нагрузки на уровне приложений - тут и разнесение разных задач на разные машины, и распределение нагрузки на уровне приложения (тот же Squid в режиме HTTP-ускорителя).

Затем бы я попробовал усилить машину сколько хватит денег - заменить процессор, нарастить кэши, взять более быстрые диски, дуфрагментировать файловую систему, использовать RAID (зависит от узких мест в системе). И лишь когда это все окажется недостаточно, полез бы в Internet искать сведения о проектах "BeoWolf" и "Avalon".

PS: По счастью, передо мной такая задача не стоит, а то бы я не торчал в этом форуме.

[anthony]

-

[DmitriyS]

-

[DmitriyS]

да машину наворачивать больше нет смысла ( только если не покупать 4-х или 8-ми процессорный, а это дороговато).
стоят два проца П4, оперы 3 гига(ECC), несколько сказёвых модных винтов... Машина собирает и хранит статистику более 700 пользователей, через неё проходит более 150 гигов внешки в месяц. Трафик не просто учитывается, а подробно логируется, кто откуда, когда и сколько (статистика снимается с более чем 30 цисок, расположенных по городу)
Конечно, придётся покупать этот 4-х процессорный, если не получится сделать кластер, что несомненно дешевле...

[Dmitry.Karpov http://www.]

Я не уверен, что "несколько сказёвых модных винтов" - это именно то, что нужно. Моя практика создала у меня впечатление, что SCSI-диски существенно тормознутее, чем IDE - по кр.мере, они гораздо больше шумят, т.е. сильнее работают механикой, которая гораздо медленнее электроники.

Лично я бы попробовал распределить обсчет от 30 Цисок по двум машинам, а потом на третьей суммировать результаты их деятельности. Это - самый простой способ, т.к. (IMHO) обсчет трафика нужен не в реальном времени, а может вестись пакетно - данные с 00:00 по 24:00 7-го числа нужны не ранее 6:00 8-го числа, когда люди приходят на работу.

[and3008]

Там детский вариант кластера.
Кластеризован обычный HTTP-сервер. При чем, по моему, проблемма синхронизации данных вообще не затронута.
Да и кластеризовать базу данных на несколько порядков сложнее, чем какую-нибудь параллельную вычислиловку или HTTP-сервера.
Слишком много проблемм с блокировками и совместным доступом к базе...

Вроде как Oracle в девятой версии эту проблемму решил, но подробностей не знаю.

[anthony]

-

[DmitriyS]

Да я уже почти сделал... удалённая загрузка и немного модифицированный мосикс
пока проверяю (пробовал биовульф, но что-то криво работает)