Тема 2. Ключевые понятия информационной культуры

Примеры кластерных решений HP

Примеры кластерных решений IBM

 

В начале 2000 г. специалисты IBM создали Linux-кластер из установленных в стойке серверов IBM xSeries, объединив их с соответствующими сетями, системами управления (аппаратное и программное обеспечение) и необходимыми услугами. После выпуска в 2001 г. кластера 1300 компания IBM представила кластер 1350 на процессорах Intel Xeon.

Схема Linux-кластера или суперкластера нетривиальна. В ней имеется несколько логических слоев, и уровень сложности возрастает при увеличении размера системы. Стоит отметить, что на больших системах простое воспроизведение в большом количестве малых кластеров почти никогда не приводит к успеху.

Хотя число узлов, необходимых для решения задачи, довольно легко оценивается для любого приложения, требуемое число узлов в действительности оказывается больше из-за необходимости иметь сервисные узлы, обслуживающие инфраструктуру кластера. Так, для каждых 32-64 узлов, в зависимости от компоновки, необходим центральный узел. Если такой узел используется как вычислительный, у него должна быть соответствующая конфигурация.

В любой системе должен быть управляющий узел, который, в частности, может быть и одним из главных узлов. Для организации ввода/вывода также необходимы отдельные узлы, которые работают либо с устройствами хранения информации, либо с сетевыми роутерами.

Основой Linux-кластера являются плотно упакованные системы с процессорами Intel, установленные в стойке. Наиболее часто используемым модулем является стандартная 19" стойка. Внутри стоек устанавливаются узлы, аппаратура для эффективного соединения компонентов, такая как коммутаторы, аппаратура управления внутренней сетью системы, терминальные серверы и т.п.

Узлы могут быть функционально объединены в две группы:

- Вычислительные узлы, выполняющие основные вычислительные задачи, для которых спроектирована система.

- Узлы инфраструктуры, такие как узлы ввода-вывода, узлы управления и узлы запоминающих устройств. Узлы инфраструктуры обеспечивают управление системами и заданными функциями, необходимыми для объединения компьютерных узлов в систему.

Упаковка вычислительных узлов, насколько это возможно, должна быть плотной и иметь достаточные возможности для эффективного соединения компонентов. Существенно включение сервисного процессора для функций управления системами. Стандартным вычислительным узлом для кластера 1350 является IBM xSeries 335. Это позволяет один или два процессора Intel Pentium 4 (Xeon) с быстрой динамической памятью и диском размещать в стандартном корпусе размером "1U". Символ 1U обозначает 1,75 дюймов высоты в стандартном 19-дюймовом корпусе. Х335 имеет встроенный сервисный процессор и два слота для соединения с другими компонентами системы.

Головные узлы, узлы управления и узлы запоминающих устройств обеспечивают особые функции для управления кластером (обеспечение загрузки, управление устройствами, внешний ввод/вывод и т.д). Сервер 2U IBM xSeries 345, основанный на процессорах Xeon, в кластере 1350 используется как узел управления и хранения данных и может также применяться как вычислительный узел. Коммутаторы используются для межпроцессорного соединения в параллельном программировании и для различных функций управления.

Для параллельного программирования в качестве межпроцессорного соединения обычно используется коммутатор Myrinet фирмы Myricom. Пропускная способность канала составляет приблизительно 200 Мбайт/с в каждом направлении со временем задержки 6-8 мкс.

Если параллельное программное окружение требует меньше межпроцессорных соединений, то высокоскоростные соединения можно заменить на более дешевые продукты типа Ethernet. Для заказчика могут быть выбраны GigaNet, Quadratics, SCI или ServerNet. В дальнейшем, после доработки, можно выбрать InfiniBand.

Коммутаторы используются для построения внутренних сетей для систем управления и интерфейса внешних сетей. В качестве альтернативных решений заказчику предлагаются различные коммутаторы от Cisco.

Терминальные серверы обеспечивают удаленный доступ к консолям ОС узлов через последовательную сеть. Дополнительные функциональные возможности добавляются посредством клавиатуры, мыши, монитора.

Внешние устройства ввода/вывода, такие как SCSI Raid, должны быть в стойках с узлами, коммутаторами и т.д.

Основное отличие состоит в сборке (интеграции). В то время как кластер для заказчиков может быть собран в любом учреждении или даже на полу у заказчика (неудачная идея), то аппаратная часть кластера 1350 производится (т.е. интегрируется) и тестируется на заводе IBM. Процесс сборки кластера в заводских условиях обладает рядом преимуществ.

Слияние в 2002 г. компаний Hewlett Packard и Compaq обеспечило HP прочное положение лидера по продаже Linux-систем, соответствующих индустриальным стандартам на базе архитектур IA-32 и IA-64. Данная технология дополнена мощной поддержкой разработок ядра Linux на базе семейства Itanium, а также разработок с открытым кодом в целом.

Кластеры HP строятся путем объединения компьютеров в группы, которые называются "кластерами предприятия". Каждый узел кластера имеет по крайней мере один процессор, оперативную память и образ операционной системы. Для связи между узлами используются специальные протоколы связи и системные процессы.

Поддержка ОС Linux со стороны HP охватывает все семейство серверов HP, основанных на архитектуре Intel ( IA-32 и IA-64 ), включая все серверы промышленного стандарта HP ProLiant, сверхплотную (blade) архитектуру, рабочие станции HP, настольные компьютеры Evo, отдельные портативные компьютеры, серверы ProLiant для применения в качестве межсетевых экранов и даже портативные устройства iPAQ. HP также продолжает поддерживать технологию ОС Linux для архитектуры AlphaServer, разработанную компанией Compaq. ОС Linux работает на Alpha системах, начиная с 1994 г. Это был первый пример 64-разрядной системы с поддержкой Linux. Именно с него начались современные разработки ОС Linux на базе семейства Itanium. HP поддерживает на своих серверах дистрибутивы Red Hat и SuSE, планируя осуществлять поддержку дистрибутивов операционной системы UnitedLinux после ее выпуска. HP предлагает заказчикам возможность предварительно установить любую ОС Linux на выбранные серверы ProLiant и рабочие станции Evo.

HP поддержала лабораторию Sandia в ее планах по развертыванию кластерной системы Cplant на базе ОС Linux с самой высокой на сегодня производительностью. Сейчас HP совместно с Pacific Northwest National Laboratories работает над созданием вычислительной системы, основанной на 1400 процессорах Itanium 2 с оптоволоконными межсоединениями на основе решений Quadrics.

Программное обеспечение НР может поддерживать большинство современных средств разработки и настройки производительности для кластерных решений на базе системы Linux. При выборе этих средств действуют ограничения, связанные с типами процессоров и межузловых соединений. В число программных продуктов входят:

- Транслятор Intel C++ Compiler для Linux;

- Транслятор Intel Fortran Compiler для Linux;

- Библиотека Intel Math Kernel Library;

- Intel Vtune Performance Analyzer — средство оптимизации программного кода.