В одном из ведущих вузов страны — легендарном Физтехе — осенью 2007 года завершились работы по созданию большого кластера. В качестве инфраструктурного решения для его создания институт использовал APC InfraStruXure. О подробностях проекта рассказывает проректор по информатизации МФТИ Игорь Проценко.

Intelligent Enterprise: Какова цель создания нового вычислительного кластера — это ведь не единственное кластерное решение, построенное в стенах Физтеха?

Игорь Проценко: Да, это не первый кластер, кроме него у нас есть еще два учебных, по 200 и 300 Мфлопс. Они используются для потоковой подготовки студентов. Большой кластер был необходим институту, чтобы иметь возможность подготовки «штучных» специалистов под сложные расчетные задачи.

Решения такого класса базируются на технологии массового параллелизма и применяются в основном для научных расчетов. Узлы системы — это мощные персоналки в стоечном исполнении. Но программирование такой системы — задача довольно сложная. Как только программист для проведения вычислений решает использовать два компьютера или больше, возникают серьезные технологические и даже теоретические проблемы.

Параллельное программирование — это общий термин для обозначения совокупности технологий и решения подобных проблем. И специалистов, владеющих этими технологиями, очень мало, причём не только у нас, но и во всем мире.

Построение кластера породило идею создания при Физтехе Центра индустриальной математики. В настоящее время центр, используя кадровый потенциал академических институтов и выполняя научно-исследовательскую работу в интересах различных компаний, помогает нашим выпускникам глубоко погрузиться в тематику и обрести все необходимые навыки.

Поскольку вуз — организация бюджетная, в создании этой системы нам помогло то, что два года назад в числе семнадцати вузов страны мы выиграли грант, выделенный в рамках выполнения инновационной образовательной программы «Наукоемкие технологии и экономика инноваций», которая, в свою очередь, проводится в составе национального проекта «Образование». Физтех тогда получил 420 млн. рублей — эта сумма предназначалась для закупки оборудования, переподготовки кадров и издания научно-методической литературы.

Как вы выбирали решение и почему для создания кластера выбрали инженерные системы APC?

Технологии и решения инженерной инфраструктуры мы рассматривали единым пакетом от интегратора вместе с гарантийным обслуживанием, проектной документацией и т. д. На конкурсе по совокупности параметров победила компания «Компьютеры Модуль», взявшая за основу APC InfrastuXure.

Решение APC привлекло тем, что оно обеспечивает однородность охлаждения узлов кластера, является модульным и в случае надобности может масштабироваться. Кроме того, основные параметры решения удобно контролировать.

Расскажите о самом кластерном решении и о его инженерных подсистемах.

Сам кластер — это 136 узлов HP DL140 G3 — всю технику для него поставлял Институт системного программирования. В каждом узле по два двуядерных процессора Intel Xeon 5160 (3 ГГц) — всего 544 ядра — и по 4 Гбайт оперативной памяти, что составляет 544 Гбайт распределенной памяти во всей системе. Управляющая сеть — гигабитный Ethernet, вычислительная сеть — на базе Myrinet 2000. Максимальная производительность системы — 4526 Гфлопс. В 2007 году кластер МФТИ вошел в Тop500 высокопроизводительных систем, где занял 415-е место.

Уровень резервирования систем N+1. Мы используем ИБП от APC мощностью 60 кВт. Время автономной работы оборудования — пять минут. Все инженерные системы сделаны с запасом. Сейчас мы потребляем примерно 30—50 кВт, а подведено 100 кВт. Фактически этого хватит на поддержку работы двух кластеров. Если мы будем ставить второй мощный кластер, то к этому оборудованию добавлять придётся совсем немного. Это тоже будет техника APC.

Мы используем двухконтурную систему охлаждения вода — фреон. Водяное охлаждение производится в нескольких местах: первая система рядом с кластером (за стеной), вторая вынесена на десять метров дальше. А вообще и кластер, и системы бесперебойного питания находятся в одном здании.

На всякий случай у нас припасен дизель-генератор, но экологи активно возражают против его применения, поэтому мы его не устанавливаем. Да он и не требуется, по крайней мере до тех пор, пока мы не начали применять кластер для решения коммерческих задач. Есть у нас и система газового тушения на случай пожара. Помещение для большого кластера — бывший машинный зал, где раньше стояла машина БЭСМ-6. Старая ЭВМ — довольно компактная машина, примерно такой же размер имеет и оборудование APC, которое мы приобрели.

Какие интересные технологические особенности решения вы могли бы отметить?

В нашем решении есть несколько «изюминок». Кластер вырабатывает много тепла, его можно вбрасывать в систему отопления зданий института. Летом оно отводится на крышу, где применяется интересный способ охлаждения. Когда температура воздуха становится выше тридцати градусов тепла, на крыше института начинают работать разбрызгиватели — такие же, как в сельском хозяйстве. Водяные капли направляются на вентиляторы — соответственно мы экономим электроэнергию. Причем мониторинг температурного режима производится автоматически, и управление разбрызгивателями — их включение и выключение — осуществляется с компьютера. Вот такая любопытная вещь реализована нашими интеграторами.

В комнате с оборудованием установлена система климат-контроля. С помощью датчиков снимаются показания влажности и температуры воздуха в помещении. Интеграторы написали небольшую программу, позволяющую на основе этих показаний управлять климатом в комнате с помощью обычного промышленного увлажнителя.

Кроме того, во избежание простоя большого кластера, особенно на начальном этапе, в МФТИ примерно за восемь месяцев до его запуска был развернут малый тестовый кластер, по совокупной мощности в пятнадцать раз меньший, но построенный по той же технологии, что и большой. Тестовый кластер смонтирован в виде обычного учебного класса с шестнадцатью компьютерами и выделенным управляющим узлом. Такое решение позволяет нам использовать его как для отладки программ перед их запуском на большом кластере, так и для обучения параллельному программированию.

С какими проблемами вы столкнулись в ходе реализации проекта?

Мы работали с замечательными партнерами — за всё решение в целом отвечала компания «Компьютеры Модуль», за систему обеспечения электропитанием и кондиционирования — компания APC. Партнеры нам очень помогли. Ведь не секрет, что установка и эксплуатация систем, подобных нашей, требует множества согласований с проверяющими органами — милицией, пожарными и пр. В России это архисложно. Например, пожарная инспекция сейчас не дает никаких заключений, подтверждающих возможность эксплуатации высокопроизводительных компьютерных систем. А наш интегратор добился выдачи необходимого документа.

Сложно было с проведением тех же ремонтных работ. Институт — бюджетная организация, поэтому при ремонте любого помещения на нас накладываются жесткие требования по затратам. Однако для оборудования серверной комнаты необходимо специальное прорезиненное, влагонепроницаемое покрытие для стен, фальшпол, навесной потолок. Объяснить проверяющим органам, почему у нас в соседнем помещении ремонт стоит 200 долларов за квадратный метр, а в этой комнате — 400 долларов, весьма сложно. И вот эту сложнейшую задачу по согласованию взял на себя подрядчик.

Вообще специалисты интегратора буквально жили у нас в течение двух лет, пока шел проект. Кстати, возглавлял проект со стороны интегратора наш выпускник — Олег Булыгин. По секрету скажу, что студентов Физтеха кроме всего прочего мы учим работать в различных экстремальных условиях, которые в России не редкость. По­этому они всегда в состоянии найти оригинальное решение любой возникающей проблемы.

С какими сложностями обслуживания вы сталкиваетесь? Проблем с электроснабжением не возникает?

Как я уже сказал, техобслуживание осуществляет интегратор. Оборудование работает четко. Группа технического контроля, созданная из студентов нашего института, проводя мониторинг работы кластера, наблюдает и за техникой APC. Когда приезжают специалисты из APC, ребята трудятся вместе с ними — так они приобретают навыки работы и с этой техникой.

Надо сказать, что в нашем случае с техобслуживанием все в порядке, однако по моим наблюдениям сервисное обслуживание в России является большой проблемой буквально для всего — начиная от бытовой техники и автомобилей и заканчивая промышленными системами. Сервисы даже ведущих мировых компаний в нашей стране не всегда адекватны, скажем, по времени. Зачастую компоненты заказываются из представительств в Европе, а это с учетом всех формальностей приводит как минимум к недельной задержке.

Сегодня мы полностью довольны тем, как работает оборудование APC. Без него наверняка были бы проблемы с электроснабжением. Дело в том, что между городом Долгопрудным и Дмитровским шоссе возводится множество зданий. А на этом участке проложены в том числе и электрокабели к нашему институту. И, как водится, строители сначала всё возводят, а потом переходят к переносу кабелей, причём регулярно перерубают их экскаватором. Поэтому в Долгопрудном часты сбои подачи электроэнергии. Однако на работе нашего кластера мы этих перебоев не ощутили ни разу. Так что выбор оборудования был сделан правильно.