В настоящее время часто говорят о самом настоящем буме в области высокопроизводительных вычислений, в том числе и в России. Причем в авангарде строительства суперкомпьютеров идут вузы, лишним примером чему является вычислительный кластер, запущенный в Уфимском государственном авиационном техническом университете (УГАТУ) 22 декабря 2007 года.
В авиастроении высокопроизводительные вычисления используются очень широко, и специалисты, работающие в данной сфере, должны этими средствами владеть. «Использование суперкомпьютера повысит качество преподавания целого ряда дисциплин, связанных с математическим моделированием и параллельным программированием, позволит создавать модели процессов, которые физически не могут быть воспроизведены в лабораторных условиях. Мы сможем моделировать параметры систем в их пограничных состояниях, будь то крайне высокие температуры и давление в гидро- и газодинамике или предельные напряжения в материалах при деформациях», -- так ректор УГАТУ Мурат Гузаиров обозначил круг задач, для решения которых предназначен суперкомпьютер. Их очень часто приходится решать при проектировании летательных аппаратов и их силовых установок. В результате, как показывает мировой опыт, использование высокопроизводительных вычислений сокращает затраты времени на проектирование авиадвигателей как минимум втрое. Далеко не случайно, что УГАТУ одним из первых среди российских вузов начал готовить специалистов в области параллельных вычислений и накопил немалый опыт. Кластер, запущенный в 2007 году, является пятым по счету. Первый же был запущен еще в 2000 году.
Средства на создание нового суперкомпьютера были получены из федерального бюджета после победы в конкурсе инновационных проектов вузов, который проводился в рамках национального проекта «Образование». Подрядчик был выбран в результате тендера, итоги которого были подведены в августе 2007 г. Победителем была признана компания «АйТи», предложившая решение на базе оборудования IBM. Общие затраты составили около 130 млн. руб. Основу суперкомпьютера УГАТУ составляет 266 серверов-лезвий IBM на базе процессоров Intel Xeon 5345.
Расчетная пиковая производительность такой системы составляет 20 ТФЛОП, реальная производительность на тесте Linpack ожидалась не менее 15 Тфлопс, но получилась даже больше — 15,45 Тфлопс, что составляет 77,25% от расчетной (нормальным и стандартным для суперкомпьютинга считается результат в 75%). Объединение лезвий выполнено с помощью технологии Infiniband на базе коммутатора Cisco с неблокируемой коммутационной матрицей. Интересно отметить, что это было первым в России использованием подобного решения.
Кластер УГАТУ работает под управлением Red Hat Enterprise Linux 4. Также применяется специализированное ПО управления кластерными системами IBM Cluster Systems Management, IBM Tivoli Workload Scheduler, система обеспечения информационной безопасности Tivoli Access Manager for Enterprise Single Sign-On (TAM SSO), а также средства мониторинга и управления энергопотреблением IBM Power Executive. Программное обеспечение IBM УГАТУ получил бесплатно как участник программы IBM Academic Initiative.
Использование blade-технологий позволило существенно уменьшить габариты, массу и энергопотребление суперкомпьютера. Он занимает всего 6 стоек, где размещены не только шасси с серверами-лезвиями, но и управляющие узлы кластера и сеть хранения данных. Реальная потребляемая мощность всей установки составляет порядка 105 кВт. Управляющие узлы кластера, сеть хранения данных, все узлы системы охлаждения и система электропитания полностью резервированы, при этом компоненты могут быть заменены в процессе работы.
Для отвода тепла от оборудования применена модульная воздушно-водяная система RittalLCP. Контролируются параметры окружающей среды, утечки жидкости из системы охлаждения, открытие и закрытие серверных шкафов, задымления. О критических изменениях всех параметров администраторы сразу же получают уведомление по электронной почте и в виде SMS от системы мониторинга Rittal CMC-TC.
Большая часть времени потребовалась именно на переоборудование помещений для установки суперкомпьютера. Для размещения кластера, системы бесперебойного питания и климатической системы общим весом более 10 тонн (без учета охлаждающей жидкости) потребовалось усиление стен и межэтажных перекрытий. Также был произведен демонтаж инженерных коммуникаций (водопровода, канализации, отопления), обеспечено резервное электропитание с двух разных электроподстанций. Довольно много времени (больше месяца) заняла установка и настройка системы охлаждения. На этом фоне затраты времени на монтаж самой вычислительной системы были малы.
Параллельно с созданием кластера АйТи организовала масштабную программу дополнительной подготовки профессорско-преподавательского состава УГАТУ. Академия АйТи провела 559 человеко-курсов, реализовав 82 учебные программы, в том числе в области управления ИТ-проектами, информационной безопасности, ПО и аппаратного обеспечения.
Помимо задач, связанных с учебным процессом, на данном суперкомпьютере изначально предполагалось проводить расчеты для сторонних заказчиков. Самыми крупными из них являются Уфимское моторостроительное производственное объединение (УМПО) -- головное предприятие УГАТУ, а также компания Роснефть. Вместе с тем, проект не является коммерческим и задача окупить затраты никогда не ставилась.
