Во Франкфурте-на-Майне находится крупнейший аэропорт Германии. За 2006 год два его терминала обслужили около 54 млн. пассажиров, приняли и отправили более 2 млн. тонн грузов. О загруженности свидетельствует и следующая цифра: за год здесь совершили взлет и посадку порядка 490 тыс. самолетов, то есть получается чуть реже одного лайнера в минуту. И значение ЦОДа для поддержки информационных систем, в том числе и систем управления движением воздушных судов в зоне ответственности аэропорта, переоценить просто невозможно.

В начале 2007-го в аэропорту были завершены работы по созданию нового центра обработки данных (ЦОД). Предыдущий компьютерный центр был построен здесь еще в 70-х годах прошлого века и требовал обновления. Сегодня в ЦОДе аэропорта находится около трехсот физических и трехсот пятидесяти логических серверов: порядка 100 «лезвий» производства IBM, 90 Hewlett-Packard Proliant (работающих под Windows), 69 IBM pSeries (AIX) и 15 Sun (Solaris). Приложения, использующие мощности ЦОДа, поддерживают работу наземных служб аэропорта и диспетчерских систем, грузовые перевозки и внутрикорпоративные коммуникации. Например, в момент снижения самолета информационные системы координируют изображения на мониторах, представляющих пассажирам информацию о рейсах в двух терминалах аэропорта, контролируют доставку багажа и перемещение внутренних пассажирских поездов аэропорта к прибывающим рейсам.

Инженерная инфраструктура ЦОДа

ЦОД Франкфуртского аэропорта построен как здание внутри здания. В кампусе на площади в 1200 м2 установлено 160 серверных стоек и 45 камер наблюдения. Проложено два километра труб, как водопроводных, так и относящихся к системе газового пожаротушения FM200, через которые в случае необходимости выводится из ЦОДа наружу отработанный газ. Системы подачи электроэнергии могут обеспечить работу оборудования с суммарной потребляемой мощностью в 1,2 МВт. Что касается систем охлаждения, то они могут отвести из серверных комнат аэропорта до 1,8 МВт энергии, из которых 0,6 МВт приходится на экстренные системы охлаждения. Заметьте, что в стандартном режиме система охлаждения может отвести из серверных тот же объем тепловой энергии, который поступает с помощью электричества. Считается, что входящая в любой ЦОД электроэнергия практически целиком (более 99%) преобразуется в тепловую. Как правило, только порядка 30% на самом деле расходуется на загрузку вычислительных мощностей центра, а оставшиеся 70% преобразуются в тепловую энергию источниками питания, системами охлаждения и освещения. Прочие затраты, например, на пожаротушение и физическую охрану периметра ЦОДа, незначительны и могут не учитываться. Эффективность такого умозрительного центра невелика. И, разумеется, всегда актуальна задача оптимизации энергопотребления.

За работоспособность ИТ-оборудования отвечает масштабируемое решение APC InfraStruXure, включающее в себя источники бесперебойного питания (ИБП), стандартные серверные стойки, кабели, протянутые под фальшполами серверных комнат, компоненты системы охлаждения, средства мониторинга и управления установленной аппаратурой.

Электропитание в ЦОДе аэропорта организовано по схеме 2(N+1). Стоит кратко пояснить, что именно означает такая схема в практическом плане. Всего схем с подобными обозначениями существует четыре. Просто N — это совершенно неизбыточное электропитание оборудования, при котором потребляемая аппаратурой ЦОДа мощность в точности соответствует возможностям источников питания. Обозначение N+1 дает понять, что при выходе из строя одного из модулей ИБП аппаратный комплекс может продолжить свою работу во время его замены — с использованием резервного, избыточного для нормальных условий модуля. Схема 2N означает двукратное резервирование мощностей ИБП по двум независимым каналам подачи электроэнергии. Грубо говоря, у вас может полностью отказать один из двух контуров, но работа аппаратного комплекса в целом будет продолжена. Наконец, примененная во аэропорту схема 2(N+1) дает понять, что в каждом из двух независимых каналов энергоснабжения реализована N+1, т. е. в любом из них допускается отказ модуля ИБП, который не повлияет на работоспособность канала. При этом в ЦОДе возможна «горячая замена» батарей, модулей ИБП и системы охлаждения без перерыва работы.

Для различных требований к уровню обслуживания оборудования были установлены соответствующие группы стоек. Непритязательная к охлаждению аппаратура размещена в открытом виде, а вот стойки с блейд-серверами для снижения общего энергопотребления расставлены в ряды, формирующие «горячие» и «холодные» коридоры. Благодаря высокой плотности заполнения этих стоек и специальному расположению рядов нагретый воздух «запирается» в «горячих» коридорах (в аэропорту их два, длиной 19 и 23 метра), откуда он попадает в кондиционеры с водяным охлаждением, охлаждается при помощи модуля, содержащего холодную воду, и возвращается обратно в серверную.

Создателем и оператором нового ЦОДа стала компания gedas os: в образованном совместном предприятии числится 355 сотрудников. Строительные работы длились с октября 2005-го по июль 2006-го, а последующая прокладка кабелей, установка серверных стоек и кондиционеров заняла два месяца.

Надо сказать, что через два месяца после запуска ЦОД достиг уровня загрузки в 20% от максимально возможного. Пока что специалистам аэропорта удается использовать только кондиционирующие модули в двух коридорах с открытыми стойками, держа модули в коридорах с блейд-серверами в режиме ожидания и экономя электроэнергию.

Доступ к непубличным помещениям ЦОДа контролируется системой видеонаблюдения и даже для счастливых владельцев местных электронных карт ограничен функциональной ролью сотрудника: не любой откроет двери своим ключом, а проход в особо защищенные зоны центра обработки данных возможен только после биометрической аутентификации.

Планы на будущее

Сейчас для обеспечения функционирования ста шестидесяти программных приложений аэропорта, из которых к критичным отнесены двадцать, требуется только около четверти площадей двух серверных комнат ЦОДа. Остающееся место планируется использовать при расширении потребностей аэропрорта в информационных системах, а также для предоставления услуг внешним не столь крупным заказчикам.

Если верить подсчетам специалистов gedas os, то за первый год использования ЦОДа Франкфуртский аэропорт на 10% сократил затраты на обеспечение функционирования информационных систем, составляющие порядка 30 млн. евро в год. Далее должны появиться первые внешние заказчики на использование мощностей ЦОДа. В самом аэропорту на расширение ИТ-инфраструктуры и дополнительную загрузку ЦОДа наверняка повлияют планы по строительству новых взлетно-посадочных полос, третьего пассажирского терминала и соответствующих служб.