Руслан Заединов,
руководитель направления центров обработки данных
компании «Крок»
Центры обработки данных (ЦОД) чаще всего создаются для поддержки «тяжелых»
приложений, которые играют критически важную роль в бизнесе предприятия; поэтому
при их проектировании особое значение придается надежности всего оборудования.
Это относится и к инженерной инфраструктуре, поддерживающей ЦОД, — системам
электропитания, кондиционирования и вентиляции, пожарной и общей безопасности.
Принимая
решение о строительстве ЦОД, руководители предприятий прежде всего думают о
тех прикладных задачах, для которых развертывается «тяжелое» ПО, требующее,
в свою очередь, мощных серверов и емких систем хранения данных. Задачи и решения
у каждой компании свои: торговые сети и производственные объединения, как правило,
создают ЦОД для систем автоматизированного управления (ERP), банки — для специализированных
банковских систем (АБС), операторы связи — для биллинга или работы с клиентами
(CRM), а государственные ведомства — для ввода и обработки больших объемов бумажной
документации (при проведении выборов, всякого рода переписей, приеме налоговых
деклараций и т. п.). Но как ни разнообразны эти приложения, у них есть общие
черты. Все они поддерживают критически важные рабочие процессы, и их остановка
(по любой причине) грозит тем, что основная деятельность предприятия или организации
может в значительной степени, а то и полностью оказаться парализованной. Таким
образом, для них необходимы ЦОД высокой готовности.
«Высокая готовность» предполагает, во-первых, грамотный расчет мощности — необходимо, чтобы аппаратная платформа соответствовала нагрузке, которую создадут приложения. Процедура выявления этого соответствия не имеет хорошего русского названия: чаще всего ее именуют «сайзингом» или «бенчмаркингом», — по сути же это подбор конфигурации оборудования под уровень нагрузки. Во-вторых, ЦОД должен обладать избыточностью, которая достигается за счет дублирования важнейших компонентов оборудования. Определенная избыточность заложена непосредственно в конструкцию серверов, дисковых массивов, коммутаторов и другой аппаратуры, а дополнительно в ЦОД устанавливаются резервные серверы, кластерные решения и т. д. Существует и такая практика, как создание полностью оборудованных резервных ЦОД на другой территории, чтобы можно было продолжить работу, даже если основной центр выйдет из строя — например, из-за аварии коммунальных систем или стихийного бедствия.
Наконец, в-третьих, чтобы вычислительная техника могла обеспечивать непрерывную работу приложений, ей, в свою очередь, необходимы поддерживающие инженерные системы — увы, важность их правильной реализации часто недооценивают. Оборудование ЦОД характеризуется высоким энергопотреблением, а значит, следует позаботиться о его электропитании. С другой стороны, его механический КПД близок к нулю, т. е. почти всю потребленную электроэнергию оно излучает в виде тепла, и это тепло нужно отводить. Таковы две главные задачи, которые решает инженерная инфраструктура, и к ним автоматически добавляется третья — выполнение серьезных стандартных требований по обеспечению безопасности. Рассмотрим их по порядку.
Электропитание
Будущие владельцы ЦОД часто не проводят предварительный расчет потребной им мощности до проектирования, и это, конечно, ошибка. Типичному комплекту оборудования ЦОД класса hi-end необходимо около 100 кВт, и далеко не во всяком здании подобная цифра вписывается в разрешенное энергопотребление. Мы в «Кроке» сами столкнулись с этой проблемой, хотя въехали в нынешнее здание центрального офиса не так давно, в конце 2003 года. Стремительное развитие компании привело к тому, что на каком-то этапе при необходимости развертывания и демонстрации «тяжелого» стенда приходилось тщательно просчитывать, сколько энергии он потребит, и придумывать, как ее изыскать. Сейчас мы решили проблему весьма радикальным образом — открыли вторую лабораторию в другом здании, где резерв мощности достаточен. Это стало хорошим выходом для нас самих, но ведь такая возможность есть не у всех.
Очевидно, следует заранее проверить возможности помещения, чтобы понять, есть ли вероятность возникновения такой проблемы. Если да, то можно, во-первых, попробовать договориться с энергосбытовой организацией о дополнительном вводе питания. Это связано с довольно долгой бюрократической процедурой, но главная сложность не в ней, а в том, что у энергетиков часто физически нет нужных резервов мощности. Такая ситуация встречается и в Москве, и в других городах, крупных и мелких: существующие электросети построены давно, развиваются медленно, рынок электроэнергии сложился и в значительной мере насыщен, так что свободных ресурсов на нем мало.
Другой вариант — развернуть ЦОД на удаленной площадке, связав ее с основным офисом широкополосным коммуникационным каналом (если у компании несколько офисов, каналы так или иначе понадобятся). Речь не обязательно идёт об аренде здания (как было в нашем случае) — можно арендовать у внешнего провайдера место в подготовленном помещении, где развернута необходимая инженерная инфраструктура. Рынок соответствующих услуг (они обычно называются английским словом collocation — «размещение») в России уже довольно обширен и продолжает развиваться. (Параллельно существует и рынок аутсорсинга вычислительных ресурсов, но возможность арендовать их у провайдера без приобретения своего оборудования рассматривать не стоит: в случае серьезных запросов это невыгодно, а часто и вообще невозможно. Мощностей отечественных аутсорсинговых ЦОД достаточно для Web-, почтовых или файловых серверов, ещё, может быть, для несложного документооборота, но не для приложений масштаба ERP-системы большого завода или торговой сети.)
Наконец, можно построить собственную газовую электростанцию, способную постоянно обеспечивать объект электричеством, а также теплом и холодом, — крупным промышленным предприятиям это нередко проще, чем добиться дополнительных мощностей от энергосбытовой компании: подключение к газовой магистрали, в отличие от электрической, проблемой не является. Для станции потребуется возвести отдельное здание, получить ряд разрешений (прежде всего от органов экологического контроля и технического надзора), а проект обойдется в несколько миллионов долларов. Но станция окупится за несколько лет, эксплуатация ее проста (вся аппаратура автоматизирована, нужен лишь дежурный, который будет следить за показаниями приборов), а в результате компания получит полный контроль над собственным энергоснабжением и дешевое электричество. Она может вообще отказаться от покупки электроэнергии или даже, наоборот, продавать ее на рынке.
Для нужд поддержки ЦОД часто приобретаются и дизельные электростанции, которые в 4—5 раз дешевле и размещаются в помещениях или во всепогодном контейнере (обычно его ставят неподалеку от здания), но имеют и меньшую мощность. Их цель обычно — обеспечить резервное электроснабжение на срок от 30 минут до 10 суток. Дизель запускают при длительной аварии электросети, чтобы в этой ситуации обеспечить работу ЦОД.
Охлаждение
Повторюсь: ЦОД потребляет около 100 кВт и почти столько же энергии излучает в виде тепла в пространство аппаратной (серверной) комнаты. Соответственно тепло оттуда необходимо отводить. Это непростая задача, для решения которой строятся специальные инженерные системы, совсем не похожие на привычные нам бытовые кондиционеры: те в основном предназначены для отвода переизлученного тепла (от поверхностей, нагревшихся на солнце, которое светит через окно), в то время как в ЦОД такой вид излучения составляет незначительную долю всей энергии (аппаратные стараются оборудовать в помещениях без окон, в них не проводят отопление и т. д.). Благодаря тому, что количество предназначенной для отвода теплоты поддается оценке, можно довольно точно рассчитать и энергопотребление кондиционеров, которое, разумеется, должно быть приплюсовано к общей мощности, необходимой ЦОД. При использовании хорошего промышленного оборудования оно должно составить не более трети от потребностей вычислительной техники.
Кондиционер для ЦОД должен контролировать как температуру, так и влажность, причем очень точно. Когда говорят о контроле влажности, довольно часто имеют в виду, что воздух должен быть достаточно сухим. Но пересушивать его в условиях ЦОД тоже нельзя, поскольку при этом накапливаются статические заряды и появляется опасность пробоев. Таким образом, важны оба порога влажности — и верхний, и нижний.
Еще один важный параметр кондиционера — это способность работать как при очень высоких, так и при очень низких температурах наружного воздуха. Кондиционер сконструирован так, что при снижении температуры наружного воздуха его холодопроизводительность уменьшается (он начинает менее эффективно отводить тепло), и в сильный мороз ему так же сложно выдержать температурный режим, как и в жару. В России есть местности с резко континентальным климатом, где колебания температуры от –40 °C и ниже до +40 °C и выше вполне нормальны, а в зоне умеренного климата это хотя и редкое, но отнюдь не невозможное явление, как показала прошедшая зима: в январе — феврале повышение температуры в серверных отмечали очень многие наши заказчики, в том числе и те, у которых стояли хорошие промышленные кондиционеры. В проект для Ханты-Мансийского банка мы сразу заложили диапазон наружных температур –45...+45 °C, но и предприятиям, расположенным в средней полосе, рекомендуется выбирать кондиционеры с большим диапазоном.
С кондиционированием связан и такой параметр ЦОД, как объем помещения. Чем больше тепловой энергии на единицу объема нужно отвести, тем энергичнее должна быть циркуляция воздуха. И если мы не хотим, чтобы при входе в серверную нас сбивал с ног ураганный ветер, следует ограничиться примерно величиной в 300 Вт на кубометр. Таким образом, площадь серверной при трехметровых потолках и энергопотреблении 100 кВт должна быть больше 100 кв. м. Понятно, что далеко не всегда заказчику легко найти помещение такого размера.
Если просторной комнаты нет, проектируется дополнительное охлаждение — специалистам известна масса разнообразных ухищрений, с помощью которых можно организовать более интенсивный отвод тепла: здесь и направленные воздуховоды, и специальные фальшпотолки, и особые методы размещения основного оборудования. Очень эффективны системы, позволяющие снизить нагрузку на кондиционеры с помощью водяного охлаждения стоек, — их сейчас выпускают все основные производители аппаратуры. Недостаток подобных решений, во-первых, в дороговизне и сложности (необходимо спроектировать и смонтировать под фальшполом специальный водопровод), а во-вторых, в том, что подключенные к системе стойки оказываются намертво «прикованными» к выбранному месту — сдвинуть их невозможно. Кроме того, необходимо как-то распорядиться отработанной водой (учитывая, что подавать ее, например, непосредственно в систему горячего водоснабжения нельзя из-за слишком высокой температуры).
Безопасность
Ни один промышленный объект не может быть сдан в эксплуатацию без разрешения органов пожарной инспекции, и ЦОД с его огромным тепловыделением, конечно, не исключение. В ЦОД устанавливаются системы газового пожаротушения, на разработку и построение которых существуют жесткие нормативы, обязательные для соблюдения. Поэтому проектирование таких систем — довольно простая инженерная задача: все решения уже известны, отклоняться от них не разрешается, да и не нужно. Применяются стандартные пожарные станции (контроллеры, управляющие процессом тушения огня), датчики температуры и задымленности, на основе показаний которых контроллер принимает решение о пуске газа, и баллоны. Стандарт регулирует и состав газа: для использования разрешены только вещества, сертифицированные как безвредные для людей, — т. е. они, естественно, непригодны для дыхания, но и не ядовиты.
И все же есть два обстоятельства, о которых при проектировании иногда забывают. Первое — это избыточное давление. Современные средства пожаротушения действуют по принципу либо вытеснения, либо связывания кислорода воздуха (возможен также комбинированный подход). Если используется вытеснение (а во многих случаях и при связывании), то после того, как пожар потушен, в помещении создается избыточное давление, и из него необходимо откачать газ. При попытке войти в серверную прежде, чем это будет сделано, человека, открывшего дверь, отбросит огромной силы воздушная волна — известны несчастные случаи такого рода. Следовательно, на этапе проектирования помещения необходимо позаботиться о том, чтобы его дверь открывалась вовнутрь, и предусмотреть перепускные клапаны для стравливания избыточного газа — обычно их выводят прямо на улицу. Надо, чтобы клапан можно было включить извне, а еще лучше, если он срабатывал бы автоматически в тот момент, когда датчики покажут, что возгорание ликвидировано.
Второе обстоятельство — аварийная остановка оборудования. При отключении электроэнергии
ее обеспечивают обязательно имеющиеся в ЦОД и предназначенные именно для этой
цели источники бесперебойного питания (ИБП), которые снабжены встроенными механизмами
оповещения, интегрированными, в свою очередь, с системами управления ИТ-инфраструктурой
и её мониторинга. Если электропитание пропадает, все серверы, дисковые массивы
и прочие устройства автоматически выключаются в соответствии со стандартной
процедурой (ИБП обеспечивает подачу электричества на время, необходимое для
корректного завершения всех процессов), а вслед за ними — и кондиционеры (серверы
не перегреются, поскольку они остановлены). Сходная интеграция обычно реализуется
и для промышленных кондиционеров (во все современные модели встроены соответствующие
контроллеры), а вот для систем пожаротушения чаще всего отсутствует — они, как
правило, бывают полностью автономными. Если сработал датчик, его сигнал улавливает
пожарная станция, включает оповещение, приказывающее людям покинуть помещение,
а затем происходит пуск газа. Однако здравый смысл подсказывает, что при пожаре
серверы и кондиционеры должны быть остановлены, — ведь их работа, хотя бы из-за
вентиляторов, способствует распространению огня, — и значит, контроль пожарной
безопасности должен точно так же интегрироваться с управлением ИТ-инфраструктурой
предприятия, как в случае ИБП и кондиционеров. Схема выглядит следующим образом:
система мониторинга получает с пожарной станции сигнал и «тушит» (в переносном
смысле) сначала вычислительную технику, затем кондиционеры и, наконец, ИБП.
Только после этого происходит пуск газа.
Помимо пожарной безопасности существует и такая задача, как контроль доступа
в помещение посторонних лиц. Она обычно решается для здания в целом, и системный
интегратор, приглашенный для строительства ЦОД, этими вопросами не занимается:
заказчик просто устанавливает в помещении предусмотренные совершенно другим
проектом (или проектами) сигнализацию и видеонаблюдение, а также определяет
для него регламент обхода (видеонаблюдение этого не отменяет).
Как правило, регламент не предусматривает доступа службы охраны в помещение ЦОД — она только проверяет целостность дверей и осматривает окна, если они есть. Вообще желательно, чтобы люди (даже персонал, непосредственно обслуживающий технику) заходили в серверную комнату как можно реже, чтобы не нарушать терморежим. Но с другой стороны, время от времени это все-таки необходимо, и не только по соображениям охраны от посторонних. Дело в том, что под аппаратные часто переоборудуются помещения офисной зоны, в которых раньше работали люди. В таких комнатах остаются стояки отопления и нередко водопровода: нет гарантии, что их не прорвет и ЦОД не будет залит. И даже если все трубы непосредственно в ЦОД срезать, останутся помещения выше этажом и т. п., которые продолжают работать как офисные. Так что если охранник всё-таки заходит в серверную, он дополнительно проверяет, все ли в ней в порядке с точки зрения бытовых аварий.
Пределом мечтаний в области защиты является комната ИТ-безопасности Lampertz — полностью изолированное помещение с герметичной дверью, которое устанавливается внутри серверной, так сказать, комната в комнате. В ней устанавливается всё оборудование вместе с ИБП и кондиционерами, а вводы кабелей и труб замазываются специальной мастикой. В России уже есть компании, заказывающие такие решения, — в частности, в комнате Lampertz будет размещен новый ЦОД Банка Москвы.
