Осенью 2007 года компания «Балтика», занимающая лидирующие позиции по развитию ИT-структуры среди российских предприятий пищевой промышленности, завершила новый проект по запуску двух центров обработки данных (ЦОД), в одном из которых использовано уникальное решение — система водяного охлаждения оборудования. О том, как был реализован этот проект, рассказывают директор по ИТ компании «Балтика» Герман Эпштейн и руководитель отдела развития ИТ-инфраструктуры Илья Тамбовцев.

Intelligent Enterprise: Какова предыстория этого проекта? Почему возникла необходимость в новых ЦОДах?

Герман Эпштейн: В 2005 году было решено консолидировать активы компании BBH в России, т. е. объединить фирмы «Балтика», «Вена», «Пикра» и «Ярпиво». В результате получилась структура, состоящая из десяти предприятий и 26 сбытовых подразделений и складских терминалов с персоналом около 12 тысяч человек, работающая по всей России — от Санкт-Петербурга до Хабаровска. Кроме того, менялись бизнес-процессы и методы работы на рынке, росла потребность в повышении скорости и качества принятия решений, внедрялись новые системы управления различными бизнес-процессами (например, CRM-система), развивались инновационные подходы. Совершенно естественно, что в результате у компании выросли потребности в информационных технологиях, обеспечивающих сбор, обработку и сохранность данных, получаемых со всех регионов России.

Кроме того, процесс консолидации вызвал изменения и в ИТ-стратегии. Прежде всего было принято решение о консолидации всех информационных систем предприятий, вошедших в компанию. До этого на каждом заводе, в каждом сбытовом подразделении работала своя ERP-система, хотя и были предусмотрены методы обмена данными между ними. Но теперь, в новых условиях, бизнес требовал единого информационного поля, ему была необходима новая, единая ERP-система, в которой работали бы все сотрудники компании вне зависимости от географического расположения. Мы изначально остановились на централизованной архитектуре этой системы: информация должна собираться и храниться в одном месте, что существенно увеличивает эффективность и скорость принятия решений, облегчает управление данными и доступ к ним. Специалисты компании «Монолит Инфо» разработали и поставили нам ERP-систему «Монолит» 4.0. Но переход на новую программную платформу потребовал серьезных изменений в ИТ-инфраструктуре. В частности, намного ужесточились требования к обеспечению непрерывности бизнеса и отказоустойчивости, новая система должна была иметь более высокую вычислительную мощность, а также оперировать значительно большими объемами данных. Создание новых ЦОДов должно было удовлетворить все потребности в централизации бизнес-систем высокой надежности, обеспечить сохранность и конфиденциальность информации, получаемой из всех регионов России.

Каковы были требования к ЦОДам с точки зрения отказоустойчивости и обеспечения непрерывности? И в какие решения в области инженерной инфраструктуры они преобразовались?

Герман Эпштейн: Как и для любого другого проекта, мы проанализировали текущую ситуацию, чтобы выделить проблему, сформулировать варианты ее решения в условиях предоставленных возможностей, разработать план действий. Глобальное требование по отказоустойчивости было следующим: при полном прекращении электропитания ЦОД должен функционировать не менее сорока минут. За это время на «Балтике» электроподача будет восстановлена в любом случае (компания имеет собственную электростанцию и городское питание). Реальные потери для бизнеса начинаются, если ИТ-инфраструктура не работает в течение двух часов, — в этом случае их уже нельзя нагнать увеличением отгрузок и подобными методами. Здесь играют роль такие параметры, как пропускная способность склада, железных дорог и т. д. Именно для того, чтобы обеспечить требование функционирования не менее сорока минут при полном отключении электропитания, и была выбрана технология водяного охлаждения.

Но хочу обратить внимание, что важнее всего для нас было обеспечить непрерывность бизнес-процессов, а не подготовиться к масштабным форс-мажорам. Ведь мелкие технические неполадки случаются куда чаще, чем наводнения или пожары. У нас централизованная ИТ-система, поэтому отказ оборудования здесь, в Санкт-Петербурге, означает, что ни на одном заводе не будет отгружена ни одна бутылка пива и не выйдет ни один сопровождающий документ. Одна площадка решает всё. Поэтому главной задачей проекта построения ЦОДов было создание полноценного «зеркала», позволяющего обеспечить работу в режиме 24×7×365. Это требование связано, во-первых, с тем, что в силу территориальной распределенности между нашими предприятиями существует семичасовая разница во времени, а во-вторых, с тем, что склады компании работают круглосуточно. Кроме этого мы должны были обеспечить доступность и нормальную работу приложений при нагрузке в несколько тысяч пользователей (пиковая нагрузка — 5 тысяч).

Для обеспечения этих характеристик было решено сделать два ЦОДа, чтобы гарантировать дополнительную надежность. Хотя логически мы рассматриваем это как единый ЦОД с «зеркалом», центры должны были находиться в разных зданиях. В целях безопасности серверные разнесены друг от друга на 600 метров и размещены в разных корпусах, разделенных дорогой шириной в 150 метров. В частности, это может помочь сохранить работоспособность ИТ-систем при любой проблеме в одном из зданий (пожар, авария сетей и т. д.).

Илья Тамбовцев: Мы решили дублировать компоненты бизнес-систем в разных серверных. Кроме того, из требований к ЦОДам вытекают требования к их инженерной инфраструктуре. Так, готовность инженерной инфраструктуры серверной мы должны были обеспечить на двух уровнях: дублирование компонентов инфраструктуры (1+1) и модульность внутри компонентов (N+1).

Кроме того, следовало обеспечить комплексный мониторинг всех компонентов инженерной инфраструктуры, их обслуживание и ЗИП. Мы встраивали ЦОДы в готовые помещения, строительство отдельных зданий в связи с высокой плотностью использования производственной территории не рассматривалось. Все-таки наш основной бизнес — производство и продажа пива, и нас нельзя сравнивать с ЦОДом банка или телекоммуникационной компании. Это небольшие помещения площадью 30—35 м2. А вот обеспечить резервирование вспомогательных служб (охранно-пожарной сигнализации, пожаротушения, водоснабжения и т. д.) было нужно.

На выходе у обоих ЦОДов должны были быть похожие показатели. Однако мы подошли к их реализации по-разному. Отвод тепла мы организовали на базе разных технических решений, что усложняет проект: одна установка сделана на воздушных кондиционерах, а вторая — на водяном охлаждении. Делать одинаковые решения для основного ЦОДа и для «зеркала» на наш взгляд неверно, тогда одна и та же техническая проблема теоретически может возникнуть в двух местах. Кроме того, при создании ЦОДа с водяным охлаждением мы ушли от «многовендорности». Если ЦОД на воздушном охлаждении создавался как набор решений от разных вендоров, то ЦОД с водяным охлаждением мы спланировали как единое решение на базе APC InfraStruXure.

Герман Эпштейн: Благодаря инерционности тепловых свойств воды технология водяного охлаждения более эффективна, так как при наличии в системе нескольких тонн воды, охлажденной до 16 градусов, даже после отключения электропитания и кондиционирования оборудование не перегреется и останется работоспособным. Между тем при обычной схеме отключение электропитания приведет к тому, что кондиционеры также перестанут работать; в этой ситуации в лучшем случае мы сможем без ущерба свернуть работу оборудования, потому что без кондиционирования оно продержится до перегрева лишь несколько минут. Либо необходимо дублирование ИБП для работы кондиционеров, что весьма накладно.

В целом не могу сказать, что созданные нами ЦОДы относятся к четвертой категории надежности (по градации Uptime Institute), так как, например, у нас не выполнены нормы по фальшполам — у нас их вообще нет, все идет под потолком. Но другие требования соблюдены: скажем, у «Балтики» есть своя резервная электро­станция, и оба ЦОДа имеют два ввода энергопитания — от основного и резервного источника. Сейчас при аварии по питанию автоматика переключается на запасной ввод, и только в случае неудачи включается механизм водяного охлаждения.

Каков запас по масштабируемости решения?

Илья Тамбовцев: Когда формулировались требования к ЦОДам, у нас был прогноз по поводу того, какой объем данных будет обрабатываться. В результате требуемая мощность электропитания составила 60 кВт с соответствующим тепловыделением. Площадь наших серверных позволяла разместить там такое количество шкафов, чтобы мы имели 50%-ный резерв для установки нового оборудования по мере роста ЦОДа. Такой резерв мы посчитали достаточным.

Расскажите, как выбирали подрядчиков для данного проекта. Какой была проектная команда?

Герман Эпштейн: Мы решили «не класть все яйца в одну корзину» и пригласили двух подрядчиков — компанию «Комплит» для проекта «водяной» серверной и «Компьютерные системы “Акрополис”» для реализации ЦОДа с классической системой кондиционирования. Оба подрядчика, на наш взгляд, обладали компетенцией в области инфраструктуры серверных помещений, и оба имели статус системных интеграторов «Балтики». В качестве субподрядчиков проекта по созданию ЦОДа с водяным охлаждением выступили группа компаний «Хоссер» и фирма APC by Schneider Electric.

Илья Тамбовцев: Соответственно были созданы две рабочие группы, по одной для каждого ЦОДа, наполовину состоявшие из специалистов «Балтики» и наполовину — из внешних специалистов. С нашей стороны проект координировал один менеджер по развитию информационной структуры; он же взаимодействовал с ИТ-отделом «Балтики», который отвечает за использование серверных. Кроме того, в выполнении проекта участвовали и другие службы компании: по кондиционированию, электротехническая служба, служба строителей. Исполнители были представлены рабочими группами инженеров с менеджером-руководителем. От «Комплита» было два менеджера и шесть технических специалистов, от APC by Schneider Electric и «Хоссера» — тринадцать инженеров, их руководители и менеджеры. Такое количество работавших над проектом диктовалось сложностью технического решения.

Как осуществлялся проект, сколько времени он длился? И каковы характеристики созданных серверных?

Илья Тамбовцев: Подготовительные работы начались весной 2006 года. Проект по серверной с классическим охлаждением длился восемь месяцев — он стартовал весной, а закончился зимой 2006-го. ЦОД смонтирован по классической схеме — с потолочными промышленными кондиционерами, с резервированием электропитания кондиционеров и оборудования. Кроме того, было предусмотрено отдельное кондиционируемое помещение для ИБП. В серверной разместилась система обеспечения электропитания от APC на 50 кВт.

ЦОД с водяным охлаждением начали создавать с осени 2006 года. Как мы и ожидали, «водяная» серверная оказалась более затратной и сложной, чем помещение со стандартной схемой кондиционирования. Работы шли дольше, один год и три месяца, и только осенью 2007-го подошли к концу. В серверной размещено десять шкафов под оборудование и система электропитания от APC на 60 кВт, которая обеспечивает тридцать минут его работы. В ближайшей перспективе — планы увеличить запас по электропитанию до 80 кВт, что позволит поддерживать работу в течение сорока минут и повысить плотность оборудования в шкафах. Без внешнего питания за счет водяного охлаждения ЦОД может работать сорок минут (это время, за которое температура воды повысится до 24 градусов). Наконец, за счет единого решения от APC by Schneider Electric мы обеспечили комплексный мониторинг всех инженерных систем — ИБП, кондиционеров, чиллеров и т. д.

А в чем именно заключались проблемы и как удалось их решить?

Герман Эпштейн: Несмотря на все преимущества решения на основе водяного охлаждения реализация его оказалась не без проблем, поскольку данный проект был одним из первых в России и опыта по монтажу оборудования и запуску таких систем не было. Его пришлось нарабатывать самим по мере реализации проекта. А вопросы возникали. Например, в нашей ситуации мы имеем контур охлаждения, в котором находится вода. Представим себе, что электропитание отключилось. Да, вода в системе охлаждения холодная, она нагреется не сразу, но она ведь больше не циркулирует — питание насосов отключено! К сожалению, в предложенном нам решении не был предусмотрен дополнительный аварийный насос, который обеспечил бы циркуляцию воды в системе при аварийной ситуации.

Затем встал вопрос, какая вода должна быть в накопительном баке. Схема водяного охлаждения такова: чиллер охлаждает воду, которая затем попадает в бак емкостью в несколько кубометров и уже оттуда идет непосредственно в контур охлаждения. Но есть и другой вариант: из чиллера вода попадает сначала в контур охлаждения, а из него — в бак. То есть в первом случае в бак попадает холодная вода из чиллера, во втором — теплая после контура охлаждения. На первый взгляд логично, чтобы бак был с холодной водой, а не с нагревшейся в результате прохождения всей системы. Тогда в системе при аварии будет большой запас холодной воды. Однако в предложенной нам схеме бак был установлен до чиллера, а не после. Мы долго обсуждали, почему это так, и субподрядчики не могли ответить на наш вопрос.

Потом, когда мы провели испытания, оказалось, что и в этом случае все работает нормально: вода на выходе после контура охлаждения нагревалась не сильно, до +18 градусов, и вполне обеспечивала необходимое нам время работы серверной в аварийном режиме. Зато появилось объяснение: такое расположение бака позволяет сократить реактивность рабочей системы, то есть время ее восстановления в нормальный режим после аварии. Если вода из чиллера сразу поступает в систему, значит, и при восстановлении электропитания сразу начнется подача холодной воды непосредственно в систему. А если перед этим должен наполниться холодной водой бак объемом три кубометра, то понадобится довольно длительное время, пока вода в баке охладится до приемлемой температуры.

Первый проект на Северо-Западе

Игорь Каменский,
руководитель отдела АРС by Schneider Electric по работе с регионами России
На практике накопительные баки устанавливаются как до, так и после систем охлаждения. Главный довод в пользу установки накопительного бака до системы охлаждения — повышение инерционности срабатывания чиллера. А поскольку в этом случае время аварийной работы ЦОД на «Балтике» осталось в проектных нормах, такое решение вполне допустимо.

Надо сказать, что построенный в компании «Балтика» ЦОД отвечает всем современным требованиям — и это результат творческого подхода вполне компетентных в своих областях организаций, которые решились стать первопроходцами. Это был первый проект в северо-западном регионе с использованием водяного охлаждения, и в его ходе на практике отрабатывались нюансы взаимодействия компаний-производителей — APC by Schneider Electric, Stulz и партнеров — «Комплит» и «Хоссер». Теперь сотрудники APC by Schneider Electric, «Комплита», «Хоссера» и «Балтики» в полной мере могут считаться экспертами-практиками в сегменте решений водяного охлаждения ЦОДов.

Илья Тамбовцев: Еще одной проблемой стал вопрос запчастей для этой системы. В процессе совместной работы с подрядчиками, в частности при урегулировании технических вопросов, аналогичных описанному выше, мы выяснили, что дополнительные детали доставляются по нескольку недель. Например, у нас вышел из строя насос. Да, есть второй. Но если сломается и тот? Месяц ждать замену? Для нас это неприемлемо. В итоге мы потребовали от подрядчика договора со включенным SLA о том, что он обязан иметь комплект запчастей по всем важным узлам нашей системы. Сначала мы этот момент упустили, поскольку с таким уникальным оборудованием раньше не сталкивались, а для обычных кондиционеров такая замена — это вопрос даже не дней, а часов. Но фактически в результате этого договора нам пришлось покупать запасные комплекты, что и привело к повышению стоимости проекта.

Сервис напрямую от APC

Игорь Каменский,
руководитель отдела АРС by Schneider Electric по работе с регионами России
После реструктуризации сервисной службы компания APC by Schneider Electric официально обнародовала обновленную сервисную стратегию прямого обслуживания клиентов. Эта стратегия позволяет нам быть ближе к заказчику и максимально сократить время реакции сервисного подразделения АРС. В её рамках в ближайшее время планируется заключить между APC by Schneider Electric и компанией «Балтика» прямой контракт, согласно которому жизненно важные комплекты запчастей для инженерной инфраструктуры ЦОДа «Балтики» будут храниться на территории петербургского офиса APC by Schneider Electric. Наличие склада и расширенный состав сервисной службы в Санкт-Петербурге позволят нам максимально оперативно поддерживать инфрастуктуру ЦОДа на заданном уровне готовности.

Подобные проблемы вы обнаружили на стадии проектирования ЦОДа или уже в процессе его монтажа?

Герман Эпштейн: Мы сталкивались с проблемами не в чертежах, а на этапе приемо-сдаточных испытаний. Дело в том, что без реального тепловыделения в серверной нельзя было окончательно отрегулировать систему охлаждения. Если охлаждать пустое помещение, система просто отключается. Чтобы без оборудования проверить её работу, пришлось создавать соответствующее тепловыделение, и мы для этого воспользовались тепловыми пушками, которыми обычно нагревают, например, складские помещения. Меняли мощность теплового потока и строили поминутный график изменения температуры серверной. Необходимой продолжительности поддержания работы серверной при отключении питания мы добились не сразу.

Нужна ли для системы водяного охлаждения какая-то особая подготовка серверного помещения?

Илья Тамбовцев: Да, мы столк­нулись с немалым объемом такой подготовки. Большая часть была связана с погрузочно-разгрузочными работами. Помещение, которое было выделено под «водяную» серверную, было без собственного потолка, имелся только фальшпотолок и потолок заводского корпуса. Был сделан потолок и проведена проверка фундамента помещения. Пол дополнительно зацементировали из расчета пять тонн на квадратный метр, хотя расчетная нагрузка — всего 800 кг/м2.

Но зато теперь есть запас, и можно установить много дополнительного оборудования. Вес всего оборудования без серверов в помещении ЦОДа — семь тонн. Разводку кабель-каналов мы делали верхнюю, без использования фальшполов.

Был укреплен и второй этаж корпуса, потому что там, хотя и не непосредственно над серверной, стоит бак с водой. Такое его расположение помогает самотоку холодной воды. Часть оборудования системы охлаждения находится внутри серверной — это кондиционеры. А водяные насосы — снаружи, они расположены сбоку серверной. Есть еще и третья часть системы охлаждения, на крыше здания — это контур, куда отводится тепло, сплит-система. Чтобы установить ее, пришлось сделать специальную металлоконструкцию, так как крыша на данном участке не приспособлена для нагрузки в 500 кг — именно столько весит этот блок. Причем мы рассматривали несколько вариантов доставки оборудования туда — краном с длинной стрелой, вертолетом, а в итоге пришли к выводу, что проще всего сделать это «руками».

Вы не пожалели о выборе водяной технологии охлаждения? Как проблемы повлияли на реализацию проекта?

Герман Эпштейн: Нет, сама по себе схема водяного охлаждения кажется нам очень интересной, эффективной и перспективной, и мы нисколько не жалеем о таком выборе. Но все же отечественным инженерам, представителям зарубежных компаний, необходимо более глубоко изучать те решения, которые они внедряют, чтобы не возникало трудностей, аналогичных нашим. Мы хотели просто дать спецификацию того, что нужно получить «на выходе», причём получить это в указанные сроки. А нам пришлось самим активно вмешиваться в процесс реализации проекта.

В результате серьезно сдвинулись сроки ввода серверной в эксплуатацию — вместо сентября фактически это произошло только в декабре прошлого года. То есть к нам уже начинало поступать ИТ-оборудование, предназначенное для ЦОДа, а ставить его было еще некуда. Но в это время у нас уже была готова первая серверная, сделанная в срок, так что мы просто работали без «зеркала».

Как ведётся обслуживание серверных?

Илья Тамбовцев: Со стороны «Балтики» ЦОД обслуживают четыре человека, которые имеют доступ к нему в режиме 24×7. Однако у них нет необходимости посещать ЦОД, достаточно систем мониторинга, с помощью которых дежурный инженер всегда может видеть состояние кондиционеров, серверов. Доступ в серверную для других сотрудников закрыт. Для «Балтики» это стандартная ситуация: коль скоро мы пищевое предприятие, вся наша территория разбита на зоны доступа; сотрудники не имеют права ходить повсюду, это регламентировано. Что касается внешнего сервиса, то поскольку мы используем системы охлаждения и кондиционирования профессионально, имеем много помещений, где поддерживается низкая контролируемая температура, и для нас это «понятный бизнес», значит, и объем договоров на обслуживание такого оборудования у нас большой; при этом есть и свои специалисты по кондиционированию, и хорошая внутренняя экспертиза.

Обслуживание системы водяного охлаждения мы тоже хотим получать в режиме 24×7. Стандартные условия сервиса, предложенные нам, это 8×5, однако сейчас мы ведем переговоры об изменении этой ситуации. Но как на практике будут работать сервисные контракты с поставщиками систем водяного охлаждения, покажет время.

Была ли уже возможность убедиться в работоспособности созданных ЦОДов в нештатных ситуациях?

Илья Тамбовцев: К счастью, масштабных аварий у нас не было. Но был случай, доказывающий, что проблемы всегда возникают неожиданно. Во время грозы в нашу электросеть попала молния. В тот момент работала только одна серверная, с традиционной схемой кондиционирования. В результате резкого кратко­временного скачка напряжения в ИБП APC произошло короткое замыкание, выбило фазу. Плата управления ИБП выключила электропитание на одной из фаз нагрузки, и в результате часть серверов завершила свою работу неправильно. Сейчас мы уже поняли, что нужна дополнительная защита ИБП от молний, что-то вроде предохра­нителя, чтобы отсекать короткие замыкания. И мы дооснащаем силовой блок специальными техническими устройствами, которые должны обеспечивать такую защиту. В серверной с водяным охлаждением технологически уже изначально в ИБП APC было пред­усмотрено отсечение резких скачков напряжения. Хотя справедливости ради надо сказать, что защита от прямого попадания молний в электросистему функцией ИБП не является.

Как вы оцениваете итоги проекта? Какими видите его перспективы?

Герман Эпштейн: Мы рассчитываем, что теперь «Балтика» имеет ЦОД с надежностью «три девятки» — 99,9%. Цели проекта на данный момент достигнуты, дальнейшее развитие выльется в построение на базе созданной инфраструктуры отказо- и катастрофоустойчивых ИТ-решений. Хотя у «Балтики» есть своя электростанция, всё же имеются опасения, что при масштабной аварии ЦОД может не получить электропитания в расчетное время, поэтому мы хотим дополнить систему независимой дизельной установкой.

Сейчас серверная с водяным охлаждением заполнена оборудованием на 50%. Думаю, уже скоро мы заполним ее целиком. При этом меняются и сами технологии, серверные системы уплотняются, растет их производительность. Сейчас мы меняем оборудование трех-четырехлетней давности, в частности переходим на серверные блейд-технологии. Это позволит разместить в ЦОДах больший объем оборудования. Хотя потребует и большего энергопотребления и отвода тепла.

При дальнейшем расширении ЦОДов мы снова планируем воспользоваться технологией водяного охлаждения. На наш взгляд это оптимальная и единственная технология, способная обеспечить ИТ-инфраструктуру, которая должна работать непрерывно и надежно в режиме 24×7. Да, это недешевый вариант, но уровень надежности и отказоустойчивости при этом выше, чем в случае традиционного кондиционирования. Понятно, что первый раз на совершенно новой технологии реализовать решение не просто и трудности неизбежны. Но у нас и у наших интеграторов уже есть опыт, и думаю, в следующий раз нам будет намного легче.