Для обеспечения бесперебойной работы серверного оборудования в фармацевтическом холдинге "Аконит" была проведена реконструкция серверной комнаты и установка системы APC InfraStruXure. "Главное - не в экономии электроэнергии и тем более не в красивом внешнем виде оборудования, а в том, что риски бизнеса значительно снижены", -- утверждает ИТ-директор "Аконита" Максим Белоусов.
Небезопасная
серверная
До внедрения интегрированного решения APC InfraStruXure в фармацевтическом холдинге "Аконит" сбои в энергоснабжении с печальными последствиями для ИТ-оборудования случались до шести раз в год. Офис "Аконита" находится в бизнес-центре. Арендуя это помещение, холдинг фактически вынужден пользоваться теми коммунальными услугами, что предоставляет арендодатель. Это касается и электропитания, которое было далеко от идеального - наблюдались скачки напряжения, а иногда и временное отключение электричества.
Поскольку на серверах компании хранится довольно большой объем информации, в прошлом году было решено проанализировать состояние инфраструктуры и определить риски, связанные с проблемами электроснабжения. Как показали расчеты, один час простоя центра дистрибуции "Аконита" стоит более 300 тысяч рублей. Эта сумма складывается из нескольких показателей, в том числе и отказов клиентов от заказа, если отгрузка произошла не вовремя. В ту же сумму обходится и простой склада. Причем речь идет о первом часе простоя - если же ситуация затягивается и информационные ресурсы недоступны несколько часов, то компания начинает терять по миллиону рублей оборота каждый час. При этом для отключения серверов порой было достаточно простого скачка напряжения.
Поскольку повлиять на подачу электричества ИТ-подразделение "Аконита" все равно не имело возможности, единственным способом улучшить ситуацию было обезопасить оборудование с помощью мощного ИБП. Но и это не решало всех проблем. "После анализа состояния нашей серверной мы пришли к выводу, что она у нас небезопасная, -- рассказывает Максим Белоусов. - Помимо перебоев в энергоснабжении у нас не было нормального кондиционирования, и серверы часто перегревались. Сама же по себе комната представляла собой сплошной комок проводов. А уж об отказоустойчивости оборудования в серверной и не приходилось говорить".
Оценка потребностей
Летом 2005 года было решено начать проект разработки и реорганизации помещения
для серверного центра.
В "Аконите" остановились на решении APC InfraStruXure. "Мы выбирали
не столько оборудование, сколько технологии APC, позволяющие построить безопасную,
надежную отказоустойчивую систему", -- говорит Максим Белоусов. Далее было
сформировано технико-коммерческое предложение, в котором определялось, что "Акониту"
требуются система гарантированного электропитания, пассивное оборудование APC
(шкафы), различные дополнительные кабели и каналы. Подрядчиком была выбрана
компания "Тринити", которая на рынке системных интеграторов является
одним из лидеров в области построения серверных комнат. "Аконит" уже
давно с ней сотрудничает, и специалисты "Тринити" хорошо знакомы с
проблематикой серверного и сетевого оборудования в холдинге.
Проект должен был осуществляться с учетом возможного масштабирования и роста если не количества серверов, то как минимум нагрузки на них. При этом работа серверной, несмотря на реконструкцию, не должна была прерываться. Поэтому весь проект был разбит на несколько этапов.
Как отдельный проект проходило обеспечение внутреннего электроснабжения -- в его рамках были построены схема подачи электропитания по щитам, план распределительных сетей на этаже, схема расположения оборудования и кабельных трасс. Первоначально предполагалось, что суммарное энергопотребление будет складываться из потребностей ИБП Symmetra, систем вентиляции и технологического наблюдения, а также ИТ-техники. Сначала ИТ-специалисты "Аконита" попробовали рассчитать суммарную мощность самостоятельно, просто сложив паспортные мощности оборудования. Получилось больше 40 кВт. В старом здании, где располагается компания, такую мощность тока подать сложно, это требовало бы другого распределения электрических кабелей. Однако помогло то, что "Аконит" находится на территории крупного промышленного предприятия, и компании удалось договориться о подаче электропитания мощностью 37 кВт. В свою очередь, специалисты APC, получив информацию обо всем оборудовании серверной, также провели соответствующие расчеты, показавшие, что для работы серверной потребуется намного меньшая мощность. Кроме того, была просчитана пусковая мощность, необходимая для начала работы системы, и бытовая, требуемая для работы в обычном режиме.
Также был проведен расчет системы кондиционирования серверной. Теплообмен внутри комнаты должен был учитывать теплоотдачу шкафов с серверами и шкафа с оборудованием APC. Однако если теплоотдача шкафа Symmetra понятна, поскольку эта характеристика прописана в паспорте оборудования, то рассчитать аналогичные показатели по отдельным серверам было намного сложнее. При этом была учтена и солнечная радиация, хотя в серверной установлены специальные защитные стеклопакеты, а сами шкафы с оборудованием стоят боком к окну, что сводит к минимуму влияние солнечных лучей. В итоге теплоотдача по расчетам должна была составить 10 кВт. Было решено поставить в помещении промышленный кондиционер мощностью 17 кВт, а на случай его отказа -- теще один, резервный.
Проектирование
Проектирование расположения оборудования в серверной заняло около месяца. В помещении площадью в 8 кв. м должны были разместиться три шкафа. Термостаты установили у задней стенки шкафов, где нагрев воздуха максимален. Изначально было два проекта по обеспечению притока холодного воздуха. Первый предполагал обдув холодным воздухом из-под фальшпола. Однако выяснилось, что при таком способе верхние этажи шкафов кондиционируются недостаточно. Поэтому было решено пустить потоки холодного воздуха по низу серверной, а на потолке установить мощную вытяжку, что обеспечивает полную циркуляцию холодного воздуха. Охлаждение серверной до 19 градусов занимает, таким образом, пять-шесть минут. Была обеспечена изоляция кондиционеров, чтобы избежать скопления конденсата, увеличивающего уровень влажности в серверной. Поскольку "Аконит" располагается на последнем этаже офисного центра, прежде чем начать работы был проведен осмотр чердака и его проверка на тепло-, воздухо-, пыле- и влагонепроницаемость. В целом положение серверной с самого начала было благоприятным - она оказалась удалена от коммуникаций, представляющих потенциальную опасность.
Поскольку компания "Аконит" является арендатором помещений, разработанные технические проекты необходимо было согласовать с арендодателем. Проектная группа ИТ-службы и компания "Тринити" подготовили документы согласно всем принятым правилам и нормам. В результате согласование прошло без каких-либо сложностей, а сами документы, по словам ИТ-директора "Аконит", вызвали восхищениеу специалистов инженерной службы арендодателя.
Ход работ
Собственно работы по переоборудованию заняли около месяца. "Переезд" серверной был тщательно спланирован заранее, отрепетировано, какие специалисты, что и в какой последовательности должны делать во время перемещения оборудования. Сначала за выходные силами четырех сотрудников ИТ-отдела во временное помещение было перенесено все серверное оборудование -- порядка двадцати серверов с общим объемом информации около двух терабайтов. После "переезда" началась подготовка помещения к реконструкции в соответствии с существующими стандартами. Особое внимание было уделено обеспечению пожарной безопасности.
После установки кондиционеров и оборудования APC в течение недели серверная функционировала в тестовом режиме -- кондиционеры работали в пустом помещении. Только после этого был проведен обратный "переезд" оборудования в обновленную серверную. Кроме новых шкафов и ИБП были модифицированы системы подключения серверов, а также заменено некоторое сетевое оборудование. Таким образом была достигнута бесперебойность работы, при которой в случае отказа одних установок автоматически подключаются другие.
Компания АPC предъявляет весьма высокие требования к эксплуатации своего оборудования,
в связи с чем сотрудники "Аконита" прошли необходимое обучение. Сервисное
сопровождение оборудования осуществляют специалисты APC. С учетом того, что
оно находится в арендуемом помещении, нужно было со спецификой его работы ознакомить
и электромонтеров арендодателя.
Сложности в ходе проекта были связаны главным образом с обслуживанием системы.
Если свои сотрудники просто допускали ошибки, то специалистов APC Максим Белоусов
упрекает в недостаточно быстром реагировании на проблемы заказчика: "Признавая
исключительное качество решений этой компании, я тем не менее считаю, что в
области сервиса здесь есть над чем работать". При этом альтернативы решению
APC, по его мнению, все равно не существует - хотя аналогичные ИБП и выпускают
другие производители, в том числе и отечественные, никто из них не предлагает
вместе со своим оборудованием еще и консалтинг, расчет характеристик помещения,
где оно будет установлено.
Итоги и перспективы
Говоря об итогах проекта, ИТ-директор "Аконита" напоминает о том, что управление энергосбережением и качественное распределение электропитания в серверной позволяет ИТ-отделу меньше заниматься техническими вопросами, освобождая время для решения задач бизнеса. Кроме того, серверные комнаты часто представляют собой хаос оборудования и проводов, а с использованием InfraStruXure появляется возможность все оборудование видеть как на ладони. "Но главное - не в экономии электроэнергии или красивом внешнем виде оборудования, а в том, что нам удалось значительно снизить риски бизнеса", -- говорит Максим Белоусов.
Проект был завершен в октябре 2005 года, но сейчас серверную снова ждут изменения - планируется установка хранилища данных HP StorageWorks Eva 4000. В результате окажется заполненным резервное место в шкафах, однако серверная спланирована таким образом, что при необходимости в ней можно установить еще один шкаф.
Как показала практика, после отключения электропитания системы APC позволяют работать в течение часа. Однако, по словам Максима Белоусова, это недостаточный резерв. Конечно, формально при сбое в электросети Symmetra должна обеспечивать лишь корректное отключение оборудования всех пользователей. Но у "Аконита" есть удаленные территории, склады, которые в такой ситуации могут продолжать работу, а значит, им нужна будет дееспособная серверная. "В идеале нам хотелось бы иметь ИБП, обеспечивающий четыре часа, то есть половину рабочего дня автономного питания. Это то время, за которое можно восстановить подачу электроэнергии и справиться с аварией", - пояснил Максим Белоусов. Поэтому в "Аконите" рассматривают вариант приобретения в качестве системы автономного питания небольшой собственной электростанции.
