Дата-центр «Мостелекома» начали создавать около четырех лет назад. «Мостелеком» планировал выход на рынок Triple Play и предоставление новых услуг, что подразумевало высокий уровень надежности. Поэтому инженерным системам ЦОДа уделялось самое серьезное внимание. В прошлом году строительство центра было завершено. Он полностью готов, но работал весь год в тестовом режиме. За этот период накопился опыт, которым и поделился с нами Георгий Цихисели, начальник центра эксплуатации сети ОАО «Мостелеком».

Intelligent Enterprise: Каков статус вашего ЦОДа сейчас? Каковы ваши впечатления от годичной эксплуатации его инженерных систем?

Георгий Цихисели: Из-за кризиса планировавшееся развитие дата-центра заморожено. Пока планы дальнейшего развертывания перенесены на 2010 год. Мы не можем загрузить этот ЦОД другими приложениями, так как сначала обязаны сдать его Гостехнадзору и поставить на учет, как положено. Мы довели до ума эту систему, она работает в тестовом режиме. Нагрузка там есть, он реально потребляет свои 100 с лишним киловатт. Так как на базе этого ЦОДа планируется развернуть вещание на более чем 3 млн домохозяйств, то надежности придавалось большое значение. Эти вложения в инфраструктуру — смешные по сравнению с вложениями, которые делаются в контент.

Тестовая эксплуатация продолжается уже год. Зиму мы пережили спокойно и без проблем. Основное впечатление — это очень интеллектуально мощная система, в смысле — система продуманная. Считал с самого начала и по‑прежнему уверен: переплата за единый бренд себя оправдывает.

Важнейшее преимущество, за которое мы платили, — сквозной бренд на все инженерное оборудование ЦОДа, от вентиляции до электропитания. И я продолжаю считать, что это было оправданным и эффективным. Мы уже в этом ЦОДе чего только не проделывали: одно оборудование убирали, другое ставили, но ни разу не отвлекались на охлаждение или электропитание, надежность этого питания и другие проблемы такого типа. Он настолько гибок!

Такой гибкости можно достигнуть двумя способами. Один — идти по пути избыточности. Например, учитывая, что у вас проектируемая мощность полмегаватта, брать все из расчета на 3 МВт, тогда любые проблемы будут просто гаситься этой запасной мощностью. Но наш путь другой. Наш ЦОД не избыточен, он построен ровно на такую мощность, которая нужна. Те стойки, которые мы сейчас используем, работают именно в том режиме, который мы и планировали. И мы не перезаложились: если устройство потребляет 5 кВт·ч, то это и есть его штатный режим, и в нем оно не греется.

Время от времени, как и положено согласно процедурам обслуживания, мы отключаем внешнее электропитание, чтобы проверить, как автоматические системы ЦОДа отрабатывают возможные ситуации, например, переход на резервные источники. Все работает идеально. И оповещение идет в штатном режиме, и меры принимаются штатно.

ЦОД, построенный однажды с определенными параметрами, вряд ли должен меняться. Наш ЦОД полумегаваттный, работает пока одна комната на 250 кВт. Все коммуникации сделаны с расчетом на вторую половину, поэтому дальнейшее развитие будет стоить нам дешевле, чем если бы мы собирали это решение самостоятельно. Такой «моновендорный» ЦОД в среднем дороже, чем такой же комплекс ручной сборки. Когда мы сами считали для других своих серверных, то, если брать хорошие качественные комплектующие, решение отличалось по цене лишь на 10—15%.

Внутренняя адаптивность ЦОДа такова: сейчас он работает в режиме 5 кВт на стойку, но не составляет проблемы увеличить этот показатель до 8—10 кВт, применяя технологии APC by Schneider Electric для постройки дополнительной крыши, то есть не за счет дополнительных мощностей охлаждения, а за счет оптимизации охлаждаемого пространства.

Каким образом организованы сервис и обслуживание?

Поддержка и обслуживание все же висят над головой как дамоклов меч. Проводить их самим нерационально, для этого нужно сертифицировать своих инженеров, а это дорогостоящее занятие. Сервис нам обеспечивает компания «ПМ‑стандарт». Ее специалисты оказывают нам поддержку сейчас, и вместе с ними этим занимаются инженеры вендора. Наша перевозная дизельная станция периодически требует ТО, и «ПМ‑стандарт» ее обслуживает. Они же обслуживают и электрические системы офиса. У нас единый договор на все эти работы. Техобслуживание собственно систем ЦОДа выполняют инженеры APC by Schneider Electric. Ни одного гарантийного случая пока не возникло. Они делают осмотр, проверку выходных цепей, проверку батарейного комплекса и тому подобные вещи. Хотя по договору у нас время реакции на аварийную ситуацию — четыре часа. Все запчасти недорогие, они поставляются отдельно, если нужно, не дожидаясь, пока мы их оплатим.

Каков ваш опыт применения систем управления инженерией ЦОДа?

Менеджмент оборудования — очень важная часть эксплуатации. Речь идет не только и даже не столько о мониторинге, скорее о более сложных вещах. Мы не только знаем потребление электроэнергии в каждой точке, как работают системы охлаждения, какая температура в точках размещения датчиков. Ключевой вопрос — система управления всем этим оборудованием. Можно включать и выключать розетки в ЦОДе, не заходя в помещение, можно весь шкаф выключить, а потом опять подать в него питание, можно автоматически менять фазораспределение. Ведь известно, что большая проблема ЦОДов — перекос фаз, когда одна фаза из трех нагружена серьезно, а другие нет. Тут не возникает вопроса, с какой фазы брать питание. Все подчинено управлению. Мы постоянно эксплуатируем эти функции в том или ином виде, и важно, что эта система единая. Если бы мы покупали отдельные узлы у разных вендоров, то на установки охлаждения была бы одна система, на розеточные блоки — другая, для системы позиционирования — третья. Все основные системы резервированы, ими можно управлять как в автоматическом, так и в полуавтоматическом режиме, вплоть до ручного запуска дизеля, если потребуется. Есть и система контроля утечек воды, она тоже может действовать автоматически. Техническое обслуживание включает плановую отработку аварийных ситуаций. Так что мы постоянно держим на контроле и ситуацию с оборудованием, и предполагаемые действия персонала при авариях.

Системы мониторинга управления и ЦОДом интуитивно понятны. Обучение наших специалистов прошло в процессе запуска системы в эксплуатацию. Этим занимались инженеры APC, и попутно они инструктировали наш персонал. Заняло это неделю. Два — три дня они обучали наших инженеров основам пользования системой, и этого оказалось достаточно. Система действительно сделана хорошо, и в ней масса функций, приятных и полезных для любого пользователя.

Коняев Алексей,
руководитель направления по работе с корпоративными заказчиками APC by Schneider Electric, направление «Телеком»

«Мостелеком» поставил перед нами задачу спроектировать особо надежную инженерную систему, способную гибко меняться в зависимости от технических задач. А так как речь шла о цифровом ТВ-вещании для Москвы, то ответственность за проект была крайне высокая. Что хочется отметить прежде всего? Совместно с представителями Мостелекома наши инженеры провели много рабочих встреч, прежде чем «родилась» необходимая инженерная инфраструктура, которая соответствует современным и будущим задачам, обеспечивает бесперебойное цифровое телевидение для москвичей и позволяет развивать дополнительные услуги для абонентов. Кроме того, спроектированная инженерная инфраструктура соответствует еще одному пожеланию заказчика. Она дает возможность расширить ЦОД без серьезных капиталовложений и строительных работ в будущем, применяя модульные системы и оригинальные решения по построению архитектуры на базе InfraStruXure. В этом проекте мы использовали много наших решений. Надеемся, что абоненты «Мостелекома» будут довольны качественным цифровым телевидением.