«Мобиком-Новосибирск», дочерняя фирма ОАО «МегаФон, осуществляет свою деятельность в Новосибирской, Томской, Омской и Кемеровской областях, в Красноярском и Алтайском краях, а также в республиках Хакасия, Тыва и Алтай. Вскоре после образования компании в Новосибирске было начато строительство центра обработки данных (ЦОД), который был оснащен оборудованием APC InfraStruXure. Об особенностях проекта мы беседуем с директором по ИТ «Мобиком-Новосибирска» Дмитрием Шпильрудом.

Intelligent Enterprise: Дмитрий Евгеньевич, с чем связана необходимость построения нового ЦОДа компании?

Дмитрий Шпильруд: О том, насколько важно обеспечить непрерывность бизнеса в телекоммуникационной компании, рассказывать не нужно, это очевидно. Полчаса простоя основного сервиса, связанного с обслуживанием абонентов, не говоря уже о внутренних сервисах, — это многомиллионные убытки. С развитием бизнеса ключевым фактором успешного функционирования предприятия становится надежность ИТ-инфраструктуры, ее масштабируемость. Поэтому наше руководство с самого начала понимало, что экономить на инфраструктуре нельзя.

На момент старта «Мобиком-Новосибирска» у нас была лишь небольшая серверная площадью 20 кв. м, где размещалось оборудование, на котором работают основные системы компании — биллинга и самообслуживания абонентов, офисные приложения, телефония. На этой же площадке находились активное сетевое оборудование корпоративной сети и аппаратный комплекс, обеспечивающий функционирование рабочих мест call-центра. Но бурный рост бизнеса очень скоро потребовал от нас поиска новой технологической площадки для расширения парка оборудования. При этом мы понимали, что нас больше не могут устраивать временные экономичные решения в виде еще одной небольшой серверной, как это было в период стартапа. Быстрый рост компании требовал постоянного масштабирования ИТ-инфраструктуры, что было бы невозможно на небольших площадях. Нужно соответствующее помещение для строительства полноценного масштабируемого центра обработки данных. Таким образом, более двух лет назад мы подошли к необходимости создания нового ЦОДа.

На каких принципах и подходах основывался расчет параметров построения всей ИТ-инфраструктуры компании и его составляющей — ЦОДа?

Современный бизнес диктует высокие требования к надежности и непрерывности работы ИТ-сервисов. Обеспечить такой уровень можно лишь гарантировав соответствующую надежность каждого отдельного элемента — систем электроснабжения и климат-контроля, аппаратуры, телекоммуникационного оборудования и каналов связи. Соответственно основной принцип при проектировании ЦОДа — максимально обеспечить гарантированную отказоустойчивую работу ИТ-оборудования.

Это достигается и путём географического разнесения технологических площадок, и резервированием электропитания (N+1 либо 2N), и созданием устойчивых кластерных ресурсов, и резервированием каналов связи между стратегически важными объектами. У нас практически все системы базируются на кластерных решениях; каналы связи между площадками и потребителями внутри серверной инфраструктуры также построены с резервированием. На стадии формирования требований к будущему центру обработки данных был учтен опыт тех, кто уже проделывал этот путь. Часто, пытаясь сэкономить на начальном этапе, компании ориентируются на дешевые, плохо масштабируемые решения. Но рано или поздно наступает момент насыщения инфраструктуры и оказывается, что для ее расширения требуются затраты, сопоставимые с первоначальными инвестициями или даже превосходящие их.

Стоит всё это дорого, но на другой чаше весов — риск потери данных, а следовательно, и доходов.

Первоначально мы запланировали построить две географически разнесенные площадки для центров обработки данных — основного и резервного. На сегодняшний день у нас работает лишь основной ЦОД. Резервный мы надеемся построить и оснастить до конца 2008 года. Основной центр обработки данных — это порядка ста монтажных шкафов, размещенных на 170 кв. м площади. Что касается электроснабжения, то мы заложили резервирование N+1 и 2N. Почему две схемы? Потому что в компании используются различные типы оборудования, критичность работы которого различается в зависимости от обслуживаемых им бизнес-процессов.

Еще одна важная задача — обеспечение информационной безопасности. Как оператор связи мы храним и обрабатываем информацию, которая по действующему законодательству РФ относится к разряду конфиденциальной. Обеспечению информационной безопасности в нашей компании уделяется большое внимание, от неё зависит и непрерывность бизнес-процессов. Хорошо организованная система ИБ дает телекоммуникационному предприятию конкурентные преимущества, повышает инвестиционную привлекательность и эффективность управления, улучшает бизнес-процессы и имидж на рынке.

Третий аспект — информационные технологии, и это также удовольствие не из дешевых. Компания активно стремится к сокращению расходов на инфраструктуру, которой владеет. Изначально ИТ-инфраструктура, обслуживающая территорию покрытия «МегаФонСибири», была спроектирована под централизованное функционирование с возможностью предоставления полноценных ИТ-сервисов во всех регионах, без сокращения функциональности и доступности. В результате сейчас наша инфраструктура — это четко выраженная логическая звезда с центром в Новосибирске. Пользователи в региональных подразделениях имеют доступ ко всему набору сервисов в терминальном режиме. Такая централизация дает нам возможность экономить как на количестве оборудования, так и на персонале, что в условиях острого дефицита квалифицированных кадров в регионе играет существенную роль. Весь основной костяк ИТ-специалистов сконцентрирован в Новосибирске.

Важнейший принцип — масштабирование. Мы изначально решили, что технологические площади должны позволять со временем осуществить наращивание нашей инфраструктуры как минимум вдвое. Однако этот двукратный коэффициент роста мы исчерпали уже через полтора года. Это не просчет — просто интенсивность развития бизнеса на практике у нас оказалась намного выше той, которую поначалу мы считали и так довольно смелым планом. При проектировании резервного ЦОДа мы уже будем закладывать коэффициент масштабирования три.

Какие варианты, обеспечивающие бесперебойное электроснабжение, вы рассматривали?

Альтернативы оборудованию APC мы практически не рассматривали. Это отчасти связано с опытом предыдущей работы с этим оборудованием. Очень важным фактором было то, что представительство APC есть в Новосибирске. Его сотрудник буквально с первого дня открытия нашего офиса принимал участие в обсуждении проекта по построению ИТ-инфраструктуры. Вот тогда и пришло понимание, что обеспечение гарантированного электропитания мы будем строить на базе APC InfraStruXure.

APC InfraStruXure — не просто гиб­кая архитектура. Она может легко на­ра­щиваться, так как является модульной. Этот фактор явился для нас одним из самых главных аргументов в ее пользу. Плюс к этому APC InfraStruXure объединяет в себе средства электропитания, кондиционирования воздуха, управления и мониторинга. На стадии формирования технических требований очень помогла Web-утилита APC Design Portal, которая фактически автоматизирует процесс проектирования оптимальной системы — физической инфраструктуры, систем кондиционирования и гарантированного электропитания. Специализированный инструментарий позволяет производить трансформацию ЦОДа на протяжении всего жизненного цикла ИТ-инфраструктуры — рассчитывать, какое дополнительное оборудование можно установить, как при этом изменится микроклимат, какое потребуется дополнительное оснащение ресурсами электропитания и т. д.

В первые же месяцы эксплуатации мы убедились в правильности выбора APC InfraStruXure, потому что очень скоро компании потребовался переход с мощности 20 кВт на 40 кВт. Этот процесс масштабирования прошел абсолютно безболезненно.

Какие работы вы вели своими силами, а где опирались на подрядчиков?

Работы по проектированию и строительству полностью выполняла подрядная организация. Было составлено техническое задание, объявлен тендер, который выиграла компания «Утилекс АйТи 2000». Для нас было важно, что у этой фирмы уже были успешно реализованные проекты, похожие на наш по объему и сложности. Существенным было и то, что компания-интегратор располагала собственными инженерами, сертифицированными АРС.

Моделирование, расчет теплового баланса производил подрядчик, консультационные услуги оказывали специалисты новосибирского представительства APC.

Условия реализации проекта были не простые: нужно было сдать объект под ключ за три месяца. Времени на раскачку не было. Однако подрядчик не только уложился в эти жесткие временные рамки, но выполнил проект раньше — за два с половиной месяца.

С какими сложностями вам пришлось столкнуться в ходе проекта?

Нелегко было найти удовлетворяющее основным требованиям помещение для строительства ЦОДа (необходимый объем электричества, весовые характеристики перекрытий, вибронагруженность, географическая удаленность, каналы связи и пр.). Одна из проблем при поиске была связана с несущей способностью перекрытий, поскольку плотность размещения оборудования в монтажных шкафах очень высока, тем более если речь идёт об источниках бесперебойного питания, аккумуляторных модулях. Судите сами: опорная площадь стойки для АРС — 0,6 кв. м, а весит она тонну. Получается нагрузка почти в две тонны на квадратный метр. Хорошо, что нам удалось найти здание промышленного типа с перекрытиями, рассчитанными на установку тяжелых станков.

Еще одна потенциальная проблема при создании любого ЦОДа — нехватка электроэнергии. В Новосибирске это очень актуально.

Кроме того, большая плотность размещения оборудования неизбежно ведет к росту тепловыделения, а значит, и энергозатрат на охлаждение. Таким образом, к примеру, используя под определенные задачи блейд-системы, мы экономим место и получаем запас площадей для развития ИТ-инфраструктуры, но при этом не удается избежать нежелательного роста потребления электроэнергии. Соответственно отсюда возникает потребность в надежном высококачественном инструменте мониторинга окружающей среды ЦОДа. Мы изначально понимали, что ЦОД строится на перспективу и, значит, будет масштабироваться. Поэтому мониторинг состояния среды в помещении сразу был предусмотрен как одно из условий существования центра обработки данных.

У нас организован централизованный мониторинг энергопотребления всей ИТ-инфраструктуры во всех офисах компании не только в Новосибирске, но и в удаленных подразделениях. Для этого применяется инструмент APC, снабженный удобным Web-интерфейсом. Таким образом, мы в режиме реального времени отслеживаем и уровень энергопотребления оборудования, и статус устройств распределения питания в монтажных шкафах, расположенных в Кемерове, Новокузнецке, Барнауле и других городах.

Можно ли оценить эффективность инвестиций в данный проект?

Общеизвестно, что современный объемный бизнес невозможен без надежных и мощных информационных систем. Стоимость затрат на нашу аппаратную составляющую — это десятки миллионов долларов. Поскупиться на необходимую инфраструктуру для такого дорогого оборудования было бы крайне неразумно. Так что построение инфраструктуры высочайшего качества — это и сохранение произведенных инвестиций, и обеспечение непрерывного функционирования бизнеса. И нам это удалось.

Как осуществляется обслуживание и развитие ЦОДа?

Мы продолжаем сотрудничать с компанией «Утилекс АйТи 2000» — она оказывает для «Мобиком-Новосибирска» услуги по техническому сопровождению оборудования APC во всех наших офисах на территории Сибири. У этой компании хорошая скорость реакции на любой запрос — от одного до двух часов, имеется необходимый запас комплектующих и другой инфраструктурной «мелочи». Регламентное же обслуживание мы ведём своими силами. Компетенция наших штатных инженеров для этого вполне достаточная.

Нашей компании пять лет, а ИТ-инфраструктуре — четыре с половиной года. Основной ЦОД находится в эксплуатации уже около двух лет. И всё это время мы ведем постоянную плановую модернизацию всей нашей ИТ-инфраструктуры.

Динамика развития компании и не уступающее ей по темпам развитие новых решений в области ИТ заставляют нас модернизировать все основные компоненты ЦОДа. В системе электропотребления PDU были заменены на более современные (switched), некоторые автоматы — на более мощные из-за увеличения электропотребления внутри шкафов, добавлен еще один ИБП APC Simmetra на 80 кВт, пересмотрен механизм резервирования по питанию и т. д. В системе охлаждения внедрены новые решения для отвода тепла от горячих шкафов (RARU). В системе мониторинга на более современные заменили датчики температуры/влажности. В аппаратной части ИТ-инфраструктуры внедряем более современные аппаратные платформы, позволяющие сократить занимаемое место в шкафах, а также упростить администрирование.

Однако интенсивный рост бизнеса выдвигает дополнительные требования к надежности и гарантированности бизнес-процессов предприятия. По­этому, как я уже сказал, в наших ближайших планах стоит строительство нового резервного ЦОДа. На данный момент энергопотребление основного ЦОДа составляет порядка 350 кВт. Сейчас, планируя построить резервный ЦОД с коэффициентом запаса три, мы получили совершенно «пугающую» цифру энергопотребления — 1 МВт. Но темпы развития нашей компании таковы, что эту цифру приходится воспринимать как нечто само собой разумеющееся.