Оператору сотовой связи, который обслуживает миллионы абонентов на огромной территории, необходима единая ИТ-инфраструктура с высочайшей отказоустойчивостью. Централизованная архитектура обеспечивает максимальное единство и управляемость, распределенная повышает надежность. Для конкретного решения важно найти оптимальный баланс того и другого. В поисках универсального решения обратимся к опыту сибирских специалистов ОАО «МегаФон».
Территория обслуживания Сибирского филиала ОАО «МегаФон» простирается с запада на восток от Омска до Красноярска, а с севера на юг — от Норильска и до Алтая. География и ответственность оператора перед своими абонентами накладывают жесткие условия на оптимизацию ИТ-инфраструктуры и конфигурацию прикладных систем. Ведь бесперебойная работа ИТ‑систем — это доверие и лояльность пользователей. А при таком уровне проникновения сотовой связи, когда SIM‑карт в регионе существует больше, чем жителей, лояльность клиента становится основой для лидерства в динамичном развитии.
Определить местоположение центра обработки данных — такова была первая задача, поставленная перед разработчиками. Городом, принявшим сердце инфраструктуры, стал Новосибирск с его выгодным географическим положением: центральное расположение, равноудаленность от соседних столиц регионов. Важным критерием при принятии решения в пользу Новосибирска было то обстоятельство, что здесь максимально сконцентрирован высококвалифицированный ИТ-персонал из числа выпускников сибирских вузов.
Централизованная сеть
«Прежде всего, — рассказывает заместитель директора по ИТ Сибирского филиала ОАО «МегаФон» Игорь Романов, — у нас, как у любого телеком-оператора, разумеется, есть биллинг. Биллинговая система содержит информацию обо всех абонентах, она осуществляет расчеты, тарификацию, разрешение вызова — словом, отвечает за все, что связано с непосредственной обработкой данных об абонентах и их действиях (звонки, SMS, MMS, GPRS и т.д.). Это очень сложный и, безусловно, наш самый важный программно-аппаратный комплекс, сердце — ну, может быть, не сердце, но в любом случае важнейший орган всей сети. Когда мы думаем об отказоустойчивости ИТ‑систем, биллинг для нас всегда стоит на первом месте».
Биллинговая система — одна для всего Сибирского филиала. Абонентские залы, офисы продаж и другие службы работают непосредственно с системой, установленной в Новосибирске: например, когда абонент приходит к нам в офис подключаться, оформляет необходимые документы и получает SIM‑карту с номером, вся информация сразу же попадает в центральную базу данных. Для доставки биллингового приложения конечным пользователям используется терминальный доступ, реализованный на базе решений Citrix. «Кроме терминальных систем, другого варианта, по сути дела, нет, — замечает Игорь Романов. — Все остальное требует большого трафика и соответственно затрат». Citrix успешно справляется с задачей: независимо от того, где расположено рабочее место — в непосредственной близости от ЦОД или за полторы тысячи километров от него, — работа выполняется быстро и качественно при любой имеющейся пропускной способности канала связи. Терминальный доступ применяется и для работы с глобальными системами, централизованными уже не на уровне филиалов, а на уровне «МегаФон» в целом, например CRM.
Офисные приложения установлены локально, а управляют ими централизованно. Это же касается контроля безопасности и доступа к информации. В каждом крупном городе Сибири есть свой небольшой вынос с серверным оборудованием, обеспечивающим поддержку Active Directory, Exchange и других подобных служб в конкретном регионе. Этот вынос по каналам связи подключен к центральным системам, находящимся в Новосибирске. Такая древовидная схема работы ИТ‑систем значительно снижает затраты на обслуживание большого парка рабочих мест, обеспечивает едиными средствами мониторинга и реагирования на внештатные ситуации, а также позволяет отделениям сохранить возможность работы с офисными приложениями даже в случае потери связи с центром. Впрочем, замечает Игорь Романов, это сейчас уже не очень актуально: все каналы в регионы дублированы. Построена сложная сеть маршрутов, и ситуация, в которой регион оказался бы полностью отрезан от мира, крайне маловероятна. За последние несколько лет не было ни одного такого случая. На надежность работы филиалов также влияет надежность и доступность центра обработки данных (ЦОД).
Распределенный ЦОД
В декабре 2009г. в Новосибирске был введен в эксплуатацию новый центр обработки данных Сибирского филиала. Благодаря этому компания получила возможность создать у себя геораспределенную инфраструктуру. Дата-центр построен у самой границы города, на значительном расстоянии от ЦОД, существующего с 2005г. Разнесение ЦОД по разным площадкам значительно повышает их совокупную доступность, надежность и катастрофоустойчивость. Площадки соединены между собой несколькими оптическими каналами связи; все кабели резервированы и для повышения надежности проходят через город независимыми маршрутами. Стоит заметить, что бизнес-критичные системы оператора связи в любом случае имеют повышенную отказоустойчивость — они либо дублируются, либо имеют кластерную структуру. Но разнесение этих дублирующих друг друга элементов в разные ЦОД обеспечивает возможность не только защититься от катастроф и других авральных ситуаций, но и более комфортно и надежно, а самое главное — незаметно для абонента проводить регламентные и технологические работы, в частности на инфраструктурных элементах ЦОД. Для этого сервис просто переводится на другую площадку.
«Оптические каналы, — объясняет Игорь Романов, — обеспечивают синхронизацию систем хранения данных: существующие SAN‑сети, в которые включены дисковые массивы, находящиеся в обоих ЦОД, дублируют бизнес-критичную информацию». В штатном режиме эксплуатации каждый из двух ЦОД будет работать не с полной загрузкой, так что если какая‑то одна площадка выйдет из строя, другая возьмет на себя нагрузку, и предоставление услуг не остановится. Переносить данные не потребуется — они синхронизируются постоянно, так что переключение произойдет очень быстро.
Отдельное внимание компания уделяет виртуализации. Современная техника и технология предоставляют множество возможностей для экономии электроэнергии, снижения затрат на владение сервисом. Промышленные системы и сервисы чаще всего устанавливаются на отдельные серверы и не допускают соседства на одном «железе». В результате при низкой утилизации мощности каждого отдельного сервера сохраняются достаточно высокие энергозатраты на его работу и охлаждение. Здесь‑то и приходит на помощь виртуализация серверов. На одном мощном сервере (в компании активно используются blade‑системы) могут одновременно работать десятки виртуальных серверов, обеспечивая раздельное обслуживание сервисов. При этом каждому сервису выделяется такое количество серверного ресурса, какое ему необходимо. Таким образом, достигается максимально возможная эффективность утилизации вычислительной мощности. Работа же виртуальных систем в кластерном режиме в рамках двух ЦОД обеспечивает максимальную защищенность и надежность сервисов.
В настоящее время ИТ-подразделение Сибирского филиала активно занимается разнесением существующих сервисов и внедрением необходимых новых ИТ‑систем, развивая тем самым спектр предоставляемых абонентом услуг. Поскольку останавливать сервисы нельзя, миграция выполняется по сложной многоступенчатой схеме, обеспечивающей надежную работу бизнес-критичных сервисов. Работы включают как перемещение части оборудования из существующего ЦОД в новый, так и установку в обоих центрах нового оборудования. «Первое желание, действие, необходимость — это, конечно, разнести самые бизнес-критичные системы», — говорит Игорь Романов.
В 2010 год Сибирский филиал ОАО «МегаФон» вступил вместе с активным развитием сетей третьего поколения (3G). Ведется интенсивная работа по развитию сети 3G на территории Сибири. Перед компанией стоят очень масштабные задачи, и это, безусловно, предъявляет свои требования к ИТ-ресурсам. Выбранный компромисс между распределением и централизацией информационных ресурсов, высокая надежность и отказоустойчивость систем, применение высокоэффективных энергосберегающих технологий — все это позволяет компании с оптимизмом смотреть в будущее и предоставлять своим клиентам надежный качественный и современный сервис.
