Гибкость и мощность - основа ЦОД компании «ПетерСтар».

Активное развитие бизнеса и расширение списка предоставляемых «ПетерСтаром» услуг, увеличение клиентской базы, повышение количества и ценности хранимых данных, усложнение бизнес-процессов, интеграция ресурсов присоединяемых компаний — все это требует пристального внимания к функционированию бизнес-систем. Поэтому в начале 2005 года руководство решило провести модернизацию и консолидацию ИТ-инфраструктуры с целью поддержания адекватного уровня оборудования и ПО, а также дальнейшего развития компании в целом.

Задачи нового ЦОД

Используемая длительное время в «ПетерСтаре» практика построения информационных систем на ферме из выделенных серверов регулярно требовала наращивать вычислительные ресурсы аппаратных платформ. В свою очередь специфика телекоммуникационного бизнеса, выражающаяся во временнoй неравномерности потребления услуг, приводила либо к неполному и неэффективному использованию ресурсов в непиковые часы, либо к их недостаточности в периоды наибольшей нагрузки.
В целом сектор телекоммуникаций — один из основных «потребителей» серверов и систем хранения корпоративного класса в России. Деятельность практически всех компаний этого сектора связана с обработкой огромных объемов данных, таких, например, как трафик, создаваемый клиентами, разнообразная служебная информация, необходимая для управления сетями, контроля качества услуг и их тарификации. Характерна для рынка телекоммуникаций и острая конкурентная борьба, поэтому для успешного развития бизнеса его участники должны постоянно предлагать новые сервисы, способные привлечь дополнительных клиентов и удержать существующих. От ИТ-инфраструктуры современного оператора связи требуется высокая гибкость и значительный запас мощности, который позволит быстро разворачивать приложения и справляться с резким увеличением числа обращений клиентов.

При выборе оптимального решения для нового центра обработки данных (ЦОД) «ПетерСтар» в начале 2005 года сформулировал технические требования к оборудованию ЦОД и провел тендер, в котором рассматривались предложения от нескольких ведущих компаний серверного рынка. Победителем тендера было признано решение на основе технологий корпорации IBM, представленное ее партнером — системным интегратором «Техносерв А/С». По словам директора отдела информационных технологий компании «ПетерСтар» Александра Федотова, предложение IBM было основано на перспективных технологиях, отличалось комплексностью и продуманностью подхода, включало в себя привлекательные финансовые условия и максимально соответствовало требованиям компании.

Этапы создания ЦОД

В работах по запуску в промышленную эксплуатацию центра обработки данных участвовали специалисты отдела информационных технологий «ПетерСтар», сотрудники «Техносерва», IBM и петербургской компании «Амтэл», осуществляющей техническую поддержку аппаратно-программных ИТ-платформ в «ПетерСтар». При этом поставкой и пусконаладкой занимались «Техносерв» и IBM, переносом информационных систем и запуском в промышленную эксплуатацию — «ПетерСтар» и «Амтэл».

Выполнение проекта продолжалось около трех месяцев, и уже в декабре 2005 года был запущен в промышленную эксплуатацию новый ЦОД «ПетерСтара». Его основой стал мощный UNIX-сервер IBM eServer p5 570, оснащенный шестнадцатью процессорами POWER5 по технологии «два процессора на кристалле». Для хранения данных здесь установлен дисковый массив корпоративного класса IBM TotalStorage DS8100 с большим запасом по емкости (в нем можно установить до 384 жестких дисков суммарной емкостью 115 Тбайт), разработанный специально для решения критически важных задач на средних и крупных предприятиях.

Главной проблемой являлось обеспечение непрерывности (24Ч7Ч365) бизнеса в ходе выполнения проекта. Весь процесс, включая инсталляцию, тестирование и перевод на новую платформу всех информационных сервисов, занял четыре месяца с момента поставки. По словам Александра Федотова, «...впечатляющая мощность ресурсов нового ЦОД “ПетерСтара” и возможность их гибкого перераспределения между приложениями обеспечивают расширение спектра предоставляемых компанией услуг и поддержание требуемого уровня обслуживания клиентов».

Технологии для ЦОД «ПетерСтара»

В отличие от обычных «монолитных» многопроцессорных серверов с SMP-архитектурой используемый в «ПетерСтаре» сервер IBM позволяет постепенно наращивать мощность установкой дополнительных четырехпроцессорных модулей, в которых есть своя оперативная память, диски, адаптеры ввода-вывода, блоки питания и охлаждения. Такой вариант привлекателен тем, что можно сразу заплатить за необходимую для решения бизнес-задач конфигурацию оборудования, а потом при необходимости установить в свободные процессорные разъемы дополнительные кристаллы. Важно отметить, что сервер p5 570 — это не кластер, а одна система с едиными образом ОС и оперативной памятью, поэтому для него не нужно приобретать специальные «кластеризованные» версии приложений, которые, как правило, стоят дороже стандартных версий программного обеспечения.

Наряду с приложениями, предназначенными для выполнения в среде UNIX, в телекоммуникационных компаниях активно используются и приложения Linux, большинство из которых в настоящее время перенесено на платформу POWER. Если первые из них обычно выполняются на RISC-серверах, а вторые — на более дешевых машинах с архитектурой Intel x86, то eServer p5 570 и другие модели этой серверной линейки IBM на базе процессоров POWER5 позволяют консолидировать оба класса приложений на одной машине. Для этого с помощью технологии виртуализации IBM Virtualization Engine внутри сервера создаются логические разделы LPAR, работающие как полностью независимые виртуальные компьютеры, у каждого из которых имеются свои процессоры, оперативная память и подсистема ввода-вывода.

В качестве операционной системы этих разделов может использоваться как AIX (ОС на базе UNIX, разработанная IBM), так и Linux, причем границы между разделами можно менять динамически. Например, если нагрузка на раздел с AIX резко возросла, то ему можно быстро и без перезагрузки сервера передать часть процессоров и других ресурсов из раздела, где работает Linux. Таким образом, консолидация приложений UNIX и Linux на одном сервере позволяет более эффективно задействовать процессорные мощности, а также сокращает расходы на обслуживание: в ведении системного администратора находится не несколько серверов с разной архитектурой, а только один.

Установленный в «ПетерСтаре» массив данных TotalStorage DS8100, как и eServer p5, построен на платформе POWER5/AIX. Он полностью совместим и со всеми остальными серверными платформами, начиная от мэйнфреймов и UNIX-систем других производителей и заканчивая Linux и Windows, и оснащен расширяемой до 128 Гбайт кэш-памятью с функцией динамической и автоматической оптимизации в зависимости от изменения нагрузки, что позволяет обеспечить непрерывный процесс передачи данных между сервером и дисковым массивом.

Основанная на двух двухпроцессорных комплексах архитектура массива обеспечивает динамическое обновление аппаратной части системы без прерывания работы приложений, возможность применения мощных средств диагностики, а также практически прозрачного переключения ресурсов в случае сбоев. Для защиты данных в DS8100 применяются такие технологии, как резервирование RAID-контроллеров и всех критически важных компонентов, энергонезависимая зеркалируемая кэш-память, обновление микрокода без перезагрузки системы, запасные аккумуляторы и мощные инструменты диагностики и дистанционного мониторинга. Кроме того, с помощью функции FlashCopy можно моментально получить копии хранящихся на дисках массива данных для последующего переноса на ленту, что устраняет перерывы в работе приложений, связанные с резервным копированием. Для настройки параметров и управления DS8100 в «ПетерСтаре» применяется программная утилита TotalStorage DS Storage Manager, позволяющая управлять активной конфигурацией в реальном времени и сохранять логические конфигурации массива в автономном режиме.

Помимо масштабирования DS8100 путем установки дополнительных дисков — эта операция проводится без прерывания работы системы, — благодаря модульной архитектуре массив можно модернизировать до уровня флагманской модели TotalStorage DS8300. Данная система способна расширяться до 192 Тбайт и поддерживает технологию «виртуализации», что позволяет организовать внутри DS8300 две полностью независимые дисковые подсистемы, которые могут работать под управлением разных версий микрокода и использовать разные настройки параметров производительности.

В дополнение к этому предложенное IBM решение для ЦОД «ПетерСтара» включает в себя резервное копирование на ленту наиболее важных данных, хранящихся в массиве, реализованное с помощью компактной ленточной библиотеки IBM TotalStorage Tape Library 3582, в которой устанавливаются два лентопротяжных устройства LTO Ultrium и 24 картриджа общей емкостью до 19,2 Тбайт и программное обеспечение IBM Tivoli Storage Manager. Для того чтобы резервное копирование не создавало дополнительной нагрузки на корпоративную сеть, дисковый массив и ленточная библиотека IBM объединены в сеть хранения данных (SAN), построенную на базе коммутаторов Fibre Channel.

Итоги и перспективы проекта

Для российских телекоммуникационных операторов 2006 год характерен масштабными нормативными изменениями, введенными регулятором отрасли. Своевременная модернизация ИТ-инфраструктуры позволила «ПетерСтару» быстрыми темпами обеспечить перестройку бизнес-процессов с учетом новых условий. За год промышленной эксплуатации ЦОД подтверждена правильность выбранных продуктов и технологий. В настоящий момент совместно с компанией «Техносерв/АС» осуществляется проект расширения ЦОД: наращивается дисковое хранилище, совершенствуется подсистема резервного копирования на лету.