«Киевстар» сегодня — это крупнейший оператор на украинском рынке мобильной связи и мобильного Интернета, одна из наиболее успешных телекоммуникационных компаний страны. Компания предоставляет услуги голосовой связи и передачи данных на основе технологий беспроводной и фиксированной связи, в том числе широкополосного доступа в Интернет для частных и корпоративных клиентов.
У «Киевстар» развитая информационно-вычислительная инфраструктура. Она обеспечивает обработку данных, поступающих с более чем 13 000 базовых станций, 200 центров обслуживания клиентов и четырех крупных колл-центров, расположенных в различных городах Украины. Вычислительные ресурсы компании сосредоточены в двух корпоративных центрах обработки данных, оснащенных современным серверным и коммуникационным оборудованием.
«Киевстар» уже более 15 лет успешно использует программные продукты Oracle практически во всех основных вычислительных системах. ERP-система компании создана на ядре Oracle E-Business Suite. На базе продуктов Oracle построены и другие критические для бизнеса системы, в частности, гарантирования доходов TRAP, CRM Siebel, бизнес-аналитики, планирования и бюджетирования на платформе Hyperion. Практически все приложения используют СУБД Oracle Database для хранения и обработки данных.
Система гарантирования доходов «Киевстара» относится к числу бизнес-критичных. Допустимый простой, как отметил начальник управления информационных технологий «Киевстар» Андрей Пеший, составляет не более часа при закрытии отчетного периода. Меньшие значения SLA только у биллинговой системы. Она получает данные из 80 источников, включая все имеющиеся информационные системы (биллинговую, CRM и другие), а также коммутаторы, к которым подключены базовые станции. С ее помощью анализируется не только правильность выставления счетов, но и контроль трафика, и выявление всевозможных проблем в сети оператора. Данные из этой системы используются не только внутри компании, но и внешними аудиторами. Объем данных составляет около 6 млрд записей в сутки.
Долгое время система функционировала на решении, введенном в эксплуатацию еще в 2003 г. Основу его составляли серверы HP. Однако к 2010 г. ее производительности стало не хватать. Кроме того, оборудование устаревало и морально, и физически. В итоге усиливался риск внеплановых простоев, связанных с возможными отказами оборудования. Кроме того, стоимость обслуживания становилась неприемлемой. Учитывая важность системы, ее было решено перенести на более современную, надежную и быстродействующую аппаратную платформу.
Для решения данной задачи интегратор S&T Ukraine совместно с Oracle предложил использовать комплекс Oracle Exadata в конфигурации Half Rack (четыре сервера баз данных Sun Fire x4170 на платформе Intel и семь серверов хранения данных Exadata Storage Server). Но даже в такой конфигурации комплекс от Oracle имел 64 вычислительных ядра и 296 Гбайт оперативной памяти против 20 ядер и 64 Гбайт памяти на прежней системе. Данный проект стал одним из первых внедрений Oracle Exadata на постсоветском пространстве.
Эффективность и высокая производительность комплекса Oracle Exadata обеспечиваются не только большим количеством процессоров и высокой степенью параллелизма вычислительных операций. Как в самой СУБД Oracle, так и в подсистеме хранения данных Exadata реализован ряд технологических новшеств. В частности, дисковые серверы Exadata Storage Servers работают под управлением программ, которые фактически являются частью СУБД Oracle. Это позволяет выполнять чтение, поиск и первичную обработку данных в непосредственной близости от физических носителей, что снижает нагрузку на серверы баз данных и сетевые компоненты. При этом для кеширования активных данных в Exadata используются высокоскоростные твердотельные накопители (SSD), а для межсерверного соединения – современная сетевая технология InfiniBand. Кроме того, табличные данные в Oracle Exadata могут храниться в сжатом формате, что позволяет в несколько раз сократить объемы хранения в таких системах, как, например, хранилища данных. Все это делает Oracle Exadata идеальным компьютером для СУБД Oracle.
На первом этапе проекта развертывания Oracle Exadata было консолидировано несколько различных аналитических и вычислительных подсистем, решающих различные задачи: максимизации доходов и контроля маржинальности компании, контроля корректности тарификации, выявления потерь из-за неправильной работы технических систем или мошенничества, подготовки и представления отчетности для маркетинговых и финансовых служб компании и др. Инсталляцию и настройку комплекса, в том числе программного обеспечения, обеспечивали специалисты Oracle при участии сотрудников S&T Ukraine. Работы заняли около восьми месяцев. Основной объем работ, как отметил Андрей Пеший, заняли перенос данных со старой системы на новую, а также их оптимизация в расчете на максимально возможное использование преимуществ платформы Exadata.
В 2011 г. для увеличения вычислительной мощности и обеспечения отказоустойчивости систем «Киевстар» расширил использование Exadata за счет еще одного комплекса в полностью аналогичной конфигурации для второго центра обработки данных, расположенного в 15 километрах от основного. Время переключения на резервный ЦОД составляет около 30 минут.
Надежность функционирования вычислительной системы обеспечивается применением технологии горячего резервирования Oracle Active Data Guard, которая, помимо физического резервирования баз данных, позволяет использовать резервную машину для генерации отчетов и аналитического исследования данных. Хотя даже в рамках одного комплекса предусмотрено много средств для обеспечения бесперебойной работы. Среди них – возможности, связанные с кластеризацией и резервированием вычислительных ресурсов и емкостей подсистемы хранения данных, в том числе с многократным резервирование. Практически все критичные модули поддерживают горячую замену без остановки систем.
Правильность этого выбора была подтверждена в ходе предэксплуатационных испытаний. А по их результатам производительность системы финансово-аналитических расчетов на Exadata увеличилась в два – пять раз. Особенно выросла скорость подготовки данных для основных операций. Это связано с использованием высокоскоростного интерконнекта между элементами комплекса на основе Infiniband, а также применением высокоскоростных SSD-накопителей в качестве буфера при считывании данных с устройств хранения. Требования к объемам дисковой памяти уменьшились более чем в четыре раза. Этого удалось достичь благодаря использованию программно-аппаратных технологий сжатия данных, используемых в Exadata. В итоге, как отметил Андрей Пеший, в старой системе 1,8 трлн записей занимали 78 Тбайт, а 2 трлн в новой – лишь 19 Тбайт. А по некоторым таблицам объем удалось сократить в 10 раз.
Такие эксплуатационные показатели позволили «Киевстару» пересмотреть планы приобретения новых дисковых массивов для старой системы, которые не давали прироста производительности. Одно это уже означало прямую экономию средств, причем немалую. Кроме того, сокращались требования к площади ЦОД. Если прежняя система занимала шесть стойкомест, то Exadata – лишь одно. Существенно снизилась потребляемая мощность и объем тепла, которое необходимо отводить. А на Украине проблема выделения необходимых энергетических мощностей стоит не менее остро, чем в России.
Выросла и производительность труда сотрудников. Вот что сказал об этом Андрей Пеший: «Ускорение обработки отчетов немало способствовало повышению продуктивности работы всех, кто работает с системой. Так, работа финансовых аналитиков ускорилась вдвое. Настолько же быстрее стал процесс закрытия отчетного периода. Получение операционных данных сократилось впятеро. Быстрее стали приниматься решения, связанные с различными потенциально аварийными ситуациями. Тут выигрываем не только мы, но и наши абоненты. Безусловно, без использования нового решения таких результатов мы бы добиться не смогли».
Кроме того, решение оказалось хорошо масштабируемым. Это позволяет уже в ближайшем будущем развернуть на Exadata и другие бизнес-приложения, в частности ряд систем бизнес-аналитики. Также Андрей Пеший особо отметил удобство администрирования данного комплекса, что автоматически означает снижение эксплуатационных расходов. В итоге срок окупаемости оказался заметно меньше по сравнению с другими системами, которые внедрялись в «Киевстаре».
Вполне возможно, что со временем на Exadata будут перенесены и более критичные системы, включая биллинговые. «Мы провели достаточный анализ и тестирование комплекса Oracle Exadata. И он показал, что на нем можно разворачивать высококритичные бизнес-системы, включая биллинг. Вопрос лишь в их адаптации», – прокомментировал в заключение Андрей Пеший.
