Единственный путь борьбы с разрухой

Дмитрий Назипов: В настоящее время "Внешторгбанк" переживает, наверное, самую серьезную перестройку за все время своего существования. Мы превращаемся в группу ВТБ, активно развивается большой проект "Внешторгбанк 24", направленный на предоставление розничных банковских услуг. И цель, которую ставит перед ИТ руководство банка, -: адекватное решение задач развития бизнеса в этих изменяющихся условиях. Соответственно и ИТ-инфраструктура, и корпоративные системы должны быть масштабируемы и адаптивны.

Структура портфеля ИТ-проектов ВТБ вполне традиционна. В основе ее лежат проекты, связанные с совершенствованием технологической инфраструктуры. С точки зрения коммуникационной инфраструктуры у нас достаточно разветвленная сеть: все наши структуры, точки продаж и филиалы связаны каналами, и в настоящее время происходит построение резервной сети на основе протоколов IP/VPN MPLS, которая позволит нам с наилучшим соотношением "цена/качество" получать телекоммуникационные услуги. Вероятно, в будущем эта технология станет основной для развития нашей телекоммуникационной сети. В этой сети уже реализована интеграция сервисов, когда данные, телефония и видеоконференцсвязь передаются по одним и тем же каналам связи. Сейчас этим трудно удивить, но подобная интеграция сервисов распространяется и на такие специфические банковские устройства, как банкоматы, терминалы и POS-терминалы.

С точки зрения вычислительной инфраструктуры год назад ВТБ являл собой достаточно хаотичное зрелище: огромное количество серверов, систем хранения и прочей техники было разбросано в произвольном порядке по разным площадкам, не были паспортизованы ни сервисы, ни ресурсы.

В настоящее время в нашей вычислительной инфраструктуре произошли серьезные перемены. На достаточно глубоком уровне реализована отказоустойчивость вычислительной системы. В созданной сети зарезервированы серверы и системы хранения, и все это разнесено по нескольким площадкам на территории Москвы. Аналогичным образом резервируются и рабочие места. Наша цель - чтобы потеря одной из двух наших основных площадок, причем потеря неожиданная и внезапная, не парализовала деятельности банка.

К сожалению, многочисленные примеры подобного рода в России и мире показывают, что это становится объективной необходимостью. Я хотел бы отметить, что, возможно, мы один из очень немногих банков, благополучно переживших отключение электроэнергии в Москве. Мы прерывали обслуживание наших потребителей только в тех случаях, когда это было вызвано отказами обслуживания наших провайдеров и наших банков-контрагентов. Поддержка отказоустойчивости в таком объеме - непременное требование к нашей информационной системе.

Сейчас завершается большой проект по созданию распределенного геокластера на основе технологии Microsoft, который резервирует инфраструктурные службы, сервисы (например, MS Exchange) и бизнес-приложения (операционный день, система расчетов и пр.).

Если говорить об архитектуре информационной системы ВТБ в целом, то она строится сверху - от сервисов, а не снизу - от инфраструктуры. Здесь мы ориентируемся на сервисориентированную архитектуру. На мой взгляд, крупные организации, вероятно, будут всегда придерживаться политики внедрения "лучших в своем классе" продуктов. Бизнес-менеджеры всегда находят тот продукт, который им хочется внедрить. Они инициируют проекты его внедрения в банке, и у ИТ-директора обычно недостаточно аргументов, чтобы предотвратить этот процесс. И термин "зоопарк", часто употребляемый по отношению к информационным системам, возможно, неизбежен в таких случаях. В ВТБ около 1200 приложений, из которых более 300 являются критичными.

Соответственно ИТ-департамент должен уметь адаптироваться к таким проблемам. Мы сейчас решаем проблему интеграции приложений с использованием общих инфраструктурных элементов, таких как интеграционная шина и хранилище данных, когда сервисы, приложения и системы "нанизываются" на универсальный механизм обмена и хранения данных.

Как складывалась ситуация с управлением таким большим объемом ИТ-ресурсов до старта проекта по внедрению HP Open View? Как проходил выбор системы управления ИТ-ресурсами?

К сожалению, полтора года назад, когда я пришел в ВТБ, там очень мало кто представлял, какие вообще у банка существуют программные разработки. Мы насчитали более тысячи разнообразных приложений. Нередко все это разрозненное хозяйство работало не так, как нужно, менеджмент банка был раздражен, не получая необходимого сервиса, и репутация службы эксплуатации была весьма скверной. И внедрение системы управления ИТ-ресурсами было единственным возможным способом борьбы с разрухой. Ведь разруха - не в путанице проводов или пыльных серверах. Разруха в головах тех, кто эксплуатирует ИТ-системы. Кроме того, рост бизнеса, увеличение количества проводок, клиентов и транзакций требуют от нас постоянного управления изменениями и модернизацией своей инфраструктуры.

Ранее в ВТБ уже был внедрен модуль HP Open View Network Node Manager для мониторинга телекоммуникационной инфраструктуры и каналов связи. И около двух лет назад стартовал проект по внедрению системы управления ИТ-ресурсами на основе BMC Patrol и системы управления службой поддержки на основе Remedy. К сожалению, по ряду причин два последних проекта не сильно продвинулись. Были вложены деньги, но работа протекала весьма статично. Прежде всего, интеграция проектов друг с другом оставляла желать лучшего. Эти компании подходили к системе управления ИТ-ресурсами как к набору отдельных продуктов, которые на верхнем уровне управления ИТ-службами не объединяются в единое целое. Уже в ходе проекта мы поняли, что этого недостаточно для полноценного решения всех задач, связанных с разрозненным ИТ-хозяйством,.

Нам нужно было перейти к уровню предоставления ИТ-сервисов, то есть предложить бизнесу детерминированные характеристики качества предоставления сервисов, поскольку другого способа показать бизнесу свою ценность и доказать, что наша работа эффективна, наверное, нельзя. В результате требования, которые мы предъявляли к системе управления ИТ-инфраструктурой, весьма повысились. Непременное требование - измерение эффективности работы ИТ. И объективные метрики нашей работы были для нас не менее важны, чем обычные инструменты управления ИТ-инфраструктурой, которыми обычно руководствуются при выборе того или иного программного продукта. Конечно же, система управления ИТ-инфраструктурой должна была поддерживать службу эксплуатации и обеспечивать реализацию априори заданных параметров обслуживания и времени реакции на инцидент. У нас в среднем 1200 обращений в день в службу поддержки - это достаточно большой объем, который ИТ-службе приходится "переваривать".

Анализ рынка систем управления показал, что HP Open View - единственная система, где множество функциональных модулей объединялось в универсальный инструмент, реализующий все уровни управления ИТ-ресурсами, от контроля за сетевыми устройствами до управления ИТ-службой в целом.

Кроме того, при выборе мы не могли не учитывать неотъемлемый плюс HP Open View - возможности интеграции с другими подсистемами. Ведь в качестве системы управления рабочими станциями в ВТБ была установлена система Microsoft System Management Services, в качестве системы управления документооборотом - Lotus Notes, в качестве системы управления жизненным циклом ПО - продукты IBM Rational. На нижнем сетевом уровне работали модули управления Cisco Works. И компоненты HP Open View хорошо легли на эту непростую архитектуру ПО и распределенную структуру головной организации и филиальной сети.

Компания НР на всех этапах оказывала нам необходимую поддержку. Особенно это стало важным, когда топ-менеджмент банка потребовал от нас развернутую оценку экономического эффекта от внедрения системы управления ИТ-ресурсами. Мы понимали, что оценка экономического эффекта от внедрения ИТ - весьма непростая и деликатная задача. Тем не менее мы это реализовали, базируясь на оценке с точки зрения убытков от простоя ИТ-системы. Оказалось, что один день простоя банка по прямым и косвенным убыткам существенно дороже, чем любая система управления ресурсами в ее максимальной конфигурации. Затем мы оценили снижение риска такого развития событий после внедрения системы управления ИТ-ресурсами. Это подействовало, и были выделены ресурсы для осуществления проекта. В целом надо сказать, что подготовка к этому проекту шла дольше, чем сама его реализация.

Расскажите о ходе проекта по внедрению системы.

Проект стартовал в феврале-марте 2005 года. Процесс построения сервисориентированной системы управления ИТ-ресурсами протекал по вполне классическим этапам: обследование, выработка модели, построение системы мониторинга и предоставление итоговых отчетов о текущем состоянии ИТ-сервисов. В качестве головного подрядчика выступила компания HP, в качестве соисполнителя - компания TopS BI. Они проделали большую работу, и, считаю, хорошо управляли этим проектом.

Однако, на мой взгляд, риски провала проекта больше всего зависят от проектной команды со стороны заказчика. Готовность заказчика идти до конца, обнажить в ходе проекта проблемы, "тупики", несовершенство своих методик - очень важный фактор. Внедряя HP Open View, мы осваивали не только новый продукт, но и целостную технологию работы, позволяющую стандартизировать процессы управления ИТ в соответствии с мировым опытом. Методология ITIL/ITSM - это достаточно хорошо сбалансированная система, которая включает в себя и кадровую поддержку, и технологическую, и нормативную, что позволило нам обеспечить эксплуатацию ИТ-систем на более высоком уровне.

И здесь надо сказать, что наши ИТ-специалисты, которые раньше не имели навыков в декомпозиции ИТ-сервисов, достаточно легко перешли к работе в этом поле. Команда проекта осуществила диагностику информационных систем Внешторгбанка. Сначала мы составили перечень ключевых бизнес-задач банка - операционный день, карточная система, система подготовки аналитической отчетности и т. п. Реализация этих задач пронизывала все уровни инфраструкторы и охватывала все функциональные модули HP Open View, начиная с управления вычислительными ресурсами и системами хранения данных, операционными системами и СУБД и заканчивая агрегированной информацией о доступности сервиса в целом. В целом мы выделили 34 сервиса, предоставляемых пользователям департаментом информационных технологий банка. Была разработана сервисно-ресурсная модель предоставления ИТ-услуг, по каждой услуге систематизированы ИТ-ресурсы, задействованные в ее предоставлении и поддержке.

Хочу подчеркнуть, что этот проект имел очень большое значение для всей службы ИТ, поскольку давал не только важный конечный результат, но и возможность наблюдать за своим осуществлением. Наш проект был сложным, охватывал все бизнес-приложения банка, на нем работала объединенная команда специалистов HP, TopS BI и ВТБ. Выполнялся он точно в срок, график выдержан с точностью до недели. Мы получили неплохой практический опыт управления проектами, когда менее чем за полгода был реализован достаточно масштабный проект.

Каковы же результаты проекта?

Системой охвачено достаточно большое количество информационных систем и платформ в Москве и пилотном филиале в Белгороде (более ста серверов). Мониторинг и управление мы осуществляем на различных уровнях информационной системы, начиная от контроля параметров сетевых устройств до контроля на макроуровне, на уровне тридцати четырех наиболее критичных сервисов и более трехсот приложений. На базе модуля HP OpenView Transaction Analyzer была создана система мониторинга онлайн-транзакций. Программные агенты, установленные на серверах, собирают информацию о времени выполнения всех запросов, обращенных к контролируемому приложению. Мы интегрировали продукты HP Open View с Microsoft SMS и Lotus Notes.

Более важной задачей, чем управление ИТ-инфраструктурой, было построение адекватной системы сервисной поддержки, поскольку обращения пользователей в службу поддержки и формировали имидж ИТ-службы и прямо влияли на уровни сервисного обслуживания пользователей. Здесь мы внедряли модуль Service Desk c функциональностью Incident Management, Change Management и Configuration Management. На первоначальном этапе проекта мы столкнулись с организационными проблемами, так как не имели даже инструкции по обслуживанию пользователей специалистами сервисной службы.

Использование модуля HP OpenView Service Navigator позволило наглядно отобразить сервисную модель ИТ-процессов банка и связь каждого из ИТ-сервисов с компонентами ИТ-инфраструктуры. В результате операторы диспетчерской службы могут оперативно определять причину сбоя в предоставлении ИТ-услуги и отслеживать всю цепочку последствий возникшей неисправности.

Данные различных модулей HP Open View были консолидированы в едином пространстве портала. Информация, собранная различными компонентами системы мониторинга ИТ-ресурсов Внешторгбанка, консолидируется в системе построения отчетности и прогнозов на базе HP OpenView Performance Insight и HP OpenView Reporter. Были реализованы достаточно развитые функциональные возможности, в частности, контекстные возможности при обработке инцидентов или оповещение специалистов департамента поддержки по SMS.

Я уже говорил о важности показателей работы ИТ-службы. Мы реализовали несколько метрик качества ИТ-сервисов, в частности, интегрированный консолидированный отчет по доступности серверов ВТБ. Модуль HP Open View Performance Insight формирует такие отчеты и дает прогноз по их будущей загрузке. На портале постоянно доступен отчет по реагированию на запросы пользователей, где пользователи могут отслеживать состояние их запросов службе поддержки.

В рамках проекта был реорганизован процесс управления инцидентами и внедрены процессы управления проблемами, регламентированными изменениями и конфигурациями. Интеграция с системами мониторинга ИТ-ресурсов дала возможность автоматизированного учета сбоев и проблем в ИТ-инфраструктуре и оперативного реагирования на сбои.

Вы довольно много времени посвятили экономической оценке эффективности инвестиций в систему управления ИТ-ресурсами. Насколько оправдались ваши оценки?

Несмотря на короткое время, которое прошло с момента внедрения системы, мы уже начали получать и финансовые результаты. Например, с помощью мониторинга производительности, который позволяет точно определять критичные точки тех или иных процессов, мы уже сейчас уменьшили затраты на апгрейд существующих серверов. Мы сэкономили не одну тысячу долларов за счет того, что просто осуществили наращивание конфигурации одного из наших серверов, работающего с критически важной задачей, вместо того чтобы приобретать новые более мощные серверы. В результате внедрения системы в среднем на 25-30% уменьшилось число обращений по инцидентам.

Поскольку с момента установления систем прошел еще достаточно малый срок, нет оснований утверждать, что инвестиции окупились. Если строить расчет окупаемости не на предположении об исключении потерь, связанных с простоем банка, а на экономии затрат и рабочего времени сотрудников, то оценка окупаемости проекта - два-три года.

Но главный результат проекта - исчезновение болота, в которое обычно скатываются плохо управляемые ИТ-системы и построение фундамента, обеспечивающего возможность для последующего роста. Устранение разрухи и наведение порядка в головах ИТ-менеджеров - один из самых важных результатов внедрения HP Open View.

Какие пути развития проекта по управлению ИТ-ресурсами в ближайшем будущем?

Конечно же, мы собираемся распространить результаты пилотного проекта на филиалы и другие структуры ВТБ. Кроме того, планируем рассмотреть вопрос о масштабировании этого решения на всю группу ВТБ, включающую множество дочерних организаций. Мы будем двигаться по пути внедрения других модулей HP Open View, таких как RADIA и Select Access. Другая важная часть работы, которая нам еще предстоит, - интеграция продукта, позволяющего управлять жизненным циклом нашего программного обеспечения IBM Rational с HP Open View. Это обеспечит нам расширенное управление требованиями к разрабатываемому ПО, управление изменениями и релизами.

Ну и, вероятно, мы должны будем дойти до самого верхнего уровня управления ИТ-службой - соглашений об уровне обслуживания (SLA). Это позволит нам гарантировать бизнесу качественные параметры ИТ-услуг: доступность, производительность и время обработки.

Впервые в России Борис Коновалов, вице-президент TopS BI В российской практике пока не много таких комплексных проектов по управлению ИТ-ресурсами. Уникален проект во "Внешторгбанке" и тем, что многие продукты линейки HP Open View внедрялись в России впервые. Это система контроля Web-сервисов HP OpenView Internet Services, система мониторинга онлайн-транзакций HP OpenView Transaction Analyzer, системы построения прогнозов и отчетности HP OpenView Performance Insight и HP OpenView Reporter. В условиях ИТ-инфраструктуры такого масштаба, как во Внешторгбанке, сложной и большой задачей стала настройка подсистемы HP OpenView Transaction Analyzer для контроля производительности серверов, обеспечивающих банковские транзакции. Большой комплекс работ был связан и с настройкой подсистемы мониторинга Интернет-сервисов (HP OpenView Internet Services), осуществляющей внешнее зондирование прикладных, Интернет-сервисов и протоколов посредством моделирования запросов пользователей и измерения доступности сервисов, времени отклика систем и других важных метрик. Для создания конфигурационной базы данных, логически объединяющей представление всех значимых объектов ИТ-инфраструктуры, были использованы все имеющиеся в банке источники информации: промышленные базы данных, собственные разработки сотрудников ИТ-подразделений банка, облегчающие выполнение их служебных функций, информация из баз данных подсистем HP Open View, информация из Microsoft SMS. Специфичной была и другая задача: потребовалось интегрировать систему поддержки предоставления ИТ-услуг с Lotus Notes, что позволило объединить возможности двух систем автоматизации управления деловыми процессами (workflow) - Lotus и Service Desk - в рамках одного процесса управления изменениями. Можно сказать, что сейчас во Внешторгбанке все готово для перехода к управлению качеством ИТ-услуг. Ведется статистика по ключевым параметрам предоставляемых ИТ-сервисов, существует информация, позволяющая оценить собственные временные затраты банка на работы по поддержке ИТ-услуг, есть модель для создания каталога услуг и соглашений об уровне сервиса. Это уже собственные "лучшие практики" банка.