Новые перспективы корпоративной аналитики

Умешвар Дайял
ведущий исследователь в лаборатории Hewlett-Packard, где возглавляет группу, занимающуюся исследованиями в области data mining, управления знаниями и управления бизнес-процессами. С ним можно связаться по e-mail: umeshwar_dayal@hp.com

Ресурсы Публикации в научной прессе Delic, Kemal A. and Umeshwar Dayal. "The Rise of The Intelligent Enterprise", ACM Ubiquity, vol. 3, no. 45. Delic, Kemal A. "Enterprise Models, Strategic Transformations and Possible Solutions", ACM Ubiquity, vol. 3, no. 20. Grigori, D., F. Casati, U. Dayal, and M.C. Shan. "Improving Business Process Quality through Exception Understanding, Prediction, and Prevention", Proceedings of VLDB 2001, Rome, 2001. Han, J. and M. Kamber. Data Mining: Concepts and Techniques, Morgan Kaufmann, San Francisco, 2000. Inmon, W.H. Building the Data Warehouse, Second Edition, John Wiley, 1996. Chaudhuri, S. and U. Dayal. "An Overview of Data Warehousing and OLAP Technology", ACM SIGMOD Record, March 1997. Книги Quinn, James Brian. Intelligent Enterprise, New York, The Free Press, 1992.

Лица, ответственные за принятие решений в компании, нуждаются в такой ИТ-архитектуре, которая отвечала бы их потребностям, но никак не наоборот. Однако пользователь пользователю рознь. На наш взгляд, существует три общих категории пользователей. Принимая решения, они уточняют свои данные и потребности в информации. Понимание того, как они это делают, поможет четче представить концепцию аналитической архитектуры предприятия.

Первые 50 лет истории ИТ ознаменовались глубоким и всесторонним проникновением вычислительных систем в самые разные области бизнеса. Нам представляется, что следующее десятилетие и следующие за ним годы станут эрой новой экспансии вездесущих ИТ-систем. Мы верим, что такое продвижение позволит лучше использовать взаимосвязанные аналитические системы предприятия. Иначе говоря, видение ролей CRM, ERP, интеграции приложений предприятия и корпоративного ПО управления знаниями будут объединяться через аналитику. Мы прогнозируем, что нынешние предприятия превратятся в более интеллектуальные организации, которые смогут работать на самых различных рынках и адаптироваться к условиям естественных экосистем, развиваясь и приспосабливаясь благодаря естественному стремлению к выживанию.

Работа нынешнего предприятия заключается в бесконечном переменном потоке событий, которые заканчиваются заключением сделки или другой реакцией на происходящее. Данные и информационные архивы, журналы и средства аудита фиксируют сделки и события, таким образом создавая основу для ПО более высокого уровня, или корпоративной аналитики. Крупные предприятия сталкиваются с угрюмой реальностью огромных объемов данных и быстроизменяющейся природой бизнеса. Ежедневно в таких компаниях перемещаются терабиты данных, накапливаются терабайты информации, которые обрабатываются терафлопами вычислительных мощностей. Чтобы обеспечить слаженную работу, предприятиям приходится реализовывать тщательно продуманную архитектуру, разбивая и организуя управление четко определенными уровнями - управления событиями, обработки транзакций и визуализации корпоративной аналитики.

На сегодня большинство методов реализации корпоративной аналитики направлены "изнутри наружу": от представления данных и информационных источников. Мы предлагаем "плясать от печки", то есть от потребностей реальных пользователей и их типичного поведения при принятии решений.

Сложность моделирования: подходы

Производственные предприятия - исключительно сложные системы, которые трудно поддаются управлению и моделированию. Тем не менее их моделируют, чтобы лучше понять, как управлять ими, где и как они нуждаются в развитии и как улучшить производственную и финансовую производительность. На основании накопленного опыта можно смело утверждать, что по крайней мере две трети всех сложностей бывают связаны с недостатками организационной структуры предприятия, и лишь оставшаяся треть - со сложностью ИТ-инфраструктуры.

В абстрактном "среднем" предприятии можно выделить три уровня:
1) бизнес.
2) системы и средства производства;
3) данные и информация.

В таком упрощенном представлении ИТ-системы второго и третьего уровней функционируют как посредники и служат коммуникационным каналом, позволяющим контролировать бизнес-операции, формировать целостную картину ситуации на предприятии и выполнять действия, необходимые для оптимизации ограниченного набора бизнес-показателей высокого уровня, таких как доход, прибыль, рост и позиция на рынке.

Другой полезный подход к созданию представления о предприятии состоит в разбиении его на две четко определенных части: статическую, или медленно изменяющуюся (например, ИТ-инфраструктуру), и динамическую (традиционно огромное число оперативных показателей деятельности). Динамическая часть включает данные и информационные потоки в рамках самого предприятия и за его пределами. Обе части критически важны для поддержки принятия решений на предприятии. Статическая составляющая служит базовым контекстом. Однако принятие решений по природе своей динамично: оно характеризуется безотлагательностью и предполагает участие различных типов сотрудников и стилей.

Принятие решений: вопрос стиля

Для принятия идеальных решений требуются идеальные люди, ответственные за принятие решений, а также своевременная поддержка в виде идеальных данных и информации. Ясно, что с действительностью такая картина имеет немного общего. Реальным лицам, ответственным за принятие решений, приходится жить в несовершенном мире. Чтобы как-то упорядочить эту сторону человеческой деятельности и разобраться с группами потенциальных потребителей аналитических артефактов, в первом приближении их можно разбить на три группы: топ-менеджмент, менеджеры/аналитики и рядовые сотрудники. Далее мы вкратце обсудим особенности принятия решений в каждой группе.

Основная задача топ-менеджеров - своевременно "переварить" огромный объем слабо структурированных данных и других несовершенных массивов информации. Топ-менеджеры должны уметь "просвечивать рентгеном" терабайты "сырых" корпоративных данных, которые прошли через объединение, абстрагирование и преобразование в более "насыщенные" аналитические отчеты, представленные в виде контрольных панелей, карт и других видов графических отчетов. Менеджеры и аналитики принимают решения на основе аналитических отчетов, полученных на основе гигабайт данных. И наконец, сотрудники низшего звена также сталкиваются с необходимостью ежедневной обработки мегабайт данных и информации. Наблюдения показывают, что члены этих трех указанных групп принимают решения, руководствуясь соответственно интуицией, рациональными соображениями и стандартными методами (рис. 1).

Корпоративные аналитические системы: поддержка принятия решений

Корпоративные аналитические системы охватывают самые различные предметные области, затрагивают разные активы и требуют для повышения качества и ускорения принятия решений различных аналитических отчетов. На практике для поддержки принятия решений обычно требуется предоставить сотрудникам, ответственным за принятие решений, ожидания и прогнозы - чтобы можно было рационально обосновать выбор. Для прогнозирования обычно используют причинно-следственные модели. Здесь важно отметить, что случайность - ключевой фактор прогнозирования, вот почему крупные системы так сложны в моделировании и прогнозировании результатов и поведения. Рассмотрим поближе каждую группу пользователей.

1. Топ-менеджеры, ответственные за принятие стратегических решений. В процессе принятия стратегического решения (например, о том, как повысить общую доходность клиентов) они переваривают огромный объем данных и информации, возможно, сами того не подозревая. Топ-менеджеры принимают и интуитивные решения, при этом они руководствуются информацией о предприятии и внешней информацией о рыночных условиях, а также собственным пониманием партнеров и поставщиков. Временной горизонт их стратегических решений - обычно месяцы или годы.

2. Менеджеры и аналитики - это сотрудники со специальными навыками, отвечающие за принятие тактических решений. Принимая решение (например, об оптимизации денежных потоков), они осваивают меньший объем данных и информации. Важно, что рационально мыслящие менеджеры и аналитики, ответственные за принятие решений, ориентируются на связанную с узкой предметной областью информацию, включающую важный, но ограниченный набор данных. Их решения обычно рассчитаны на дни или недели.

3. Сотрудники, принимающие стандартные решения (например, об оптимизации затрат на связь), используют ограниченные данные своей предметной области. Временной горизонт решений рядовых сотрудников - часы и дни.

Различные пользователи корпоративной аналитики используют различные отчеты. Менеджерам высшего звена и аналитикам обычно требуется интерактивный контент (иногда его называют "активным"), а более многочисленным сообществам рядовых сотрудников требуется пассивный (или статический) аналитический контент. Каждая выделенная нами группа также отличается особой моделью доступа к информации. Аналитикам обычно требуется серьезное клиент-серверное приложение, менеджеры нуждаются в доступе к аналитике из окна браузера на мобильном ПК, а обычным сотрудникам нужна аналитика на настольном ПК или доступ к ней через непостоянно подключенные к сети PDA, мобильные телефоны или другие переносные устройства. Вот они - самые важные параметры для проектирования и создания архитектуры аналитических систем.

Теперь можно выделить то, что предлагается в качестве многоуровневой архитектуры предприятия, разбитой с точки зрения ИТ на несколько уровней, удовлетворяющих различные потребности и стили принятия решений.

Архитектура

К стандартным отчетам аналитической архитектуры предприятия относятся оценки, прогнозы, сценарии, представления и правила. Они являются естественным результатом выполняемых человеком наблюдений, рассуждений и интеллектуального анализа. Мы будем называть ИТ-системы, специально предназначенные для создания аналитических отчетов, "корпоративными аналитическими системами". Сегодня к ним обычно относят информационные хранилища, системы управления знаниями и системы моделирования, а их цель состоит в извлечении полезной информации из огромного объема накопленных данных и представлении ее в виде, удобном для лица, принимающего решения.

Аналитический корпоративный отчет может представляться в форме графика, таблицы, текстового документа, интерактивной графики или модели. Одни отчеты пассивны, другие интерактивны. Одни поступают с единственного аналитического сервера, в то время как для создания других нужна мощь grid-вычислений. Как правило, объем вычислительных мощностей и задействованных ресурсов обратно пропорционален объему представляемых отчетов. Некоторые существующие на рынке BI-решения предоставляют своим пользователям десятки тысяч аналитических отчетов.

Задача корпоративных аналитических систем многогранна: от создания целостного представления о состоянии предприятия и его подсистем до решения задач оптимизации и прогнозирования. Самые базовые и наиболее типичные системы используются для выявления и сокращения числа неэффективных операций или методик и, в результате, оптимизации общей производительности предприятия. Высокоабстрактную корпоративную архитектуру предприятия можно разбить на три уровня, ориентированные соответственно на события, транзакции и аналитику, - у каждого свои цели, задачи и проектные ограничения (рис. 2).

На рис. 2 видно, как при взаимодействии с потребителями, клиентами, партнерами и поставщиками генерируется постоянный поток бизнес- и ИТ-событий, которые должны точно и своевременно попадать в предназначенное для их обработки ПО. В рамках ИТ-архитектуры должны обрабатываться ИТ-события, что позволит организовать контроль и управление ИТ-инфраструктурой: сетью, маршрутизаторами, коммутаторами, серверами, операционными системами, приложениями, персональными и портативными компьютерами, а также мобильными устройствами.

Бизнес-процессы - также принципиально важная часть деятельности предприятия. Бизнес-процессы представляют собой ежедневно выполняемые хозяйственные операции предприятия. Это последовательность взаимосвязанных операций, обычно выполняемых в соответствии с установленными политиками. Транзакционные приложения агрегируют, преобразуют и регистрируют как транзакции лишь часть этого бесконечного потока событий. Фиксирование и восстановление транзакций - необходимые составляющие этого среднего уровня, в частности, они играют ключевую роль в процессах выставления счетов и аудита.

Поэтому корпоративные аналитические системы должны предоставлять оптимальную поддержку принятия решений в широком диапазоне: от ежедневных оперативных решений до стратегических и революционных изменений. Для этого в аналитических приложениях применяются сложные алгоритмы просеивания информации, специализированные репозитории, такие как хранилища оперативных данных, витрины данных, информационные хранилища и базы знаний. Корпоративные порталы выполняют визуализацию аналитики для различных групп пользователей.

По своей сути корпоративные подсистемы обработки событий, транзакций и аналитические подсистемы служат средством бизнес-коммуникации, координации и сотрудничества с поставщиками и рынками. Они создаются на гетерогенных платформах, для которых ощущается сильная нехватка стандартов взаимодействия. Web-сервисы совершенно новым образом удовлетворяют потребность в стандартах и поддержке взаимодействия, однако не прекращается бурный рост числа неофициальных стандартов и частных решений. Работа аналитической системы основана на прогрессе в самых различных областях ИТ, особенно в сфере data mining и бизнес-интеллекта.

Прогресс технологий

Корни большинства нынешних аналитических технологий растут из результатов исследований в области теории информации и искусственного интеллекта - именно они позволили создать data mining, информационные хранилища, OLAP и BI. Союз этих технологий и прогресса в области аппаратного обеспечения вместе с совершенствованием методов разработки ПО привели к созданию внушительных информационных структур, находящихся поверх традиционного слоя обработки информации. В результате были созданы огромные приложения, позволяющие выполнять крупномасштабное моделирование и моделирование реального времени, которое так необходимо для прогнозирования погоды, наблюдения за дорожным движением и финансового анализа.

Корпоративные аналитические системы выходят из стадии исследования, а отраслевые требования начинают диктовать требования по специализации и новым методам и подходам (см. врезку "Финансовые услуги: на острие прогресса"). Прогресс скорее всего станет стимулом к созданию технологий, которые лучше соответствуют потребностям предприятия в аналитике. Мы верим, что увидим, как появится особая аналитическая архитектура, - так же, как это случилось в ответ на потребность в управлении событиями и транзакциями предприятия. Новая технология обеспечит поддержку набора аналитических средств и методов для анализа прошлого, оценки настоящего и прогнозирования будущего по ключевым бизнес-показателям предприятия.

Финансовые услуги: на острие прогресса Процессы в сфере финансовых услуг говорят о том, что это первая отрасль, в которой удастся воспользоваться преимуществами новой технологии и архитектурных решений в области корпоративных аналитических систем. Причем это касается как клиентов, так и пользователей. Представим себе крупный банк, пытающийся совладать с невероятным объемом событий и сделок, и оценим число потенциальных пользователей и потребителей аналитических отчетов. В год банк обрабатывает более 5 миллиардов транзакций (примерно 150 транзакций в секунду), которые совершаются через 5000 кассовых терминалов и банкоматов. В центре данных банка свыше 30 высокопроизводительных серверов и 1000 многопроцессорных серверов обслуживают не только клиентов, но и персонал банка, то есть 25 000 "персоналок" и портативных компьютеров. У банка более 8 миллионов частных клиентов, пользующихся услугами Web-банкинга. Предоставление большому числу клиентов банка советов по максимально выгодному управлению деньгами, хранящимися на текущих счетах, - вот пример неинтерактивного крупномасштабного применения корпоративной аналитики. А предложение бизнес-клиентам различных инвестиционных сценариев может служить примером интерактивной аналитики небольшого масштаба, но с очень высоким практическим потенциалом. Потребуется создать сложную ИТ-инфраструктуру, которая будет создавать, перемещать и визуализировать корпоративную аналитику. В алгоритмах надо будет зафиксировать драгоценный опыт и знания, представляющие в наиболее концентрированном виде неоценимую интеллектуальную собственность предприятия. В финансовых службах число событий может исчисляться десятками миллиардов, количество транзакций - достигать 5 миллиардов в год, а численность статических аналитических отчетов - составлять десятки миллионов в год. Мы увидим сложную систему интерактивной аналитики, исчисляемой сотнями тысяч документов в год для бизнес-клиентов. Эта система представляет собой следующее поколение финансовых услуг, которые постепенно заменят все более выходящие из моды системы простой отчетности.