Системы аналитической отчетности активно развиваются в органах государственной власти в последние годы. Одно из таких решений построено в Федеральной миграционной службе. Проект идет в рамках построения Государственной информационной системы миграционного учета уже полтора года. Его цель — создание инструмента аналитического исследования на основе единого хранилища данных, консолидирующего информацию из различных источников. Построенная «Автоматизированная система аналитической отчетности (АСАО)» включает единое хранилище данных, механизмы формирования отчетов и инструментарий публикации отчетов на портале. Разрабатывает, внедряет и сопровождает систему с июля 2010 г. компания ФОРС.

В рамках первой очереди проекта к АСАО была подключена ЦБД УИГ (центральная база данных учета иностранных граждан), содержащая данные об иностранных гражданах и лицах без гражданства. Во второй очереди были подключены базы «Российский паспорт», «Статистическая отчетность 1‑РД», «Вынужденные переселенцы».

Проект построен на Oracle Database Server Enterprise Edition. В качестве аналитической платформы используется продукт Oracle Business Intelligence Suite Enterprise Edition Plus. Web-портал реализован на Oracle BI Interactive Dashboard. Развертывание хранилища не потребовало каких‑либо дополнительных мощностей, оно прошло в рамках текущей модернизации инфраструктуры. Дальнейшее технологическое развитие системы также планируется проводить интегрированно с развитием всей инфраструктуры Службы, отмечает подполковник милиции Андрей Романков, начальник информационного управления ФМС России.

Он рассказывает, что ранее отчетность формировалась в прикладных базах данных. Ей не хватало гибкости, сложно было вносить изменения. Нестандартные отчеты могли конструировать только программисты. Приходилось держать в штате несколько сотрудников, занятых исключительно составлением отчетности. Профильные управления не имели доступа к формированию отчетности по своим требованиям, даже стандартные отчеты не всегда отражали все пожелания службы.

«BI нам позволил делать отчетность другого, чем раньше, характера, — подчеркивает Романков. — Не формально‑статистическую, а аналитическую. Она позволяет на актуальных данных мониторить миграционную ситуацию в стране в различных разрезах, как по учетным позициям (трудовая деятельность, пребывание на территории, правонарушения, пересечение границы и иным зафиксированным взаимодействиям иностранного гражданина с государственными органами), так и в территориально-временных разрезах. Оптимальная частота обновления хранилища для миграционной службы — раз в сутки. Элементарной еденицей исследования может быть выбрано как подучетное лицо, так и документ или событие.

Принципиально новым для нас моментом стало построение прозрачных и понятных зависимостей между разнокатегорированными событиями. Появилась возможность перекрестных отчетов, установление связей между, казалось бы, несвязанными объектами.

Помимо того, система позволила сотрудникам Службы выйти на новый уровень информационной грамотности. Сотрудники без обращения в ИТ-подразделения, используя дружественный интерфейс и свою логику, создают отчеты по тем правилам, которые сами формируют, а также имеют возможность как пользоваться витринами данных, так и перенастраивать их.

Сам процесс формирования запросов и получения отчета довольно прост, хорошо визуализирован и напоминает собирание картинки из кубиков. «С этого года мы стараемся полностью уйти от программирования отчетов за исключением редких критических случаев. Мы уходим от SQl-запросов полностью на аналитическую отчетность еще и потому, что в хранилище содержится уже очищенная информация», — говорит он. Число источников расширяться не будет, но остается задача сделать их на 100% достоверными.

Как чаще всего и бывает в BI-проектах, именно борьба за качество данных оказывается одним из ключевых и наиболее сложных этапов. ПО, которое используют на местах, в районных подразделениях ФМС, не стандартизировано. Применяют софт, «сложившийся исторически», что не может не вызывать проблем. Пока что выверка и очистка данных проходят в полуавтоматическом режиме, при участии людей. В будущем в ФМС намерены перейти на полностью автоматизированную очистку данных.

Сейчас очистка данных происходит при загрузке данных в хранилище. Выявляются несопоставимые события, в основном существование более чем одного документа определенного типа, паспорта, например, или разрешения на трудовую деятельность. Это не только технологическая процедура, но и повод для проверок работы тех или иных подразделений. Необходимо в каждом случае разбираться, произошла техническая ошибка или же это результат преднамеренных действий. Такая работа идет постоянно, в том числе есть регламентные проверки, их проводят с определенной периодичностью.

Новое ПО территориального уровня проходит опытную эксплуатацию, и уже на текущий год намечен переход на стандартное программное обеспечения во многих подразделениях ФМС. Стандартизированное ПО территориального уровня должно стать источником чистых данных. Связь с хранилищем будет организована либо напрямую, либо через ETL, но во всяком случае с переходом на новое ПО ситуация с очисткой данных отпадет как ненужный элемент, по словам Романкова.

Составление прогнозов и дата-майнинг запланированы уже на текущий год, в том числе и раз­работка моделей поведения. «Это будет достаточно интересный инструмент, просто необходимый в нашей области. Пока для прогнозирования мы применяем стандартную экстраполяцию. Мы ра­ботаем над созданием собственных прогностических моделей, поскольку на миграцию влияют самые разные факторы — от погодных условий до политических катаклизмов», — поясняет Романков.

Что касается обучения пользователей и восприятия нового инструмента, то в этом проекте ситуация была нетривиальной. «Это не формализованная статистическая отчетность, это «живая» аналитика. Благодаря ей люди видят результаты тех процессов, которые идут в регионе или стране в целом, по любому интересному им направлению. Это не отчетность для «галочки», это инструмент принятия решений. Поэтому его внедрение приветствовалось как в центральном аппарате, так и в центрах федеральных округов», — рассказывает Романков. Число запросов на построение отчетов к ИТ‑службе заметно снижается, пользователи активно работают с хранилищем самостоятельно.

Остальные регионы теперь постоянно подталкивают «центр», пытаются ускорить появление такого инструмента и у себя. Развертывание АСОА на всю страну планируется в текущем году.

Замена же территориального ПО для подразделений на местах будет непростой, поскольку сотрудников, занятых рутинными операциями, всегда сложней перевести на новые инструменты, чем тех, кто занят более квалифицированной работой.

Обучение было и очным, и в режиме видеоконференций, и с направлением обучающих материалов. Оно оказалось довольно успешным, так как сам продукт хорошо адаптирован к уровню пользователей, как считает Романков.

«Было интересно самому участвовать в проекте и в конце получить реальный результат: увидеть, как в реальном времени меняется ситуация, убедиться в удобстве инструмента, которым может пользоваться и не ИТ‑специалист, проследить изменение процесса от SQL-запросов до применения BI», — говорит Андрей Романков.