Заводя речь об информационной базе концепции умного города, мы почти всегда имеем в виду всевозможные датчики, видеокамеры и иные устройства, информация с которых надлежащим образом консолидируется и преобразовывается, что в результате позволяет принимать управленческие решения. Гораздо реже мы говорим о том, какие принципы должны быть заложены в основу тех самых первичных данных, чтобы впоследствии они могли наиболее эффективно послужить на благо развития общества. Ну а если этот аспект всё-таки затронуть, то на первое место с явным отрывом выходит концепция открытых данных.

Открытость в конкретном понимании

Для начала посмотрим, насколько идеология Open Data поддерживается на государственном и межгосударственном уровне и как она в данном случае понимается. В смысле международного опыта нас прежде всего должна интересовать ситуация в США, Европе, России, а также на межгосударственном уровне в целом. Формальное определение открытых данных легко найти в Wikipedia, а некий свод основных имеющихся на сегодня определений — например, на opengovdata.ru. Но какое бы из них мы ни взяли, некоторые тезисы остаются общими.

Основной посыл состоит в том, что концепция Open Data — не абстрактный призыв к некой информационной открытости, а направление, предполагающее единый понятийный аппарат, классификацию проблем и направлений развития, лицензирование, юридические и иные аспекты их использования, принятые в масштабе заинтересованных государств, организаций и сообществ во всем мире. В этом смысле принципы Open Data наследуют массу идей и практических наработок от давно известной концепции Open Source и совершенствуются в тесном контексте развития более новых идей, таких как открытый контекст (open context), открытый доступ (open access) или открытое правительство (open government).

Несколько более расширенную трактовку этих вопросов можно получить на сайте Фонда открытых знаний (Open Knowledge Foundation, http://okfn.org) — некоммерческой организации, образованной в 2004 году и изначально ориентированной на продвижение открытых данных и открытого контента в различных формах, — а также на смежном ресурсе opendefinition.org.

Во-­первых, здесь весьма подробно рассматривается само определение открытости — такие категории, как доступ к контенту, возможность его распространения, принципы повторного использования или модификации, форматы представления (прежде всего машиночитаемость) и технические возможности, обеспечивающие реализацию вышеназванного.

Кроме того, на этих ресурсах рассматриваются конкретные лицензии, например Public Domain Dedication and Licence (PDDL) или Open Database License (ODbL), в целом не имеющие отношения к коммерческой стороне использования информации, а скорее призванные формально зафиксировать факт открытости тех или иных данных в строго определенном смысле этого термина. Здесь же дается складывающаяся на сегодня де-факто классификация отраслевой направленности основных информационных источников, предназначенных для открытого использования. Речь, в частности, идет о данных, относящихся к культуре, научным сведениям, финансовым показателям, транспорту, экологии, погодным условиям и т. д.

Понятно, что доминировавшая десятилетиями концепция проприетарной информации вполне жизнеспособна и сейчас. По крайней мере это точно касается коммерческого сектора экономики. Сфера же государственного управления и отчасти крупный бизнес, которые генерируют значимые для жизни общества данные, в целом начинают постепенно двигаться (как пропагандистскими, так и законодательными мерами) к принятию идеи открытых данных. Причем речь идёт именно о целостной концепции Open Data, описанной на opendefinition.org, чтобы ни у кого не возникало соблазна выкладывать в открытом доступе немашиночитаемые данные (что пока частенько встречается на практике), держа удобную для автоматизированной обработки версию той же информации в качестве коммерчески распространяемой.

В свою очередь идеи Open Data, возросшие на ниве государственного или муниципального управления, постепенно вливаются в уже упомянутую концепцию Open Government. Здесь можно назвать один из наиболее известных и показательных интернет-ресурсов data. gov, явно декларируемой целью которого является расширение публичного доступа к содержательно ценным машиночитаемым наборам данных, генерируемых органами исполнительной власти США. Одним из важных принципов data.gov является участие населения и бизнеса в развитии открытого ресурса. В свою очередь размещаемые на этом сайте данные являются информационной основой развития инициативы Open Government, разработанной исполнительным аппаратом президента США, которая рассматривает знакомые нам идеи прозрачности деятельности правительственных органов, возможности совместной их работы (в российской терминологии — межведомственного взаимодействия) и активного вовлечения людей в процесс управления. Похожие инициативы Open Government, касающиеся европейского сообщества, описаны и на сайте еврокомиссии ec.europa.eu.

Три составные части

В то же время все описанные инициативы и интернет-ресурсы скорее всего оказались бы вовсе «беззубыми», если бы не были подкреплены следующими компонентами:

  • общепризнанными в мировом сообществе концептуальными направлениями развития информационных систем;
  • базовыми ИТ-платформами, ориентированными на развитие открытых правительств во всем мире;
  • прикладными ИТ-решениями.

Что касается концептуального развития, то основными обязательными на сегодня требованиями к открытым данным являются их машиночитаемость и предпочтительный доступ к ним через программный интерфейс (API), специально разрабатываемый для того или иного их набора. Это в свою очередь подразумевает высокую степень интегрируемости данных. На практике же после достижения некой критической массы соединяемой в одной прикладной системе информации мы приходим к известной концепции Big Data. Таким образом, Big Data и Open Data действительно фактически развиваются параллельно.

Open Data также близки к идее Open Source. Так, например, тесно связанная с инициативой Open Government платформа Open Government Platform (www.opengovplatform.org), имеющая открытый код, в качестве открытого программного проекта выложена на известном ресурсе для разработчиков GitHub. То же самое можно сказать и о городских информационных проектах города Чикаго, информационные проекты которого активно выкладываются на GitHub с февраля 2013 года, так что к сентябрю набралось уже более трехсот интерфейсов к различным наборам данных. Кроме того, информационный департамент этого города в истекшем году разработал специальный интерфейс, преобразующий массивы данных официального городского портала (а стало быть, данные, выложенные на GitHub) в формат, который понимает известная система статистического анализа R-Pakage, созданная, кстати, тоже в соответствии с принципами Open Source.

Платформы

ИТ-платформы, непосредственно ассоциируемые со все более широким распространением открытых данных (прежде всего в сфере государственного управления и электронного правительства), также представляют собой уже сформировавшееся и вполне самостоятельное направление. Его развивают не только (а может, и не столько) все известные гранды ИТ-индустрии, с деятельностью которых у нас традиционно ассоциируются понятие автоматизации органов госуправления и концепция Smart City.

Одна из очень широко востребованных коммерческих платформ для работы с открытыми данными Socrata (ориентированная, правда, исключительно на информационную поддержку государственного и муниципального управления США) имеет очень характерный набор решений. Общая идея этой платформы — дать возможность полностью реализовать технический потенциал Open Data для тех целей, для которых эти данные собственно и предполагается использовать. Поэтому в качестве предложений мы видим инструменты для создания программных интерфейсов под те или иные наборы открытых данных, средства создания портальных решений для правительственных структур, готовые интерфейсы доступа к информационным ресурсам госорганов, конверторы форматов в деловые приложения и некоторые другие решения.

Дополнением к названному продукту может служить решение CKAN, развиваемое упомянутым выше сообществом Open Knowledge Foundation и имеющее уже более широкое международное применение. С точки зрения функциональности речь идет прежде всего о публикации открытых данных со стороны национальных и региональных правительств, исследовательских институтов и иных организаций, обладающих потенциально востребованным для общества информационным ресурсом.

Усилиями этого же сообщества развивается и открытая платформа по управлению открытыми данными DataHub.

Прикладные системы

Результат идеи применения открытых данных — это конечно же прикладные системы, у которых тоже есть отличительные черты. Во-­первых, такие приложения в подавляющем большинстве случаев интегрируют в себе данные различных форматов из разных источников, наполнение которых никак не связано между собой.

Во-вторых, их характерной особенностью является то, что они обязательно предполагают взаимодействие с очень большим количеством пользователей (хотя и не всегда одновременное). И их функционал должен откликаться на это взаимодействие в режиме, близком к реальному времени, даже если событие, инициируемое пользователем, потребует оперативных вычислений над всем массивом данных. А это в свою очередь полностью исключает ситуацию, когда «общественно значимые» наборы данных (пусть и машиночитаемые) соединяются путем выгрузки и офлайнового преобразования. Все запросы должны вестись только онлайн и абсолютно прозрачно относительно границ отдельных наборов.

В-третьих, в развитии приложений, работающих с открытыми данными, очень большая роль отводится неформальным сообществам и общественным организациям. Их создание и совершенствование — это по сути постоянная коллективная работа. Расчет здесь прежде всего на их неформальный интерес к той или иной проблеме и их фокусную направленность на решение социально значимых информационных задач. Во многих европейских городах появляются приложения самой различной функциональности. Так, жители и гости Копенгагена с помощью мобильного телефона легко могут найти ближайший общественный туалет. В Нью-Йорке таким же образом можно найти площадку для выгула собак, а в некоторых городах Нидерландов на мобильный телефон можно получать уведомления о параметрах экологической обстановки в месте расположения абонента и о том, какой она будет в ближайшем перспективе. Понятно, что в больших городах подобных приложений могут быть сотни и даже тысячи, и поручить их создание общественности — наиболее правильный путь.

Разумеется, от распространенности в обществе идей открытых данных существенно повышается эффективность и самих госорганизаций. Касается это не только более привычных нам услуг электронного правительства, но и своего рода бэк­офисных задач расчета тех или иных факторов на уровне межведомственного взаимодействия. Разумеется, речь здесь идёт о контроле расходования государственных средств, о ключевых задачах региональной энергетики, транспортной отрасли или экологии.

Весьма характерным примером в этом случае является расчет пенсионных и иных выплат. Госструктуры на основе межведомственного взаимодействия и данных за длительный период могут сделать необходимые по закону расчеты, а общественные организации — осу­ществить своего рода тонкую настройку, учитывающую участие выходящего на пенсию человека в различных клубах, движениях и т. д., а также пополнить ту или иную статистику. Таким образом сочетаются усилия многих государственных и негосударственных организаций в решении одной задачи. А поскольку эти организации привлекаются к работам фактически на условиях некого коллективного аутсорсинга, это также роднит идеи Open Data и Open Source.

В этом смысле очень полезно упомянуть ту часть ресурса уже упомянутого сайта data.gov, которая фактически содержит каталог уже разработанных приложений, использующих открытые данные, и которая по сути служит хорошей иллюстрацией всего вышесказанного. Большое количество ссылок на имеющиеся решения позволяет говорить об их многообразии уже на сегодняшний день — от статистики потребления тех или иных ресурсов до подробной карты совершенных на территории США правонарушений. Очень большое внимание уделяется таким вопросам, как структура потребления энергии и экология. В отдельном разделе собраны описания мобильных приложений. Очень похожий свод приложений для открытых данных есть на официальном сайте города Чикаго.

Если же говорить об отечественном рынке, то портал открытого правительства пока представляет собой скорее классический новостной ресурс, дополненный выкладкой документов. А вот, например, портал открытых данных московского правительства как раз развивается в соответствии с теми тенденциями, о которых мы говорили выше. Подготовке информации в соответствии с идеологией Open Data, обработке открытых данных, формированию социально значимых прикладных решений и вовлечению в этот процесс разработчиков и общественности здесь явно придается важное значение.

Данные для гражданина, государства и бизнеса

Андрей Иванов, руководитель направления «Город будущего», «Microsoft Россия»

Концепция открытых данных (Open Data) отражает идею публикации не обремененных разного рода патентами, лицензиями, правовыми статусами и т. п. сведений для последующего использования (как машинами, так и людьми) и дальнейшей републикации без каких-­либо ограничений. Важно отметить, что открытые данные не содержат персональную информацию, а в случае их публикации из баз, содержащих таковую, в обязательном порядке осуществляется деперсонификация данных.

Потенциальных источников открытых данных много: это может быть индустрия в целом, правительство, коммерческая организация, сообщество и т. д. В качестве потребителя также может выступать широкий набор категорий — от индустрии до конкретного индивидуума.

В последние годы открытые данные активно развиваются в сфере государственного управления, являясь по сути одной из составляющих открытого правительства, основные принципы которого обсуждают многие страны. И действительно, открытость государственных данных должна давать положительный эффект в общественной жизни. Эксперты выделяют несколько ключевых направлений: формирование прозрачных отношений «социум — государство», улучшение качества принятия решений госаппаратом за счет предоставления недискриминационного доступа к информации для экспертов и простых граждан, имеющих соображения о целях их использования, а также для поддержки бизнеса.

Большинство проектов Open Data строятся по одинаковой модели: создается портал, на который выкладываются доступные необработанные данные, естественно, в необходимых случаях прошедшие процедуру деперсонификации. К порталу нередко создается дополнительный магазин приложений и сервисов для работы с этими базами. Приложения могут быть любыми — государственными, коммерческими или созданными энтузиастами.

Существующие на сегодняшний день платформы публикации открытых данных предлагают широкий набор функций, полезных для всех ролей, которые задействованы в процессе, — для тех, кто публикует данные, для разработчиков сервисов, использующих данные, уже опубликованные, и для конечных пользователей. Упомянутая в статье платформа Socrata позволяет осуществлять трансформацию данных из любого источника в машиночитаемый вид, предоставляет прикладные пользовательские интерфейсы разработчикам сервисов и облегчает жизнь конечному пользователю за счет встроенной в платформу возможности разносторонней визуализации любых наборов данных. Стоить также отметить, что в базовом решении от Socrata нет ориентации на специализированные наборы данных той или иной индустрии.

Не надо забывать и об инфраструктурной составляющей, ведь с ростом популярности какого¬либо ресурса, представляющего открытые данные той или иной тематики, появляется и ответственность по обеспечению доступности этих данных. Вместе с тем по мере роста объема опубликованных данных увеличивается и стоимость поддержки информационной системы в целом. Вот поэтому для публикации открытых данных всё большую популярность приобретают облачные технологии. К примеру, и система Socrata, и решение CKAN могут работать поверх облачной платформы Microsoft Windows Azure, что помимо прочего обеспечивает оперативность при их развертывании.