В России пока не так много предприятий, которые имеют достаточный опыт в реализации проектов больших данных, поэтому сегодня особенно ценно узнать мнение экспертов в этой области. В ходе форума «Управление данными 2019» Артем Меркулов, руководитель бизнес-направления Big Data Solutions компании «Неофлекс», рассказал нам об основных сложностях, возникающих в проектах больших данных, и о путях их преодоления.

- Какие аспекты систем больших данных вызывают трудности у заказчиков?

Многие организации сейчас только начинают осваивать область больших данных и ведут пилотные проекты. Им часто не хватает внутренней экспертизы — в первую очередь по администрированию приложений, конфигурированию системных компонентов, кластеров. Нехватка квалифицированных кадров, пожалуй, главная проблема на сегодня.

Что касается технических аспектов, то, и по нашим наблюдениям, и по оценкам экспертов, до 80% всех объемов работ приходится на предварительную подготовку и обработку данных, поэтому именно эти процессы требуют от заказчиков наибольшего напряжения.

- При реализациии каких компонентов систем больших данных возникают наибольшие трудности?

Всегда присутствует рутинная часть – например, загрузка информационного «сырья» в хранилище или озеро данных. Такого рода процессы нужно автоматизировать, и мы в нашей платформе Datagram эту функцию реализовали. Вторая группа трудоемких компонентов связана со сложной настройкой трансформации данных. Зачастую загрузка данных происходит отдельно от их преобразования (например, средствами языка Scala). Наша платформа позволяет использовать трансформацию любой сложности, при необходимости прибегая к помощи внешних инструментов. Третья группа связана с DevOps, непрерывной интеграцией и развертыванием создаваемых приложений. Эти инструменты должны пронизывать все решение, поддерживая работу большой, в том числе распределенной команды. Реализация таких инструментальных конвейеров посредством одного лишь ПО с открытым кодом оказывается весьма трудоемкой.

- Какие компоненты являются самыми дорогостоящими?

Аппаратные компоненты систем больших данных по стоимости сопоставимы с теми, что применяются в «традиционных» проектах, при этом ПО зачастую обходится практически бесплатно, поскольку для работы с большими данными широко применяются продукты с открытым кодом. Самое дорогое – высококвалифицированный персонал. Такие специалисты дефицитны, поэтому их труд ценится. Но, даже если вы готовы предложить им достаточно денег, найти этих сотрудников на рынке и привлечь их все равно будет сложно.

- Нередко компаниям приходится анализировать данные из новых источников. Насколько трудоемкой и затратной оказывается интеграция с ними?

Просто подключить новый источник и обеспечить загрузку данных из него несложно – это вопрос нескольких дней или, возможно, недель. Гораздо труднее интегрировать данные из него в существующие системы. Главный фактор здесь – прозрачность алгоритмов, по которым планируется объединять данные. Если основой объединения служат простые ключи – это одна задача, если же, к примеру, требуется дополнить информацию о клиентах информацией из соцсетей, то задача значительно усложняется.

При подключении новых источников нередко приходится изменять бизнес-процессы заказчика – это нужно либо для того, чтобы полученные данные были задействованы и использовались, либо чтобы сотрудники им доверяли. Как известно, изменение бизнес-процессов – процесс достаточно трудоемкий и болезненный для любой организации.

- Как влияет на архитектуру и реализацию систем больших данных требование анализировать данные Интернета вещей?

Для Интернета вещей характерны две ключевые особенности. Первая – обработка потоков данных в реальном времени. Если система изначально не была спроектирована в расчете на потоковую аналитику, то, скорее всего, в нее придется внести серьезные изменения. Насколько это необходимо, будет зависеть от решаемой задачи. Одно дело – сбор потоковых данных и их анализ с определенной периодичностью (например, раз в сутки) и совсем другое – обработка данных «на лету»: чтобы выявлять аномалии или иные события, на которые надо реагировать немедленно, здесь требуется другая архитектура.

Вторая особенность – очень быстрый рост объемов данных при подключении источников Интернета вещей. Чтобы справляться с их потоком, нужна масштабируемая архитектура. Если возможности масштабирования недостаточны, то проблемы неизбежны, это касается и оборудования, и нагрузок на системные компоненты ПО. Проектируя системы больших данных для Интернета вещей, необходимо это учитывать и закладывать в них некоторый запас.

- Как правило, в проектах больших данных приходится сталкиваться с большим разнообразием источников, типов и форматов данных, а также с разными требованиями к их хранению и обработке. Охватить их одним ИТ-инструментарием часто не удается, поэтому решения получаются сложными. Как можно уменьшить эту сложность?

Первый, широко распространенный путь – использовать готовые дистрибутивы Hadoop. Самые популярные среди них — от Cloudera, объединившейся с Hortonworks, и от российской компании Arenadata. В эти дистрибутивы включены компоненты, которые покрывают около 80% потребностей, возникающих на предприятиях, к тому же они уже интегрированы между собой. Это существенно упрощает реализацию проектов и снижает их стоимость. Недостающие компоненты можно найти на рынке, заказать или разработать самостоятельно.

Второй путь основан на умении работать с различными источниками данных, придерживаясь единых форматов и подходов. В нашей платформе Datagram мы унифицировали подключение ко всем источникам, в том числе потоковым, чтобы инженеры по данным и аналитики могли объединить и трансформировать данные из любых источников с помощью единого интерфейса.

- Есть ли возможность снизить общую стоимость владения решениями для работы с большими данными?

Здесь можно выделить две области. Первая – вычислительные мощности: для проектов больших данных можно применять стандартные серверы среднего и начального уровня производительности, объединяя их в легко масштабируемые кластеры. Вторая – использование облачных сервисов: заказчик арендует те объемы для хранения данных, которые ему реально нужны, и таким образом эффективно управляет своими запасами.

Сэкономить на ПО позволяют компоненты с открытыми кодами – их на рынке сейчас очень много, дистрибутивы многих из них бесплатны. Еще на стадии пилотного проекта заказчик оценивает, поддержка каких компонентов ему потребуется в ходе дальнейшей эксплуатации системы, и затем приобретает только эти услуги. Снизить совокупную стоимость владения помогает также модель приобретения ПО по подписке, ее сегодня применяют многие вендоры, в том числе и наша компания.

Как грамотно управиться с нарастающей волной данных, перейти к дата-центричному подходу в ИТ-архитектуре и стать бизнесом, направляемым данными (data-driven)? Подсказки консультантов, методологии, вдохновляющие примеры превращений производственных компаний в поставщиков цифровых услуг, выступления экспертов по нормативному регулированию персональных данных — все это на прошедшем при полном аншлаге форуме «Управление данными 2019», организованном издательством «Открытые системы».

Подсказки от KPMG

Для тех, кто занимается проектами, связанными с искусственным интеллектом, качественные данные — постоянная головная боль. В одном из ключевых докладов форума от компании KPMG, средствам избавления от этой «боли» было отведено центральное место.

KPMG рекомендует для начала навести порядок, разобравшись в мета-данных и их сущности для бизнеса. Кроме того, монетизация данных, получение выгоды от них, должны стать частью стратегии компании на уровне ее высшего руководства. Не случайно директор по данным (Chief Data Officer, CDO) обычно подчиняется непосредственно руководителю компании, иначе запускать центры монетизации данных и кросс-функциональные команды, работающие с данными, просто невозможно.

Еще один крайне важный момент — в компаниях нередко возникают своеобразные «очаги инноваций», однако знание о том, что именно в них происходит, похоронено внутри этих маленьких команд. «Пиарьте инициативы, связанные с данными, рассказывайте о них внутри компании, рассказывайте снаружи, — призвала участников форума Алена Дробышевская, директор, руководитель направления «Умные технологии» KPMG. — Иногда бывает проще услышать что-то снаружи, чем изнутри».

Бизнесу следует быть готовым к смене бизнес-модели. Одно из самых тяжелых требований для традиционных компаний — быть открытыми для новых возможностей. Им чрезвычайно трудно воспринимать информацию как актив, который можно продавать или строить продукты на его основе. Тем не менее в компании непременно должны найтись люди, которые такие вещи придумывают.

Волшебное превращение

Компании AkzoNobel повезло — такие люди у нее были, и эффект их деятельности оказался весьма неожиданным.

Пример AkzoNobel крайне любопытен. Благодаря сбору и обработке накопленных данных производитель лаков и покрытий стал еще и разработчиком программного обеспечения, и поставщиком информационных услуг. Обрастание корпусов морских судов ракушками и водорослями со временем приводит к заметному увеличению расходов на топливо, поэтому прогнозирование этих процессов пользуется спросом у владельцев судов. Идея сбора соответствующих данных принадлежала двум ученым, начавшим эту работу еще в 1972 году. С 2009 года AkzoNobel начала собирать действительно большие данные, несмотря на отсутствие понимания, как удастся их использовать, да и удастся ли вообще. В течение нескольких лет, обновлясь каждые 15 минут, в компании копились данные о 25 тыс. судов и 8 параметрах окружающей их среды. В 2015 году на рынок вышел первый программный инструмент по предсказанию потребления топлива морскими судами. Вслед за этим у лакокрасочной компании неожиданно появился спрос на ее ИТ-инструмент предсказательной аналитики со стороны портов. Теперь AkzoNobel — поставщик информационного сервиса для судов и портов, заинтересованных в информации, помогающей предотвратить занос в акваторию порта опасной микрофлоры.

Персональная неопределенность

Несмотря на то, что персональные данные не обделены вниманием законодателей, до сих пор многое остается неясным, начиная собственно с определения персональных данных и степени, до которой их следует обезличить, чтобы получить возможность использовать в коммерческих целях.

«Есть колоссальная правовая неопределенность в вопросе, кому принадлежат персональные данные, том числе те общедоступные данные, которые сам субъект ввел в оборот, — подчеркнула Александра Орехович, директор по правовым инициативам ФРИИ. — И все вопросы очень острые». Исходя из духа закона, законодатель относит личные данные к собственности самого человека, но поскольку механизм распоряжения ими не урегулирован, человек себя собственником не чувствует.

Александра Орехович: «Сохраняется колоссальная правовая неопределенность в вопросе, кому принадлежат персональные данные»

Неудивительно, что фактический объем российского рынка данных примерно в 50 раз меньше, чем его потенциал. Но самое неприятное для бизнеса — массовое недоверие. По данным исследования Ipsos и Всемирного экономического форума, более половины пользователей готовы отозвать свои персональные данные и более не предоставлять их никому и не при каких условиях. Только 46% опрошенных готовы предоставлять персональные данные на условиях монетизации или получения преференций. Еще печальнее результат прошлогоднего опроса ВЦИОМ: 70% граждан уверены, что их данные бессовестно крадутся. По мнению Орехович, это прямое следствие правовой неопределенности и невозможности узнать, кто какие данные куда передает и с какой целью. Четкое ощущение, что данные им не принадлежат, приводит к тому, что клиенты не желают подписывать согласие на обработку персональных данных — с этой проблемой уже сегодня сталкивается малый бизнес.

Для решения этих вопросов готовится ряд поправок в действующее законодательство, в том числе по инициативе ФРИИ. «Мы считаем очень важным предоставить самому субъекту информацию о том, какие его данные обрабатываются, а также возможность их отозвать, — заявила Орехович. — Это уже существующая практика, несмотря на утверждения некоторых компаний, что это невозможно или очень дорого».

Исследование ФРИИ показало, что создание такого механизма обойдется российскому оператору персональных данных приблизительно 600 тыс. руб. — подъемная сумма, если бизнес заинтересован в вовлечении пользовательских данных в хозяйственный оборот. Это станет хорошей основой и для взаимодействия операторов, дав им возможность обогащать свои данные.

В центре ИТ-инфраструктуры

Каждая технология работы с данными эффективна в своей нише: реляционные СУБД хороши для хранения временных рядов и транзакционных данных,  базы NoSQL для неструктурированых документов, а технологии Big Data позволяют хранить большие объемы редко изменяющихся данных. «Нужно взять лучшее от каждого продукта и объединить в целостную логическую структуру, обеспечив связность, быстроту обработки, гибкое управление структурой и так далее», — говорит Сергей Горшков, директор компании «ТриниДата». По его мнению, на дата-центрический подход в построении ИТ-инфраструктуры следует переходить эволюционно. Первый шаг на этом пути — создание логической витрины данных, второй — построение хранилища данных, с которым будут работать приложения. Ключевым компонентом такой архитектуры для управления корпоративными данными являются онтологические модели, позволяющие хранить не только структуру данных, но и правила их обработки.

В мире интерес к решениям по управлению данными на основе онтологий и дисциплине «граф знаний» (Knowledge Graph) бурно растет, этот рынок стремительно развивается. В России, по словам Горшкова, тоже ожидается рост спроса на подобные решения не менее 100% в год. Онтология позволяет справится с описанием структуры данных любой степени сложности (десятков тысяч сущностей и связей между ними) и выстроить структуру данных на основе концептуальных представлений бизнес-пользователей, сделав ее интуитивно понятной.

Воплощением этой идеи стала платформа «АрхиГраф» — связующее ПО для доступа к данным, которая в совокупности с другими компонентами образует инфраструктурный слой единого корпоративного хранилища данных. «Нашей задачей было совместить мощь онтологий и лучшие существующие технологические наработки», — пояснил Горшков. «АрхиГраф» позволяет организовать логическую витрину данных для доступа к информации из унаследованных систем и построить кластер мультимодельного хранения данных, в котором начнет копится последующая информация.

На краю бизнеса

По прогнозам аналитиков, уже к 2022 году три четверти корпоративных данных будут создаваться и обрабатываться за пределами ЦОД и облаков — периферийными, или граничными (edge) решениями. Предполагается, что граничные вычисления не только освободят корпоративные сети от необходимости передавать большие объемы данных и позволят оптимизировать инфраструктуру обработки неструктурированных данных, но и существенно повлияют на решения по управлению данными.

Как сообщил технический консультант компании Atos Алексей Коваленя, некоторые консалтинговые компании предлагают свыше ста сценариев потенциального использования граничных вычислений. К примеру, первичная обработка данных «на месте» актуальна для систем компьютерного зрения, аналитики в реальном времени, а также обеспечения безопасности на границе сети. Специально для периферийных вычислений Atos выпустила в апреле 2019 года однопроцессорный сервер BullSequanna Edge с достаточно широким температурным диапазоном, в который можно поставить два дополнительных графических процессора для решения задач искусственного интеллекта. Сервер предназначен для работы вне ЦОДа, поближе к источнику данных. В компании Maersk, занимающейся морскими контейнерными перевозками, в течение трех месяцев тестировали BullSequanna Edge в комплексе с программным обеспечением Seimence Marine для Промышленного интернета. Это позволило добиться экономии топлива и улучшения экологических показателей.

Бизнес, движимый данными

Форум «Управление данными 2019» — не только концептуальные доклады и практические выступления, но и рабочая площадка для встреч с потенциальными партнерами и создания новых деловых связей. Так, Андрей Коньшин, руководитель проектов клиентского сервиса «МегаФон», пригласил к сотрудничеству и проведению пилотных проектов ИТ-компании, занимающиеся большими данными. В «МегаФоне» сегодня активно развивают инструменты на основе искусственного интеллекта: виртуальных голосовых помощников, речевую аналитику и роботов, продающих услуги.

Важнейшую роль для увеличения доли data-driven бизнеса в российской экономике будет играть наличие развитой методологии. В компании «Юнидата» завершают научное редактирование первого русского издания методологии, сформированной Международной ассоциацией по управлению данными (DAMA) — DMBOK 2.0. «Это книга, которую надо прочесть всем», — рекомендует генеральный директор «Юнидата» Сергей Кузнецов. Выход издания в свет ожидается в ноябре 2019 года.

Методики и опыт, концепции и инструменты – все ключевые аспекты работы с данными и информацией охватил прошедший 24 сентября форум «Управление данными 2019: стратегии, архитектуры, платформы, практики», организованный издательством «Открытые системы» и собравший около 300 участников – представителей коммерческих и государственных структур и поставщиков ИТ-решений. Одим из ключевых вопросов форума стала монетизация данных.

Чтобы извлечь прибыль из данных, следует задуматься об управлении не просто потоками данных, а информационными активами. Как отметил Валерий Артемьев, консультант департамента статистики и управления данными Банка России, это понятие охватывает не только «сырые» данные, но также информацию (факты, документы, различные виды контента, классификаторы и пр.), метаданные – описания информационных активов, знания (их отличительная особенность – наличие семантической интерпретации) и артефакты искусственного интеллекта.

Грамотно выстроенное управление информационными активами поможет решить очень важные вопросы: есть ли в организации нужные данные, где они находятся, как получить доступ к ним и к их описаниям, каковы их источники, поставщики и потребители. Чаще всего добиться монетизации информационными активами организации предполагают благодаря анализу данных, поэтому управление ими должно помочь получить ответы на смежные вопросы: анализировались ли интересующие нас данные прежде, решалась ли с их помощью похожая задача, какие именно данные были проанализированы, какие результаты получены, какой эффект для бизнеса достигнут, какие для этого применялись инструменты, как получить доступ к ним и пр.

Отдельная тема, которую затрагивали очень многие, — управление качеством данных. Как заметил Артемьев, их качество напрямую зависит от постановки задач, которые планируется решать на их основе, и вытекающих их них критериев и их приоритетов. В любом случае, чтобы управление качеством данных принесло свои плоды, его необходимо измерять, иначе улучшать его будет практически невозможно.

Данные на службе общества и государства

Александра Аронова: «Важно позиционировать управление данными правильно – так, чтобы обеспечить доверие заинтересованных лиц»

«Важно позиционировать управление данными – так, чтобы обеспечить доверие заинтересованных лиц», — уверена Александра Аронова, заместитель генерального директора компании «ГЛОНАСС».

В качестве примера Аронова поделилась опытом создания благоприятного информационного поля вокруг системы спасения на автодорогах «ЭРА-ГЛОНАСС». Ее появление сопровождалось мощным негативным фоном. Однако благодаря информационной кампании удалось значительно улучшить восприятие системы гражданами, убеждая их в том, что, во-первых, она поможет спасти им жизнь, если вдруг неприятности случатся с ними на дороге, а во-вторых, многочисленные устройства и установленные на них приложения от автопроизводителя собирают и передают сторонним организациям гораздо более конфиденциальные и детальные данные, чем те, что собирает «ЭРА-ГЛОНАСС». Одним из весомых аргументов является реальная эффективность системы: время реагирования экстренных служб на ее сигналы оказывается примерно вдвое меньше, чем у европейских аналогов, благодаря правильному выбору набора данных, передаваемых в случае аварии.

«Государственные данные должны стать рыночным активом, — заявил Василий Слышкин, директор департамента развития архитектуры и координации информатизации Минкомсвязи РФ. – Для этого они должны удовлетворять трем ключевым условиям: обладать юридической значимостью, доступностью и безопасностью».

Василий Слышкин: «Государственные данные должны стать активом на рынке данных»

В настоящее время объем данных, которыми владеет наше государство, составляет около 80 Пбайт. Идет работа над созданием Национальной системы управления данных, утверждена ее концепция и «дорожная карта», которые охватывают компетенции управления данными, политику в этой области, платформу, а также эталонные данные. Ключевая цель НСУД – обеспечить доверие граждан и бизнеса к государственным данным. Она поможет установить прозрачные правила для рынка данных. В 2019-м — 2020 году предполагается реализовать пилотные проекты НСУД вместе с ЦИК (автоматизированное формирование реестра избирателей), ЦБ (цифровой профиль гражданина в части банковских услуг), ФНС (повышение качества данных в ФИАС), Минэкономразвития (создание цифровых паспортов муниципальных образований) и Росстатом (создание цифровой аналитической платформы статистики). На 2021 год запланирован запуск НСУД в действие на федеральном уровне, а к 2024-му должна быть завершена гармонизация федеральных и региональных информационных ресурсов.

Как пояснил Сергей Сергиенко, руководитель направления НСУД в НИИ «Восход», при создании системы активно используется инфраструктура информационного правительства (в первую очередь СМЭВ), вокруг нее будет выстраиваться собственная экосистема. Поставщиками и потребителями данных для НСУД станут различные ведомства с их витринами данных, которые будут представлять собой контейнеры СУБД разного типа. Предполагается, что они будут обладать возможностями эластичного масштабирования, многоуровневого распределения нагрузки, оптимизации выполнения запросов и введения квот на их выполнение. Их единообразную семантику обеспечит онтология государственных данных.

Вместе с тем, многие ведомства реализуют свои масштабные проекты в области данных. Так, в Счетной палате РФ ведется большая программа цифровой трансформации. Ее опорой служат данные из множества источников: от субъектов хозяйственной деятельности, закупочных электронных площадок, из ЕГАИС и других систем, где с помощью маркировки продукции отслеживается ее перемещение и сбыт, и пр. Как рассказал Михаил Петров, директор департамента цифровой трансформации Счетной палаты РФ, нынешние проекты нацелены на то, чтобы свести к минимуму ручные операции, которые инспекторы проводят в ходе проверок: цифровая платформа поможет выявлять подозрительные сделки и операции, предоставив инспекторам возможность сосредоточиться именно на них. Объекты проверки будут представлены в виде цифровых двойников. Данные для их проверок будут браться из множества источников и изучаться с помощью инструментов анализа различных типов данных (как структурированных, так и неструктурированных), предиктивной аналитики и искусственного интеллекта.

Александр Чистобородов, начальник управления развития цифровых методов аудита центра экспертно-аналитических и информационных технологий Счетной палаты, уточнил: в ведомстве используется девять собственных систем, также данные поступают от других государственных систем и от субъектов контроля. Сбор, консолидацию всех данных и максимальную цифровизацию неструктурированных данных обеспечивает ведомственное озеро данных. Сложность состоит в том, что приходится иметь дело с очень большим разнообразием их форматов. Сейчас разрабатывается технология единообразного их хранения. «Сырые» данные, а также метаданные пока хранятся в MongoDB в формате JSON. В скором будущем планируется реализовать масштабное внедрение платформы Arenadata. Предполагается, что объемы накопленных в ведомстве данных будут достигать десятков и сотен петабайт.

Большие выгоды для всех заинтересованных сторон сулит совместное использование медицинских данных. По словам Бориса Зингермана, генерального директора Ассоциации разработчиков и пользователей искусственного интеллекта в медицине «Национальная база медицинских знаний», в 2024 году планируется предоставить доступ к своим электронным данным всем пациентам. В 2018 году начался переход к распределенному хранению их данных на основе реестра электронных медицинских документов.

«Реестр формирует новый рынок независимых систем, позволяющих вести персональные электронные медицинские карты пациентов, аккумулируя информацию из их личных кабинетов на Едином портале госуслуг, — отметил Зингерман. – Также реестр может стать основой для формирования рынка больших данных в медицине».

«Сырье» для цифровой трансформации

Судя по выступлениям, сегодня очень часто вопросы управления данными решаются в контексте цифровой трансформации организаций, которые хотят их использовать, рассчитывая извлечь из данных весомую пользу. В «Северстали», например, для этого стараются сохранить максимально возможное количество производственных данных. По словам Доната Фетисова, начальника отдела архитектуры и разработки компании, за сутки в цехах холдинга собирается более 800 Гбайт данных. Проекты для реализации выбираются в ходе встреч с представителями производственных подразделений, затем они проходят оценку в финансовых отделах и уже после того, как от них получено положительное заключение, стартуют пилотные проекты. По их завершении проводится оценка полученного эффекта и сравнение с прогнозом, и лишь затем проекты запускаются в том масштабе, в котором они были задуманы.

В «Газпром нефти» работают над выстраиванием цифровой нефтяной компании. С точки зрения управления данными ключевым вопросом является обеспечение их качества – так считает Любовь Кайдалова, руководитель направления по качеству данных «Газпром нефти». Это необходимо и для большего доверия к ним, и для получения большего эффекта от их использования. Особую роль в этом играет созданная в компании система верификации данных. Как рассказал Руслан Гизатуллин, начальник управления геолого-геофизических баз данных компании «Газпромнефть НТЦ», эта система выступает в качестве ключевого элемента обеспечения качества данных.

В «Росатоме» особое значение придается данным, на основе которых «живут» цифровые двойники, применяемые в рамках технологии информационного моделирования зданий и сооружений (Building Information Modeling, BIM). По словам Владимира Панчука, главного эксперта группы архитекторов госкорпорации, информационный двойник, по сути, является полной моделью объекта (например, АЭС), которая актуализируется практически в реальном времени благодаря системе датчиков и включает в себя не только данные, но также модули физических расчетов, инструменты прогнозной аналитики и пр. Чтобы обеспечить актуализацию данных, в госкорпорации создали собственную платформу, отображающую в модели то, что происходит на стройке. Среди ключевых задач, решаемых с помощью цифровых двойников, — поиск пространственных коллизий, определение физических объемов и площадей, а также выпуск двумерных документов и спецификаций.

В интернет-магазине «Утконос», основной ассортимент которого составляют продукты питания и товары повседневного спроса, акцент в управлении данными делается на их монетизации. Как отметил Данила Наумов, директор по данным (Chief Data Officer, CDO) «Утконоса», добиваться монетизации здесь намерены в первую очередь благодаря встраиванию продвинутых методов аналитики в бизнес-процессы, связанные с маркетингом, управлением цепочками поставок, ценообразованием и выстраиванием ассортимента. Данные из систем ERP, CRM, управления складом, маркетингом и прочих бизнес-приложений на платформе SAP стекаются в два основных хранилища. Первое предназначено для структурированных данных, оно реализовано на основе СУБД Oracle. Вся прочая информация собирается в озере данных на платформе Spark. Ведутся эксперименты с потоками данных.

Факторы монетизации

«Монетизация данных – командная игра, здесь требуется взаимодействие людей, — отметил Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных центра компетенций BI банка «УралСиб». — Цифровые инновации следует внедрять в первую очередь в тех подразделениях, бизнес-процессах, на тех участках, где вероятность успеха наиболее велика, где можно получить максимальные преимущества».

Юрий Сирота: «Монетизация данных – командная игра, здесь требуется взаимодействие людей»

Сирота считает, что взять на себя ответственность за управление данными должен топ-менеджер в ранге CDO. Он должен сочетать в себе знания и опыт бизнесмена, математика, ИТ-эксперта и менеджера проектов, чтобы быть и генератором бизнес-инициатив, и «продавцом» идей внутри своей организации, и специалистом по ИТ и данным, и стратегом бизнеса, и руководителем проектов.

Александр Тарасов, управляющий партнер компании DIS Group, призвал различать внутреннюю монетизацию, в рамках которой проекты нацелены на оптимизацию организации и повышение ее эффективности, внешнюю – способствующую развитию каналов дистанционного взаимодействия с клиентами и партнерами, а также государственную – ориентированную на выполнение требований регулирующих органов с целью минимизации штрафных санкций, а также на реализацию проектов частно-государственного партнерства. По мнению Тарасова, в организации должен быть выстроен процесс, позволяющий лучше узнать и понять данные, которыми она располагает. В рамках этого процесса необходимо обеспечить постоянный поиск и выявление новых данных, их интеграцию и оценку качества, каталогизацию и обновление каталогов данных, ведение бизнес-глоссариев, определение владельцев данных, их публикацию и использование.

Как считает Никита Кардашин, руководитель отдела развития интеллектуальных систем компании Naumen, сегодняшние тенденции подводят бизнес к тому, чтобы все, что повторяется, было автоматизировано. Чтобы этот подход реализовать эффективно, необходимо правильно выявлять точки для измерений и настраивать для них метрики, причем это касается как внутренних процессов, так и рыночного окружения организации. Одновременно существенно растут требования к данным и к их анализу: приходится работать не с записями, а с гораздо более сложными сущностями, при этом нужно не просто изучать данные, но и строить на их основе прогнозы и рекомендации для лиц, принимающих решения.

Платформы данных

Важную роль в управлении данными играют платформы. Разработчики Arenadata выстроили свою платформу на основе ПО с открытым кодом. Как пояснил Сергей Золотарев, управляющий партнер компании Arenadata, сегодня ни один из крупных вендоров не предлагает весь спектр технологий, которые требуются для реализации разных сценариев использования данных на крупных предприятиях. Опираясь на системы с открытым кодом, в Arenadata не только создали единую универсальную платформу, ставшую популярной у российских заказчиков, к том числе из госсектора, но и предусмотрели в ней «конвейер», позволяющий наращивать ее новыми возможностями.

На работу с современными экосистемами данных ориентировали свою программно-аппаратную платформу Hitachi Content Platform (HCP) в компании Hitachi Vantara. По выражению Алексея Никифорова, руководителя подразделения технологических решений Hitachi Vantara, HCP – это «универсальный боец» в мире данных: платформа может использоваться в самых разных сценариях, предусматривающих работу как со структурированными, так и с неструктурированными данными, поддерживает файловое, блочное и объектное хранение и пр. Платформа обеспечивает поиск и индексацию информации, токенизацию конфиденциальной информации и пр. Программное обеспечение платформы позволяет реализовать единый ETL-конвейер для подготовки данных.

Сделать реализацию подготовки и загрузки данных для их последующего изучения и анализа более качественной и менее затратной нацелена среда визуальной разработки ETL-приложений Neoflex Datagram. Среда унифицирует подходы к работе с различными источниками данных, автоматически генерирует код приложений на языке Scala, предоставляет возможность применять бизнес-правила и библиотеки машинного обучения на этапе трансформации данных, и кроме того, позволяет анализировать данные с использованием языков Python и R. Что также важно, среда обеспечивает потоковую.обработку и интеграцию данных на основе Apache Kafka. Как сообщил Артем Меркулов, руководитель бизнес-направления Big Data Solutions компании «Неофлекс», среда поддерживает разработку по методике DevOps и может использоваться в инструментальных конвейерах непрерывной интеграции и развертывания релизов приложений.

Собственную облачную платформу предлагает клиентам Mail.Ru Group. Платформа объединяет множество различных сервисов и инструментов, в том числе те, что предназначены для работы с данными – для их хранения и архивирования (с «холодным» доступом) и оперативной работы, в том числе веб-сервисов, ориентированных на распространение цифрового контента. Также поддерживается стандартный API-интерфейс Amazon S3 для объектного хранения данных. В прошлом году появились отдельные сервисы для работы с большими данными на основе Hadoop, Apache Spark, HBase и Kafka. Как отметил Дмитрий Лазаренко, директор по продажам PaaS-сервисов Mail.Ru Cloud Solutions, платформа позволяет работать с разнородными источниками и форматами данных, давая компаниям возможность решать самые разные задачи, связанные с хранением, анализом и монетизацией информационных активов.

CDO Award 2020

В финале конференции прозвучал анонс премии CDO Award 2020 — награды, учрежденной издательством «Открытые системы» и профессиональным ресурсом «Директор информационной службы» для руководителей, отвечающих за стратегию работы с данными, определение принципов хранения и обработки данных, политик использования данных и формирование корпоративной культуры работы с данными. Прием заявок на участие стартовал 1 октября 2019 года. Присуждение премии планируется проводить по пяти номинациям вместо четырех, как было в «дебютном» конкурсе CDO Award 2019.

Во время проведения Всероссийской переписи населения, которая пройдет в 2020 году, вместо бумажных подписных листов информацию будут заносить в планшеты; наряду с этим будут использоваться данные, предоставленные властями и мобильными операторами, сообщил глава Росстата Павел Малков.

Сведения, которые предоставят сотовые компании и органы власти будут использованы для «обогащения» информации и для «предзаполнения информации на портале госуслуг», сообщает со ссылкой на главу ведомства ТАСС.

Вся информация, полученная в ходе переписи населения, а также информация, предоставленная властями и сотовыми операторами, будет обрабатываться в специальной аналитической платформе «Население».

О том, что перепись населения в 2020 году пройдет с использованием Интернета, в Росстате впервые сообщили еще в 2012 году. Позднее в ведомстве уведомили, что расходы на ближайшую перепись, которая пройдет с 1 по 31 октября 2020 года, составят 50 млрд руб.

В 2017 году президент России Владимир Путин подписал федеральный закон, разрешающий использовать интернет-опросы в качестве способа проведения переписи населения. Заполнить электронный переписной лист смогут только тот, кто зарегистрирован в федеральной государственной информационной системе.

Росстат потратит 33 млрд руб. на первую цифровую перепись населения. Около половины общего бюджета электронной переписи пойдет на зарплату сотрудникам. На планшеты для переписчиков потратят 6,7 млрд руб. Всего для переписи используют 360 тыс. планшетов, на которых будет установлена отечественная операционная система.

В Росстате предположили, что эта перепись может стать последней, когда каждый гражданин опрашивается лично.

Предыдущая перепись прошла в 2010 году. Согласно результатам переписи, за восемь лет (с 2002-го по 2010 год) численность населения страны уменьшилась на 2,3 млн человек, составив 142 млн 857 тыс. человек.

15 октября 2019 года главный форум по теме больших данных и интеллектуальной аналитики BIG DATA впервые пройдет в Санкт-Петербурге. «BIG DATA SPb 2019: все о данных как основе цифровой экономики» развивает темы и направления ежегодного московского форума BIG DATA, который издательство «Открытые системы» организует уже на протяжении восьми лет.

Форумы BIG DATA — крупнейшая и наиболее авторитетная площадка для обсуждения самых актуальных вопросов в области больших данных и передовой аналитики с целью развития российского общества и бизнеса. Особое значение тематика форума приобретает в свете перехода страны к цифровой экономике, одним из краеугольных камней которой является эффективная работа с данными.

«Мы считаем принципиально важным широкое продвижение идей и опыта цифровой трансформации, основанной на данных, — подчеркивает Наталья Дубова, программный директор деловых форумов издательства «Открытые системы». — Участники и партнеры форумов BIG DATA, представляющие Северо-Западный округ, неоднократно отмечали, что организаторам следует сформировать новую дискуссионную площадку для встречи руководителей и ведущих специалистов по работе с данными в Санкт-Петербурге».

И вот, наконец, в северной столице появится такая площадка. Участников форума BIG DATA SPb 2019 традиционно ждут не только экспертные знания и глубокий анализ от визионеров индустрии больших данных, но и ценный практический опыт проектов, реализованных в самых разных отраслях, а также глубокое погружение в детали методик и технологий работы с данными.

Основные темы BIG DATA SPb 2019:

• Данные — стратегический актив бизнеса
• Отраслевой и функциональный опыт
• Корпоративное управление данными
• Платформы и инструменты

Программа форума будет интересна руководителям компаний и менеджерам бизнес-подразделений, директорам по цифровой трансформации и директорам по ИТ, директорам по данным (Chief Data Officer), бизнес-аналитикам и исследователям данных. Они смогут познакомиться с новейшими разработками в сфере больших данных, продвинутой аналитики, машинного обучения и вдохновиться примерами их практического применения. Отраслевой охват форума чрезвычайно широк: в числе докладчиков BIG DATA SPb 2019 представители телекоммуникационных, торговых, транспортных, добывающих компаний, сферы образования и медицины.

Пленарная сессия форума откроется выступлением Ольги Патриевской, начальника Департамента больших данных и машинного обучения Санкт-Петербургского информационно-аналитического центра Комитета по информатизации и связи.

В числе спикеров форума также:

• Алена Дробышевская, директор, руководитель направления «Умные технологии», KPMG;
• Иван Черницын, руководитель Центра аналитических решений Дирекции региональных продаж, «Газпром нефть»;
• Александр Гусев, эксперт ассоциации «Национальная база медицинских знаний», директор по развитию бизнеса, «Комплексные медицинские информационные системы»;
• Василя Гайнуллина, руководитель продукта, X5 Retail Group;
• Владимир Швецов, генеральный директор, «А+С Транспорт»;
• Вера Бурцева, генеральный директор, «Бюро техники»;
• Евгений Старосельский, ведущий исследователь данных, «ЭР-Телеком Холдинг»;
• Саркис Дарбинян, управляющий партнер, «Центр цифровых прав».

Список докладчиков продолжает пополняться!

Наряду с новыми деловыми контактами и полезным общением с коллегами и единомышленниками, участники форума получат возможность узнать детали проведения конкурса на соискание единственной в России премии для директоров по данным CDO Award, учрежденной издательством «Открытые системы».

В завершение работы форума состоится круглый стол на злободневную тему «Почему не «взлетают» проекты цифровой трансформации», модератором которого выступит Вячеслав Нестеров, заместитель директора кампуса НИУ ВШЭ в Санкт-Петербурге.

Московская сеть дата-центров 3Data начинает выходить в регионы России, пишет «Коммерсантъ». Компания хочет работать по модели франшизы и в течение десяти лет открыть до 200 ЦОД по всей стране.

В Москве у 3Data более 10 площадок, число которых планируется увеличить до 50. Объем собственных инвестиций в развитие компания не раскрывает. Выручка 3Data в 2018 году составила 0,5 млрд руб.

Согласно данным iKS-Consulting, 3Data по итогам 2019 года может занять 11-е место по количеству введенных в эксплуатацию стойко-мест в России с долей рынка 2,3%. Компания уже ввела чуть больше 1000 стоек и строит еще около 500. Лидерами рынка остаются «Ростелеком-ЦОД» (РТК-ЦОД; 6686 стойко-мест), DataLine (4811) и IXcellerate (3815).

Выручка российских коммерческих дата-центров в 2018 году увеличилась на 29%, до 28,5 млрд руб.

Интеграция подразделений Hitachi Vantara и Hitachi Consulting призвана помочь продвижению платформы сбора и анализа данных Lumada. В компании полагают, что она расширит возможности поддержки платформы и позволит раскрыть синергетический потенциал работы Hitachi Vantara с вертикальными бизнес-подразделениями. При этом в Vantara будет продолжена разработка средств инфраструктуры и управления данными, облачных продуктов, цифровых решений, а также профессиональных и управляемых услуг.

Генеральным директором Hitachi Vantara назначен председатель совета директоров Hitachi Global Digital Holdings Тосиаки Токунага. Предыдущий генеральный директор Hitachi Vantara Брайан Хаусхолдер и генеральный директор Hitachi Consulting Хишам Абдессамад останутся в составе руководства объединенного подразделения.

Ассоциация больших данных объявила о вхождении в свой состав ПАО «ВымпелКом» (бренд «Билайн»).

Билайн стал одиннадцатым участником Ассоциации. В списке участников Ассоциации сейчас также — «Яндекс», Mail.ru Group, «Сбербанк», Газпромбанк, Тинькофф Банк, «МегаФон», oneFactor, QIWI, «Ростелеком» и Аналитический центр при Правительстве РФ.

В ближайших планах Ассоциации — создание технологической «песочницы», которая станет средой для разработки и тестирования новых решений и алгоритмов аналитики больших данных. Также новый участник Ассоциации включится в работу по подготовке основополагающих документов, направленных на развитие отечественного рынка больших данных: стратегии развития рынка больших данных, кодекса этики использования данных, национальных стандартов обогащения данных из различных источников.

Телекоммуникационные операторы наряду с банками и крупнейшими интернет-компаниями — флагманы рынка данных, подчеркнули в Ассоциации, выразив уверенность, что такая компания, как «Билайн», сможет вместе с другими ее членами сможет внести существенный вклад в развитие рынка и установление этических стандартов работы с данными.

По словам директора по продуктам и технологиям больших данных «Билайна» Константина Романова, направление больших данных становится одним из новых драйверов роста выручки компании. Так, по итогам второго квартала 2019 года выручка от обработки больших данных выросла в 2,6 раза по сравнению с аналогичным периодом прошлого года.

Ассоциация участников рынка больших данных была создана в России осенью 2018 года. Билайн стал одиннадцатым участником Ассоциации; ее членами являются также «Яндекс», Mail.Ru Group, Сбербанк, Газпромбанк, Тинькофф Банк, «МегаФон», «Ростелеком», oneFactor, QIWI, Аналитический центр при Правительстве РФ. Основная цель ассоциации – создание условий для развития технологий и продуктов в сфере больших данных в России.

Апелляционный суд 9-го округа США оставил в силе решение, обязывающее деловую социальную сеть LinkedIn (принадлежащую компании Microsoft) не лишать фирму hiQ Labs доступа к публичным профилям пользователей сети. Фирма hiQ Labs разрабатывает программы, помогающие работодателям выяснить, не собирается ли работник увольняться. Для этого программа собирает информацию со страниц пользователей сети LinkedIn.

В LinkedIn заявляли, что такие действия нарушают права как пользователей, так и самой компании. Однако суд решил, что у LinkedIn не может быть прав собственности на данные, размещенные пользователями, а тот факт, что профили являются публично доступными, доказывает, что пользователи хотят сделать эти данные доступными для всех.

Разумеется, LinkedIn могла бы отключить возможность создавать публично доступные профили, но это противоречило бы желаниям многих пользователей и, вероятно, причинило бы ущерб самой компании, говорится в решении суда. В LinkedIn рассматривают варианты дальнейших действий, сообщается в заявлении компании.

2 сентября в Минкомсвязи прошло обсуждение стратегии развития рынка больших данных, пишут «Ведомости». В ней предлагается, в частности, позволить игрокам рынка делиться анонимными персональными данными друг с другом, а государству – с частными компаниями. Также есть идея государственной цифровизации информации, например, о здоровье людей) и стандарта для внедрения больших данных в госкомпаниях. Кроме того, планируется позволить пользователям одновременно и дистанционно давать согласие на использование их данных в нескольких целях.

Документ разрабатывает Ассоциация участников рынка больших данных, объединяющая «Мегафон», «Ростелеком», «Яндекс», Mail.ru Group, Сбербанк, «Тинькофф банк», Газпромбанк и др. Для воплощения идеи Ассоциация думает обеспечить инновационные команды доступом к труднодоступной отраслевой информации вроде эксплуатационных данных о сетях электроснабжения.

Стратегия будет действовать до 2024 года. Ее финальный вариант рассчитывают представить осенью.