24 сентября на форуме «Управление данными 2019» издательства «Открытые системы» выступит один из самых харизматичных экспертов в области нормативного регулирования рынка данных — директор по правовым инициативам ФРИИ Александра Орехович. В преддверии форума мы беседуем с Александрой о том, что происходит в данной сфере сейчас и чего можно ждать в ближайшем будущем.

- Какова сегодня ситуация с регулированием оборота данных?

Регулирование очень разрозненно. Цифровая экономика начинается с данных, данные нужны во всех сферах — этот постулат никем не оспаривается. У каждого типа данных своя сфера и особенности регулирования, и на практике трудно разобраться, по каким правилам эти данные можно использовать.

Если говорить о таком модном сегодня типе, как большие данные, то они никак не урегулированы. У всех, кто утверждает, что работает с большими данными, при ближайшем рассмотрении обнаруживается целый букет персональных данных. Например, при распознавании лиц в метро. То, что в кадре много лиц, из которых выхватываются, например, лица преступников, может и делает эти данные большими, но совершенно точно не дает права обрабатывать их абсолютно без правил. В каждом конкретном случае надо разбираться, какие данные используются.

Ждать того, что оборот именно больших данных будет урегулирован, не приходится. Вся мировая практика исходит из этого: никто не регулирует большие данные и не дает им определение. По сути, большие данные — это данные, персональные или не персональные, обезличенные или не обезличенные, собранные в большой массив.

Первостепенная проблема, связанная с данными, — регулирование оборота обезличенных данных. Являются ли обезличенные данные персональными? Остаются ли они в сфере действия закона о персональных данных? Многие считают, вернее хотели бы считать, что нет, хотя действующий закон не выводит обезличенные данные за периметр регулирования. С одной стороны, обезличенные данные позволяют при использовании дополнительной информации установить конкретного человека, субъекта персональных данных, а это значит, что права его могут быть нарушены и они должны быть защищены. С другой стороны, при неиспользовании дополнительной информации или в отсутствие такой информации у оператора данных такие данные теряют связь субъектом, тогда возникает вопрос: почему они остаются в сфере действия закона о персональных данных?

Логичным и правильным представляется подход изъятия данных, которые окончательно потеряли связь с субъектом персональных данных и даже при наличии дополнительной информации не дадут возможности его идентифицировать, из закона о персональных данных. То есть все, что не относится к персональным данным, может быть свободно обработано.

Это важно, к примеру, в такой новой актуальной сфере нашей жизни, как искусственный интеллект. Логичнее всего обучать искусственный интеллект на обезличенных данных. Но при этом необходимо понимать правила игры: что можно, а чего нельзя. Можем пойти по пути США, где Трамп издал указ, что системы искусственного интеллекта получают доступ к Federal Data, то есть к данным, содержащимся в государственных информационных системах.

- Процесс обезличивания в нормативных документах прописан?

В законе прописано, что обезличивание персональных данных не позволяет идентифицировать конкретного субъекта без использования дополнительной информации. То есть с использованием дополнительной информации — позволяет. Кроме того, подзаконные нормативные акты говорят, что одним из признаков обезличенных данных является их обратимость. И это — коллизия, потому что дополнительная информация, которая позволяет сделать данные обратимыми, не всегда есть и не всегда нужна. Для искусственного интеллекта, например, может быть не нужна, логично было бы использовать эти данные свободно.

В Минцифре сейчас обсуждается законопроект по обезличенным данным, где предлагается разграничить обезличенные данные и обезличенные персональные данные. По большому счету этот подход аналогичен принятому в GDPR разграничению обезличенных и анонимизированных данных. Предполагается, что обезличенные персональные данные, позволяющие сохранять связь с субъектом, будут регулироваться законом «О персональных данных», а обезличенные данные, которые потеряли связь субъектом, будут пускать в «свободное плавание». Требования к обезличиванию будут устанавливаться на уровне закона.

Процессы подготовки соответствующих законодательных инициатив сейчас объединяются; предложения Министерства цифрового развития, связи и массовых коммуникаций, Фонда «Сколково», ФРИИ интегрируются в этот законопроект.

- Как соотносится законопроект об обезличенных данных с предложенным экспертами ФРИИ проектом регулирования персональных данных?

Они нисколько не противоречат друг другу. Подготовленный ФРИИ законопроект нацелен в большей степени на предоставление субъекту возможности управлять своими персональными данными, не только и не столько обезличенными, получать информацию о том, кто какую информацию обрабатывает по категориям. Проект предусматривает возможность гибкого согласия, изменение цели обработки, отзыва данных у субъекта определенной категории и передачи своих данных от одного оператора к другому. То есть обеспечивает возможность обмена данными между операторами так, чтобы вся информация проходила через субъекта и субъект получал за это какие-то бенефиты.

- Каков статус этих законопроектов?

Пока ни один из них не внесен в Госдуму. Скорее всего, первым будет внесен проект об обезличенных данных — это поправки в закон «О персональных данных».

- По мнению экспертов, в медицине ФЗ-152 создает препятствия как для разработки систем искусственного интеллекта, так и для доступа врача к данным пациента...

Не совсем так. В медицине данные регулируются в том числе законом «Об основах охраны здоровья», который содержит положения о врачебной тайне. При этом, с одной стороны, закон «О персональных данных» говорит, что для статистических и исследовательских целей данные, если они обезличены, обрабатываются свободно, без согласия. С другой стороны, в соответствии с законом, данные о здоровье относятся к особо чувствительным, которые никак не могут быть обработаны без согласия субъекта, данного в письменной форме, предусмотрены особые меры для их защиты. На доступ к ним субъект должен дать согласие, а как же иначе?

- Руководители медицинских организаций запуганы ФЗ-152: пациент же дает согласие на обработку данных в целях лечения, а не написания алгоритмов.

Во-первых, не вижу проблемы в получении согласия на обработку данных в целях проведения научно-исследовательских работ. Во-вторых, закон о персональных данных не требует согласия на обработку персональных данных для проведения научно-исследовательских, аналитических и статистических работ в случае использования обезличенных данных.

Другое дело, не очень понятно, как развивать искусственный интеллект в условиях, когда по дороге на парламентские слушания встречаешься с пикетом против цифровизации. Огромное количество людей будет против того, чтобы их информация послужила основой для искусственного интеллекта.

- Радикально настроенных граждан немного, в основном люди либо не информированы, либо безразличны. Для искусственного интеллекта данных должно хватить?..

Да. А если начать предлагать денежные вознаграждения, будет еще интереснее. В Ernst & Young опубликовали недавно исследование, в котором медкарта каждого пациента оценивается в 100 евро: при этой цене для бизнеса будет выгодно использование данной информации.

Мы проводили опросы компаний, сколько они согласны платить за использование персональных данных. Ответы сильно варьируют в зависимости от отрасли, состава данных и цели использования. В среднем за тот состав данных, который интересен бизнесу, компании готовы платить от 16 тыс. до 60 тыс. руб. Сравнимую сумму — около 80 долл. — платит Facebook за доступ к персональным данным в рамках эксперимента.

- Это разовая плата, и дальше данные уже как бы не мои?

Ваши данные не могут перестать быть вашими, к тому же они постоянно генерируются и меняются. Компании платят клиенту за состояние «здесь и сейчас», а потом — как договорятся. Надо исходить из того, что это рынок. В любом случае насильно загонять в цифровое рабство законодательство не позволит: согласие на обработку персональных данных должно быть конкретно.

- По-моему, механизм монетизации должен быть связан с механизмом регулирования доступа. На портале госуслуг относительно просто поставить «галочку», указав, кому я разрешаю доступ к своим персональным данным. Эту возможность планируется реализовать для медицинских данных. А для остальных?

Данные из государственных информационных систем может выдавать только государство, но сомнительно, что оно будет cвязываться с механизмом монетизации. С 2019 года предоставляются метаданные из негосударственных информационных систем, например телемедицинских — сведения о том, где есть данные. Сами данные продолжают храниться в тех же информационных системах. Вот тут бизнес уже может думать о монетизации, чтобы обогащать собственные базы данных и получать больше информации о субъекте.

Например, если верить СМИ, сейчас это пробуют делать в Ассоциации больших данных: компании обмениваются данными между собой, запрашивая согласие клиента и давая ему за это какие-то бенефиты в виде услуг, бонусов. Деньгами, по-моему, еще не рассчитываются, но обмен уже происходит.

- Какие компании в наибольшей степени заинтересованы в устранении неопределенности с оборотом данных?

Телеком и все, кто хочет делать системы искусственного интеллекта. Им нужно работать с обезличенными данными и понимать правила обращения данных, которые послужат основой для искусственного интеллекта.

- Отсутствие регулирования тормозит развитие рынка данных или, наоборот, дает его участникам фору?

Смотря чем занимается компания. В непонятной ситуации ты постоянно боишься, что кто-то придет и накажет. Для больших компаний это выливается в то, что они собирают согласия на каждый чих. Крупные операторы арендуют специальные помещения, где копится неимоверное количество письменных согласий, и выделяют сотрудников, занимающихся исключительно бумажными согласиями.

А, например, компаниям, занимающимся распознаванием лиц, непонятный статус обезличенных данных действительно дает фору. Хотя принцип права на частную жизнь, заложенный в Конституции, никто не отменял.

- Вопрос в том, как это право реализуется…

Да. Кроме того, многое зависит от выбранного пути регулирования. Если бы три года назад вы спросили, тормозит ли отсутствие правового регулирования развитие телемедицины, я бы сказала: конечно тормозит! А сегодня регулирование такое, что лучше бы тормозило его отсутствие: за год 30% продуктов уходит с рынка.

На европейском рынке GDPR вызвал резкое сокращение оборота данных, и если мы примем ровно такие же правила, то развитие затормозится. Нужно думать о балансе, тогда регулирование даст четкие правила игры, понимание, что можно делать и чего нельзя. Главное, чтобы того, чего нельзя, было не слишком много...

... И не затрагивало ключевые вещи, подрубая тот корень, ради которого все задумывалось, как случилось в телемедицине, когда первичный прием онлайн фактически запретили.

Да.

- О чем вы расскажете участникам форума?

Про особенности современного регулирования данных, которые служат основой любого бизнеса и оказания услуг. О тех проблемах, с которыми может столкнуться любой субъект персональных данных или бизнес, оказывающий услуги, как может быть истолкована та или иная проблема. А также про пути их разрешения в условиях действующего законодательства и про пути разрешения в будущем на основе тех правовых инициатив, которые сегодня обсуждаются экспертным сообществом и на уровне регулятора.

Институт развития интернета и Ассоциация больших данных (объединяет «Яндекс», Mail.ru Group, Сбербанк, Газпромбанк, «МегаФон», «Ростелеком» и др.) подготовили проект кодекса этики использования данных, который должен стать основой саморегулирования на рынке, пишет «Коммерсантъ». Основной принцип документа — обязательная проверка компаниями возможности использовать данные. При этом согласие на обработку персональных данных может быть получено в любой форме, в том числе дистанционно. Также допускается использование информации для таргетированного маркетинга, если предложения не являются «необоснованно навязчивыми».

Саморегулирование — недостаточная мера, полагают в комитете Госдумы по информполитике. Нужно определить, какой объем информации о пользователях бизнес может использовать и обрабатывать и каким образом эти данные должны храниться, считают депутаты. Разработка единого закона может не оправдать ожиданий, поскольку каждого вида информации своя специфика, возражают в ИРИ.

Предлагаемый кодекс мало что изменит в действиях компаний, сомневаются в Superjob. Если пользователь открыто размещает о себе информацию, он должен понимать, что ее может использовать кто и как угодно, считают в компании. В то же время особой защиты требуют такие персональные данные, как медицинские.

По оценке АБД, российский рынок больших данных составляет 10–30 млрд руб. в год, к 2024 году достигнет 300 млрд руб.

В компании Bitfury, которая до сих пор была известна как один из крупнейших игроков индустрии майнинга криптовалюты и разработкой программного обеспечения и оборудования для работы с блокчейном, создано подразделение искусственного интеллекта. Компании нужно анализировать большие объемы данных, считает генеральный директор Bitfury Валерий Вавилов. В настоящее время проанализировать удается лишь 2% из собранных данных, подчеркнул он. Весьма эффективным способом анализа как раз и является применение технологий искусственного интеллекта.

По словам Вавилова, подразделение искусственного интеллекта Bitfury пока работает в «исследовательском режиме». Руководителем подразделения назначен бывший вице-президент и управляющий директор входящей в группу ASUS компании AAEON Technology Europe Фабрицио дель Маффео.

Bitfury — одна из немногих блокчейн-компаний в мире, рыночная стоимость которых превышает миллиард долларов. В этот список входят американская биржа Coinbase и китайская Bitmain — крупнейшая в мире майнинговая компания.

«Билайн» представляет Решение «ТВ – Аналитика» на основе больших данных. Сервис решает две ключевые задачи: определяет оптимальное время и канал присутствия целевой аудитории и проводит анализ эффективности рекламной кампании клиента. Потенциальные клиенты — компании, располагающие большим рекламным бюджетом и желающие оптимизировать его распределение.

Обезличенные данные собираются по абонентской базе IPTV и TVE Билайн. Это более 1,5 млн приставок в 145 городах России, а также приложения на смартфонах и Smart TV. Стоимость решения зависит от сложности анализируемой рекламной кампании, а также количества данных, необходимых клиенту.

Пилотная версия решения была опробована в начале 2019 года.

Всего через неделю после того, как в Google Cloud приобрели разработчика аналитического ПО, компанию Looker за 2,6 млрд долл., компания Salesforce, оператор крупнейшей системы CRM, предлагаемой по схеме SaaS, объявила о готовности купить все акции Tableau за 15,7 млрд долл. Это самое крупное приобретение Salesforce за всю ее историю, причем сумма сделки существенно больше, чем стоимость ее предыдущего рекордного поглощения.

Ни Locker, ни Tableau не испытывают недостатка в средствах, которые можно вкладывать в развитие их платформ. Но ряды участников рынка средств самостоятельной аналитики стремительно редеют, а остающимся фактически приходится напрямую конкурировать с Microsoft, гигантом рынка ПО для предприятий, и можно предположить, что, когда зашла речь о продаже Locker и Tableau, процесс выбора покупателя был сродни аукциону.

«Благодаря присоединению Looker к Google Cloud мы сможем предложить клиентам более полное аналитическое решение, реализующее широкий спектр возможностей, от загрузки данных до наглядного представления результатов и интеграции аналитических сведений в повседневные рабочие процессы, — убежден Томас Куриан, глава Google Cloud. — Кроме того, мы сможем предлагать специализированные решения для ключевых отраслей во всем мире, в том числе средства анализа цепочки поставок для розничной торговли, а также системы аналитики для индустрии развлечений и отрасли здравоохранения».

Томас Куриан: «Благодаря присоединению Looker к Google Cloud мы сможем предложить клиентам более полное аналитическое решение» Источник: Wikipedia

«Покупка Looker компанией Google восполняет пробел в аналитическом стеке последней. При этом решения Looker смогут прекрасно взаимодействовать с системами Google и близки к ним на архитектурном уровне, — отметила Рита Саллам, вице-президент Gartner. — Но ИТ-директорам предстоит быть внимательными к планам развития объединенной компании, удостоверяясь, что Google выполняет обещания по продолжению оптимизации Looker для различных облаков».

Генеральный директор Salesforce Марк Бенеф, в свою очередь, объявил о намерении создать универсальную платформу для всех задач работы с данными и аналитики, добавив, что покупка Tableau — это «объединение системы CRM и аналитической платформы номер один в мире».

«Tableau помогает видеть и понимать данные, а Salesforce — привлекать и понимать клиентов, — продолжил он. — Речь идет о по-настоящему лучшем из двух миров, объединении двух ключевых платформ, необходимых на каждом предприятии для более полного понимания своего бизнеса».

Марк Бенеф: «Tableau помогает видеть и понимать данные, а Salesforce — привлекать и понимать клиентов» Источник: JD Lasica/Flickr

Выглядит логичным, что два крупных игрока облачного рынка стремятся предложить своим клиентам максимально универсальное аналитическое решение и выбрали слияние в качестве самого эффективного пути достижения цели.

«В долгосрочной перспективе для Salesforce открываются большие возможности с точки зрения создания средств визуализации данных для различных облаков, что согласуется со стратегией компании, направленной на обеспечение всестороннего обзора клиентов, — полагает Лиз Херберт, вице-президент и главный аналитик Forrester. — А что касается краткосрочной перспективы, нынешнее положение дел скорее всего сохранится, учитывая что клиенты Tableau сейчас лишь частично освоили облако, а слияние для них означает появление еще одной платформы».

«Следствием стратегического приобретения Tableau компанией Salesforce станет возможность для участников практически всех отраслей получать аналитические сведения, помогающие повышать эффективность маркетинга и продажи, параллельно улучшая обслуживание, что обеспечит дополнительную ценность инвестиций клиентов в Salesforce», — уверен Сридхар Бхагаватисваран, директор цифрового бизнеса Mindtree, специалиста по аутсорсингу ИТ.

Как отмечает Саллам, в результате приобретений Google и Salesforce получают аналитические решения, работающие в локальной среде: «Это отражение того факта, что на самом деле крупным предприятиям нужны гибридные системы для работы с данными и аналитики, имеющие как локальные, так и облачные компоненты».

Меньшие игроки, между тем, тоже объединяются. Через считанные дни после объявления Salesforce компания Logi Analytics, специализирующаяся на средствах встроенной аналитики, сообщила о покупке Zoomdata, еще одного игрока рынка систем самостоятельного бизнес-анализа.

Ги Леви-Юриста, директор по стратегии Sisense, компании-разработчика ПО бизнес-анализа, выражает уверенность в том, что конвергенция в таких отраслях, как аналитика данных, неизбежна: «Если вы лидер молодой отрасли, то либо вы сами покупаете, либо купят вас. Компании поглощаются, поскольку такая конвергенция ускоряет рост, способствует росту возможностей и позволяет выполнять долгосрочные планы по выпуску продуктов с опережением графика на годы».

Сама Sisense недавно объединилась с Periscope Data, специалистом в области визуализации данных.

«Нынешний год становится водоразделом для аналитической отрасли — практически все ведущие провайдеры облачных сервисов стараются обзавестись локальными решениями для аналитики больших данных, — говорит генеральный директор Sisense Амир Орад. — Поглощение Tableau компанией Salesforce и наше объединениие с Periscope Data — это очередное подтверждение доступности колоссальных рыночных возможностей компаниям, которые занимаются обработкой данных и аналитикой»

Саллам также напомнила, что такая консолидация — это в некотором роде повторение истории. Похожее происходило в 2007-2008 годах, когда Oracle, SAP и IBM купили компании Hyperion, BusinessObjects и Cognos соответственно.

«Та предыдущая волна слияний запустила новый виток инновации, который привел к нынешнему расцвету таких компаний, как Tableau и Qlik, и существенному расширению рынка в целом благодаря высокому спросу на современные платформы аналитики и BI», — добавила она.

Чем обусловлены происходящие процессы? Очевидно, сочетанием широких перспектив и перенасыщения рынка. Средства самостоятельной бизнес-аналитики стремительно развиваются уже около десяти лет, помогая предприятиям интерпретировать свои данные и извлекать из них полезные сведения. А учитывая, что в современном мире тенденция развивать бизнес с опорой на данные укоренилась достаточно сильно, инструменты, которые решают именно эту задачу, будут как никогда востребованными, а венчурные капиталисты продолжат с готовностью раскошеливаться на «захват земель».

«Business Intelligence — очень зрелый рынок, на котором большинство функций и возможностей уже стали фактическим стандартом, — полагает Борис Эвельсон, вице-президент, главный аналитик Forrester. — Учитывая эту ситуацию и ценовой прессинг (Microsoft, например, заключая крупные сделки с предприятиями, назначает цену всего в 4 долл. в расчете на пользователя в месяц), независимым вендорам BI становится все сложнее сохранять рентабельность».

Соответственно, на фоне затихания активности рынка начинается его конвергенция, и дальнейшие слияния и приобретения, по-видимому, неизбежны. Единственное, что может удивлять — то, насколько быстро все это произошло.

Ассоциация больших данных объявила, что Аналитический центр при Правительстве РФ стал десятым членом Ассоциации наряду с «Яндексом», Mail.Ru Group, «Сбербанком», Газпромбанком, Тинькофф Банком, «МегаФоном», oneFactor, QIWI и «Ростелекомом».

Предполагается, что Аналитический центр примет участие во всех активностях Ассоциации, в том числе в разработке основополагающих документов, направленных на развитие отечественного рынка больших данных: стратегии развития рынка больших данных, кодекса этики использования данных, национальных стандартов обогащения данных из различных источников.

Как отметил Владислав Онищенко, руководитель Аналитического центра при Правительстве РФ, глобальное развитие цифровой экономики в рамках работы с данными трансформирует институт управления в целом. Международный опыт показывает, как участники рынка собирают, обрабатывают большие массивы данных с использованием новых цифровых технологий и создают новые блага для экономики и социальной сферы. Одним из ключевых направлений деятельности, по мнению Онищенко, станет участие в работе Ассоциации над формированием культуры работы с данными.

Ассоциация участников рынка больших данных была создана осенью 2018 года. Основная цель ассоциации – создание условий для развития технологий и продуктов в сфере больших данных в России.

Аналитический центр при Правительстве Российской Федерации занимается информационно-аналитическим сопровождением и экспертной поддержкой деятельности правительства по основным вопросам социально-экономического развития страны.

Это также подтвердило недавнее исследование IDC и Hitachi Vantara. Но для принятия взвешенных решений и разработки стратегии на основе данных нужен специалист, который поможет разобраться в массивах информации. О профессии Data Scientist, карьерном росте и стресс-факторах рассказала Анна Румянцева, Data Scientist в компании Hitachi Vantara.

Анна Румянцева: «Специфика работы Data Scientist заключается в работе с большими объемами данных и применением моделей машинного обучения, глубинного обучения, байесовских методов и пр.»

Есть ли шанс стать Data Scientist, если ты гуманитарий? Если да, что для этого нужно?

Хорошая математическая база является важным условием для реализации в этой профессии. Например, без знания линейной алгебры будет сложно разобраться в устройстве даже самой простой нейронной сети. Методы анализа и процессирования данных очень трудно выучить в свободное время/по вечерам/на выходных без технического образования. Но, так или иначе, работать с данными могут люди и с гуманитарным образованием, например, в смежных областях: журналистике данных (Data Journalism) или визуализации (Data Visualization).

По каким критериям отбирают специалистов на должность Data Scientist?

Если говорить о технических навыках, Data Scientist должен уметь программировать в Python/R, а также знать другие языки программирования, например, Java и C/C++. Он должен уметь работать с базами данных SQL/Git/Github, знать статистику и алгоритмы машинного обучения, основы Hadoop/MapReduce и ETL/Data Engineering, Spark Framework и облачных вычислений.

Помимо владения технической базой, Data Scientist должен уметь объяснять методы анализа и полученные результаты людям из других профессиональных сфер, а также знать английский язык – без него сейчас вообще никуда. При этом набор технических навыков и знание алгоритмов может отличаться в зависимости от уровня специалиста (Junior or Senior Data Scientist).

Можно ли назвать работу Data Scientist стрессовой?

В каждой профессии уровень стресса зависит от конкретного проекта, дедлайнов и ожиданий руководства. Стресс-факторы в Data Science могут быть связаны с подготовкой данных, объяснением результатов анализа и операционализацией проектов.

В свое время я слышала интересную аналогию, связанную с запуском проектов Data Science и Наполеоном в зимней Москве. У Наполеона была сильная армия и грандиозные амбиции по покорению России. Data Scientists тоже имеют грандиозные амбиции в начале проекта: они намерены перевернуть курс компании с ног на голову и отдать руководство нейронным сетям. Но у армии Наполеона не было нужной одежды для русской зимы, чтобы воплотить свои амбиции. У Data Scientists тоже может не быть нужного ПО, в связи с чем все намерения могут остаться на стадии Proof of Concept (доказательства концепции). Чувствовать себя «поверженным Наполеоном» – это ведь тоже стресс.

Верно ли, что Data Scientist должен обладать уникальным сплавом навыков – и технических, и социальных?

Да, социальные навыки в профессии Data Scientist играют очень важную роль. Data Scientist – это не ученый в научно-исследовательском институте. Подходы к решению задач в науке и в бизнесе сильно отличаются. В научной среде люди окружены коллегами со схожим образованием и взглядами, тогда как в компаниях часто работают люди с разными специальностями. Нужно иметь хорошие коммуникативные навыки, чтобы донести свою точку зрения до коллег.

В целом, при интеграции Data Scientist в организацию стоит помнить о нескольких моментах:

• Data Scientist должен понимать контекст бизнеса;
• Data Scientist должен понимать ход рабочих процессов;
• Нужно избавиться от нереалистичных ожиданий в отношении Data Scientist;
• Существует культурный разрыв между менеджерами, занимающимися управлением компанией, и Data Scientists.

Есть ли в работе Data Scientist место творчеству?

Безусловно! Как и во многих других профессиях, креативное, нестандартное мышление является залогом успеха. Интересный метод, который можно внедрить в анализ данных, интересная визуализация данных для передачи основных инсайтов, новые способы решения с помощью Data Science — всё это подразумевает креативный подход.

Некоторые Data Scientists находят свободное время и на личное творчество. Например, создают модели глубокого обучения, которые позволяют изменить вашу фотографию так, чтобы она стала похожа на работу кисти Пикассо. Используя GAN-сети можно получить изображение в определенном стиле. Как раз недавно одна из таких работ была продана на аукционе Christie's за 432 тысячи долларов.

Как будет трансформироваться профессия Data Scientis? Могут ли в этом деле людей заменить искусственный интеллект?

В недалеком будущем профессию Data Scientist ждут достаточно значительные перемены. Многие задачи классического машинного обучения (выбор гиперпараметров, алгоритмов, feature selection) начинают автоматизироваться с помощью методов машинного обучения.

Я думаю, перспективными направлениями в Data Science в будущем будут следующие:

• Data Engineering – умение обрабатывать большие объемы данных из разных источников;
• Узкие специалисты в глубинном обучении, байесовских методах, генетических алгоритмах и т.п.;
• Data Science в роли бизнес-консультанта. Это человек, умеющий сформировать бизнес-кейсы исходя из задач организации и разработать стратегию для их имплементации.

Есть ли различия между профессиями Data Analyst и Data Scientist?

Основная разница между Data Analyst и Data Scientist заключается в объемах анализируемых данных и методах анализа. Data Analyst в основном работает со структурированными данными и применяют статистические методы анализа. В своей работе Data Analysts используют инструменты BI (Tableau, Power BI, или даже Excel).

Специфика работы Data Scientist заключается в работе с большими объемами данных (структурированными и неструктурированными) и применением моделей машинного обучения, глубинного обучения, байесовских методов и так далее. Data Scientist должны уметь работать с более широким спектром платформ. Например, я в своей работе в Hitachi Vantara часто использую Pentaho для обработки данных и оркестрации конечного решения.

Как строится карьера при работе Data Scientist?

Очевидные пути развития карьеры – это путь к Director of Data Science & Analytics (директор по науке о данных и аналитике), Chief Data Scientist (главный специалист по данным), Chief Information Officer (директор по информационным технологиям), Chief Technology Officer (директор по технологиям). Также многие Data Scientists после работы в больших компаниях открывают свои стартапы, предлагая консалтинг в области Data Science, разрабатывая новые продукты или платформы.

Какие обязанности выполняет Data Scientist в компании?

В основном обязанности Data Scientist в компании заключаются в следующем:

• Формирование бизнес-кейсов;
• Понимание того, какие данные в компании могут быть применены к имплементации;
• Подборка методов, которые могут быть применимы к конкретному бизнес-кейсу;
• Интеграция и обработка данных;
• Дата-аналитика с помощью визуализации данных и методов статистического анализа;
• Создание моделей, их валидация и оценка результатов;
• Запуск модели в производство и разработка конечного продукта.

Все эти обязанности являются достаточно распространенными среди организаций различного профиля. В зависимости от структуры команды, некоторые задачи из списка могут выполняться инженерами данных, специалистами по ETL, Solutions Architect и другими специалистами по работе с данным.

Возможно, сейчас это высказывание покажется немного клишированным, но 60-80% рабочего времени занимает интеграция и обработка данных. Поэтому в Hitachi Vantara мы уделяем большое внимание процессу обработки данных с помощью Pentaho и сплоченной работе Data Engineers and Data Scientists.

Многие компании жалуются на отсутствие специалистов по Data Science. Почему при популярности и высокой оплате труда найти хорошего Data Scientist так сложно?

Учитывая шумиху вокруг больших данных и Data Science, многие Data Analysts, которые выполняют несложные аналитические задачи, такие как создание отчетов, дашбордов и простого анализа данных, называют себя Data Scientists. А ученые, занимающиеся данными, имеющие академическое образование, сталкиваются с трудностями при адаптации в коммерческой среде и правильном использовании своих навыков.

Кроме того, помимо найма Data Scientist на работу нужно создать инфраструктуру для работы с данными (ПО, процесс доступа к данным, развертывание решений) и разработать стратегию интеграции Data Scientist в рабочий процесс (коммуникации с ИТ, бизнес-персоналом). Если компания нанимает специалиста по Data Science и начинает скидывать на него петабайты данных в надежде на чудо, то, скорее всего, чуда не случится.

Евгений Степанов: «Всех наших заказчиков объединяет нацеленность на эффективность аналитики, максимальную производительность и доступность аналитического хранилища и принятие решений, основанных на данных»

В конце марта компания Gartner опубликовала отчет, посвященный возможностям решений по управлению данными для аналитики (Critical Capabilities for Data Management Solutions for Analytics Report), являющийся дополнением к знаменитому Магическому квадранту Gartner. Он оценивает возможности аналитических платформ 19 вендоров по нескольким основным сценариям использования хранилищ данных. По результатам отчета, платформа Vertica значительно улучшила свои оценки по сравнению с прошлым годом, обойдя по всем критериям нескольких принципиальных конкурентов. О наблюдаемых изменениях и своем видении развития рынка рассказывает Евгений Степанов, руководитель направления Big Data компании Micro Focus в России.

За счет чего конкурируют разработчики платформ Data Management Solutions for Analytics (DMSA)? Что является ключевыми факторами в борьбе?

В соответствии со сценарием использования, Gartner оценивает все решения по четырем направлениям: традиционное хранилище данных, хранилище данных реального времени, логическое хранилище данных, контекстно независимое хранилище данных. Все компании, участвующие в сравнении, суммарно потратили миллиарды долларов на разработку своих продуктов и во многом преуспели в их продвижении. Ключевыми же факторами являются релевантность продукта бизнес-задаче заказчика, общая стоимость владения и возможности расширения и эволюции платформы.

Gartner в последнем отчете существенно улучшила позиции Vertica. Насколько это для вас серьезно? Какие изменения в «соотношениях сил» вы считаете ключевыми?

Исторически мы не являемся «любимчиками» Gartner, но в этом году мы улучшили свои позиции по всем сценариям использования, уверенно заняв место в десятке лидеров и обогнав многих серьезных игроков. Вкупе с ростом количества заказчиков, в том числе и в России, для нас это является доказательством того, что выбранная нашей компанией стратегия верна и востребована рынком. Характерным изменением является требование к эластичности платформы и поддержки гибридного развертывания, а также возможности загрузки данных из множества источников.

А эти рейтинги имеют значение для заказчиков? Насколько им можно доверять?

Для заказчика важно выбрать оптимальную систему для решения его задач, и часто независимая аналитика предоставляет дополнительный инструмент при первичной оценке на этапе выбора платформ. Естественно, полагаться на рейтинги как на абсолютную истину не стоит — необходимо сравнивать системы исходя из требований заказчика. Однако как первоначальный ориентир их использовать полезно, особенно с учетом того, что эти рейтинги учитывают и оценки заказчиков.

В чем вы видите ключевые изменения на рынке DMSA?

Несмотря на то что многие традиционные игроки, такие как Oracle и Teradata, все еще находятся на вершине списка, происходит это во многом по инерции, и многие заказчики неуверенно отвечают на вопрос о покупках этих систем в ближайшем будущем. В то же время рынок коммерческих дистрибутивов Hadoop остается на плаву в основном благодаря консолидации активов крупнейших игроков.

Как изменилось поведение заказчиков? Например, в Gartner говорят о тренде «rediscovery» — попытке взглянуть на возможности уже используемых платформ с новой стороны...

Наши заказчики всегда используют функционал платформы по максимуму — например, функции машинного обучения, появившиеся недавно, пару версий назад, уже достаточно востребованы. Это происходит именно по той причине, что для использования функционала машинного обучения не требуется закупать дополнительное аппаратное и программное обеспечение, все уже доступно «из коробки». И мы продолжаем расширять встроенные возможности по мере востребованности их заказчиками.

Существует ли портрет типичного заказчика Vertica? Какие из проектов вы считаете наиболее показательными?

Я бы сказал, что стереотипного заказчика Vertica не существует. Платформу успешно используют и в ретейле, и в промышленных компаниях, и в интернет-компаниях. Объединяет всех наших заказчиков нацеленность на эффективность аналитики, максимальную производительность и доступность аналитического хранилища и принятие решений, основанных на данных.

Есть ли в вашей стратегии планы гонки за лидерами? Или гораздо эффективнее какие-то иные действия?

Гоняться ни за кем мы не планируем и строим нашу стратегию не на конкурентной борьбе, а в первую очередь на потребностях заказчиков. Вообще, я обычно исхожу из убеждения, что у Vertica нет конкурентов, так как, если взять весь комплекс параметров, таких как богатство аналитического аппарата, масштабируемость, производительность и общая стоимость владения, в подавляющем большинстве случаев рациональный выбор будет сделан в пользу Vertica.

Мы начали разговор о том, за счет чего приходится бороться сейчас. А что, с вашей точки зрения, будет важнее в будущем?

О будущем необходимо думать уже сейчас, и сейчас же нужно оценивать и выбирать платформу исходя не из текущих требований, а из прогноза на несколько лет вперед. Хотел бы привести пример компании «Авито»: они начали строить хранилище, когда объем данных составлял чуть больше 10 Тбайт, а сейчас объем анализируемых данных превысил несколько сотен терабайт, при этом сохранились изначально заложенные архитектура решения и модель данных. Система просто органически расширялась линейным масштабированием на протяжении пяти лет. Я уверен, что преодолеть планку в 1 Пбайт им не составит труда, и это именно благодаря выбору изначально корректной архитектуры, ориентированной на будущее.

Ссылка на сайт и бесплатную пробную версию: www.vertica.com/ru/

Рост объемов и потоков данных сулит бизнесу большие перспективы. Недаром аналитики британского журнала The Economist провозгласили данные «нефтью XXI века». Отдадим им должное — их сравнение очень точное: данные, действительно, способны принести бизнесу колоссальную выгоду, но извлечь ее весьма и весьма непросто, причем трудности могут возникнуть на самых разных этапах — от сбора и хранения данных и заканчивая осмыслением и «монетизацией» полученных результатов.

Согласно данным недавнего исследования IDC «Аналитика Больших данных как инструмент бизнес-инноваций», проведенного при поддержке компании Hitachi Vantara, рост данных продолжится (в этом уверены 78% респондентов), поэтому компаниям нужно быть к этому готовыми. Одна из ключевых причин этого роста — появление новых источников данных, а также увеличение количества информации из новых источников: уже сегодня анализировать новые источники данных нередко приходится хотя бы раз в месяц (об этом заявили 27% опрошенных), а в некоторых случаях (31%) несколько раз в месяц.

Анализу дополнительной информации — как структурированной, так и неструктурированной — предприятия сегодня уделяют пристальное внимание: они хотят тщательно отслеживать и прогнозировать рыночную ситуацию как масштабах макроэкономики, так и внутри экосистемы партнеров и клиентов. В частности, компании анализируют данные социальных сетей (об этом сообщили 48% респондентов) и информацию сторонних организаций (33%).

Видео: Елена Семеновская представляет основные выводы исследования IDC, проведенного при поддержке Hitachi Vantara

«Большая часть информации, в том числе транзакционной, будет обрабатываться “на лету” — это обещают все поставщики транзакционных систем, и это верный путь к построению цифровой компании, где происходит аналитика каждого бизнес-процесса на основе данных, — комментирует Елена Семеновская, директор по исследованиям IDC в России и СНГ. — Цель аналитики больших данных — не подключить много источников, а найти правильные источники информации, анализ которых может принести пользу для бизнеса. Поиск правильных источников — важная задача, которая, кстати, по мнению  IDC, может решаться с использованием искусственного интеллекта».

Можно предположить, что по мере развития экосистем и появления новых информационных сервисов потребность в эффективном с точки зрения анализа подключении к новым источникам данных будет только расти. Также всё более актуальной становится интеграция источников данных из различных систем. Сегодня лишь немногие опрошенные (7%) отмечают, что могут подключать новые источники без привлечения ИТ–специалистов. Вместе с тем, 39% респондентов при выборе решения обращают внимание на его способность работать с разрозненными системами и данными различных форматов.

По мнению эксперта IDC, нынешние технологии вполне справляются с ростом количества данных, которые надо анализировать, и их источников. Вместе с тем, их релевантность, достоверность и извлечение из данных реальной пользы для бизнеса уже сегодня превращаются в проблему. «По мере того, как будет расти количество источников данных, определять их необходимость и релевантность и извлекать ценность для бизнеса будет всё труднее», — считает Елена Семеновская.

Большие данные станут быстрыми и вариативными

Если в предыдущее десятилетие основной рост объемов данных происходил за счет источников «социальной» информации — неструктурированных данных, создаваемых миллионами и миллиардами пользователей всевозможных социальных сред с помощью различных гаджетов, то в ближайшее десятилетие основным «генератором» данных, вероятнее всего, станет Интернет вещей. Можно предположить, что по мере его развития источников данных будет появляться всё больше, и интегрировать их в существующий ИТ-ландшафт придется всё чаще.

«Чтобы шагать в ногу со временем, предприятиям необходимы интеграционные системы, позволяющие в кратчайшие сроки подключаться к новым источникам и загружать большие объемы, данных различных форматов, — отмечает консультант-эксперт направления Digital Insights компании Hitachi Vantara Роман Павлов. — Уже сегодня становится экономически эффективно сделать ставку на платформу, такую как Pentaho Data Integration, способную преобразовывать данные множества форматов в единую стандартизированную структуру, которая понятна конечным пользователям. Немаловажными составляющими успеха при этом будут складывающаяся вокруг платформы экосистема, включая сообщество пользователей, разработчиков и их партнеров, а также множество доступных им бесплатных модулей, созданных сторонними компаниями и энтузиастами».

По мнению эксперта Hitachi Vantara, скорое внедрение стандарта 5G в сетях мобильных операторов приведет к резкому увеличению пропускной способности каналов связи и снижению стоимости трафика, и как следствие, к взрывному развитию Интернета вещей: «Миллионы окружающих нас устройств будут передавать структурированные и неструктурированные данные в различных форматах. Проблема, с которой предприятия столкнутся в ближайшее время, некоторыми исследователями  формулируется как “from big data to fast data”: данные будут поступать со скоростью, которая была не характерна для интеграционных решений в прошлом. Предприятия должны быть готовы к такому увеличению скорости поступления и объемов данных с датчиков, устройств и внешних систем».

IDC: уже сегодня анализировать новые источники данных нередко приходится хотя бы раз в месяц (об этом заявили 27% опрошенных), а в некоторых случаях (31%) несколько раз в месяц

Серьезно помочь в подключении и интеграции источников данных в имеющийся ИТ-ландшафт позволяет автоматизация этих процессов — она не только увеличивает скорость получения данных, но и повышает качество и надежность решения. Так повторное использование уже протестированных и используемых шаблонов снижает вероятность человеческой ошибки, улучшает регламенты работы с данными внутри организации и позволяет гибко и быстро внедрять изменения в логику работы с данными.

«В конечном итоге это вопрос репутации компании и ее менеджмента, потому что качественная, достоверная аналитика, получаемая в реальном или близком к реальному времени выгодно выделяет предприятие на фоне конкурентов, — поясняет Роман Павлов. — Один из наших клиентов, банк, входящий в Топ-10 банков мира, столкнулся с проблемой реализации более 10 тыс. процедур для загрузки данных из 400 систем. Используя механизмы автоматизации, предоставляемые платформой Hitachi, банк реализовал 6 тыс. процедур загрузки данных через 6 “шаблонов”. В результате автоматизации интеграции с источниками банк отметил снижение регуляторных рисков и экономию на поддержке в 10 млн долл. за три года».

Еще одна проблема, с которой организации сталкиваются уже сегодня, связана с изменчивостью форматов данных в имеющихся источниках. Чтобы справиться с ней, интеграционная платформа должна быть гибкой и иметь возможность оповещать администраторов системы об изменениях форматов, не прекращая при этом загружать данные и не допуская их утрату. «Один из наших клиентов, крупный российский банк решил проблему вариативности конвейера данных, используя платформу Pentaho Data Integration. С ее помощью работа может быть выстроена таким образом, чтобы даже при изменении формата процесс не останавливался ни на секунду, — рассказывает Павлов. — Решение позволило избежать прежних дорогостоящих доработок конвейера, которые были необходимы при изменении форматов и могли занимать до 6 месяцев времени внедрения».

Инфографика

Скачайте исследование IDC «Аналитика Больших данных как инструмент бизнес-инноваций»

Посмотрите видео с кратким изложением основных выводов исследования

Более 90% участников опроса сталкиваются с задачей анализа больших данных, при этом задача анализа новых источников встает перед ИТ-подразделением как минимум раз в месяц (27%), а в некоторых случаях – несколько раз в месяц (32%), таковы данные свежего исследования «Аналитика больших данных как инструмент бизнес-инновации», проведенного компанией IDC совместно с Hitachi Vantara среди руководителей ИТ-департаментов, представителей бизнес-подразделении и специалистов по работе с данными крупнейших российских организаций со штатом сотрудников не менее 500 человек.

Анализ информации из новых источников необходим вследствие потребности бизнеса улучшать существующие процессы и выводить на рынок новые товары и услуги. Большое количество информации содержится в неструктурированном виде и это задача, которую компании частично научились решать – например, проводить анализ социальных сетей или видеопотоков с камер. При этом количество анализируемой информации будет только увеличиваться – взрывной рост объемов данных уже отмечают 78% из числа опрошенных. «Основным источником роста как структурированных, так и неструктурированных данных является сама компания, — отмечает Алексей Никифоров, технический директор Hitachi Vantara. – Это внутренняя переписка, в том числе с партнерами, оцифровка документов, работа таких систем, как ERP, CRM, SCM, HR, ECM. Для промышленных предприятий актуален сбор данных с различных датчиков и устройств».

Для большинства респондентов (45%) актуальна задача дополнения транзакционных данных другими источниками информации. Интеграция данных транзакционных систем и неструктурированного контента позволяет получить более точную информацию о бизнес-процессах, клиентах, продуктах и услугах. Анализ дополнительной информации крайне важен для учета рыночных рисков, анализа конкурентов и обмена разнородной информацией в экосистеме партнеров и заказчиков. Для эффективного анализа данных необходимо объединить источники и представить их на единой платформе пользователям, которые будут извлекать из них ценную информацию. Единая платформа должна позволять значительно сократить время на подготовку данных к анализу, давать аналитикам данных возможность работать с готовыми наборами данных (datasets), обеспечивать рост пользователей аналитических решении в компании. Благодаря наличию такой платформы должно улучшиться взаимодействие между различными подразделениями внутри компании и с партнерами за счет доступа к единому набору данных. Вследствие роста цифрового взаимодействия стоит ожидать и ускорение цифровой трансформации компании.

Большинство респондентов опроса отметили необходимость единого доступа к информации, которую можно использовать для внутренних и внешних аналитических задач. Существующие на рынке решения позволяют добавлять новые источники информации, но 93,1% компаний отмечают, что не могут подключать новые источники без привлечения ИТ–специалистов. Существующая архитектура решений требует частичного привлечения ИТ-специалистов в 57% компаний; значительного – в 34% компаний. При этом в 2% компаний действующая на данный момент архитектура решений в принципе не позволяет подключать новые источники информации.

«Компания сохраняет свое место на рынке и повышает конкурентоспособность, когда она быстро реагирует на рыночные изменения. В современных условиях это возможно, если компания обладает знаниями, которые содержит в себе информацию, релевантную для ее деятельности. Правильная постановка бизнес-задачи по анализу данных — безусловно, ключевая составляющая процесса аналитики больших данных, но нельзя сбрасывать со счетов и необходимость простой и быстрой технической реализации этой задачи, – комментирует Елена Семеновская, директор по исследованиям IDC в России и СНГ. – Возможность подключения новых источников анализируемой информации без помощи ИТ-специалистов сделает процесс анализа данных более эффективным и простым для растущего числа сотрудников, работа которых включает обработку информационного потока».