В Санкт-Петербурге прошел форум «IBM SolutionsConnect 2016: время новых возможностей», на котором значительная часть выступлений была посвящена прогнозной аналитике. Новые возможности, по версии IBM, связаны также с облачными технологиями, хотя новизны в этом уже и не очень много, и с обычной аналитикой, которая порой позволяет выявить неожиданные взаимосвязи.

Аналитика Больших Данных при существующем огромном объеме накопленной информации часто используется для понимания поведения клиентов. «В банках, — отмечает Андрей Солуковцев, руководитель департамента IBM Security в России и СНГ, — такое использование особенно распространено — более 60% случаев. Например, по структуре расходов клиента и ее изменению можно определить, насколько клиент близок к дефолту».

«Благодаря компьютерному анализу, который учитывает множество факторов и показателей, мы работаем 365 дней в году и 24 часа в сутки, формируя производственный заказ в автоматическом режиме на каждый следующий день», — поделился опытом Станислав Ефремов, начальник группы техподдержки и администрирования компании «Каравай», которая имеет одно из крупнейших хлебопекарных производств в Петербурге.

Александр Дмитриев, бизнес-консультант IBM Client Center в России и СНГ, рассказал об одной из корреляций, которую в автоматическом режиме предложила программа Watson Analytics. Выяснилось, что машины женатых мужчин на 24% чаще подпадают под град. Причины подобной закономерности, наверное, можно попытаться выявить, но для страховой компании они не важны: для них имеет значение сама статистика, с помощью которой корректируются страховые программы. По-видимому, женатым мужчинам придется платить за страховку чуть больше, чем неженатым.

Обратившись к криминальной тематике, Владислав Буянов, представитель по развитию бизнеса IBM Analytics, рассказал о том, как только по анализу базы данных о нераскрытых преступлениях силовикам удалось раскрыть несколько преступлений. По его словам, если в аналитическую систему загнать множество разнообразных данных о предпринимателях, технологиях, ситуации в экономике, то можно определить, насколько рискованно инвестировать в тот или иной стартап.

Однако в большинстве случаев типовая система не подойдет. «Эра коробочных решений прошла. Все простое из типовых систем уже у пользователей стоит на компьютерах. И не только простое, но и сложное. Сейчас требуются специфические решения под потребности конкретной компании. Такие решения можно разработать благодаря облачной платформе IBM Bluemix. В ней предусмотрены как бесплатная, так и платная формы работы», — представил инструмент для разработчиков Дмитриев.

После целой серии выступлений на форуме слушателям могло показаться, что менеджеру можно не думать и не гадать, рассчитывая на решение всех вопросов благодаря аналитическим способностям искусственного интеллекта — если не прямо сейчас, то уже в ближайшем будущем. Достаточно только загрузить какой-то массив данных в систему. Подобное представление характеризовали вопросы из зала. В частности, спикера спросили о возможности прогнозировать устойчивость политической системы, а также валютных курсов. Для этого, как оказалось, сложно набрать необходимый объем исходных данных. Кроме того, сама публикация прогноза может повлиять на развитие ситуации (на том же валютном рынке), а это влияние сделает прогноз неверным.

«Для успешного применения прогнозной аналитики нужны специалисты, которые разбираются в данных внутри организации. К тому же, эти данные нужно очистить, чтобы обеспечить высокую вероятность точности прогноза и выявленных взаимозависимостей», — заверил слушателей Буянов.

В Москве в рамках мирового тура компании Informatica прошла конференция Informatica Day. Организатором мероприятия в этом году, за отстутствием с недавнего времени в нашей стране представительства компании, выступила DIS Group, мастер-дистрибьютор Informatica в России и СНГ. В центре внимания Informatica Day были не только технологические возможности нового поколения инструментов компании, но и подходы и методики, которые Informatica продвигает, чтобы помочь своим заказчикам превращать данные в ключевой актив бизнеса.

Одной из методологий, на которую Informatica призывает предприятия обратить пристальное внимание, является data governance, что можно перевести как «управление данными», хотя термин «управление» в данном случае не совсем точен – речь идет скорее об организации стабильного процесса работы с данными на корпоративном уровне. Объясняя суть data governance, управляющий директор DIS Group Александр Тарасов отметил, что, если согласиться с возрастающей ролью данных как важнейшего фактора развития бизнеса, необходимо в первую очередь уделять внимание их качеству и управляемости. Цель data governance – обеспечить максимальный эффект для бизнеса от использования корпоративных данных, в том числе за счет повышения отдачи от информационных активов, обеспечения адекватной стоимости владения корпоративными данными и достижения доверия к данным со стороны бизнеса.

Тарасов подчеркнул, что data governance не является ИТ-проектом, это корпоративная функция, которая должна быть реализована прежде всего на организационном уровне и привязана к бизнес-стратегии. В компании должны быть разработаны соответствующие политики, регламенты и процессы, организован комитет по управлению данными, а в конечном итоге отлажена система работы с данными, обеспечивающая непрерывное улучшение качества данных, высокий уровень их полноты и достоверности и доступность данных для решения бизнес-задач.

Нет сомнений, что эффективным организационным мерам по управлению данными технологический фундамент абсолютно необходим. Informatica предлагает в качестве такого фундамента комплекс решений на базе Intelligent Data Platform. В основе самой этой платформы лежат продукты для интеграции, обеспечения качества и безопасности данных, управления мастер-данными, Большими Данными, данными в облаке. Их объединяет уровень интеллектуальных мета-данных, с помощью которых реализуются инструменты, предназначенные для использования не только ИТ-специалистами, но и бизнес-пользователями. Например, новое решение Intelligent Data Lake, позволяющее объединять массивы данных из внутренних и разнообразных внешних источников и строить «карту» всех корпоративных информационных активов, предоставляет средства самообслуживания с простыми интерфейсами, с помощью которых неискушенные в data science сотрудники бизнес-подразделений могут работать с нужными Большими Данными. Помимо прочего, это повышает эффективность их участия в процессах data governance.

В конце мая в офисе компании «Сбербанк-Технологии» прошла конференция Sberbank Data Day. Ее целью было привлечь внимание специалистов и студентов-старшекурсников к тому, как крупнейший отечественный банк работает с Большими Данными и какие видит перспективы в этой области, а также раскрыть некоторые секреты внутренней кухни анализа Больших Данных в банке.

Как подчеркнул старший вице-президент Сбербанка Никита Волков, банк считает работу с данными одним из ключевых направлений и источником роста, уже имеет достаточный опыт в сфере Больших Данных и может отнести себя к организациям, которые называют «направляемыми данными» (data-driven). Он также отметил, что Сбербанк крайне заинтересован в привлечении умных, талантливых и надежных специалистов, чтобы совершенствовать свой аналитический фундамент и формировать эффективную дорожную карту преобразований с помощью Больших Данных.

Игорь Бардинцев, директор центра прикладных данных Сбербанка, рассказал о проектах монетизации данных – создании на их основе новых продуктов, не связанных с существующими банковскими линейками. В Сбербанке такие проекты делят на внутренние, направленные на оптимизацию деятельности и сокращение затрат, и внешние, предназначенные для продажи другим организациям. Приведенные примеры внутренних проектов (оптимизация остатков в отделениях на основе прогнозирования потребности в наличных, переход к более эффективной модели универсальных рабочих мест с помощью анализа исторических данных о том, как сотрудники работают в офисе, прогноз выхода банкоматов из строя на базе анализа их технических параметров) уже на стадии пилота продемонстрировали возможность сэкономить миллиарды рублей. Из внешних проектов монетизации Бардинцев упомянул разработку нескольких продуктов, в частности системы для ретейлеров «Геомаркетинг 2.0», позволяющей дополнить карту перемещений потенциальных покупателей данными об их доходах.

По словам Бардинцева, Сбербанку принадлежит существенная (от 40 до 99%) доля во всех видах финансовых операций в стране – от кредитования до выплаты зарплат и пенсий, что позволяет приобретать обширные «знания» о своих клиентах. Но до последнего времени эта информация была рассредоточена по локальным системам, и лишь недавно начался процесс консолидации данных, что и стало предпосылкой для развития деятельности по монетизации.

Ключевыми компонентами технологической платформы работы с данными – «фабрики данных» Сбербанка — являются консолидированный источник неструктурированных данных на базе Hadoop и корпоративное хранилище на технологиях Teradata. За них отвечают две разные команды компании «Сбербанк-Технологии»: Центр компетенции развития BI-технологий и Центр компетенции по супермассивам данных. Последний наиболее активно задействован в проектах по монетизации вместе с еще одной структурой – Лабораторией данных блока «Технологии» Сбербанка. Как рассказал ее руководитель Донат Фетисов, основная задача лаборатории состоит в выявлении правильных источников данных для реализации той или иной идеи монетизации. Уже сейчас есть более 60 гипотез монетизации, и их число будет расти. Но чтобы трансформировать гипотезу в продукт, нужно не только разработать модель и проанализировать финансовую состоятельность идеи (этим занимается Центр компетенции по супермассивам данных), но и предварительно выяснить, откуда брать нужные данные. Задача непростая с учетом того, что Сбербанк работает с более чем 400 источниками данных, а их общий объем составляет около 16 Пбайт.

В своих исследованиях Лаборатория данных использует кластер на базе Hadoop объемом 600 Тбайт. В ближайших планах – построение промышленного озера данных, создание инструментов самообслуживания для привлечения в проекты аналитиков от бизнеса и превращение исследований в регулярный процесс с целью сократить сроки поставки данных для экспериментов в области монетизации.

По мнению Андрея Пивоварова, руководителя группы перспективных технологий предпроектного консалтинга Oracle СНГ, в России уже имеется немало заказчиков, ясно представляющих себе возможности технологий Больших Данных и изучающих сценарии их монетизации. Причем речь идет не только о Hadoop и хранении больших объемов данных, но и о сборе в реальном времени огромных потоков данных и их обработке.

- На каких направлениях, связанных с технологиями Больших Данных, сегодня концентрируются в Oracle?

Корпорация направляет свои усилия на создание оптимизированных программно-аппаратных комплексов, интеграцию Больших Данных, развитие собственной базы данных NoSQL, ускорение доступа к Большим Данным, их безопасность, визуализацию Больших Данных, а также на методологию построения систем Больших Данных. Именно в этих областях у заказчиков сегодня возникают наибольшие проблемы. На них указывает и эволюция Hadoop – одного из ключевых элементов технологий Больших Данных. Изначально эта технология существовала как программная система с открытым кодом, и развивало ее сообщество энтузиастов-разработчиков для задач обработки логов веб-сайтов. Поэтому, например, в ней изначально не было необходимых функций безопасности, таких как разграничение доступа пользователей к данным, ведь ее создателей больше заботило другое – загрузить большие массивы данных и эффективно их обработать.

Немало возникает и вопросов, связанных с архитектурой СУБД, в организациях, где есть Большие Данные. В Oracle работает группа архитекторов, которые собирают примеры использования и готовят документы с рекомендациями, касающимися, в частности, построения гибридных систем, включающих обычные СУБД, Hadoop, NoSQL, средства бизнес-аналитики, Data Discovery и пр. Своими наработками они делятся с заказчиками.

- Кластеры Hadoop нередко создаются на основе недорогих серверов. Почему в Oracle стали предлагать фирменное программно-аппаратное решение?

Заказчики, которые попытались создать кластер Hadoop своими силами из простых, недорогих компонентов, вынуждены были тратить много времени и средств на то, чтобы обеспечить интеграцию отдельных узлов, синхронизацию его работы, установку обновлений, ремонт и замену узлов и т. д. Чтобы помочь заказчикам, создающим кластер Hadoop, в его развертывании и эксплуатации и добиться его высокой производительности, надежности и доступности, корпорация разработала свое оптимизированное программно-аппаратное решение — кластер Hadoop из скоммутированных между собой узлов с предустановленным дистрибутивом Cloudera.

- Нередко обмен данными между имеющимися в организации системами баз данных и Hadoop превращается в отдельную проблему. Что можно здесь посоветовать?

Действительно, заказчики хотят, чтобы кластер Hadoop, часто используемый для хранения не только накапливаемых или собираемых неструктурированных данных, но и ранее собранных структурированных данных, вписался в их ИТ-ландшафт и при этом не требовал серьезных дополнительных расходов на команду специалистов по Hadoop. Специальный инструментарий позволяет описать данные на Hadoop как таблицу СУБД Oracle, к которой можно получить доступ посредством SQL. Обработка таких запросов частично переносится на кластер Hadoop, с его помощью, например, можно отфильтровать данные, существенно уменьшив их объем (что важно, поскольку их необходимо передавать через сеть), и затем отправить результаты фильтрации на обработку в СУБД. Также есть возможность в одном запросе задать поиск по реляционной базе данных и по Hadoop – это может быть полезно, если старые структурированные данные перенесены на хранение в кластер Hadoop.

Когда кластеры Hadoop соседствуют с реляционными СУБД, нередко возникают проблемы со скоростью обмена данными между ними. Эффективно решать их позволяют оптимизированные коннекторы, например для интеграции СУБД Oracle с Hadoop – с их помощью можно увеличить скорость доступа к данным из одной базы в другую в разы по сравнению с бесплатными аналогами.

- Есть ли смысл визуализировать Большие Данные, не прибегая к их серьезной предварительной обработке?

Да, есть. Один из автопроизводителей – наших заказчиков, используя решения Data Discovery, анализирует жалобы клиентов: изучает неструктурированную информацию, содержащуюся в жалобах, находит закономерности и глубже исследует проблемы, которые за ними стоят. Например, если обнаруживается, что в жалобах часто встречаются слова «скрип», «поворот руля» и при этом известно, что авторы жалоб ездят на машинах определенных партий какой-то модели, то есть смысл тщательно исследовать эти партии на предмет дефектов.

Решения класса Data Discovery позволяют, применяя различные способы визуализации, быстро понять, есть ли в данных интересные закономерности, и если они есть, то исследовать их более тщательно, применив традиционный подход. Если же данные из нового источника неинтересны, то можно быстро убрать его из рассмотрения, не тратя время и деньги на интеграцию источника с хранилищем данных.

- Среди Больших Данных встречаются не только большие массивы, но и потоки данных. Какие есть возможности для их сбора и обработки?

Один из наших заказчиков проводит испытания авиадвигателей и во время прогона собирает данные от датчиков, записывает их с помощью нашей распределенной СУБД класса NoSQL, а затем анализирует. Эта СУБД вобрала огромный опыт фиксации в реальном времени большого количества мелких транзакций, таких как показания систем АСУ ТП.

Другой наш заказчик – сотовый оператор – отслеживает местонахождение абонентов, и если обнаруживает, что клиент заехал в торговый центр, который является партнером оператора, то предлагает подготовить информацию о персональных скидках и отправляет ее клиенту по SMS. Здесь используется другой наш инструментарий, который позволяет отслеживать информационные потоки, выявлять в них с помощью шаблонов некие события и оперативно на них реагировать.

- На какие технологии Больших Данных наблюдается спрос в России?

Использование технологий Больших Данных в России входит в стадию зрелости. Чаще всего этими технологиями Hadoop интересуются крупные предприятия – в первую очередь банки, телекоммуникационные компании и розничные сети, причем разговор с ними идет о вполне конкретных бизнес-задачах и технологиях. Интерес к Hadoop вполне объясним: эта технология позволяет собрать воедино и хранить не только те данные, что обычно загружались в хранилища, но также старые структурированные данные, неструктурированные данные из открытых источников и пр.

Есть немало примеров, когда российские заказчики сначала создают у себя экспериментальные лаборатории по Большим Данным, с помощью которых выявляют возможности монетизации этих технологий, определяют перспективные сценарии их применения. А те заказчики, которые выходят на определенный уровень зрелости и начинают использовать Hadoop в масштабах предприятия, уже часто обращаются к нам за промышленным решением. Им мы как раз и предлагаем программно-аппаратные решения для работы с Hadoop.

Что касается обработки больших потоков данных, то основной спрос мы отмечаем со стороны производственных компаний – нефтегазовой отрасли, транспорта, машиностроения, телекома и некоторых других. Есть спрос и на сбор и хранение данных из Интернета – он наблюдается в первую очередь со стороны банков, использующих эти данные для скоринговой оценки клиентов.

В программе форума BIG DATA 2016, проведенного издательством «Открытые системы», большое место было отведено и «социальной», и «машинной» составляющим Больших Данных. Евгений Степанов, руководитель направления HPE Big Data Platform в России, рассказал Computerworld Россия, каким он видит рынок Больших Данных и его тенденции.

— В жизни Больших Данных наступил перелом: с одной стороны, есть примеры успешных проектов, некоторые из них представлены на форуме. С другой — аналитики говорят, что почти 75% подобных проектов терпят неудачу. Каково положение, по вашей оценке?

При всей разноплановости проектов в этой области можно выделить закономерности, объясняющие успех или провал проектов, связанных с их анализом.

Многие неудачи обусловлены тем, что в проектах используются компоненты, которые изначально не были предназначены для того, чтобы быть между собой интегрированными, тем более не предполагалось строить на их основе полноценные решения промышленного уровня.

Сейчас мы видим, что технологии консолидируются, и в ближайшее время будем наблюдать коммодитизацию рынка Больших Данных, начнет появляться все больше универсальных шаблонов построения решений, и это в конечном итоге приведет к тому, что заказчикам будет проще их строить.

— Вы полагаете, основная причина провалов – технологическая, использование неподходящих инструментов?

Это первая причина. Есть и другая – неверная постановка задачи, непонимание, как ее решать, как создавать команды для работы с Большими Данными. Но и в этом отношении есть сдвиги, появляется понимание, как должна быть организационно выстроена работа с ними.

Задач традиционно две — минимизировать издержки и повысить прибыль. Около 40% проектов в области Больших Данных нацелены на первую, 60% — на вторую. Все-таки сейчас в существующей конкурентной среде первична задача повышения прибыли, повышения выручки.

— Фактически все начинается с попытки поставить задачу — определить, что на самом деле нужно. А часто бывает, что задача вырисовывается не такая, как изначально предполагалось?

Да, конечно. В 30-40% случаев так и происходит. Первичная постановка задачи никуда не исчезает, но, бывает, возникают «спецэффекты» — побочные эффекты анализа, когда мы находим новые задачи, новые закономерности, которые позволяют расширить начальную задачу.

— Вы выделяете три типа данных — привычные бизнес-данные, количество которых относительно невелико и растет умеренными темпами, а также «машинные» и «социальные» данные. Машинные данные достаточно формализованы, мы в принципе знаем, что нам придет от датчика. Можно ли их считать полноценной составляющей Больших Данных?

Казалось бы, эти данные структурированы, и мы знаем, что нам даст каждый конкретный датчик, но очень сильное влияние оказывает их количество и многообразие. По этой причине часто связи между результатами измерения в различных точках заранее не очевидны. А потому сейчас аналитика датчиков Интернета вещей становится одной из ключевых задач.

— И третья категория – социальные данные. Самые многочисленные и быстрорастущие, наименее структурированные. Неужели ко всем трем категориям возможен единый подход?

Скорее — единый набор средств аналитики. Доля и значение социальных данных все выше и выше. Их использование сейчас для многих компаний является единственным средством получить конкурентное преимущество.

Если говорить о методах, то, по сути, построение прогноза с датчиков и прогноза поведения социальных групп не сильно различаются в том плане, что используются одни и те же инструменты и математические методы. Сложность обработки социальных данных в том, что люди создают информацию и воспринимают ее из множества источников - видео, телефон, фотоаппарат. И, перед тем как мы применим те же самые методы, которые мы применяем для анализа машинных данных, нам необходимо эту информацию превратить в те данные, которые машина сможет проанализировать.

— И, наверное, очистить их, поскольку, как утверждается, боты начинают вести себя «как люди»...

Задача очистки данных важна, но главное не переусердствовать. Тут основной принцип — «не навреди». Мы в любом случае можем вычислить крайние значения диапазона, который мы измеряем, и за пределами крайних значений мы всю информацию отфильтровываем.

И, естественно, механизмы поведенческого анализа, позволяющие отличить людей от роботов, проанализировать поведение вплоть до того, какой характер у человека, какие данные он вводит. Технологии управления Большими Данными не ставят цель заменить человека или создать искусственный интеллект, который сможет полностью исключить квалифицированных специалистов. Они представляют собой инструмент дополнения человеческого интеллекта, есть такое понятие — «дополненный интеллект», подобно «дополненной реальности». При этом они позволяют решать многие задачи практически «из коробки». Скажем, чтобы решить задачу распознавания лиц, вам не надо разворачивать гигантскую машину по анализу всего, достаточно одного модуля.

— Лица сейчас распознают даже смартфоны...

Да, но смартфоны, во-первых, не распознают лица, в промышленных масштабах, во-вторых, не позволяют искать человека по лицу в социальной сети. Или, допустим, сопоставлять лица, которые находятся в социальных сетях и в вашей внутренней базе, с соблюдением всех правил корпоративной безопасности.

— «Cоциальная» часть Больших Данных, как мне кажется, наиболее интересна....

Интересны все. Но задача управления бизнес-данными вполне изучена, она стала в первую очередь задачей снижения издержек, скажем — сокращения стоимости хранения и обработки информации, уменьшения сроков ее анализа.

Но на основе более полного изучения этой информации, прежде всего бизнес-данных и социальных данных, можно получить новые возможности, создавать новые продукты. В финансовой сфере, в ретейле уже есть подобные примеры.

Машинные данные пока используются меньше; в ретейле, к примеру, это один из ключевых недооцененных источников. При правильной постановке задачи, когда мы заходим в магазин, нас учитывают, например, по факту регистрации телефона в сети Wi-Fi магазина, анализируют наши передвижения. На основе этих данных продвинутые ретейлеры строят аналитику и принимают решения по расстановке товаров, распределению специалистов и т. д.

— Все типы данных, наверное, анализируют только в телекоме...

Да, они их увязывают и с социальными данными, и с бизнес-данными. Операторы, пожалуй, были первыми, кто стал анализировать все виды данных, увязывая их друг с другом. И постепенно начинают предлагать продукты на базе анализа не только своим пользователям, но и другим компаниям — рекламодателям, тем же ретейлерам.

— Каким компаниям имеет смысл затевать проект по Большим Данным? Понятно, что для кого-то он будет неподъемным, данных будет мало, они будут неинтересны. Есть какие-то критерии?

С технической точки зрения стоимость входа сейчас на рынок анализа Больших Данных низка, как это ни странно. А данные для анализа есть в любой компании, важно правильно к ним подойти. Есть примеры, когда наличие аналитических инструментов позволяет создавать новые компании, новые виды бизнеса.

Для меня более интересен вопрос — я поднимал его на форуме, — когда Большие Данные превратятся в то, во что превратился Интернет, когда простые люди будут чувствовать пользу от них.

— И когда?

Думаю, через три-пять лет технологии обретут целостный вид и все договорятся, что именно мы имеем в виду под Большими Данными.

В стремлении представить Большие Данные как доступную и понятную аналитику организациям все чаще приходится задумываться о переносе соответствующих функций в облако. Отдавая предпочтение Большим Данным, предлагаемым в качестве сервиса, когда поставщик берет на себя требующее серьезных затрат времени и ресурсов управление технологиями Больших Данных (Hadoop, Spark, Hive и пр.), предприятия получают возможность избавиться от черновой работы и переключить внимание на преимущества Больших Данных.

В эпоху Больших Данных перед организациями встают фундаментальные вопросы использования их потенциала, расширения сферы применения и интеграции в уже существующие корпоративные хранилища и киоски данных.

Доминирующей и коммерчески применяемой сегодня технологией Больших Данных является Apache Hadoop. Она используется вместе с другими компонентами в составе расширяющейся экосистемы Hadoop: средствами обработки данных в оперативной памяти Apache Spark, инфраструктурой хранилищ данных Apache Hive и системой хранения Apache HBase NoSQL.

Рэйми Стата, генеральный директор компании Altiscale

Чтобы интегрировать Большие Данные в базовую корпоративную архитектуру, нужна соответствующая адаптация и инвестиции в технологии Больших Данных, предоставляемые в качестве сервиса. Архитектура, отвечающая потребностям сегодняшнего дня, должна включать в себя следующие компоненты.

• Высокопроизводительное, готовое к поддержке аналитических средств хранилище данных на базе Hadoop. Как ускорить обработку Больших Данных и обеспечить поддержку аналитики? Лучший способ построить дружественную к аналитическим функциям среду Больших Данных — создать аналитическое хранилище, куда будут загружаться часто используемые наборы данных из озера данных Hadoop, и структуризировать многомерные модели. Имея в своем распоряжении готовый к применению аналитических средств набор данных поверх Hadoop, организации смогут быстро получать ответы на свои запросы. Такие модели понятны для бизнес-пользователей и упрощают исследование изменения контекста бизнеса с течением времени.

Аналитический набор данных должен не только поддерживать отчеты для известных сценариев, но и проводить исследовательский анализ незапланированных ситуаций. Пользователю не нужно задумываться, обращаться ли ему с запросом к аналитическому набору данных или к Hadoop напрямую.

• Семантический уровень, упрощающий «бизнес-язык» анализа данных. Как обеспечить доступ к Большим Данным самому широкому кругу бизнес-пользователей? Чтобы скрыть сложность необработанных данных и представить их бизнес-пользователям в понятных бизнес-терминах, нужен семантический уровень. На таком уровне обеспечивается логическое представление данных, к которому применимы бизнес-правила.

К примеру, «ценными клиентами» на семантическом уровне можно считать тех, кто поддерживает с компанией отношения на протяжении трех и более лет и совершает покупки на регулярной основе. Прежде чем попасть на семантический уровень, данные «ценных клиентов» собираются из разных таблиц и подвергаются многоступенчатой обработке и преобразованиям. Причем все это остается невидимым для бизнес-пользователя.

Прежде бизнес-пользователям приходилось обращаться с запросами к Hadoop напрямую, это было неудобно и требовало дополнительной информации от ИТ-службы. В результате формировалась очередь запросов. Семантический уровень позволяет бизнес-пользователям анализировать и изучать данные в привычных для себя бизнес-терминах, без ожидания ответов от ИТ-службы и назначения запросам приоритетов. Допускается повторное использование данных, отчетов и результатов анализа различными пользователями, тем самым обеспечивается необходимая синхронизация и согласованность, а ИТ-службе не нужно отвечать на каждый отдельно взятый вопрос.

• Среда Больших Данных с множественной арендой. Как обращаться к Большим Данным без привязки к конкретному местоположению пользователя? В условиях повсеместного спроса на аналитику организациям необходим гибридный централизованно-децентрализованный подход к данным. Это позволит различным командам использовать локальные наборы данных и семантические определения, сохраняя доступ к ресурсам корпоративных данных, создаваемых ИТ-службой.

Такой гибридный подход реализуется посредством множественной аренды данных. При этом на ИТ-службу возлагается сбор и очищение данных из озер Hadoop, а также подготовка к созданию централизованного семантического уровня и проведению анализа сохраняемых данных.

Затем создаются виртуальные копии централизованной среды данных для различных бизнес-групп: финансовой, группы продаж, маркетинга и поддержки клиентов. Таким образом ИТ-служба сохраняет за собой управление данными и семантическими правилами, а бизнес-группы и подразделения получают возможность увидеть результаты своей повседневной деятельности путем анализа исторических или корпоративных данных, хранящихся в Hadoop.

• Удобные способы использования аналитики. Как сделать анализ Больших Данных удобным для пользователя? На последнем этапе процесса доставки Больших Данных конечным пользователям необходимо рассмотреть форму их представления. Интерфейсы данных должны отвечать индивидуальным потребностям всех пользователей. Это предусматривает создание интерактивных инструментальных панелей для бизнес-пользователей, интуитивно понятных визуальных инструментов анализа и точных, заранее спланированных отчетов для потребителей информации.

Хотя каждый стиль уникален, лучшие практики предусматривают отказ от реализации любого интерфейса в виде отдельного инструмента. В процессе создания, совместного использования и публикации информации необходима точность и согласованность. Достигается это с помощью семантического уровня, гарантирующего неизменность сути данных, определяющей их ценность, в то время как способы представления могут варьироваться в зависимости от интерфейса.

Большие Данные играют для предприятий все более важную роль, составляя основу корпоративной архитектуры данных. Чтобы использовать их потенциал в полной мере, предприятиям необходимо ускорить инвестиции в технологии, помогающие эффективно хранить и анализировать данные. Благодаря облачным решениям для Больших Данных предприятия укрепляют свои позиции и совершенствуют непрерывно развивающуюся экосистему Больших Данных.

Hadoop, Spark и Kafka уже оказали огромное влияние на мир Больших Данных, и вот теперь на очереди новый проект Apache, обещающий в корне изменить сложившуюся ситуацию.

Для Apache Software Foundation проект Arrow, который призван вывести на новый уровень производительность неоднородных аналитических систем, обрабатывающих данные в оперативной памяти, приобрел первоочередное значение.

Программное обеспечение Apache Arrow, базирующееся на коде Apache Drill, позволит увеличить производительность аналитических систем более чем в сто раз. Такого повышенного быстродействия планируется достичь посредством устранения издержек, возникающих при организации взаимодействия между различными системами.

В реализации новой инициативы примут участие разработчики, которые внесли свою лепту и в другие проекты Больших Данных Apache: Calcite, Cassandra, Drill, Hadoop, HBase, Impala, Kudu, Parquet, Phoenix, Spark и Storm.

«Сообщество сторонников программного обеспечения с открытым кодом решило объединить свои усилия в работе над Apache Arrow, – сообщил вице-президент Apache Software Foundation Жак Надо, курирующий новый проект и проект Apache Drill. – Мы полагаем, что в ближайшие несколько лет большая часть данных в мире будет обрабатываться с помощью Arrow».

При решении многих задач от 70 до 80% процессорного времени тратится на сериализацию и десериализацию данных. Программное обеспечение Arrow изменяет представление данных при их обработке в системах хранения, благодаря чему в ходе информационного обмена между различными системами и процессами центральный процессор не перегружен операциями сериализации, десериализации и создания копий данных в памяти.

«Колоночное представление данных в памяти позволяет использовать при решении задач множество систем, приложений и языков программирования и избежать характерных издержек», – пояснил вице-президент Apache Incubator и член комитета управления проектом Apache Arrow Тед Даннинг.

Вот почему у Arrow сразу же появилось очень много поклонников, к числу которых относятся не только наиболее известные партнеры Apache, включая разработчиков проектов Calcite, Cassandra, Drill, Hadoop, HBase, Impala, Kudu, Parquet, Phoenix, Spark, Storm, Pandas и Ibis, но и такие компании, как Cloudera, Databricks, Datastax, Dremio, Hortonworks, MapR, Salesforce и Twitter. В качестве общей основы для механизмов исполнения команд SQL, систем анализа данных, хранения и обработки потоков и очередей программное обеспечение Arrow позволит добиться более высокой производительности и интероперабельности.

«Колоночное представление данных в памяти помогает системам и приложениям наиболее полно задействовать ресурсы оборудования в процессе обработки, – пояснил автор идеи Apache Kudu и член комитета управления проектом Apache Arrow Тод Липкон. – Современные процессоры ориентированы на параллельную обработку данных с помощью векторных операций и инструкций SIMD. Arrow упрощает организацию такой обработки».

Помимо традиционной реляционной структуры, Arrow поддерживает сложную организацию данных и динамические схемы. К примеру, можно управлять данными JSON, получившими широкое распространение в Интернете вещей, современных приложениях и файлах системных журналов. Уже доступна поддержка различных языков программирования, включая Java, C++ и Python. По словам Надо, к концу года планируется реализовать R и JavaScript. Примерно в те же сроки Arrow появится в арсенале Drill, Ibis, Impala, Kudu, Parquet, Spark и ряда других проектов: поддержка множества различных языков программирования способствует повышению интероперабельности.

«В обыденной жизни чаще всего используются сценарии, предусматривающие сложное сочетание структурированных и неструктурированных данных, – указал член комитетов управления проектами Apache Drill и Apache Arrow Парт Чандра. – Колоночное представление и обработка данных в памяти, уже доказавшие свою эффективность в Apache Drill, позволят Arrow объединить высокую производительность колоночной обработки с гибкостью JSON».

Программное обеспечение Apache Arrow будет распространяться по лицензии Apache License v2.0 и контролироваться наиболее активными участниками проекта. По словам Надо, первая официальная версия Arrow появится в ближайшие несколько месяцев.

4 февраля на специальном брифинге для прессы генеральный директор «Сбербанк-Технологии» Алиса Мельникова сообщила, что выручка компании от продажи услуг и продуктов Сбербанку России составила в 2015 году 15,2 млрд руб. В 2013 и 2014 годах компания заработала на обслуживании своего единственного заказчика 7 млрд и 10,3 млрд руб. соответственно. Таким образом, ее бизнес за два последних года практически удвоился.

По словам Мельниковой, стратегическим направлением деятельности компании остается совершенствование ИТ-ландшафта Сбербанка, а ее основой профиль — это разработка и внедрение ПО.

На дату отчета в компании было задействовано 6,5 тыс. сотрудников, на 1,2 тыс. больше, чем годом ранее. Такое расширение штатов произошло потому, что увеличилось число проектов и внедрений, инициированных в интересах банка.

В 2015 году было взято на реализацию 532 проекта (против 450 проектов в 2014 году). Кроме того, ежемесячно сотрудники компании осуществляли 740 внедрений (в 2014 году — 650). Под внедрениями в компании «Сбербанк-Технологии» подразумеваются любые обновления версий программного обеспечения в промышленной среде. Под проектами же понимаются масштабные задачи по модернизации ИТ-ландшафта, работы над которыми занимают продолжительное время.

В список наиболее крупных и значимых для Сбербанка инициатив, реализованных в прошлом году, Мельникова включила завершившуюся в целом программу «Централизация 2.0», в рамках которой были консолидированы важнейшие ИТ-активы банка. Из достижений отчетного периода были также упомянуты: проект по созданию на новой платформе интернет-сайта Сбербанка (проект удостоен международной награды WebAward 2015), система самообслуживания клиентов «Сбербанк Онлайн» и крупнейшая в мире система управления персоналом на основе SAP HR.

Также Мельникова отметила создание прототипа платформы Больших Данных, на которой уже протестированы 12 инициатив. Подробностей о них она не сообщила.

«Привлечение и удержание клиентов или риск-менеджмент — в этих и других направлениях хорошо применимы технологии Больших Данных. От разных подразделений нашего заказчика мы получили запросы и проверили по ним применимость Больших Данных. А в наступившем году уже начали работать над использованием этих технологий в промышленном контуре», — заявила генеральный директор.

Делясь планами на 2016 год, руководитель компании отметила важность программы по совершенствованию «платформы поддержки развития бизнеса» Сбербанка, нацеленной на обеспечение услуг клиентам и проведение взаиморасчетов с партнерами. По-прежнему важное место в ИТ-стратегии Сбербанка до 2018 года занимает и программа надежности критичных автоматизированных систем банка «99,99%». При достижении данного показателя надежности время простоя критичных ИТ-систем банка не должно превышать 52,5 мин в год. Уже в 2014 году суммарное время недоступности таких систем было снижено в четыре раза, а при проведении технологических работ – в два с половиной раза. В 2015 году для многих ключевых бизнес-процессов банка в рамках этой программы был введен принцип дублирования, благодаря чему пользователи обслуживаются в бесперебойном режиме.

Сейчас «Сбербанк-Технологии» работает над еще одной важнейшей программой — «Единая фронтальная система». Она призвана сделать процесс обслуживания клиентов единым и удобным как для всех сотрудников в отделениях Сбербанка, так и для самих клиентов. Работа над ней ведется не первый год и будет продолжена.

Сумму контракта ЗАО «Сбербанк-Технологии» со Сбербанком на 2016 год и его подробности Мельникова не сообщила, отметила лишь, что согласно ее ожиданиям основные производственные и финансовые показатели компании по итогам текущего года будут не хуже, чем в предыдущем.

В конце 2015 года Computerworld Россия при поддержке корпорации IBM провел исследование «Бизнес в эпоху Больших Данных» с целью оценить уровень зрелости отечественных компаний, проанализировать перспективы дальнейшего проникновения технологий Больших Данных в российский бизнес, а также выявить основные барьеры, возникающие на этом пути. В опросе приняли участие 226 человек, преимущественно ИТ-руководители и ИТ-менеджеры, представители исследовательского и бизнес-сообщества. Методическое сопровождение проекта осуществляли эксперты OSP Data, аналитической группы издательства «Открытые системы».

Наибольшее число организаций, в которых Большие Данные уже применяются, работают в сфере науки и образования, финансовом и страховом секторах, в области телекоммуникаций, нефтегазовой индустрии и ТЭК, а также в торговле и на транспорте. Уровень проникновения технологий Больших Данных в других отраслях в целом невысок.

Ознакомиться с результатами исследования можно, скачав отчет

Хотя принципиальных препятствий для освоения технологий Больших Данных нет, большинство организаций все же не торопятся с их внедрением. Больше половины тех, кто еще не использует, но предполагает применять их в будущем, планируют начать проекты Больших Данных не раньше чем через два года. Причина, похоже, кроется в том, что эти технологии далеко не везде попали в поле зрения топ-менеджмента.

Принятие решения о реализации проектов в области Больших Данных по большей части остается зоной ответственности ИТ-директора. Тем не менее в ряде случаев решение принимается коллегиально. Например, инициаторами проектов, наряду с главой ИТ-департамента, могут выступать руководители маркетинговой службы, финансового отдела или отдела продаж.

Что печально, при выработке стратегических решений в области Больших Данных руководители верхнего звена задействованы лишь в 23% организаций. Это означает, что Большие Данные не стали частью стратегии, не считаются приоритетными в значительном числе компаний.

От соцсетей до погоды

Как выяснилось, направления практического применения Больших Данных довольно разнообразны. Самой распространенной областью оказались маркетинг и продажи. В непростой экономической ситуации это не только наиболее очевидная с точки зрения отдачи сфера, но и одна из самых горячих тем для всех отраслей деятельности. Эффективность инструментария Больших Данных в этой важной области бизнеса вызывает меньше всего сомнений. Чаще всего компании из этой группы анализируют данные по продажам, занимаются аналитикой данных систем CRM и ERP и изучают лояльность клиентов. Чуть реже ведется аналитика запросов клиентов и их предпочтений. Данные социальных сетей анализирует треть респондентов из этой группы, что является достаточно высоким показателем, учитывая широкий отраслевой охват исследования.

Почти половина пользователей отметила, что Большие Данные применяются в управлении организацией в целом. Это весьма обнадеживающий показатель с точки зрения оценки перспектив развития технологий в этих организациях, так как инструментарий, доказавший свою эффективность на уровне руководства, с высокой вероятностью найдет применение и на других уровнях.

Компаний, сообщивших об использовании Больших Данных в логистике, несколько меньше. С их помощью решаются задачи управления товарооборотом и управления рисками в цепочках поставок, включая анализ влияния погодных условий.

В текущей сложной ситуации большинство российских компаний подходят к проектам по аналитике Больших Данных предельно прагматично. Бесцельное накопление данных никому не интересно, все стремятся извлекать доход из своей информации. Именно критерий доходности, окупаемости проекта сейчас имеет ключевое значение. Даже если проект принес интересный, неожиданный результат (так называемый вау-эффект), но не доказал своей экономической состоятельности, он будет закрыт.

Проблемы – в данных и неосведомленности

60% компаний, реализующих проекты Больших Данных, признали, что в их ходе столкнулись с трудностями. Чаще всего упоминается проблема сбора данных и их качества (о ней рассказали 30% участников), от решения которой во многом зависит жизнеспособность создаваемых систем.

Отдельный вопрос связан с интеграцией данных, а кроме того, для удобства анализа данных нередко требуется провести их реинжиниринг и переформатирование. Как показывает практика, именно на предварительную подготовку данных приходится до 70% работ в аналитических проектах.

19% респондентов указывают на отсутствие спроса со стороны владельцев и инвесторов, сомневающихся в целесообразности применения исследований Больших Данных. Это, по мнению опрошенных, объясняется нехваткой объективной информации о реализации проектов в российских компаниях и полученных ими результатах. Отмечаются и административные барьеры: использование Больших Данных влечет за собой пересмотр действующих в компании политик и правил, что не всегда проходит безболезненно.

Еще одной серьезной проблемой, препятствующей внедрению технологий Больших Данных, признается дефицит финансирования. Несомненно, она тоже уходит корнями в слабую заинтересованность бизнеса. Недостаточное финансирование подобных проектов зачастую непосредственным образом влияет на саму возможность достижения значимого эффекта: компании получают лишь весьма скромные результаты.

В целом можно констатировать, что потенциальные заказчики пока недостаточно осведомлены о сути и возможностях технологий Больших Данных. Авторы исследования подчеркивают необходимость популяризации Больших Данных среди бизнес-руководителей и предпринимателей, поскольку именно они потенциально являются главными заинтересованными лицами, поскольку решения в данной области обещают стать ключевым элементом повышения эффективности бизнеса и перехода к принципиально новым моделям цифровой экономики.