Выяснилось, что не все данные одинаково полезны, а для ответа на вопросы типа «что было, что есть и что будет», возможно, и не потребуются огромные хранилища, в реальном времени аккумулирующие все поступающие из различных источников неструктурированные сведения. Григорий Каневский, архитектор решений Teradata Aster, представивший решения компании на недавнем форуме Big Data 2015, организованном издательством «Открытые системы», рассказал о своем видении аналитики Больших Данных.

- В названии вашего доклада упоминается аналитика с человеческим лицом, что под этим подразумевается?

Основная цель процесса анализа в Aster, включающего сбор, распределение, обработку данных и визуализацию результата, – создание ценности для бизнеса, что в конечном счете означает формирование такого представления информации, которое может быть использовано для принятия решений. Анализ эффективен, когда его проводят не узкие специалисты в области математики, ИТ, бизнеса или в конкретной прикладной области — роль аналитика требует баланса знаний, способности соединить их для постановки задачи и обнаружения закономерностей. Такой специалист, исследователь данных (data scientist) не может знать все, но должен уметь поставить вопрос и получить ценный для бизнеса результат даже при отсутствии информации о структуре или закономерностях анализируемых данных. Иначе говоря, он должен «чувствовать» данные, которые визуализируют средства аналитики.

- Какие средства для этого предлагает ваша компания?

Для поиска ценности в данных предназначена платформа Teradata Aster, реализующая стратегию компании по интеграции всей продуктовой линейки, включающей уже не только традиционные хранилища данных, построенные по принципу «сначала собрали данные, потом записали в одну базу, затем долго хранили и потом, может быть, средствами SQL получили результат». Сегодня речь идет об анализе в динамике, об обработке в реальном времени и о многообразии источников, тесная интеграция которых выполняется с помощью технологии QueryGrid, позволяющей применять один SQL-запрос ко множеству баз и хранилищ как от Teradata, так и от других производителей, а также к кластерам Hadoop. Вместо перемещения данных в QueryGrid сами запросы перемещаются в целевые хранилища и там выполняются.

Такие инструменты позволяют пользователям с любым уровнем подготовки в области программирования, и в частности SQL, работать со сколь угодно большими массивами сырых данных. В конечном счете все данные имеют ту или иную структуру, другое дело, что она неочевидна или неизвестна, а прежде чем браться за анализ, требуется четко представлять, зачем это нужно бизнесу. Разумеется, какая-то подготовка по SQL или языку R полезна; вместе с тем в Aster есть фреймворк AppCenter, который позволяет из готовых блоков, скрывающих от пользователя сложность алгоритмов, создавать веб-приложения для решения конкретных аналитических задач. Такие блоки-ускорители поставляются уже настроенными для различных отраслей (телеком, банки, розничная торговля, индустрия развлечений, здравоохранение и т. д.). Бизнес-пользователи, не знакомые с SQL и не обладающие опытом программирования, с помощью таких веб-приложений могут проводить анализ по выбранным параметрам и получать ответы в виде обнаруженных скрытых связей, оценок лояльности клиентов, ключевых сегментов потребительской аудитории, лидеров мнений, влияющих на принятие решений.

- Есть мнение, что не все данные одинаково полезны...

Инструментарий Teradata Loom позволяет фильтровать массивы сырых данных с нечеткой структурой, «обогащая» их и готовя для анализа. Loom пытается определить структуру файла и помогает аналитику выполнить необходимые преобразования, применяя математические, строковые и другие операции. Тем самым удается выделить из разрозненного массива входящих файлов именно те данные, которые содержат полезную информацию и пригодятся для дальнейшего анализа.

- Какой уровень зрелости бизнеса необходим от клиента Aster?

Уровень, когда представители бизнеса начинают понимать, что можно извлечь ценность из имеющихся данных; обычно это средний или крупный бизнес – компании, имеющие опыт разработки и развития доморощенного аналитического решения и обнаруживающие, что больше вкладывают в него, чем получают взамен. Именно бизнес, ориентированный на результат, заинтересован в применении платформ наподобие Aster, когда оказывается, что собственных ИТ-решений уже недостаточно. Однако следует учесть: развертывание и эксплуатация подобных платформ – это серьезный проект, часто требующий перемен в бизнесе.

Чтобы определить готовность потенциального клиента к пилотному проекту, мы предлагаем ему список из 15 пунктов. Ключевые вопросы — откуда берутся данные, насколько они доступны, есть ли возможность масштабировать источники и инфраструктуру ИТ, поддерживающую их обработку, как распределены данные. Ответы на эти вопросы должны показать в цифрах, какую выгоду получит клиент и за какое время. На всю эту, по сути, консультационную деятельность уходит в среднем от двух до четырех месяцев. Часто оказывается, что потенциальный клиент не может ответить на все вопросы, и тогда не только становится очевидным сам факт неготовности к переменам, но и выявляются факторы, препятствующие этим переменам. К сожалению, люди часто думают, что аналитические платформы, предлагаемые им, — это волшебная палочка. Но успех проекта не в волшебстве, а в реальном взаимном сближении производителя аналитической платформы и заказчика. Мы, конечно, предоставляем профессиональный сервис, но решить все проблемы без понимания особенностей конкретного бизнеса невозможно, а потому компании должны выращивать собственных специалистов по анализу данных.

Директор дивизиона EMC Isilon в России и странах СНГ Святослав Сухов рассказал о преимуществах горизонтально масштабируемой сетевой системы хранения EMC Isilon, которая является одним из главных элементов новой платформы Federation Business Data Lake для работы с Большими Данными.

Isilon действует на основе операционной системы OneFS, объединяющей три типа классических архитектур систем хранения — файловую систему, диспетчер томов и решение для защиты данных — в одном унифицированном блоке программного обеспечения. Такая комплексная интеллектуальная файловая система охватывает все узлы в кластере, которые можно построить на базе Isilon. В OneFS также реализована интегрированная поддержка стандартных отраслевых протоколов, встроенная поддержка Hadoop и интеграция с VMware для упрощения администрирования функций хранения в виртуализованной среде.

По словам Сухова, сейчас Isilon – одно из наиболее интересных решений для российских предприятий, осваивающих технологии Больших Данных. Создав масштабируемый кластер на базе Isilon, заказчик получает единый пул высокоэффективных ресурсов хранения, а это позволяет значительно сэкономить пространство в ЦОД, необходимое для размещения систем хранения, и за счет этого снизить капитальные и операционные затраты.

Старший системный инженер компании Infinera Дмитрий Шемякин представил платформенное решение для коммуникационного обеспечения инфраструктуры ЦОД и задач обработки Больших Данных.

Он утверждает, что и сейчас, и в обозримой перспективе оптические сети будут основой и наиболее эффективным инструментом для формирования сетевой инфраструктуры дата-центров.

Решение Infinera базируется на концепции «оптической интеграции». Ее ключевым элементом является интегральная схема Photonic Integrated Circuit, на которой совмещены десятки сложных оптических компонентов.

«Такой подход позволяет решить сразу несколько проблем — повысить надежность системы, уменьшить ее габариты и снизить энергопотребление», — пояснил Шемякин.

Технология оптической интеграции разработана более 10 лет назад, но она настолько эффективна, что может и сейчас обеспечить снижение операционных издержек ЦОД на 60% (в части коммуникационного обеспечения), утверждают в Infinera. На базе средств оптической интеграции можно очень быстро развертывать «оптические суперканалы», которые в одном оптоволокне обеспечивают терабитную емкость, что очень важно при организации обмена большими объемами данных при их распределенной обработке.

Николай Местер, директор по развитию корпоративных проектов Intel, рассказал о процессорных продуктах корпорации для создания платформ, ориентированных на задачи обработки Больших Данных. Он отметил, что сейчас развитие таких платформ происходит в двух направлениях, и для каждого из них Intel предлагает собственную элементную базу.

Первое направление предусматривает создание в ЦОД вертикально масштабируемых решений, аккумулирующих данные в одном месте. Такие решения относятся к классу in-memory — они постоянно хранят данные в оперативной памяти. А их развитие осуществляется просто — по мере роста объема данных увеличивается мощность и количество процессоров, памяти, наращивается канальная емкость передающих систем. Для таких платформ Intel предлагает использовать процессоры Xeon, прежде всего их старшую версию E7. В каждом из таких процессоров содержится 15 ядер, и они поддерживают до 12 Тбайт памяти.

Второе направление связано в распределенными, по сути, облачными вычислениями. Под соответствующие платформы у Intel тоже есть специализированные решения, например анонсированный недавно процессор Xeon D.

«Этот процессор объединяет в себе функции вычисления, коммуникаций и ввода-вывода. На его основе можно строить высокоэффективные и недорогие горизонтально масштабируемые платформы для распределенной обработки Больших Данных», — утверждает Местер.

Иван Косяков, архитектор аналитических систем Microsoft, представил на форуме Azure Learning – облачный сервис машинного обучения, на базе которого можно легко создавать и разворачивать решения для анализа Больших Данных.

«Этот сервис имеет библиотеку ‘образцов экспериментов’ и преднастроенных алгоритмов Microsoft, позволяющих значительно сократить время развертывания прогнозных моделей развития бизнеса», — сообщил Косяков.

На простом примере он показал, как компания, обслуживающая сеть торговых автоматов, может повысить эффективность бизнес-операций за счет обработки данных с сенсоров, установленных в этих автоматах. Загрузив накопленные данные в облачный сервис Microsoft, можно в сжатые сроки построить прогноз спроса на товары в автоматах и предсказать возникновение в них неисправностей.

Эксперты определились с терминологией, затем пришло время обсуждения применимости тех или иных технологий для решения бизнес-задач. Взгляды компаний становятся все более взвешенными, и тема направлений развития технологий Больших Данных приобретает все большую актуальность.

«Сейчас данные в большинстве случаев молчат, но хотелось бы, чтобы они сами говорили», — заявил Алексей Благирев, директор по развитию систем аналитики и отчетности банка «Открытие», в рамках форума Big Data 2015. Нынешние подходы к работе с данными по-прежнему подразумевают «озарение» аналитика, позволяющее перейти к конкретным действиям.

Сейчас основными пользователями Больших Данных являются представители профессии data scientist, которая еще не успела обзавестись устойчивым русскоязычным названием, однако смысл ее определился. Главное качество таких специалистов – умение задавать правильные вопросы к данным. Они должны обладать сбалансированными знаниями сразу в трех областях – математике, программировании и отраслевой бизнес-проблематике, а также иметь развитое воображение и способности к визуализации получаемых результатов. Очевидно, что дефицит таких людей и их дороговизна являются вполне естественными. По выражению Григория Каневского, архитектора решений Teradata Aster, компаниям нужна «аналитика с человеческим лицом» — решения, направленные на широкий круг пользователей, позволяющие максимально интегрировать аналитические системы в бизнес-процессы.

Павел Миронов, директор департамента по работе с предприятиями энергетического сектора компании «Эр-Стайл», уверен: громадный объем информации можно переработать, только обладая способностью к ассоциативному мышлению, проведению аналогий. Именно благодаря технологиям Больших Данных есть возможность двигаться к автоматическому управлению производственными процессами. При этом можно обходиться без участия человека, особенно если речь идет о тяжелых и вредных условиях. Главное – достичь необходимого качества данных.

Желоб разочарований

По мнению Сергея Карелова, председателя совета Лиги независимых экспертов, на рынке Больших Данных произошла кардинальная смена повестки: наблюдается определенный скепсис относительно технологий, возникший из-за несовпадения ожиданий и реальности. На кривой зрелости технологий, предложенной Gartner, Большие Данные уже прошли «пик завышенных ожиданий» и сейчас постепенно скатываются по «желобу разочарований».

«Только поняв и осознав причины наших заблуждений, мы сможем остановить скатывание по этому желобу, которое будет продолжаться еще пару лет», — подчеркнул Карелов, согласно прогнозам которого 60% проектов Больших Данных не пойдут дальше пилотной стадии.

По словам Рината Гимранова, начальника управления ИТ «Сургутнефтегаза», вопрос не в том, как не попасть в 60% проектов-неудачников, а как вообще в ближайшее время «избежать» Больших Данных. Он уверен, что сейчас для предприятий гораздо важнее — добиться актуальности используемой информации и «свертывания», то есть максимального упрощения ИТ-архитектур. В решении этих двух задач помогут технологии обработки данных в оперативной памяти (in-memory).

«У нас функционируют 29 систем, и мы хотим, чтобы они работали на базе максимум двух СУБД. Например, хранилище данных и ERP будут являться частью единой системы», — заявил Гимранов.

Сергей Золотарев, глава Pivotal в России и СНГ, согласился, что технологии, работающие в памяти, становятся новой парадигмой построения информационных систем – от реализации отдельных баз данных до полного использования in-memory в качестве платформы для всех приложений. Их применение поможет сократить разрыв между ожиданиями бизнеса и возможностями ИТ.

«Детсткие болезни» Больших Данных

Как отметил Святослав Сухов, директор дивизиона EMC Isilon в России и СНГ, ажиотаж, возникший вокруг Больших Данных, постепенно спадает. Так или иначе, по данным Gartner, лишь 13% компаний заявляют о реализации связанных с ними проектов. Треть компаний находятся на этапе разработки стратегии и сбора информации и еще примерно столько же проводят пилотные проекты.

Для сферы Больших Данных характерны «детские болезни», обусловленные незрелостью технологий. «Существует достаточно много инструментов, но проверенных на практике, стандартизованных методик пока не хватает», — признал Евгений Степанов, менеджер по продажам решений HP Big Data в России. Чтобы понять, какому именно подходу следовать, надо уяснить, какими данными компания обладает, сколько денег тратит на поддержку существующих систем, насколько эффективно решает поставленные задачи.

Илья Гершанов, руководитель направления Больших Данных компании Informatica, подчеркнул, что многие заказчики уже нащупали круг задач, которые можно решать с помощью Больших Данных, определился и спектр доступных технологий. По его мнению, сократить достаточно высокие риски и сроки проектов поможет использование поставщиками заготовок – «типовых» проектов Больших Данных для поддержки бизнес-инициатив.

Самым наглядным примером использования Больших Данных становится клиентская аналитика. Люди — один из самых ценных источников Больших Данных. Как признал Николай Кацан, руководитель направления IBM по решениям в области управления информацией, анонимность в Сети иллюзорна, и всесторонний анализ данных о клиентах позволяет узнать о них многое – возможно, даже больше, чем те хотели бы.

«Большие Данные начинаются тогда, когда к внутренним данным компании добавляются внешние источники. Так данные превращаются в стратегический актив», — заявил Анджей Аршавский, директор Центра компетенции супермассивов данных «Сбертеха». От применения технологий Больших Данных напрямую зависит прибыль банков, поэтому необходимость их использования уже не обсуждается. При этом, по словам Аршавского, 70% работ в аналитических проектах связано с приведением данных в порядок — их очисткой и интеграцией. Кроме того, для удобства анализа данные зачастую требуют реинжиниринга и переформатирования. Все это отнимает много времени и является одной из причин разочарования в Больших Данных.

«За хранилищем данных нужно следить, иначе оно превратится в помойку», — согласился Егор Осипов, эксперт направления «Хранилища данных, аналитика и Big Data» компании «Крок». Миграция отлично помогает санации данных. Хорошим поводом для этого становится начало проектов Больших Данных.

Не теряет актуальности и проблема масштабирования. Как отметил Дмитрий Толпеко, руководитель направления «Хранилища данных и Big Data» компании EPAM Systems, зачастую в хранилища поступает так много данных, что обрабатывать их в разумные сроки не представляется возможным. В этом случае кластеры Hadoop становятся не заменой традиционных хранилищ, а скорее их дополнением, в отдельных ситуациях – даже спасением.

«Hadoop – не панацея, классические аналитические задачи следует решать другими способами. Hadoop силен в анализе неструктурированных данных, тогда как обычные задачи лучше доверить традиционным хранилищам», — предупреждает вместе с тем Сергей Сотниченко, руководитель управления хранилищ данных и отчетности банка «Тинькофф Кредитные Системы».

Облака для Интернета вещей

«Уже в недалеком будущем основной поток информации будет поступать не от людей, а от устройств, встроенных в бытовые приборы», — высказал мнение Николай Местер, директор по развитию корпоративных проектов Intel. По его словам, это и будут «настоящие» Большие Данные. Организациям придется понимать, как из них извлекать пользу, создавая принципиально новые сервисы: по прогнозам Gartner, к 2020 году около 80% своей прибыли компании будут получать от услуг на основе анализа данных. Однако, если информацию не получится обрабатывать в режиме реального времени, ее ценность, равно как и построенных на ней сервисов, будет резко падать, ломая экономику бизнеса. Таким образом, жизнеспособность многих будущих бизнес-моделей окажется в зависимости от производительности построенных ИТ-решений.

На рынке побеждают продукты, которые дешевле и проще. В случае с Большими Данными это облачные системы.

«Компании будут вынуждены учиться анализировать собираемую информацию, и облако сильно упрощает этот путь», — уверен Дмитрий Марченко, директор департамента Microsoft Cloud Enterprise. Операторы облачных решений быстро наращивают свои вычислительные мощности, а их ЦОД покрывают все большую площадь, становясь все ближе к заказчикам. Как считает Дмитрий Шемякин, старший системный инженер Infinera, для дальнейшего развития возможностей облачных систем очень важно обеспечить необходимую емкость каналов между площадками – транспортной сети для связи между ЦОД.

Помочь может наглядная визуализация данных, полагает Андрей Скворцов, директор группы компаний «Меркатор», специализирующейся в области инфографики. На форуме Big Data 2015, организованном 24 марта издательством «Открытые системы», он предложил три простых правила представления данных в наглядном виде. Визуализированные данные должны вызывать удивление, показывать контрасты; кроме того, необходимо представлять все данные — иначе они будут не столь убедительны.

Первым «визуализатором», по его словам, стал математик и астроном Урбен Леверье, наиболее известный своим «открытием Нептуна на кончике пера». После того как шторм в ноябре 1854 года изрядно потрепал англо-французский флот под Севастополем, французский император Наполеон III обратился к ученому с вопросом относительно предсказуемости такого рода явлений. Леверье изучил траекторию урагана и предложил основать сеть метеорологических станций для заблаговременного отслеживания природных катаклизмов. Император, удивленный невиданными доселе картинками движения атмосферных фронтов, дал добро.

Качественная иллюстрация лучше тысячи слов расскажет о том, в каких странах энергетики «ставят» на ветер и воду, а в каких — на уголь и мирный атом Источник: «Меркатор»

С этих карт Леверье, считает Скворцов, и началась визуализация данных. Она позволяет сделать данные более наглядными — отобразить ход застройки центра Москвы по годам, представить транзакции Сбербанка в реальном времени или показать, в каких странах Европы предпочитают маленькие ветровые электростанции, в каких — большие атомные и тепловые. А порой она дает возможность вскрыть некоторые прчинно-следственные связи, особенно при работе с малоформализуемой информацией. Например, графически отобразив взаимоотношения в коллективе, можно найти в нем отчетливые группы друзей. Или понять, как реально повлиял на динамику продаж приход нового руководителя.

Самый поучительный пример формально касался степени совпадения динамики бюджета США с прогнозами относительно этой динамики. Прогнозы, как отметил Скворцов, были двух типов: «Все хорошо» и «Сейчас не очень, но скоро все будет хорошо». Реальность несколько отличалась, и, по словам директора «Меркатора», такая ситуация характерна для госучреждений отнюдь не только нашего заокеанского партнера.

24 марта в ходе форума Big Data 2015, организованного издательством «Открытые системы», корпорация EMC представила новое платформенное решение для работы с Большими Данными — Federation Business Data Lake.

FBDL – это первый плод совместных усилий подразделения EMC Information Infrastructure и компаний Pivotal и VMware, также входящих в «федерацию EMC». Предложенное ими решение представляет собой интегрированный технологический стек, охватывающий ключевые задачи построения так называемых озер данных (data lake).

Как пояснил Святослав Сухов, директор дивизиона EMC Isilon в России и странах СНГ, озера бизнес-данных нужны для нового класса задач, решить которые в рамках традиционных хранилищ данных невозможно или очень проблематично. Сегодня крупные корпоративные заказчики концентрируют в своих ИТ-системах огромные объемы структурированных и неструктурированных данных из множества разнотипных источников. Создание оптимальных условий для хранения и последующего анализа этих данных, то есть создание озер, открывает принципиально новые возможности для бизнеса — компании смогут гораздо точнее прогнозировать свое развитие и реагировать на любые события буквально в реальном времени.

Реализовать эту модель до сих пор мешает сложность построения инфраструктуры, соответствующей уровню поставленных задач. И основная идея разработчиков FBDL состоит в том, чтобы предоставить предприятиям продукт, позволяющий ускорить и автоматизировать развертывание инфраструктуры для озер и работы с Большими Данными, причем на всех основных этапах, включая хранение, анализ и визуализацию результатов для принятия бизнес-решений.

Принципиально важно, что идеология FBDL предлагает заказчикам свободу выбора на основных уровнях технологического стека инфраструктуры озер. Сейчас эта возможность в полном объеме реализована в слое аналитики.

Сухов полагает, что впоследствии клиент сможет выбрать и наиболее подходящую для него систему хранения. Пока же, с точки зрения EMC, функции хранения в озерах данных эффективнее всего решаются с помощью горизонтально масштабируемых систем EMC Isilon, консолидирующих в себе данные любых форматов.

А вот организовать анализ этих данных в FBDL возможно наиболее распространенными средствами, действующими на основе Hadoop, In-Memory No-SQL и Scale-out MPP. В EMC оставляют за клиентами выбор дистрибутива Hadoop, включая Cloudera и Hortonworks, а также новые дистрибутивы на основе открытых платформ. Но в базовом варианте средства анализа включают в себя пакет Pivotal Big Data Suite, в том числе решение PivotalHD с ведущим модулем HAWQ для реализации технологии SQL-on-Hadoop. Средства анализа в FBDL виртуализированы с помощью решений VMware на базе Vblock. Вероятно в перспективе заказчики смогут задействовать и средства виртуализации других поставщиков.

Функции визуализации результатов анализа данных и прогнозирования для принятия бизнес-решений реализованы в FBDL на основе платформенного сервиса Pivotal Cloud Foundry.

В EMC утверждают, что проработали все вопросы интеграции и совместимости элементов предложенного стека озера данных, и планируют обеспечить заказчикам единую точку входа при внедрении решения FBDL и его последующей поддержке.

Как сообщается, с помощью FBDL предприятия получат возможность развертывать массивы Hadoop и системы анализа данных в реальном времени всего за семь дней. Подобное ускорение обеспечивается не только высокой степенью интеграции составляющих решения, но и благодаря целенаправленной помощи EMC своим заказчикам при освоении озер данных. С этой целью корпорация разработала набор услуг и обучающих программ. Они помогут клиентам оценить возможности FBDL и быстро подготовить сценарии обработки Больших Данных.

Решение FBDL будет доступно в апреле. По оценкам EMC, продукт будет востребован только очень крупными компаниями – число его потенциальных заказчиков в нашей стране сейчас не превышает двух-трех десятков.