Компания Blazent, занимающаяся поставкой сервисов и программного обеспечения управления ИТ, для удовлетворения потребностей своих корпоративных клиентов решила использовать модный ныне анализ Больших Данных.

«С помощью Spark, Cassandra и других технологий Больших Данных мы разработали сервис, который упорядочивает все данные об ИТ-системах организаций, – сообщил генеральный директор Blazent Гэри Оливер. – Упрощение анализа помогает повысить эффективность функционирования систем, обеспечить их соответствие нормативным требованиям и выявить проблемные области».

Платформа Blazent Data Intelligence Platform поддерживает более 230 общих источников сведений о разработках и операционной деятельности ИТ-службы, включая базы данных управления конфигурациями (configuration management database, CMDB), а также программное обеспечение для управления эффективностью, жизненным циклом разработки, серверами и антивирусами.

Blazent накопила большой опыт обобщения операционных данных в интересах крупных клиентов. Частная компания, основанная в 2002 году, с самого начала предлагала программное обеспечение для улучшения управления ИТ-ресурсами.

Со временем она разработала технологии сбора и обработки данных, поступающих из различных источников, в том числе и нетрадиционных, таких как системы управления персоналом. Сервисами Blazent пользуются многие крупные ИТ-организации, включая ИТ-подразлеления IBM, Visa, Motorola и CSC.

Глубокий анализ операционных данных сулит немало преимуществ компаниям, которые владеют большим количеством оборудования и программного обеспечения. Благодаря ему один из провайдеров, использующих сервис, обнаружил, что целый этаж его ЦОД был занят организацией, которая не вносила никакой арендной платы. Поставщик финансовых услуг выяснил, что на 300 его серверах никаких резервных копий не делалось.

После выпуска Blazent Data Intelligence Platform компания организовала управление клиентской информацией на базе распределенной архитектуры Больших Данных.

Данные хранятся в базе данных Cassandra NoSQL, которая размещается на сервисе Amazon Web Services или Verizon Terremark. Запросы выполняются на платформе обработки данных Spark.

По словам главного архитектора продуктов Blazent Майкла Людвига, клиентам архитектура Больших Данных предоставляет два основных преимущества.

Во-первых, она помогает получать представление о том, что происходит за межсетевыми экранами, практически в реальном времени. Прежний подход предполагал периодическое выполнение операций извлечения, преобразования и загрузки (extract, transform and load, ETL) в пакетном режиме.

Во-вторых, размещение Больших Данных в облаке позволяет клиенту накопить богатую историю операционной деятельности, которая может оказаться полезной при проведении упреждающего анализа. В этом году компания Blazent представит ряд новых модулей машинного обучения, использующих преимущества исторических сведений.

Новые технологии, вобравшие в себя опыт, который был накоплен в области управления основными данными, структур данных и управления сервисами, упрощают подготовку имеющихся ресурсов и проведение информационного анализа. Программное обеспечение связывает данные, которые могут поступать из различных систем.

Помимо технологии обработки Больших Данных компания Blazent представила два новых аналитических модуля. В модуле Data Explorer реализован интерфейс для изучения сотен источников данных. Другой аналитический модуль, GLOVE (governance, lifecycle operational validation, expenditure), предназначен для анализа крупными поставщиками интернет-сервисов характера использования клиентами предлагаемых ими систем.

Стартовая стоимость внедрения Blazent Data Intelligence Platform на крупном предприятии составит порядка 100 тыс. долл.

В центре решений Fors Solution Center открылась технологическая лаборатория Oracle Big Data Appliance. Как было отмечено на пресс-брифинге по случаю этого события, на базе системы Big Data Appliance X5 компания «Форс Дистрибуция», дистрибутор Oracle, будет выстраивать поддержку своих партнеров в реализации проектов по Большим Данным.

Программно-аппаратный комплекс Oracle Big Data Appliance X5-2 дополнил линейку уже развернутых в центре оптимизированных систем Oracle Engineered Systems, работа с которыми является основным направлением для Fors Solution Center. По словам Андрея Пивоварова, руководителя группы перспективных технологий Oracle в СНГ, дополнительно к базовым преимуществам таких систем, среди которых возможность добиться максимально высокой производительности, снижение рисков из-за несовместимости компонентов, упрощение поддержки и оптимизация решения определенного круга задач, Big Data Appliance X5 освобождает заказчика от необходимости постоянно следить за обновлениями, которые в области Больших Данных происходят очень часто, и помогает справиться с дефицитом компетенций, порой довольно экзотических. Комплекс разработан в партнерстве с компанией Cloudera и включает в себя оптимизированный для аппаратной платформы Oralce дистрибутив Hadoop этого производителя, поддержка и обновления которого входят в поставку системы. Кроме того, на базе Big Data Appliance X5 доступна новая технология Oracle Big Data SQL, позволяющая обращаться к данным в Hadoop с помощью привычных инструментов реляционной базы данных.

Как рассказал Андрей Тамбовский, руководитель Fors Solution Center и директор по технологиям компании «Форс Дистрибуция», центр предоставляет услуги демонстрации программно-аппаратных комплексов и стандартного оборудования Oracle, проводит технические тренинги для партнеров и заказчиков, организует на своей площадке тестирование решений для заказчиков на платформах Oracle, которое очень часто перерастает в пилотные проекты, а также дает возможность партнерам – независимым разработчикам ПО – оптимизировать работу своих систем на стеке аппаратных средств Oracle.

Рассчитывать на востребованность таких услуг в применении к Oracle Big Data Appliance позволяет анализ российского рынка, проведенный по заказу Oracle, который свидетельствует, что среди крупных российских компаний и организаций более 70% либо уже работают с технологиями Больших Данных, либо серьезно задумываются об их использовании. По словам Тамбовского, появление в Fors Solution Center программно-аппаратного комплекса Big Data Appliance стимулирует формирование партнерской сети компании «Форс Дистрибуция» по решениям Больших Данных на базе технологий Oracle и будет способствовать ускорению развития российского рынка Больших Данных в целом.

Big Data Appliance X5-2, установленный в центре, включает в себя шесть серверов хранения и обработки, предоставляет емкость внешней памяти 288 Тбайт и отличается невысоким уровнем энергопотребления. Система может быть интегрирована с другим программно-аппаратным комплексом – машиной базы данных Oracle Exadata, что позволит демонстрировать сценарии построения аналитических систем, одновременно использующих данные из СУБД Oracle и Hadoop.

IBM выделяет значительные ресурсы на подготовку разрабатываемой в рамках Apache Software Foundation платформы Spark к решению задач машинного обучения, в том числе к распознаванию образов и классификации объектов.

Корпорация планирует предлагать Spark в качестве сервиса. Дальнейшим совершенствованием платформы будут заниматься 3, 5 тыс. исследователей и разработчиков.

Проект Apache дополнен собственным программным обеспечением IBM – языком программирования SystemML, предназначенным для машинного обучения. В проекте примет участие компания Databricks, которая до настоящего времени вносила основной вклад в развитие Spark. Благодаря машинному обучению компьютерные системы смогут повышать свою производительность при выполнении отдельных задач по мере получения новой информации.

«Spark предоставляет нам совершенно новый способ обработки данных, – указал директор по маркетингу аналитического подразделения IBM Джоэл Хоровитц. – Это очень мощная технология вычислений в памяти, имеющая достаточно простой для аналитиков и разработчиков интерфейс».

Платформа Spark, которую многие считают наследником Hadoop, платформы обработки Больших Данных, хорошо подходит для задач машинного обучения, требующих обычно построения мощных вычислительных кластеров.

В последней версии платформы появились дополнительные возможности для реализации алгоритмов машинного обучения.

«Машинное обучение – мощное средство извлечения из данных настоящих ценностей, – подчеркнул Хоровитц. – Алгоритмы машинного обучения особенно хороши при решении задач автоматической классификации, так как помогают устройствам лучше почувствовать окружающую среду. Прежде такие задачи требовали интенсивных вычислений, и решать их на одном сервере не представлялось возможным. Spark помогает координировать работу множества компьютеров и обеспечивает согласованность выполняемых ими операций».

IBM уже предлагает ряд сервисов на базе алгоритмов машинного обучения. Речь, в частности, идет о переводе с одного языка на другой и визуализации данных. Сервис Spark, который появится в конце июня, позволит разработчикам создавать и использовать собственные алгоритмы машинного обучения.

Spark будет доступен на облачной платформе для разработчиков IBM Bluemix и предложит простой способ загрузки данных, их изучения и передачи результатов другому приложению. Причем все это будет происходить без дополнительной настройки поддерживающей инфраструктуры.

Популярность Spark заметно выросла в прошлом году, когда увеличилось число компаний, применяющих анализ Больших Данных в повседневной деятельности. При обработке больших коллекций данных Spark активно использовали eBay, НАСА, Opentable и Yahoo. Согласно результатам опроса, который был проведен в декабре 2014 года компанией TypeSafe, поставляющей своим клиентам инструменты Java, об использовании Spark в своей работе сообщили 17% из 3 тыс. программистов Java, принимавших участие в этом мероприятии.

Компания McLaren Applied Technologies приступила к разработке инструментов, позволяющих анализировать действия хирурга в ходе операции, чтобы сделать их более эффективными.

«Мы начали со средств моделирования для подготовки хирургов, а также сложных процедур, качество и скорость выполнения которых можно увеличить с помощью имеющихся у нас инструментов», — заявил Тим Страффорд, директор McLaren Applied Technologies.

Сейчас компания в партнерстве с Оксфордским медицинским колледжем ищет новое применение средствам моделирования и анализа данных, отточенным за два десятилетия работы с гоночной командой «Формулы-1».

«Нам понадобилось выбрать правильных партнеров, не делая вида, что мы знаем все», — добавил Страффорд.

По его словам, соответствующие технологии только зарождаются; пока McLaren и Оксфордский медицинский колледж сосредоточены на совершенствовании средств моделирования, которые помогли бы в подготовке хирургов, но дальнейшие исследования могут привести к созданию автоматизированных инструментов.

Проект продолжается, и партнеры надеются улучшить уход за пациентами путем сокращения времени их пребывания в больнице и оптимального распределения медицинских ресурсов, в том числе персонала экстренных служб и клиник. Все это должно сделать экстренную помощь более эффективной.

Пока в тестировании созданных в рамках проекта инструментов участвуют только государственные хирургические клиники, но планируется привлечь к этому и частные медучреждения.

В McLaren Group недавно сменили свое название на McLaren Technology Group, обратившись к потенциальным клиентам в нефтегазовой сфере, здравоохранении, фармацевтике и финансовом секторе, которые могли бы извлечь пользу из наработок компании в области анализа данных.

Рон Деннис, генеральный директор McLaren, подчеркнул: «Во всех компаниях McLaren сейчас работает более трех тысяч человек, три четверти не имеют никакого отношения к автоспорту. Технологии управляют всем, что мы делаем, — создавая лучшие в мире гоночные болиды, работая вместе с глобальными корпорациями над совершенствованием их продуктов или разрабатывая самые надежные электронные управляющие системы».

«Наше новое имя отражает наше постоянно растущее внимание к инновациям и созданию революционных технологий, которые будут иметь позитивные, впечатляющие результаты», — добавил Деннис.

Компания ожидает разрешения на строительство нового центра прикладных технологий площадью 57 тыс. кв. м, где будут размещаться помещения для аэродинамических исследований, лаборатории, офисы, мастерские и тестовые площадки, что вдвое увеличит общую площадь, занимаемую McLaren.

Нынешняя штаб-квартира компании в Уокинге (недалеко от Лондона), удостоенная за свой дизайн множества наград, строилась 18 месяцев, поэтому можно предположить, что на постройку нового центра потребуется примерно столько же времени.

McLaren активно нанимает новых сотрудников в технологическое и автомобильное подразделения, чтобы поддержать их будущий рост.

Организованная уже в третий раз конференция по технологиям, аналитике и работе с данными в интернет-маркетинге – Yet another Conference on Marketing – была посвящена на этот раз рекомендательным системам и собрала около 1,5 тыс. участников, главным образом специалистов в области цифрового маркетинга, студентов соответствующих специальностей и разработчиков маркетинговых технологий.

«Рекомендательные системы способны привести к тектоническому сдвигу в культуре потребления» – таков был главный тезис доклада Виктора Ламбурта, заместителя руководителя подразделения медиасервисов «Яндекса». Эволюция в культуре потребления, по мнению Ламбурта, прошла три стадии: средние века – индивидуальный подход, когда продавец знал покупателя в лицо; XX век – массовое производство для обезличенного потребителя (например, Ford); сегодняшний день – массовая кастомизация, производство товаров и услуг для конкретной аудитории. Как оказалось, эффективность современных рекламных технологий весьма низка и во многом случайна: рекламный плакат предназначен всем и никому из конкретных потребителей товара. Действительно, трудно дать точный ответ на общий вопрос, размещая билборд в местах возможного появления потенциальных покупателей или рекламную картинку в условном прайм-тайме, – история повторяется на другом уровне, и сегодня вновь приходит время персональных рекомендаций, но с несоизмеримо более многочисленной аудиторией, чем жители одного квартала.

Задача современных рекомендательных систем – комплекса алгоритмов, позволяющих предсказать, что окажется наиболее интересно пользователю, — буквально знать потребителей по именам и делать им персональные предложения. Так, посредством сингулярного разложения (Singular Value Decomposition, SVD) можно описать пользователя в виде вектора из N факторов, а товары всех производителей — в виде матрицы; путем их перемножения можно найти конкретного пользователя, которому следует предложить конкретный товар. В проекте «Яндекс.Маркет» за счет SVD и ряда других клиентоориентированных и контент-ориентированных технологий удалось, по словам Ламбурта, на 30% повысить продажи блока «Популярные товары».

Дальше — больше. Предпочтения покупателей далеко не статичны, и, чтобы отслеживать их изменения, каждому покупателю пришлось бы предоставить персонального менеджера, однако физически это невозможно, а с помощью машинного обучения, например на базе алгоритма MatrixNet, вполне достижимо. В конечном счете задача такого «менеджера» – в каждый момент времени и в любой точке пространства предложить потребителю необходимую ему услугу или товар, причем рекомендуя что-то новое, что потенциально может понравиться. Например, предложить послушать музыку исполнителя, работающего в том же жанре, что и любимый певец, или предоставить новые треки того же музыкального стиля. Иначе говоря, не предлагать слушать одну и ту же, однажды понравившуюся музыку, а находить новую, помогая клиенту открывать для себя иные формы. В результате применения таких подходов среднее время прослушивания музыки после перезапуска сервиса «Яндекс.Музыка» выросло за девять месяцев на 70%.

На конференции был объявлен новый проект «Яндекс.Радио», построенный на технологиях рекомендательных систем и машинного обучения и направленный на предоставление слушателям персонально именно той музыки, которую они хотели бы слушать в данный момент. Слушая музыку, потребитель наиболее восприимчив к аудиорекламе, что и было положено в основу бизнес-модели проекта«Яндекс.Радио» – «аудиореклама в распахнутую душу». Днем рождения сервиса стало 4 июня 2015 года.

Отношение к персональному менеджеру в компании «ВымпелКом» озвучил на конференции руководитель программы Big Data Сергей Марин. По его словам, знание клиента «на 360°» позволяет формировать индивидуальные тарифные планы, позволяющие абоненту за те же деньги получать больше услуг. Собственно, в этом и есть суть рекомендательных систем – точно знать, когда предлагать, а когда не предлагать ту или иную услугу или товар. Для наполнения рекомендательных систем конкретным содержимым в компании используют комплекс технологий Больших Данных (Hadoop, Spark, HDFS, GraphX и др.), причем предпочитают обрабатывать все сами, считая, что без знания особенностей бизнеса никакой аутсорсинг задачу создания «персонального менеджера» для абонента не решит.

Драматургия организации продаж, как в хорошем сериале, должна побуждать смотреть очередные серии — возвращаться к продавцу. Александр Хайтин, представляющий подразделение Yandex Data Factory, рассказал в своем выступлении об услугах компании «Яндекс», помогающих ее заказчикам «попасть в клиента». Простая, казалось бы, рекомендация банкам отойти от сегментирования клиентов (пожилым предлагать сберегательные вклады, молодым – кредиты, бизнесменам — премиум-обслуживание) позволила, по словам Хайтина, на 13% повысить прибыль — реальная жизнь сложнее. Глупо, если, например, банк будет предлагать клиенту кредит лишь на основании того, что тот накапливает средства на сберегательном счете, или если магазин станет навязывать своему покупателю еще одни кроссовки, лучше уж предложить ему шнурки или карту фитнес-клуба.

Как заявил Валерий Панкратов, генеральный директор SAS в России и СНГ, выступая в ходе традиционного форума компании, более половины прибыли ей приносят банки, достаточно сильны позиции SAS и в телекоме. Ретейл, госсектор и транспортная отрасль пока относительно новые направления и требуют довольно больших усилий для продвижения на рынке.

За прошлый год SAS реализовала в России 51 проект. Из недавних контрактов особо выделяется соглашение с «Роснефтью», заключенное несколько месяцев назад.

Говоря о технических новшествах, Панкратов отметил, что разработчики SAS уже в четвертый раз в истории переписывают ядро системы. «Эпоха мэйнфреймов, а затем и клиент-серверной архитектуры прошла. Сейчас наблюдается тенденция перехода в облака и к распределенным вычислениям, а также потребность в обработке Больших Данных. Все это заставляет менять архитектуру решений», — пояснил он.

Нынешний форум стал одним из самых масштабных по количеству представленных вертикалей, с которыми работает компания. Некоторые из них, к примеру аналитика для муниципального управления и розничной торговли, впервые появились в программе мероприятия. Тем не менее основную массу, как обычно, составили выступления финансовых организаций.

Все чаще ведутся проекты по переходу с высокопроизводительного оборудования старшего класса на кластеры, собранные из массовых систем. Например, банку «ЮниКредит» потребовалось перевести на такую платформу хранилище данных для подготовки регуляторной отчетности.

«Да, мы ввязывались в проект, реализуемый на базе ранее неопробованных нам технологий, но были готовы рисковать и делить риски с поставщиком», — подчеркнул Вячеслав Мамаев, руководитель ИТ-проектов банка «ЮниКредит».

На тот момент хранилище было развернуто на платформе из двух крупных серверов. Их время восстановления в случае инцидентов составляло 24 часа. Чтобы удовлетворить жесткие требования регулятора к предоставлению информации, необходимо было повысить надежность, сократив время восстановления до одного часа и полностью исключив потерю данных. Этот проект стал первым промышленным внедрением SAS Grid Manager в России. В результате перевода хранилища на кластерное решение удалось достигнуть необходимых показателей предоставления регуляторной отчетности, одновременно оптимизировав стоимость закупки и поддержки оборудования.

Александр Любимов, начальник отдела управления клиентскими отношениями «Райффайзенбанка», рассказал о выстраивании маркетинговой деятельности. Еще не так давно в банке использовался «самодельный» аналитический CRM-инструментарий на базе офисных приложений.

Следовало повысить эффективность продаж, уйдя от «ковровой бомбардировки» клиентов. Кроме того, из-за недостаточной актуальности информации, содержащейся в хранилище данных, предложения не вполне соответствовали реальности, что снижало лояльность клиентов.

Решить проблему удалось с помощью нового хранилища, повысившего оперативность используемой информации, а также систем SAS Marketing Automation и SAS Marketing Optimization. В эти системы переведена вся маркетинговая активность.

Отдельным направлением использования аналитических решений становится борьба с различными видами мошенничества. Как признал Сергей Горелов, руководитель проектов «Уралсиба», ситуация в страховой отрасли далека от идеала. Более 15% страховых выплат приходится на мошеннические обращения, и, чтобы компенсировать ущерб от деятельности преступников, компании вынуждены повышать стоимость полисов на 10-15%. При этом три четверти портфеля договоров «Уралсиба» приходится на массовые виды автострахования. Это огромный объем договоров, которые невозможно отследить вручную.

«Нигде на прежних местах работы я не видел глубокой аналитики. В основном были ручные процессы, не позволяющие эффективно вести мониторинг», — сказал Горелов. Между тем есть клиенты, которые приходят в страховые компании регулярно, как за зарплатой, инсценируя происшествия. Автоматизация выявления мошеннических действий с помощью решений SAS стала стратегически важной задачей. При этом речь идет о создании большого количества специфичных моделей, охватывающих все сценарии мошенничества, включая внутренние инциденты с участием собственных сотрудников.

Маркетинг в реальном времени

Компании уже давно изучают активность клиентов в Сети, хотя и предпочитают не афишировать этого. Как отметил Степан Ванин, старший консультант по аналитическим решениям SAS, в первую очередь внимание при этом обращают на историю поисковых запросов и посещенных страниц, а также на данные из профилей в социальных сетях.

Уже появилась масса проектов, заключающихся в обогащении данных о клиентах при помощи внешних источников с целью повышения эффективности маркетинговых акций. Например, если человек посещает сайт туроператора, то, вполне вероятно, он собирается в отпуск и ему можно предложить кредитную карту, а если регулярно занимается экстремальными видами спорта, то может быть заинтересован в страховании здоровья. Конечно же, многие из таких данных быстро «протухают», их актуальность длится от нескольких дней до буквально нескольких часов. Компании, пытающиеся в полной мере соответствовать запросам клиентов, должны проводить чрезвычайно оперативный маркетинг, близкий к реальному времени.

Есть и более изощренные схемы, в которых используются сведения, не являющиеся открытыми. Например, объединяя данные клиента банка с его биллинговой историей, можно радикально повысить достоверность скоринговых моделей.

У «ВымпелКома» сейчас находятся на пилотной стадии проекты по скорингу с несколькими известными российскими банками. О перспективах их коммерческой эксплуатации пока говорить рано.

«Есть виды данных, которыми не обладает никто, кроме мобильных операторов», — уверена Екатерина Линкевич, руководитель службы управления проектами Big Data «ВымпелКома». Она подчеркнула, что предоставление услуг скоринга возможно только по тем абонентам, которые дали согласие оператору связи на обработку и передачу персональных данных. Все финансовые организации, заинтересованные в получении скорингового балла от оператора связи, при заполнении документов на кредитную заявку должны учитывать наличие согласия клиента на то, чтобы «ВымпелКом» проводил обработку его персональных данных с указанной целью.

Надо отметить, что персональные данные и информация об оказываемых услугах финансовым организациям не передаются. Банкам сообщается исключительно обобщенный скоринговый балл, полученный в результате анализа данных об абоненте и оказанных услугах. О модели «данные как сервис» аналитики говорили уже довольно давно, однако лишь сейчас она становится реальностью.