Качество данных становится ключевым фактором, определяющим, насколько успешными окажутся усилия предприятия по монетизации своих информационных активов, уверены участники Саммита по современному управлению данными, организованного компанией Syncsort — поставщиком решений, позволяющих обеспечить доступность больших данных для самых актуальных видов аналитической обработки. Выступившая на саммите доктор Тендю Йогуртчу, технический директор Syncsort,  отметила, что для достижения  высокого качества  данных  предприятиям нужно очень тщательно продумывать инфраструктуру данных и последовательно выстраивать процессы управления ими. Это поможет избежать множества проблем, которые, как известно, стремительно нарастают по мере увеличения объемов, потоков, скорости обработки, разнообразия форматов и источников данных.

- Сегодня в России многие инициативы в области управления данными сконцентрированы на их монетизации и получении выгоды для бизнеса. Как добиться успеха в этом направлении?

Все зависит от конкретной задачи и поставленных целей.  Необходимо  правильно определить источники данных и оценить, какие технологии понадобятся для обработки полученной информации. Ключевой фактор успеха — заблаговременный выбор подходящих метрик. Очень часто  компании задумываются  о качестве данных уже после завершения проектов,  но,  чтобы внести  необходимые изменения  на этой  стадии,  требуются серьезные затраты. Поэтому важно заранее определить, как будет осуществляться управление данными, где и как будут создаваться и обрабатываться данные, которым можно доверять, и затем выбрать технологии, способные обеспечить нужную гибкость и переход на перспективные платформы.

- Российские заказчики продолжают спорить, надо ли сохранять все данные или только те, ценность которых для бизнеса понятна уже сегодня. Каковы ваши рекомендации?

Считаю, что необходим компромисс. Всегда пригодятся прежние, «исторические» данные — например, для обучения создаваемых моделей и прогнозирования. Полноценный анализ данных реального времени с извлечением из них пользы тоже предполагает наличие больших объемов ранее накопленной информации. Поэтому следует искать возможности для снижения стоимости хранения как «исторических» данных, так и тех сведений, которые  необходимо хранить по требованиям  регуляторов. Сегодня можно организовать «холодное» хранение в облаке, переместив туда редко используемые данные, или задействовать различные инфраструктурные ресурсы.

- Менеджеры всегда хотят иметь достоверную актуальную информацию. Как обеспечить  и измерить ( что тоже очень  важно ) точность корпоративных данных?

Качество данных имеет первостепенное значение, и его обеспечение становится серьезной проблемой, поскольку источников данных сейчас гораздо больше, чем когда-либо. По мере того как предприятия все чаще используют для хранения новые решения, например блокчейн и облака, в ходе репликации неточные данные продвигаются все дальше и дальше, и зачастую  становится  трудно определить, на каком этапе они стали некорректными. В частности, блокчейн позволяет хранить информацию, которая никогда не может быть потеряна, изменена или удалена, но эта технология не способна выявлять поступающие на вход «плохие» данные. Поэтому крайне необходим контроль качества данных, поступающих в блокчейн.

Серьезным шагом к измерению качества данных станет возможность профилировать все ваши  данные. Это  позволит сразу же выявлять отклонения,  определять  процентное соотношение  несущественной информации  и  выполнять многие другие действия.  Кроме того, профилирование поможет определять бизнес-правила и оценивать, какая часть данных им соответствует.

Чтобы создать среду, способствующую получению точных данных, предприятиям следует сконцентрироваться на бизнес-проблемах, которые они пытаются решить. Конечно, многое зависит от применения правильных инструментов, но не менее важно, чтобы сотрудники, работающие с данными, понимали их суть и имели в своем распоряжении средства, которые позволяют  обнаруживать  любые отклонения от установленных регуляторами норм,  а также выявлять  персональные  данные и  данные платежных карт (PCI), не дожидаясь их перемещения на следующие этапы обработки и хранения.

Едва ли сотрудники смогут вручную отслеживать и оценивать  всю поступающую информацию  — у них попросту нет для этого времени. Зато компьютерная программа сможет быстро сканировать огромные объемы данных. Но алгоритмы машинного обучения окажутся неэффективными, если ими не будут пользоваться те специалисты, которые хорошо  разбираются в бизнес-проблемах  и  процессах  и знают, какие данные требуются и какие доступны для решения этих проблем. Алгоритмы ML могут генерировать оповещения в двух ситуациях: если возникает проблема, связанная с качеством данных,  и  если имеющиеся модели не могут прийти к какому-либо заключению. В последнем случае модели нужно переобучить или доработать. Следовательно, приоритетом ИТ-руководителя должно стать формирование компании, в которой грамотно работают с данными.

- Какие способы оптимизации инфраструктуры данных вы считаете наиболее эффективными?

Принцип номер один: принимая решение о хранении данных на платформе конкретного поставщика, вы должны продумать, как избежать его блокировки. Сегодня на рынке предлагаются как традиционные платформы (Teradata, Netezza, Oracle и пр.), так и облачные. Более того, организации могут хранить в облаке все свои данные, достаточно лишь выбрать инструменты, которые позволят управлять размещением  информации  и доступом к  ней  на нескольких облачных платформах. Некоторые крупные европейские банки используют сервисы трех облачных поставщиков. Если есть возможность задействовать  нескольких  провайдеров, надо ею воспользоваться, хотя это не всегда удается. В любом случае в составе инфраструктуры нужно иметь платформы для работы с критически важными данными. Крайне важно, чтобы эти платформы справлялись с сезонными и другими колебаниями транзакционной нагрузки.

- Многие клиенты пытаются обрабатывать и анализировать потоки данных. Нужно ли им кардинально менять свою ИТ-инфраструктуру? И есть ли способы обновления ИТ-инфраструктуры без «глобальных» изменений?

На этот вопрос нет однозначного ответа, поскольку надо понимать, что собой представляет ИТ-инфраструктура организации и какие бизнес-цели  стоят  перед сотрудниками. Так, предприятия, желающие создать озеро данных, чтобы объединить несколько разрозненных активов данных в масштабируемом репозитории для их  последующего  анализа, обычно настаивают на «глобальных» изменениях в инфраструктуре, но иногда можно выполнить «легкое»  обновление —  например, оптимизировав существующую облачную инфраструктуру. Кроме того, многие  организации  стремятся создавать потоковые каналы и обеспечивать обмен данными приложений внутри собственной сети, чтобы анализировать их в режиме реального времени.  Наша компания помогает  своим клиентам найти правильное решение для получения большей выгоды от имеющихся у них данных с опорой на уже сделанные  инвестиции. Мы  выстраиваем наши продукты семейства Syncsort Connect так, чтобы упростить интеграцию новых технологий в уже существующую ИТ-инфраструктуру, предоставляя возможности для создания потоковых каналов и более полного использования потенциала корпоративных данных.

- Количество источников данных, похоже, будет расти, и в ходе их интеграции наверняка возникнет проблема увеличения вариативности данных и, как следствие, усложнения систем. Что можно  сделать  с  этим? 

Мы уже видим, как предприятия буквально тонут в данных, поскольку число их источников за последние годы резко выросло, к тому же появились потоки и озера данных. Некоторые организации взяли стратегический курс на облака как приоритетные вычислительные среды, а другие твердо намерены хранить конфиденциальные данные внутри компании. Есть те, кто выбирает стратегию гибридного облака или использует облачные среды для архивных данных, чтобы предоставить их по первому требованию регуляторов.

Лучший способ подготовиться к росту числа  источников —  сосредоточиться на обеспечении качества данных до их отправки в облако, блокчейн и другие ресурсы для размещения, а также  убедиться в том,  что имеющиеся у вас системы очистки, обогащения и преобразования данных способны в достаточной степени масштабироваться.

- Какие проблемы станут наиболее важными с точки зрения управления данными в обозримом будущем?

Как уже  было сказано,  все большее значение придается качеству  данных. Необходимо гарантировать достаточно высокое качество  и  всей той информации,  что хранится на множестве унаследованных платформ, размещается на новых и используется для анализа в реальном  времени.  Кроме того, нужно обратить внимание на выполнение требований в отношении корпоративного управления  данными  и на  работу с метаданными, а также исключить  дублирование  информации. 

Еще одна проблема состоит в том, что ИТ-руководителям приходится решать сложнейшую задачу:  они должны  создать корпоративную инфраструктуру, которая, с одной стороны, способна противостоять серьезным угрозам, обеспечивая сохранность и безопасность критически важной информации, а с  другой —  демонстрировать высокую доступность данных и предоставлять широкие возможности для бизнес-аналитики. Многие организации инвестируют немалые средства в защиту от вирусов и вредоносных программ, управление обновлениями и исправлениями, обнаружение и предотвращение вторжений, а также в обучение сотрудников. Большое влияние на проекты в области управления данными окажут Общий регламент по защите персональных данных (GDPR), принятый ЕС в прошлом году, и Калифорнийский закон о конфиденциальности данных потребителей (CCPA), вступающий в силу в январе 2020 года. В связи с этим еще  большее  значение приобретают инструменты, способные сканировать данные с целью выявления в них конфиденциальной информации.

Роботизация бизнес-процессов (Robotic Process Automation, RPA) помогает решить вопросы, которые породили, но не смогли устранить предыдущие волны автоматизации, уверен Рави Сачдева, исполнительный директор компании Advanced Digital Technologies. Этот фактор во многом определяет ее сегодняшний успех на западных рынках и создает все возможности для стремительного распространения RPA в России.

Что нового в RPA по сравнению с «традиционной» автоматизацией, в чем состоят ключевые отличия?

«Классический» подход предполагает, что вы внедряете одну систему, затем другую, третью и так далее. Но часто случается так, что рутинные операции, которые вынуждены выполнять сотрудники, в результате обычной автоматизации не исчезают, а трансформируются: на смену прежней рутине приходит новая, вместо одних узких мест в бизнес-процессах появляются другие, и одним лишь внедрением или заменой ERP (или CRM, SCM – неважно) от них не избавиться. Да, можно попытаться, но это потребует новых крупных инвестиций и долгого времени – едва ли такой проект удастся выполнить быстрее, чем за пару месяцев.

Нужен другой подход, новый взгляд на автоматизацию. Внедряя RPA, мы смотрим, как работают сотрудники, и обучаем программных роботов их действиям – учим их повторять цепочки операций, которые выполняют люди. Передавая выполнение операций роботам, мы шаг за шагом избавляемся от рутины, устраняя узкие места. Как видим, RPA концентрируется именно на людях, на том, как они работают. Вероятно, поэтому заказчиками проектов роботизации обычно выступает именно бизнес, а не ИТ-подразделение.

Для RPA нет разницы, затрагивает ли цепочка рутинных действий только одну систему или несколько систем: программные роботы способны одновременно работать со множеством бизнес-приложений – фронт-офисных, бэк-офисных и промежуточного слоя (ERP, CRM, электронная почта, электронный документооборот, система обмена сообщениями и пр.), выполняя интегрирующую роль через пользовательский интерфейс.

Проекты RPA, как правило, выполняются быстро (многие укладываются в промежуток от двух недель до месяца) и обладают высокой окупаемостью. В проектах RPA не нужно выполнять дополнительные интеграционные работы, зачастую нет нужды и в профессиональных ИТ-сотрудниках – роботизацию с помощью RPA могут осуществлять и неспециалисты.

Что касается основных этапов реализации проектов RPA, то они во многом схожи с «традиционными»: проводится анализ, на его основе формируется техническое задание, иногда требуется консалтинг, затем идет разработка и тестирование программных роботов, затем их развертывание и опытно-промышленная эксплуатация.

Какие ключевые роли и компетенции являются критически важными в проектах RPA? Специалисты какой квалификации требуются для того, чтобы проект завершился успешно?

У компании-подрядчика, которая внедряет технологии RPA, должны быть менеджеры проектов, понимающие, как задачи бизнеса могут быть решены средствами RPA, архитекторы решений, аналитики бизнес-процессов и специалисты-разработчики – из них формируется центр компетенций в области RPA. При желании предприятие-заказчик может создать аналогичную экспертизу у себя, сформировав центр компетенций, в котором будут собраны аналогичные менеджеры и специалисты.

Со стороны заказчика важно, чтобы было понимание, что RPA – это не один проект, а целая серия проектов, охватывающих относительно небольшие участки бизнес-процессов. Желательно, чтобы нашелся менеджер или сотрудник, обладающий стратегическим видением возможностей RPA и перспектив их использования именно в этой компании. Кроме того, необходимо участие представителей бизнеса – владельцев процессов и исполнителей, способных структурированно изложить задачи, которые требуется решить, – к сожалению, далеко не все это умеют. Также желательно привлекать ИТ-специалистов, если, конечно, они есть у заказчика. Если их нет – не проблема, мы или наши партнеры предоставим на проект нужных ИТ-сотрудников.

В чем могут состоять основные выгоды от внедрения RPA? Может ли роботизация помочь, например, сформировать новые бизнес-модели или создать новые рынки?

Самая ощутимая выгода от RPA заключается в повышении производительности бизнеса: роботы берут на себя цепочки рутинных операций, выполняя их быстрее, без ошибок, не зная усталости. Бизнес-процессы ускоряются, клиенты быстрее получают нужные услуги или продукты, стоимость их обслуживания снижается, предприятие получает возможность повысить качество своих услуг и уменьшить цены.

Поможет ли роботизация сформировать новые бизнес-модели или создать новые рынки? Уверен, что да. Освободившиеся от рутины сотрудники смогут заняться более важными, интересными, интеллектуальными делами – это не только улучшит моральный климат в коллективе и ускорит рост бизнеса, но и поможет найти возможности для перехода на новые бизнес-модели (в том числе с использованием RPA и «наймом» цифровых сотрудников) и формирования новых сегментов рынка. Кстати, предприятие, взрастившее у себя центр компетенций по RPA, при желании может начать предоставлять услуги роботизации бизнес-процессов другим компаниям.

С чего лучше начать внедрение RPA? В каких бизнес-процессах легче всего найти возможности для успешной роботизации?

Когда клиенты к нам обращаются, они практически всегда знают, чего хотят, в каких именно бизнес-процессах планируют применить технологии RPA на первых этапах, с чего начать. Со своей стороны, мы также готовы провести анализ бизнес-процессов и выявить «болевые точки» и сегменты, где роботизация даст максимальный эффект.

Очень часто удается найти такие точки там, где применяется электронный документооборот. Он очень распространен, например, в финансовых организациях – банках, страховых компаниях и у других участников финансового рынка. Также есть много возможностей для RPA в телекоме, компаниях сферы энергетики и ЖКХ, производственных, нефтегазовых, логистических предприятиях, ретейле и так далее. Если говорить о структурных подразделениях, то наиболее часто роботизация бизнес-процессов применяется в бухгалтериях и финансовых службах, отделах HR, закупок, в ИТ-подразделениях.

Кстати, уже сейчас в компаниях по всему миру работает более 1,5 млн цифровых сотрудников, созданных на базе технологий нашего ключевого партнера Automation Anywhere. К концу будущего года их число, вероятно, превысит 3 млн.

Много ли в России заказчиков, готовых к внедрению RPA?

Судя по тому, что немало компаний обращается к нам по своей инициативе (мы не предпринимали никаких специальных действий – не звонили, не писали им), по всей видимости, их много. Полагаю, уже сегодня их многие сотни. Наиболее сильную потребность в технологиях Automation Anywhere испытывают крупные предприятия, которым нужны сотни и тысячи одновременно работающих цифровых сотрудников – и технологии нашего партнера способны обеспечить такую возможность. Также есть много других компаний, где роботизация бизнес-процессов способна принести существенную выгоду.

Пришлось ли сталкиваться с хайпом и завышенными ожиданиями заказчиков относительно пользы и возможностей RPA?

Хайп на определенном этапе жизненного цикла сопровождает многие технологии и продукты, но он должен быть оправданным, обоснованным. В Америке и Европе хайп вокруг RPA уже прошел, и если компании инвестируют большие деньги в роботизацию бизнес-процессов, то уже точно знают, какой эффект планируют получить. Российские заказчики изучают западный опыт и также рассчитывают получить выгоду от RPA. Не случайно этот рынок в России растет на 200-300% в год – технология роботизации получает здесь заслуженное признание, и сейчас идет ее широкое освоение.

Думаю, что хайп сегодня встречается в тех компаниях, которые недостаточно хорошо себе представляют, что такое RPA и как это работает, за счет чего достигается эффект. Те организации, с которыми довелось общаться мне, прекрасно понимают суть этой технологии, ее возможности, результаты, поэтому они ее и внедряют.

Ваша компания сделала ставку на сотрудничество с Automation Anywhere. Почему выбрали именно этого вендора?

Считаю, что это самый технологичный вендор, разработавший и предлагающий не только отличную платформу корпоративного уровня – одну из лучших в мире, удобную, надежную, масштабируемую, но и инструменты бизнес-аналитики, такие как IQ-Bot и Bot Insight. Наш партнер постоянно развивает и обновляет свои технологии, предлагая всё новые и новые возможности для бизнеса, и что тоже немаловажно, последовательно выстраивает и совершенствует свою экосистему. Мы, кстати, внимательно изучали рынок и убедились, что крупнейшие глобальные компании сотрудничают в области RPA именно с Automation Anywhere.

ADT обладает правом продавать лицензии не только напрямую, но и через партнеров. Удается ли избегать конкуренции с ними в тендерах?

Только у ADT имеется статус мастер-дистрибьютора RPA на российском рынке, все остальные вендоры либо имеют офис в России, либо работают через реселлеров – в основном системных интеграторов. ADT является эксклюзивным представителем Automation Anywhere на нашем рынке. Он очень большой и перспективный, поэтому мы заинтересованы в развитии партнерской сети. Мы хотим не только продавать лицензии, но и предоставлять всестороннюю помощь нашим партнерам-реселлерам, чтобы способствовать росту их бизнеса, – от формирования их собственных центров компетенций в области RPA до обучения тонкостям продаж и обслуживания клиентов. В крупных проектах мы готовы обеспечить быстрое их масштабирование, привлекая и наших локальных партнеров, и специалистов вендора, работающих в других странах.

В России пока не так много предприятий, которые имеют достаточный опыт в реализации проектов больших данных, поэтому сегодня особенно ценно узнать мнение экспертов в этой области. В ходе форума «Управление данными 2019» Артем Меркулов, руководитель бизнес-направления Big Data Solutions компании «Неофлекс», рассказал нам об основных сложностях, возникающих в проектах больших данных, и о путях их преодоления.

- Какие аспекты систем больших данных вызывают трудности у заказчиков?

Многие организации сейчас только начинают осваивать область больших данных и ведут пилотные проекты. Им часто не хватает внутренней экспертизы — в первую очередь по администрированию приложений, конфигурированию системных компонентов, кластеров. Нехватка квалифицированных кадров, пожалуй, главная проблема на сегодня.

Что касается технических аспектов, то, и по нашим наблюдениям, и по оценкам экспертов, до 80% всех объемов работ приходится на предварительную подготовку и обработку данных, поэтому именно эти процессы требуют от заказчиков наибольшего напряжения.

- При реализациии каких компонентов систем больших данных возникают наибольшие трудности?

Всегда присутствует рутинная часть – например, загрузка информационного «сырья» в хранилище или озеро данных. Такого рода процессы нужно автоматизировать, и мы в нашей платформе Datagram эту функцию реализовали. Вторая группа трудоемких компонентов связана со сложной настройкой трансформации данных. Зачастую загрузка данных происходит отдельно от их преобразования (например, средствами языка Scala). Наша платформа позволяет использовать трансформацию любой сложности, при необходимости прибегая к помощи внешних инструментов. Третья группа связана с DevOps, непрерывной интеграцией и развертыванием создаваемых приложений. Эти инструменты должны пронизывать все решение, поддерживая работу большой, в том числе распределенной команды. Реализация таких инструментальных конвейеров посредством одного лишь ПО с открытым кодом оказывается весьма трудоемкой.

- Какие компоненты являются самыми дорогостоящими?

Аппаратные компоненты систем больших данных по стоимости сопоставимы с теми, что применяются в «традиционных» проектах, при этом ПО зачастую обходится практически бесплатно, поскольку для работы с большими данными широко применяются продукты с открытым кодом. Самое дорогое – высококвалифицированный персонал. Такие специалисты дефицитны, поэтому их труд ценится. Но, даже если вы готовы предложить им достаточно денег, найти этих сотрудников на рынке и привлечь их все равно будет сложно.

- Нередко компаниям приходится анализировать данные из новых источников. Насколько трудоемкой и затратной оказывается интеграция с ними?

Просто подключить новый источник и обеспечить загрузку данных из него несложно – это вопрос нескольких дней или, возможно, недель. Гораздо труднее интегрировать данные из него в существующие системы. Главный фактор здесь – прозрачность алгоритмов, по которым планируется объединять данные. Если основой объединения служат простые ключи – это одна задача, если же, к примеру, требуется дополнить информацию о клиентах информацией из соцсетей, то задача значительно усложняется.

При подключении новых источников нередко приходится изменять бизнес-процессы заказчика – это нужно либо для того, чтобы полученные данные были задействованы и использовались, либо чтобы сотрудники им доверяли. Как известно, изменение бизнес-процессов – процесс достаточно трудоемкий и болезненный для любой организации.

- Как влияет на архитектуру и реализацию систем больших данных требование анализировать данные Интернета вещей?

Для Интернета вещей характерны две ключевые особенности. Первая – обработка потоков данных в реальном времени. Если система изначально не была спроектирована в расчете на потоковую аналитику, то, скорее всего, в нее придется внести серьезные изменения. Насколько это необходимо, будет зависеть от решаемой задачи. Одно дело – сбор потоковых данных и их анализ с определенной периодичностью (например, раз в сутки) и совсем другое – обработка данных «на лету»: чтобы выявлять аномалии или иные события, на которые надо реагировать немедленно, здесь требуется другая архитектура.

Вторая особенность – очень быстрый рост объемов данных при подключении источников Интернета вещей. Чтобы справляться с их потоком, нужна масштабируемая архитектура. Если возможности масштабирования недостаточны, то проблемы неизбежны, это касается и оборудования, и нагрузок на системные компоненты ПО. Проектируя системы больших данных для Интернета вещей, необходимо это учитывать и закладывать в них некоторый запас.

- Как правило, в проектах больших данных приходится сталкиваться с большим разнообразием источников, типов и форматов данных, а также с разными требованиями к их хранению и обработке. Охватить их одним ИТ-инструментарием часто не удается, поэтому решения получаются сложными. Как можно уменьшить эту сложность?

Первый, широко распространенный путь – использовать готовые дистрибутивы Hadoop. Самые популярные среди них — от Cloudera, объединившейся с Hortonworks, и от российской компании Arenadata. В эти дистрибутивы включены компоненты, которые покрывают около 80% потребностей, возникающих на предприятиях, к тому же они уже интегрированы между собой. Это существенно упрощает реализацию проектов и снижает их стоимость. Недостающие компоненты можно найти на рынке, заказать или разработать самостоятельно.

Второй путь основан на умении работать с различными источниками данных, придерживаясь единых форматов и подходов. В нашей платформе Datagram мы унифицировали подключение ко всем источникам, в том числе потоковым, чтобы инженеры по данным и аналитики могли объединить и трансформировать данные из любых источников с помощью единого интерфейса.

- Есть ли возможность снизить общую стоимость владения решениями для работы с большими данными?

Здесь можно выделить две области. Первая – вычислительные мощности: для проектов больших данных можно применять стандартные серверы среднего и начального уровня производительности, объединяя их в легко масштабируемые кластеры. Вторая – использование облачных сервисов: заказчик арендует те объемы для хранения данных, которые ему реально нужны, и таким образом эффективно управляет своими запасами.

Сэкономить на ПО позволяют компоненты с открытыми кодами – их на рынке сейчас очень много, дистрибутивы многих из них бесплатны. Еще на стадии пилотного проекта заказчик оценивает, поддержка каких компонентов ему потребуется в ходе дальнейшей эксплуатации системы, и затем приобретает только эти услуги. Снизить совокупную стоимость владения помогает также модель приобретения ПО по подписке, ее сегодня применяют многие вендоры, в том числе и наша компания.

Методики и опыт, концепции и инструменты – все ключевые аспекты работы с данными и информацией охватил прошедший 24 сентября форум «Управление данными 2019: стратегии, архитектуры, платформы, практики», организованный издательством «Открытые системы» и собравший около 300 участников – представителей коммерческих и государственных структур и поставщиков ИТ-решений. Одим из ключевых вопросов форума стала монетизация данных.

Чтобы извлечь прибыль из данных, следует задуматься об управлении не просто потоками данных, а информационными активами. Как отметил Валерий Артемьев, консультант департамента статистики и управления данными Банка России, это понятие охватывает не только «сырые» данные, но также информацию (факты, документы, различные виды контента, классификаторы и пр.), метаданные – описания информационных активов, знания (их отличительная особенность – наличие семантической интерпретации) и артефакты искусственного интеллекта.

Грамотно выстроенное управление информационными активами поможет решить очень важные вопросы: есть ли в организации нужные данные, где они находятся, как получить доступ к ним и к их описаниям, каковы их источники, поставщики и потребители. Чаще всего добиться монетизации информационными активами организации предполагают благодаря анализу данных, поэтому управление ими должно помочь получить ответы на смежные вопросы: анализировались ли интересующие нас данные прежде, решалась ли с их помощью похожая задача, какие именно данные были проанализированы, какие результаты получены, какой эффект для бизнеса достигнут, какие для этого применялись инструменты, как получить доступ к ним и пр.

Отдельная тема, которую затрагивали очень многие, — управление качеством данных. Как заметил Артемьев, их качество напрямую зависит от постановки задач, которые планируется решать на их основе, и вытекающих их них критериев и их приоритетов. В любом случае, чтобы управление качеством данных принесло свои плоды, его необходимо измерять, иначе улучшать его будет практически невозможно.

Данные на службе общества и государства

Александра Аронова: «Важно позиционировать управление данными правильно – так, чтобы обеспечить доверие заинтересованных лиц»

«Важно позиционировать управление данными – так, чтобы обеспечить доверие заинтересованных лиц», — уверена Александра Аронова, заместитель генерального директора компании «ГЛОНАСС».

В качестве примера Аронова поделилась опытом создания благоприятного информационного поля вокруг системы спасения на автодорогах «ЭРА-ГЛОНАСС». Ее появление сопровождалось мощным негативным фоном. Однако благодаря информационной кампании удалось значительно улучшить восприятие системы гражданами, убеждая их в том, что, во-первых, она поможет спасти им жизнь, если вдруг неприятности случатся с ними на дороге, а во-вторых, многочисленные устройства и установленные на них приложения от автопроизводителя собирают и передают сторонним организациям гораздо более конфиденциальные и детальные данные, чем те, что собирает «ЭРА-ГЛОНАСС». Одним из весомых аргументов является реальная эффективность системы: время реагирования экстренных служб на ее сигналы оказывается примерно вдвое меньше, чем у европейских аналогов, благодаря правильному выбору набора данных, передаваемых в случае аварии.

«Государственные данные должны стать рыночным активом, — заявил Василий Слышкин, директор департамента развития архитектуры и координации информатизации Минкомсвязи РФ. – Для этого они должны удовлетворять трем ключевым условиям: обладать юридической значимостью, доступностью и безопасностью».

Василий Слышкин: «Государственные данные должны стать активом на рынке данных»

В настоящее время объем данных, которыми владеет наше государство, составляет около 80 Пбайт. Идет работа над созданием Национальной системы управления данных, утверждена ее концепция и «дорожная карта», которые охватывают компетенции управления данными, политику в этой области, платформу, а также эталонные данные. Ключевая цель НСУД – обеспечить доверие граждан и бизнеса к государственным данным. Она поможет установить прозрачные правила для рынка данных. В 2019-м — 2020 году предполагается реализовать пилотные проекты НСУД вместе с ЦИК (автоматизированное формирование реестра избирателей), ЦБ (цифровой профиль гражданина в части банковских услуг), ФНС (повышение качества данных в ФИАС), Минэкономразвития (создание цифровых паспортов муниципальных образований) и Росстатом (создание цифровой аналитической платформы статистики). На 2021 год запланирован запуск НСУД в действие на федеральном уровне, а к 2024-му должна быть завершена гармонизация федеральных и региональных информационных ресурсов.

Как пояснил Сергей Сергиенко, руководитель направления НСУД в НИИ «Восход», при создании системы активно используется инфраструктура информационного правительства (в первую очередь СМЭВ), вокруг нее будет выстраиваться собственная экосистема. Поставщиками и потребителями данных для НСУД станут различные ведомства с их витринами данных, которые будут представлять собой контейнеры СУБД разного типа. Предполагается, что они будут обладать возможностями эластичного масштабирования, многоуровневого распределения нагрузки, оптимизации выполнения запросов и введения квот на их выполнение. Их единообразную семантику обеспечит онтология государственных данных.

Вместе с тем, многие ведомства реализуют свои масштабные проекты в области данных. Так, в Счетной палате РФ ведется большая программа цифровой трансформации. Ее опорой служат данные из множества источников: от субъектов хозяйственной деятельности, закупочных электронных площадок, из ЕГАИС и других систем, где с помощью маркировки продукции отслеживается ее перемещение и сбыт, и пр. Как рассказал Михаил Петров, директор департамента цифровой трансформации Счетной палаты РФ, нынешние проекты нацелены на то, чтобы свести к минимуму ручные операции, которые инспекторы проводят в ходе проверок: цифровая платформа поможет выявлять подозрительные сделки и операции, предоставив инспекторам возможность сосредоточиться именно на них. Объекты проверки будут представлены в виде цифровых двойников. Данные для их проверок будут браться из множества источников и изучаться с помощью инструментов анализа различных типов данных (как структурированных, так и неструктурированных), предиктивной аналитики и искусственного интеллекта.

Александр Чистобородов, начальник управления развития цифровых методов аудита центра экспертно-аналитических и информационных технологий Счетной палаты, уточнил: в ведомстве используется девять собственных систем, также данные поступают от других государственных систем и от субъектов контроля. Сбор, консолидацию всех данных и максимальную цифровизацию неструктурированных данных обеспечивает ведомственное озеро данных. Сложность состоит в том, что приходится иметь дело с очень большим разнообразием их форматов. Сейчас разрабатывается технология единообразного их хранения. «Сырые» данные, а также метаданные пока хранятся в MongoDB в формате JSON. В скором будущем планируется реализовать масштабное внедрение платформы Arenadata. Предполагается, что объемы накопленных в ведомстве данных будут достигать десятков и сотен петабайт.

Большие выгоды для всех заинтересованных сторон сулит совместное использование медицинских данных. По словам Бориса Зингермана, генерального директора Ассоциации разработчиков и пользователей искусственного интеллекта в медицине «Национальная база медицинских знаний», в 2024 году планируется предоставить доступ к своим электронным данным всем пациентам. В 2018 году начался переход к распределенному хранению их данных на основе реестра электронных медицинских документов.

«Реестр формирует новый рынок независимых систем, позволяющих вести персональные электронные медицинские карты пациентов, аккумулируя информацию из их личных кабинетов на Едином портале госуслуг, — отметил Зингерман. – Также реестр может стать основой для формирования рынка больших данных в медицине».

«Сырье» для цифровой трансформации

Судя по выступлениям, сегодня очень часто вопросы управления данными решаются в контексте цифровой трансформации организаций, которые хотят их использовать, рассчитывая извлечь из данных весомую пользу. В «Северстали», например, для этого стараются сохранить максимально возможное количество производственных данных. По словам Доната Фетисова, начальника отдела архитектуры и разработки компании, за сутки в цехах холдинга собирается более 800 Гбайт данных. Проекты для реализации выбираются в ходе встреч с представителями производственных подразделений, затем они проходят оценку в финансовых отделах и уже после того, как от них получено положительное заключение, стартуют пилотные проекты. По их завершении проводится оценка полученного эффекта и сравнение с прогнозом, и лишь затем проекты запускаются в том масштабе, в котором они были задуманы.

В «Газпром нефти» работают над выстраиванием цифровой нефтяной компании. С точки зрения управления данными ключевым вопросом является обеспечение их качества – так считает Любовь Кайдалова, руководитель направления по качеству данных «Газпром нефти». Это необходимо и для большего доверия к ним, и для получения большего эффекта от их использования. Особую роль в этом играет созданная в компании система верификации данных. Как рассказал Руслан Гизатуллин, начальник управления геолого-геофизических баз данных компании «Газпромнефть НТЦ», эта система выступает в качестве ключевого элемента обеспечения качества данных.

В «Росатоме» особое значение придается данным, на основе которых «живут» цифровые двойники, применяемые в рамках технологии информационного моделирования зданий и сооружений (Building Information Modeling, BIM). По словам Владимира Панчука, главного эксперта группы архитекторов госкорпорации, информационный двойник, по сути, является полной моделью объекта (например, АЭС), которая актуализируется практически в реальном времени благодаря системе датчиков и включает в себя не только данные, но также модули физических расчетов, инструменты прогнозной аналитики и пр. Чтобы обеспечить актуализацию данных, в госкорпорации создали собственную платформу, отображающую в модели то, что происходит на стройке. Среди ключевых задач, решаемых с помощью цифровых двойников, — поиск пространственных коллизий, определение физических объемов и площадей, а также выпуск двумерных документов и спецификаций.

В интернет-магазине «Утконос», основной ассортимент которого составляют продукты питания и товары повседневного спроса, акцент в управлении данными делается на их монетизации. Как отметил Данила Наумов, директор по данным (Chief Data Officer, CDO) «Утконоса», добиваться монетизации здесь намерены в первую очередь благодаря встраиванию продвинутых методов аналитики в бизнес-процессы, связанные с маркетингом, управлением цепочками поставок, ценообразованием и выстраиванием ассортимента. Данные из систем ERP, CRM, управления складом, маркетингом и прочих бизнес-приложений на платформе SAP стекаются в два основных хранилища. Первое предназначено для структурированных данных, оно реализовано на основе СУБД Oracle. Вся прочая информация собирается в озере данных на платформе Spark. Ведутся эксперименты с потоками данных.

Факторы монетизации

«Монетизация данных – командная игра, здесь требуется взаимодействие людей, — отметил Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных центра компетенций BI банка «УралСиб». — Цифровые инновации следует внедрять в первую очередь в тех подразделениях, бизнес-процессах, на тех участках, где вероятность успеха наиболее велика, где можно получить максимальные преимущества».

Юрий Сирота: «Монетизация данных – командная игра, здесь требуется взаимодействие людей»

Сирота считает, что взять на себя ответственность за управление данными должен топ-менеджер в ранге CDO. Он должен сочетать в себе знания и опыт бизнесмена, математика, ИТ-эксперта и менеджера проектов, чтобы быть и генератором бизнес-инициатив, и «продавцом» идей внутри своей организации, и специалистом по ИТ и данным, и стратегом бизнеса, и руководителем проектов.

Александр Тарасов, управляющий партнер компании DIS Group, призвал различать внутреннюю монетизацию, в рамках которой проекты нацелены на оптимизацию организации и повышение ее эффективности, внешнюю – способствующую развитию каналов дистанционного взаимодействия с клиентами и партнерами, а также государственную – ориентированную на выполнение требований регулирующих органов с целью минимизации штрафных санкций, а также на реализацию проектов частно-государственного партнерства. По мнению Тарасова, в организации должен быть выстроен процесс, позволяющий лучше узнать и понять данные, которыми она располагает. В рамках этого процесса необходимо обеспечить постоянный поиск и выявление новых данных, их интеграцию и оценку качества, каталогизацию и обновление каталогов данных, ведение бизнес-глоссариев, определение владельцев данных, их публикацию и использование.

Как считает Никита Кардашин, руководитель отдела развития интеллектуальных систем компании Naumen, сегодняшние тенденции подводят бизнес к тому, чтобы все, что повторяется, было автоматизировано. Чтобы этот подход реализовать эффективно, необходимо правильно выявлять точки для измерений и настраивать для них метрики, причем это касается как внутренних процессов, так и рыночного окружения организации. Одновременно существенно растут требования к данным и к их анализу: приходится работать не с записями, а с гораздо более сложными сущностями, при этом нужно не просто изучать данные, но и строить на их основе прогнозы и рекомендации для лиц, принимающих решения.

Платформы данных

Важную роль в управлении данными играют платформы. Разработчики Arenadata выстроили свою платформу на основе ПО с открытым кодом. Как пояснил Сергей Золотарев, управляющий партнер компании Arenadata, сегодня ни один из крупных вендоров не предлагает весь спектр технологий, которые требуются для реализации разных сценариев использования данных на крупных предприятиях. Опираясь на системы с открытым кодом, в Arenadata не только создали единую универсальную платформу, ставшую популярной у российских заказчиков, к том числе из госсектора, но и предусмотрели в ней «конвейер», позволяющий наращивать ее новыми возможностями.

На работу с современными экосистемами данных ориентировали свою программно-аппаратную платформу Hitachi Content Platform (HCP) в компании Hitachi Vantara. По выражению Алексея Никифорова, руководителя подразделения технологических решений Hitachi Vantara, HCP – это «универсальный боец» в мире данных: платформа может использоваться в самых разных сценариях, предусматривающих работу как со структурированными, так и с неструктурированными данными, поддерживает файловое, блочное и объектное хранение и пр. Платформа обеспечивает поиск и индексацию информации, токенизацию конфиденциальной информации и пр. Программное обеспечение платформы позволяет реализовать единый ETL-конвейер для подготовки данных.

Сделать реализацию подготовки и загрузки данных для их последующего изучения и анализа более качественной и менее затратной нацелена среда визуальной разработки ETL-приложений Neoflex Datagram. Среда унифицирует подходы к работе с различными источниками данных, автоматически генерирует код приложений на языке Scala, предоставляет возможность применять бизнес-правила и библиотеки машинного обучения на этапе трансформации данных, и кроме того, позволяет анализировать данные с использованием языков Python и R. Что также важно, среда обеспечивает потоковую.обработку и интеграцию данных на основе Apache Kafka. Как сообщил Артем Меркулов, руководитель бизнес-направления Big Data Solutions компании «Неофлекс», среда поддерживает разработку по методике DevOps и может использоваться в инструментальных конвейерах непрерывной интеграции и развертывания релизов приложений.

Собственную облачную платформу предлагает клиентам Mail.Ru Group. Платформа объединяет множество различных сервисов и инструментов, в том числе те, что предназначены для работы с данными – для их хранения и архивирования (с «холодным» доступом) и оперативной работы, в том числе веб-сервисов, ориентированных на распространение цифрового контента. Также поддерживается стандартный API-интерфейс Amazon S3 для объектного хранения данных. В прошлом году появились отдельные сервисы для работы с большими данными на основе Hadoop, Apache Spark, HBase и Kafka. Как отметил Дмитрий Лазаренко, директор по продажам PaaS-сервисов Mail.Ru Cloud Solutions, платформа позволяет работать с разнородными источниками и форматами данных, давая компаниям возможность решать самые разные задачи, связанные с хранением, анализом и монетизацией информационных активов.

CDO Award 2020

В финале конференции прозвучал анонс премии CDO Award 2020 — награды, учрежденной издательством «Открытые системы» и профессиональным ресурсом «Директор информационной службы» для руководителей, отвечающих за стратегию работы с данными, определение принципов хранения и обработки данных, политик использования данных и формирование корпоративной культуры работы с данными. Прием заявок на участие стартовал 1 октября 2019 года. Присуждение премии планируется проводить по пяти номинациям вместо четырех, как было в «дебютном» конкурсе CDO Award 2019.

Евгений Степанов: «Всех наших заказчиков объединяет нацеленность на эффективность аналитики, максимальную производительность и доступность аналитического хранилища и принятие решений, основанных на данных»

В конце марта компания Gartner опубликовала отчет, посвященный возможностям решений по управлению данными для аналитики (Critical Capabilities for Data Management Solutions for Analytics Report), являющийся дополнением к знаменитому Магическому квадранту Gartner. Он оценивает возможности аналитических платформ 19 вендоров по нескольким основным сценариям использования хранилищ данных. По результатам отчета, платформа Vertica значительно улучшила свои оценки по сравнению с прошлым годом, обойдя по всем критериям нескольких принципиальных конкурентов. О наблюдаемых изменениях и своем видении развития рынка рассказывает Евгений Степанов, руководитель направления Big Data компании Micro Focus в России.

За счет чего конкурируют разработчики платформ Data Management Solutions for Analytics (DMSA)? Что является ключевыми факторами в борьбе?

В соответствии со сценарием использования, Gartner оценивает все решения по четырем направлениям: традиционное хранилище данных, хранилище данных реального времени, логическое хранилище данных, контекстно независимое хранилище данных. Все компании, участвующие в сравнении, суммарно потратили миллиарды долларов на разработку своих продуктов и во многом преуспели в их продвижении. Ключевыми же факторами являются релевантность продукта бизнес-задаче заказчика, общая стоимость владения и возможности расширения и эволюции платформы.

Gartner в последнем отчете существенно улучшила позиции Vertica. Насколько это для вас серьезно? Какие изменения в «соотношениях сил» вы считаете ключевыми?

Исторически мы не являемся «любимчиками» Gartner, но в этом году мы улучшили свои позиции по всем сценариям использования, уверенно заняв место в десятке лидеров и обогнав многих серьезных игроков. Вкупе с ростом количества заказчиков, в том числе и в России, для нас это является доказательством того, что выбранная нашей компанией стратегия верна и востребована рынком. Характерным изменением является требование к эластичности платформы и поддержки гибридного развертывания, а также возможности загрузки данных из множества источников.

А эти рейтинги имеют значение для заказчиков? Насколько им можно доверять?

Для заказчика важно выбрать оптимальную систему для решения его задач, и часто независимая аналитика предоставляет дополнительный инструмент при первичной оценке на этапе выбора платформ. Естественно, полагаться на рейтинги как на абсолютную истину не стоит — необходимо сравнивать системы исходя из требований заказчика. Однако как первоначальный ориентир их использовать полезно, особенно с учетом того, что эти рейтинги учитывают и оценки заказчиков.

В чем вы видите ключевые изменения на рынке DMSA?

Несмотря на то что многие традиционные игроки, такие как Oracle и Teradata, все еще находятся на вершине списка, происходит это во многом по инерции, и многие заказчики неуверенно отвечают на вопрос о покупках этих систем в ближайшем будущем. В то же время рынок коммерческих дистрибутивов Hadoop остается на плаву в основном благодаря консолидации активов крупнейших игроков.

Как изменилось поведение заказчиков? Например, в Gartner говорят о тренде «rediscovery» — попытке взглянуть на возможности уже используемых платформ с новой стороны...

Наши заказчики всегда используют функционал платформы по максимуму — например, функции машинного обучения, появившиеся недавно, пару версий назад, уже достаточно востребованы. Это происходит именно по той причине, что для использования функционала машинного обучения не требуется закупать дополнительное аппаратное и программное обеспечение, все уже доступно «из коробки». И мы продолжаем расширять встроенные возможности по мере востребованности их заказчиками.

Существует ли портрет типичного заказчика Vertica? Какие из проектов вы считаете наиболее показательными?

Я бы сказал, что стереотипного заказчика Vertica не существует. Платформу успешно используют и в ретейле, и в промышленных компаниях, и в интернет-компаниях. Объединяет всех наших заказчиков нацеленность на эффективность аналитики, максимальную производительность и доступность аналитического хранилища и принятие решений, основанных на данных.

Есть ли в вашей стратегии планы гонки за лидерами? Или гораздо эффективнее какие-то иные действия?

Гоняться ни за кем мы не планируем и строим нашу стратегию не на конкурентной борьбе, а в первую очередь на потребностях заказчиков. Вообще, я обычно исхожу из убеждения, что у Vertica нет конкурентов, так как, если взять весь комплекс параметров, таких как богатство аналитического аппарата, масштабируемость, производительность и общая стоимость владения, в подавляющем большинстве случаев рациональный выбор будет сделан в пользу Vertica.

Мы начали разговор о том, за счет чего приходится бороться сейчас. А что, с вашей точки зрения, будет важнее в будущем?

О будущем необходимо думать уже сейчас, и сейчас же нужно оценивать и выбирать платформу исходя не из текущих требований, а из прогноза на несколько лет вперед. Хотел бы привести пример компании «Авито»: они начали строить хранилище, когда объем данных составлял чуть больше 10 Тбайт, а сейчас объем анализируемых данных превысил несколько сотен терабайт, при этом сохранились изначально заложенные архитектура решения и модель данных. Система просто органически расширялась линейным масштабированием на протяжении пяти лет. Я уверен, что преодолеть планку в 1 Пбайт им не составит труда, и это именно благодаря выбору изначально корректной архитектуры, ориентированной на будущее.

Ссылка на сайт и бесплатную пробную версию: www.vertica.com/ru/

Рост объемов и потоков данных сулит бизнесу большие перспективы. Недаром аналитики британского журнала The Economist провозгласили данные «нефтью XXI века». Отдадим им должное — их сравнение очень точное: данные, действительно, способны принести бизнесу колоссальную выгоду, но извлечь ее весьма и весьма непросто, причем трудности могут возникнуть на самых разных этапах — от сбора и хранения данных и заканчивая осмыслением и «монетизацией» полученных результатов.

Согласно данным недавнего исследования IDC «Аналитика Больших данных как инструмент бизнес-инноваций», проведенного при поддержке компании Hitachi Vantara, рост данных продолжится (в этом уверены 78% респондентов), поэтому компаниям нужно быть к этому готовыми. Одна из ключевых причин этого роста — появление новых источников данных, а также увеличение количества информации из новых источников: уже сегодня анализировать новые источники данных нередко приходится хотя бы раз в месяц (об этом заявили 27% опрошенных), а в некоторых случаях (31%) несколько раз в месяц.

Анализу дополнительной информации — как структурированной, так и неструктурированной — предприятия сегодня уделяют пристальное внимание: они хотят тщательно отслеживать и прогнозировать рыночную ситуацию как масштабах макроэкономики, так и внутри экосистемы партнеров и клиентов. В частности, компании анализируют данные социальных сетей (об этом сообщили 48% респондентов) и информацию сторонних организаций (33%).

Видео: Елена Семеновская представляет основные выводы исследования IDC, проведенного при поддержке Hitachi Vantara

«Большая часть информации, в том числе транзакционной, будет обрабатываться “на лету” — это обещают все поставщики транзакционных систем, и это верный путь к построению цифровой компании, где происходит аналитика каждого бизнес-процесса на основе данных, — комментирует Елена Семеновская, директор по исследованиям IDC в России и СНГ. — Цель аналитики больших данных — не подключить много источников, а найти правильные источники информации, анализ которых может принести пользу для бизнеса. Поиск правильных источников — важная задача, которая, кстати, по мнению  IDC, может решаться с использованием искусственного интеллекта».

Можно предположить, что по мере развития экосистем и появления новых информационных сервисов потребность в эффективном с точки зрения анализа подключении к новым источникам данных будет только расти. Также всё более актуальной становится интеграция источников данных из различных систем. Сегодня лишь немногие опрошенные (7%) отмечают, что могут подключать новые источники без привлечения ИТ–специалистов. Вместе с тем, 39% респондентов при выборе решения обращают внимание на его способность работать с разрозненными системами и данными различных форматов.

По мнению эксперта IDC, нынешние технологии вполне справляются с ростом количества данных, которые надо анализировать, и их источников. Вместе с тем, их релевантность, достоверность и извлечение из данных реальной пользы для бизнеса уже сегодня превращаются в проблему. «По мере того, как будет расти количество источников данных, определять их необходимость и релевантность и извлекать ценность для бизнеса будет всё труднее», — считает Елена Семеновская.

Большие данные станут быстрыми и вариативными

Если в предыдущее десятилетие основной рост объемов данных происходил за счет источников «социальной» информации — неструктурированных данных, создаваемых миллионами и миллиардами пользователей всевозможных социальных сред с помощью различных гаджетов, то в ближайшее десятилетие основным «генератором» данных, вероятнее всего, станет Интернет вещей. Можно предположить, что по мере его развития источников данных будет появляться всё больше, и интегрировать их в существующий ИТ-ландшафт придется всё чаще.

«Чтобы шагать в ногу со временем, предприятиям необходимы интеграционные системы, позволяющие в кратчайшие сроки подключаться к новым источникам и загружать большие объемы, данных различных форматов, — отмечает консультант-эксперт направления Digital Insights компании Hitachi Vantara Роман Павлов. — Уже сегодня становится экономически эффективно сделать ставку на платформу, такую как Pentaho Data Integration, способную преобразовывать данные множества форматов в единую стандартизированную структуру, которая понятна конечным пользователям. Немаловажными составляющими успеха при этом будут складывающаяся вокруг платформы экосистема, включая сообщество пользователей, разработчиков и их партнеров, а также множество доступных им бесплатных модулей, созданных сторонними компаниями и энтузиастами».

По мнению эксперта Hitachi Vantara, скорое внедрение стандарта 5G в сетях мобильных операторов приведет к резкому увеличению пропускной способности каналов связи и снижению стоимости трафика, и как следствие, к взрывному развитию Интернета вещей: «Миллионы окружающих нас устройств будут передавать структурированные и неструктурированные данные в различных форматах. Проблема, с которой предприятия столкнутся в ближайшее время, некоторыми исследователями  формулируется как “from big data to fast data”: данные будут поступать со скоростью, которая была не характерна для интеграционных решений в прошлом. Предприятия должны быть готовы к такому увеличению скорости поступления и объемов данных с датчиков, устройств и внешних систем».

IDC: уже сегодня анализировать новые источники данных нередко приходится хотя бы раз в месяц (об этом заявили 27% опрошенных), а в некоторых случаях (31%) несколько раз в месяц

Серьезно помочь в подключении и интеграции источников данных в имеющийся ИТ-ландшафт позволяет автоматизация этих процессов — она не только увеличивает скорость получения данных, но и повышает качество и надежность решения. Так повторное использование уже протестированных и используемых шаблонов снижает вероятность человеческой ошибки, улучшает регламенты работы с данными внутри организации и позволяет гибко и быстро внедрять изменения в логику работы с данными.

«В конечном итоге это вопрос репутации компании и ее менеджмента, потому что качественная, достоверная аналитика, получаемая в реальном или близком к реальному времени выгодно выделяет предприятие на фоне конкурентов, — поясняет Роман Павлов. — Один из наших клиентов, банк, входящий в Топ-10 банков мира, столкнулся с проблемой реализации более 10 тыс. процедур для загрузки данных из 400 систем. Используя механизмы автоматизации, предоставляемые платформой Hitachi, банк реализовал 6 тыс. процедур загрузки данных через 6 “шаблонов”. В результате автоматизации интеграции с источниками банк отметил снижение регуляторных рисков и экономию на поддержке в 10 млн долл. за три года».

Еще одна проблема, с которой организации сталкиваются уже сегодня, связана с изменчивостью форматов данных в имеющихся источниках. Чтобы справиться с ней, интеграционная платформа должна быть гибкой и иметь возможность оповещать администраторов системы об изменениях форматов, не прекращая при этом загружать данные и не допуская их утрату. «Один из наших клиентов, крупный российский банк решил проблему вариативности конвейера данных, используя платформу Pentaho Data Integration. С ее помощью работа может быть выстроена таким образом, чтобы даже при изменении формата процесс не останавливался ни на секунду, — рассказывает Павлов. — Решение позволило избежать прежних дорогостоящих доработок конвейера, которые были необходимы при изменении форматов и могли занимать до 6 месяцев времени внедрения».

Инфографика

Скачайте исследование IDC «Аналитика Больших данных как инструмент бизнес-инноваций»

Посмотрите видео с кратким изложением основных выводов исследования

Согласно наблюдениям Андрея Грачева, главы криптобиржи Huobi Russia, рынок криптовалютных бирж активно эволюционирует: его покидают слабые игроки и одновременно возникают качественно новые сервисы, которые послужат цифровой трансформации российской и глобальной экономики.

- Какой вклад в формирование цифровой экономики смогут внести криптовалютные биржи?

Криптобиржи позволят в несколько раз повысить ликвидность различных активов, упростить и ускорить выход на глобальные рынки и, самое главное, создать простой механизм начального финансирования технологических стартапов.

- На какого рода сделках или активностях концентрируются криптобиржи сегодня?

Криптобиржи фокусируются на различных сервисах продвижения цифровых услуг и ИТ-систем. Основные сервисы — это, конечно, финансирование проектов, поддержка стоимости цифровых активов, создание ликвидности инвестиционных инструментов. В данном вопросе криптобиржи мало отличаются от бирж классических.

- Технологические стартапы все чаше пытаются провести первичное размещение своих активов на криптобирже (Initial Exchange Offer, IEO). Чем оно отличается от ICO и других форм краудфандинга?

IEO отражает эволюционное развитие ICO, где учтены ошибки ранних периодов «дикого» инвестирования в криптовалюты, которое, как мы знаем, привело к резкому падению и дискредитации идеи. В IEO размещение активов происходит непосредственно на бирже, что приближает его к традиционной процедуре IPO. Биржа оценивает проект и определяет обязательные правила торговли активом (например, нельзя сразу вывести собранные деньги и купить на них какую-нибудь роскошь). При этом проект быстро выходит на заинтересованную в инвестировании аудиторию: сразу после продажи активов начинаются биржевые торги по ним. Таким образом IEO открывает для стартапа возможность практически гарантированного привлечения инвестиций, а инвестору — гарантию реализации купленного актива на вторичном рынке на бирже практически сразу после приобретения.

- Насколько легально действуют сегодня криптобиржи?

За исключением нескольких стран, какое-либо государственное регулирование криптобирж на сегодняшний день в мире отсутствует. В России мы находимся в правовом вакууме — нормативной базы нет, но и запретов тоже не наблюдается. Те биржи, которые видят своей миссией создание цивилизованного рынка, следуют политикам идентификации клиентов (Know Your Customer, KYC) и антиотмывочным процедурам. Уверен, рано или поздно регулирование появится, и нужно быть готовым к нему.

- Как отражается на действующих в России криптобиржах отсутствие такого регулирования?

При нынешнем состоянии нормативной базы участниками криптобирж выступают, как правило, опытные и сведущие в ИТ профессионалы. При этом мы видим огромный интерес к криптовалютному рынку со стороны многих других инвесторов, которых настораживает отсутствие регулирования, а потому они занимают выжидательную позицию. Разумеется, любые колебания рынков и громкие новости периодически приводят как к всплескам, так и к спадам интереса к криптовалютам, к разочарованиям и гневным эскападам. Мы вынуждены очень осторожно подходить к любым обещаниям, декларациям, даже к комментариям относительно правил работы. Мы очень заинтересованы в появлении регулирования крипторынка. Любого регулирования.

- Не так давно стремительный взлет курсов криптовалют сменился еще более резким их падением. Как это повлияло на криптобиржи?

Любая волатильность позитивно сказывается на биржах. В периоды сильных движений возрастают обороты, следовательно, и комиссионные сборы бирж. С другой стороны, вместе с падением курсов и их стагнацией на минимальных значениях (например, в январе-феврале этого года) катастрофически сократились и объемы торгов, что привело к массовому закрытию маленьких бирж. Это нормальный процесс, который делает рынок более профессиональным. В сложных рыночных условиях выживают сильнейшие, самые надежные.

- Параллельно с падением курса криптовалют растет интерес к использованию блокчейна для решения задач в самых разных отраслях. Наблюдается ли подобная тенденция к «диверсификации» криптобирж?

Да, и здесь стоит упомянуть еще об одной важной функции криптобирж — внебиржевой торговле цифровыми активами. Этот сервис позволяет продавать и покупать цифровые активы за фиатные деньги, проводя их не через так называемый биржевой стакан (книга ордеров, обновляемая в реальном времени и влияющая на курс актива), а напрямую другому участнику. В данном случае биржа обеспечивает безопасность сделки, контролируя процесс оплаты и передачи цифрового актива. Данный сервис можно рассматривать в качестве платежного инструмента и инструмента переноса стоимости для перемещения капитала между странами или совершения сделок с оплатой криптовалютой.

- Финансовые организации активно формируют свои цифровые экосистемы. Есть ли у криптобирж планы выстроить нечто подобное?

Да, конечно. Криптобиржи развивают направления, связанные с хеджированием рыночных рисков, с созданием собственных блокчейн-платформ. Развиваются и собственные токены (цифровые активы) бирж, позволяющие приобретать различные сервисы со скидкой и получать прибыль при развитии биржи и росте ее токена.

Если взглянуть еще более стратегически, то мы увидим собственные институты по развитию компетенций в цифровой экономике, венчурные фонды и разного рода акселераторы. В частности, криптобиржа Huobi ведет образовательную деятельность на базе ряда крупнейших отечественных вузов, а также управляет собственным венчурным фондом, куда вложены десятки миллионов реальных долларов.

- Какие еще тенденции в развитии криптобирж проявятся в ближайшие годы?

Следует ожидать консолидации торговли 90% цифровых инструментов вокруг первой десятки криптовалютных бирж, развития сервисов, связанных с вводом и выводом фиатных средств и широкой линейкой инвестиционных и финансовых инструментов.

Очень надеюсь, что криптобиржи наконец разработают удобный механизм для привлечения первичных инвестиций в идеи. Можете себе представить, как много блестящих идей погибло из-за того, что их гениальные авторы не сумели найти денег на реализацию?

Уже в ближайшем будущем криптовалютные биржи станут инструментами для финансирования реальных бизнесов и дадут новую жизнь традиционным активам, таким как золото и иные полезные ископаемые, придав им цифровую форму и расширив аудиторию своих клиентов на новые инвестиционные рынки.

Прошедшая в Москве конференция «Технологии управления данными 2018. Стратегии, платформы, инструменты и опыт реальных проектов», организованная издательством «Открытые системы», оказалась не только насыщенной и информативной, но и на удивление эмоциональной: около 200 участников встречи с нескрываемым интересом слушали выступавших и живо включались в обсуждения.

Как отметил Валерий Артемьев, консультант управления методологического и организационного обеспечения департамента статистики и управления данными Банка России, термин «управление данными» чаще всего трактуется в узком смысле — как управление базами данных и файлами. В широком смысле его следует интерпретировать как корпоративное управление данными (Data Governance), рассматривающее данные как активы организации. Такой взгляд предполагает необходимость учета данных, анализа их ценности для бизнеса, а также обеспечения качества и ясного понимания того, как именно данными можно управлять. В качестве ключевого информационного источника Артемьев рекомендовал Data Management Body of Knowledge — свод знаний, подготовленный глобальным сообществом экспертов по управлению данными DAMA International.

Не все спокойно в королевстве данных

Сегодняшнее состояние дел в области управления данными, похоже, едва ли можно считать блестящим. В частности, Артемьев отметил полтора десятка организационно-методических проблем и около десятка технологических. Наиболее критичные из организационно-методологических — слабо развитая культура принятия решений на основе данных, недостаточное понимание предметной области специалистами, занимающимися данными, отсутствие стратегии, архитектуры, методологии управления данных и плана реализации возможных мер в этой области, а также слабая вовлеченность бизнес-подразделений в эти процессы. Из технологических особо следует отметить неосведомленность специалистов о возможностях новых продуктов, нехватку знаний о технологиях, избыточное количество приобретаемых продуктов (и, как следствие, слабую востребованность, по крайней мере, части из них), большие объемы ручного труда и недостаточные компетенции работы с концептуальными моделями предметных областей. Нередко случается так, что данными занимаются те, кто смутно понимает, как работает бизнес, а бизнесом — те, кто слабо представляет себе, как работать с данными.

Вероятнее всего, одной из ключевых тенденций станет демократизация данных и аналитики. Подспорьем для бизнес-специалистов станут инструменты так называемой дополненной аналитики со встроенными в них средствами искусственного интеллекта. В частности, они смогут распознавать и интерпретировать запросы, сформулированные на естественном языке — как текстовые, так и голосовые. Также интеллектуальные системы возьмут на себя большую часть рутины, предваряющей продуктивную работу с данными.

В области интеграции данных нас, по-видимому, ожидает переход от озер данных к логическим хранилищам данных: корпоративную информацию совсем не обязательно хранить в одном большом архиве, данные могут оставаться в прежних местах хранения, однако важно, чтобы их поиск и анализ можно было бы производить так, как будто они собраны в одно большое хранилище. Кроме того, предприятиям следует осваивать гибридную обработку данных (Hybrid Transaction/Analytical Processing, HTAP), которая подразумевает, что оперативные и аналитические данные не разделяются по разным хранилищам.

Впрочем, как отметил Сергей Кузнецов, главный научный сотрудник ИСП РАН, профессор МГУ, МФТИ и НИУ ВШЭ, далеко не всякая здравая и полезная идея находит поддержку в ИТ-сообществе. Основными причинами этого он считает инерцию сообщества, подверженность конъюнктуре, а также маркетинговое давление вендоров. Иначе как объяснить, например, продолжающееся несколько десятилетий господство SQL и реляционных СУБД одновременно с так и не состоявшимся взлетом объектно-ориентированных и объектно-реляционных СУБД? Кузнецов убежден, что инерция мешает движению сообщества к новым технологиям, препятствуя как разработке новых систем, так и их применению.

Конъюнктура также сдерживает развитие, поскольку ограничивает кругозор и мешает правильному выбору технологий. Не следует использовать «модные» в данный момент технологии везде, где это только возможно, применять их нужно там, где они будут уместны и полезны.

С маркетинговым давлением вендоров связан еще один некомфортный момент: их маркетинговые материалы слабо помогают заказчикам справляться со стоящими перед ними задачами. В основном эти материалы ориентированы на активную продажу технологий, и, к сожалению, в информационных источниках ИТ-компаний порой бывает очень непросто найти то, что реально интересует ИТ-специалистов.

Помочь преодолеть этот барьер и навести мосты между поставщиками и заказчиками технологий как раз и призваны конференции, подобные нынешней.

Технологии развиваются, чтобы решать задачи

Проблема, которая стара, как ИТ-мир: в очень многих организациях данные хранятся разрозненно, во множестве различных хранилищ, архивов, репозиториев и папок. Позволить эффективно работать с такими данными призваны технологии логических витрин, о которых рассказал Сергей Горшков, директор компании «ТриниДата». Идея, которую он представил, заключается в том, чтобы не просто извлекать данные из множества источников, но пытаться описывать их в терминах концептуальной модели предметной области (проще говоря, на языке бизнеса), выстраивать их категоризацию, выявлять знания и закономерности, находить структурные элементы в неструктурированных данных и таким образом выстраивать эффективный поиск и анализ имеющейся информации. Как отметил Горшков, использование онтологий при построении витрин данных дает возможность строить поисковые запросы в привычных сотрудникам бизнес-терминах, получать точные результаты, как при обычном запросе к СУБД, и принимать более взвешенные решения.

Тему построения онтологий для описания концептуальных моделей предметной области продолжил Сергей Исаев, генеральный директор компании DataFabric. Для этих целей в компании предлагают применять семантические технологии — основываясь на них, система распознает смысл (точнее, контекст) данных, с которыми работает. При этом она оперирует не только с самими данными, но и со знаниями о предметной области, описанными посредством семантических сетей, представляющих собой графы знаний, собранные из множества триплетов среды описания ресурсов (RDF), имеющих вид «субъект — предикат — объект». Так, граф знаний ФНС состоит из примерно 6 млрд триплетов, включающих в том числе исторические взаимосвязи. Основываясь на семантических технологиях, можно производить сбор, преобразование, хранение и управление данными. Также значительно упрощается интеграция данных из различных источников и для разных потребителей. Семантические технологии открывают широкие возможности для поиска скрытых, неочевидных взаимосвязей между людьми, компаниями, различными объектами и действиями: можно, например, создавать системы, анализирующие большое количество данных из разных источников с целью выявления экономического и финансового мошенничества.

В Oracle пытаются облегчить жизнь заказчиков, активно развивая так называемые автономные сервисы СУБД: встроенные в них механизмы машинного обучения помогают автоматизировать многие рутинные операции по администрированию баз данных и обеспечению их информационной безопасности. Марк Ривкин, директор по технологическому консалтингу компании Oracle в странах СНГ, подробно остановился на различных направлениях автоматической адаптации работы СУБД к текущей нагрузке и ее оптимизации «на лету» с учетом имеющихся возможностей масштабирования, распараллеливания выполнения задач и управления сразу несколькими базами данных как единым целым.

Свой взгляд на развитие автономных баз данных изложили представители компании Postgres Professional: без разговора о СУБД Postgres не обходится сегодня ни одна встреча профессионалов в области управления данными.

Василий Флока, главный инженер TmaxSoft Rus, представил основные улучшения, внесенные в СУБД Tibero «по многочисленным просьбам» российских заказчиков.

Представители компании IBS и ее проекта Arenadata рассказали о возможностях универсальной платформы хранения и обработки данных Arenadata Unified Data Platform, разработанной на основе проектов с открытым кодом. Идея этой платформы в том, что ни одна из ныне существующих СУБД не способна одинаково эффективно решать весь круг задач по работе с данными, поэтому разумно использовать пакет интегрированных между собой систем, каждая из которых хорошо справляется с определенным кругом задач. В состав платформы включены три базовых СУБД: Arenadata Grid — созданная на базе Apache Ignite база данных с обработкой данных в оперативной памяти, рассчитанная для работы в режиме реального времени; Arenadata DB — основанная на Greenplum распределенная СУБД, использующая массивно-параллельные вычисления (MPP) для работы хранилищ данных и аналитических систем; Arenadata Hadoop — дистрибутив распределенной платформы хранения на базе Apache Hadoop, адаптированный для корпоративного использования. Также платформа включает продукты для потоковой обработки данных на базе Apache Kafka и Nifi, ETL-инструментарий, пользовательский интерфейс аналитика Analytic Workspace и другие компоненты.

Предназначенную для создания объектных хранилищ в корпоративных вычислительных средах и частных облаках платформу Cloud Object Platform представил Егор Литвинов, консультант-эксперт компании Hitachi Vantara. Она обеспечивает хранение с быстрым и удобным доступом к данным разных типов (в том числе изображениям, записям аудио и видео, а также резервным копиям данных) посредством популярных протоколов обмена: AWS S3 — как в облачных сервисах сетей предоставления контента (CDN), а также SMTP, Swift и др.

О важности платформ хранения для современного бизнеса напомнил Максим Зубарев, глава представительства компании Pure Storage в России, СНГ и станах Балтии. В эпоху цифровых преобразований предприятия предъявляют особые требования к производительности и надежности систем хранения как фундамента для работы с данными — их характеристики и особенности не должны становиться препятствием для внедрения и использования цифровых инновационных решений.

Олег Финошин, заместитель генерального директора компании Vizex, предложил достаточно простой, относительно недорогой и весьма эффективный способ использования аналитики для анализа деятельности организаций. Его суть в том, чтобы сконцентрироваться на измерении в отслеживаемых бизнес-процессах только самых важных показателей, от которых в конечном итоге зависит общий успех. «Не нужно замысловатых графиков. Контролируем время и качество», — пояснил Финошин. Например, в отдельно взятом бизнес-процессе или цепочке операций достаточно оценивать сроки исполнения, количество ошибок, время ожидания в очереди на исполнение, время, которое требуется на коммуникацию с другими бизнес-процессами и некоторые другие показатели — их замер организовать нетрудно. Обеспечив таким образом непрерывный мониторинг деятельности и визуализировав картину деятельности организации, становится несложно выявлять слабые места, погружаться в их детали и анализировать причины замедлений или снижения качества на отдельных участках.

Проверка практикой

И все же главный критерий оценки возможностей технологий — реальный опыт. Ольга Налгранян, специалист отдела автоматизации и анализа данных компании Mars, рассказала об организации в компании системы мониторинга и анализа различных систем и связанных с ней бизнес-процессов. Основываясь на данных из системных журналов, специалисты компании научились не только выявлять аномалии и предотвращать инциденты, но и сократили среднее время восстановления работоспособности систем (MTTR), уменьшили общую трудоемкость мониторинга и пр. В компании «Мегафон» удалось подробно изучить процессы приема платежей, и, изменив их, улучшить доступность платежных сервисов и, как результат, повысить удовлетворенность ими абонентов.

О поддержке проектов ученых, ведущихся в Европейском центре ядерных исследований (ЦЕРН), рассказал Владислав Патенко, инженер Google Cloud. В частности, Google оказывает помощь в реализации двух проектов — Rucio и PanDA. Первый из них обеспечивает управление данными, полученными в ходе экспериментов на Большом адронном коллайдере. Объемы данных при этом таковы, что на их передачу в центры обработки данных для их последующего хранения и обработки требуется около месяца. Кроме того, необходимо позаботиться о том, чтобы бронировать необходимый объем ресурсов. Проблема осложняется тем, что в ближайшие годы ЦЕРН планирует заменить прежние установки для сбора данных на новые, и тогда объем получаемых данных вырастет на порядок.

Другой проект, которому Google оказывает не только технологическую, но и финансовую поддержку, — PanDA — нацелен на управление потоками (workflow) задач, требующими вычислительных ресурсов. Одна их проблем состоит в том, что эти потоки задач сильно отличаются от workflow, который встречается в бизнесе, а потому требуется специально прорабатывать и продумывать реализацию этого управления. Вторая проблема связана с менталитетом ученых: европейские исследователи и университеты зачастую не хотят иметь дело с коммерческими организациями. К счастью, постепенно проблема преодолевается: ученые, сотрудничающие с ЦЕРНом, берут на вооружение предоставляемые Google средства автоматизации и облачные возможности.

Как в Hitachi Vantara интерпретируют термин «цифровая трансформация»?

Понятие цифровой трансформации применимо именно к традиционным компаниям, оно означает процесс перехода в новую эпоху, когда данные используются максимально возможным образом. Что касается лидеров рынка, таких как Uber и подобных им, то о них можно сказать, что они «родились в облаке», — их бизнес изначально строился на анализе данных. Традиционные компании частенько отстают в плане использования технологий обработки данных: у них имеется множество разрозненных ИТ-систем, которые не обмениваются информацией, поэтому таким организациям сложно, например, получить панорамное видение своих клиентов.

Традиционные компании сегодня начинают внедрять системы анализа тональности высказываний в социальных медиа или инструменты, позволяющие оперативно учитывать влияние погодных условий на бизнес, и т. д. В ходе цифровой трансформации они пытаются комбинировать данные, чтобы использовать их для роста бизнеса, уменьшения затрат и улучшения обслуживания клиентов.

Стивен Льюис: «Мы пользуемся собственными системами, работающими у заказчиков, чтобы предлагать им новые сервисы»

Коснулись ли цифровые преобразования самой компании Hitachi Vantara?

Мы тоже проходим через определенные преобразования, направленные на изменение принципов управления внутренними проектами и структурную реорганизацию. Кроме того, у нас изменились принципы поиска заказчиков и работы с клиентами. В частности, вместо продукта или решения сегодня мы стараемся предложить сервис. Прежде всего, это коснулось решений для управления ЦОД — именно они стали нашими первыми предложениями «технологий как сервиса».

Сегодня мы, например, предлагаем «умный ЦОД как сервис» — решение, которое может использоваться локально или в хостинге. Мы получаем от дата-центра клиента телеметрические данные, обеспечиваем необходимую координацию его работы и подготовку отчетов, которые позволяют оптимизировать управление средой, прогнозировать события, заблаговременно принимать меры и осуществлять масштабную автоматизацию. Другими словами, мы пользуемся собственными системами, работающими у заказчиков, чтобы предлагать им новые сервисы.

Чем вызван интерес Hitachi Vantara к средствам аналитики Больших Данных?

Около трех лет тому назад мы приобрели компанию Pentaho, разработчика систем бизнес-аналитики. Это приобретение было совершено с учетом рыночных тенденций, обусловленных ростом объемов данных, которые генерируются не людьми, а всевозможными автоматическими средствами. В мире Интернета вещей машины будут создавать гигантское количество данных, большей частью неструктурированных, и их анализ имеет огромное значение для множества отраслей с точки зрения возможности улучшения обслуживания клиентов, понимания их потребностей и продажи им большего объема услуг.

Как вы оцениваете спрос на технологии аналитики Больших Данных на рынке сегодня и в ближайшем будущем?

Дело в том, что методы аналитики, о которых сегодня идет речь, не новы, они известны уже много лет. Новшеством стали возможности обработки гигантских объемов данных с высокой скоростью и выдачи ответов практически в реальном времени. Именно поэтому сегодня аналитика применяется гораздо шире. В частности, эти технологии широко используются для управления активами, причем под активами я имею в виду любые механизмы, машины, производственные конвейеры и т. д. Аналитика позволяет уменьшать затраты за счет перехода на прогнозное обслуживание активов.

Каждый поезд Hitachi Rail имеет около 2,5 тыс. различных датчиков и передает в среднем примерно пять показаний в секунду

Пример из нашей собственной практики — проект для компании Hitachi Rail, которая не так давно поставила около 300 новых составов британской железнодорожной сети междугородного сообщения. Каждый поезд имеет около 2,5 тыс. различных датчиков и передает в среднем примерно пять показаний в секунду. Анализируя эти данные, мы выявляем тенденции для прогнозирования неисправностей, а также получаем сведения, позволяющие оптимизировать текущее обслуживание состава.

Еще один пример — наше сотрудничество с крупной европейской автомобилестроительной компанией, в которой благодаря современным возможностям анализа данных, полученных из более широкого круга источников, смогли выяснять первопричины невыполнения планов по выпуску продукции и оптимизировать выработку.

Используется ли аналитика Больших Данных в самой Hitachi Vantara?

Да, конечно. Например, системы для ЦОД, которые мы устанавливаем для клиентов, передают телеметрические данные о работе и качестве предоставляемого нами сервиса. Эти сведения мы применяем для выяснения причин неполадок, для прогнозного обслуживания. Средства аналитики интегрированы со слоем ПО автоматизации, что в совокупности позволяет обеспечить полностью автоматическое обслуживание ЦОД. Кроме того, мы передаем данные в систему Hitachi Automation Director, с помощью которой можно автоматически варьировать параметры большого количества сторонних продуктов, используемых в ЦОД.

А, кстати, почему концерн Hitachi решил создать компанию Hitachi Vantara?

Напомню немного ее историю. Компания, которая позже стала называться Hitachi Data Systems (HDS), появилась в конце 1970-х в результате альянса между японской Hitachi и американской National Semiconductor. Hitachi уже тогда продавала продукцию крупным ИТ-вендорам, и было решено, что HDS будет предлагать IBM-совместимые мейнфреймы. Все технологии HDS разрабатывались в Японии, хотя штаб-квартира компании располагалась за пределами страны.

Компания, которая позже стала называться Hitachi Data Systems, появилась в конце 1970-х в результате альянса между японской Hitachi и американской National Semiconductor

Примерно в 2000 году HDS занялась системами хранения данных, поскольку рынок IBM-совместимых мейнфреймов к тому времени исчез. Мы по-прежнему использовали разработки нашей головной компании в Японии, где технологическая отрасль всегда была очень прогрессивной, способной опережать свое время на много лет. Hitachi регистрировала очень много патентов в сфере ИТ, в частности мы стали первыми, кто обеспечил виртуализацию хранения. HDS между тем начала приобретать новые интеллектуальные активы. Так, ради технологии NAS-накопителей была куплена BlueArc; кроме того, мы приобрели поставщиков платформ управления контентом, а затем и компанию Pentaho с ее системой аналитики.

В рамках HDS было создано независимое подразделение Hitachi Insight, которое развивало решения для Интернета вещей, в частности платформу Lumada, позволяющую анализировать данные в центре и на периферии в рамках определенной задачи. Эту платформу применяют компании группы Hitachi, работающие главным образом в производственной отрасли: они выпускают оборудование для АЭС, медицинские сканеры, поезда и т. д. Создав Lumada, мы смогли выйти в сегмент «цифровых двойников» — полных цифровых моделей физического оборудования. Такие модели строятся с использованием данных, полученных в ходе испытаний и рабочего применения оборудования, и позволяют моделировать различные ситуации, в которых может оказаться ваша единица оборудования.

«Цифровые двойники» — очень ценный инструмент для производственных предприятий. Приведу в пример производство водяных насосов. Если прежде поставщики продавали их заказчикам и насосы просто становились их имуществом, то сегодня, используя «цифровых двойников», компании вроде Hitachi могут продавать не насос как таковой, а услугу по перемещению воды из пункта А в пункт Б, а заказчик платит только за объем перемещенной воды. В этом состоит колоссальная перемена, ставшая возможной благодаря Интернету вещей.

HDS традиционно поставляла решения для ЦОД, но с появлением Hitachi Insight мы увидели для себя новые возможности. Для их реализации год назад и была создана новая компания Hitachi Vantara, которая объединила технологии HDS, Hitachi Insight и Pentaho. Мы улучшаем обслуживание наших клиентов, использующих решения для ЦОД, но также выходим на новые сегменты в различных отраслях, которым необходимы решения на базе технологий Интернета вещей.

В каких секторах экономики Интернет вещей оказывает или будет оказывать наибольшее влияние?

Если говорить о направлениях, на которые ориентируемся мы, то в первую очередь это транспорт. Я уже говорил об интеллектуальном управлении активами и о железнодорожном проекте, упомяну также сотрудничество с крупнейшим оператором грузоперевозок США, который владеет парком из примерно 250 тыс. большегрузных автомобилей. Алгоритмы машинного обучения, выполняемые в Pentaho, позволяют клиенту осуществлять прогнозное обслуживание автопарка и благодаря этому работать с минимальными затратами.

Кроме того, мы работаем с участниками рынка телекоммуникаций. Ядро Pentaho получает данные от всех коммутаторов в сети оператора, что позволяет определять участки, где вероятно возникновение проблем, и заранее пускать трафик обходными маршрутами. Таким образом, телекоммуникационные компании могут управлять качеством обслуживания в прогнозном режиме и гарантировать более высокое качество самым ценным клиентам.

Безопасность и Интернет вещей будут развиваться рука об руку

Как, по вашему мнению, будут развиваться технологии Интернета вещей в дальнейшем?

Мир сегодня сильно меняется в отношении безопасности и анонимности большого объема данных. Есть прогнозы, согласно которым ИТ-индустрия просто не сможет выпускать достаточно накопителей, чтобы сохранять все генерируемые данные. Так что развитие пойдет по пути создания интеллектуальных архитектур, в рамках которых максимум обработки будет происходить в непосредственной близости к источникам данных. Таким образом, речь идет о ИТ-решениях, распределяющих обработку между центром и периферией.

В примере про железнодорожные составы значительный объем генерируемых датчиками данных может обрабатываться непосредственно на борту, отбрасывая лишнее и передавая для анализа и хранения в центр «разумный» объем информации. Если вы контролируете температуру и она три месяца подряд остается на отметке 20°, вам не нужно передавать постоянный поток показаний термометра, достаточно делать это лишь раз в квартал.

Еще одно широкое направление развития в области Интернета вещей связано с обеспечением безопасности. Используя все больше различных датчиков, вы фактически увеличиваете поверхность для возможных кибератак, достаточной защиты от которых такие датчики зачастую попросту не имеют. Если говорить об атаках на отказ в обслуживании, возможен сценарий, когда злоумышленники взламывают систему освещения целого города и требуют выкуп за ее включение. Так что безопасность и Интернет вещей будут развиваться рука об руку.

Цифровая экономика усилила один из ключевых принципов экономики традиционной: необходимо как можно быстрее выводить на рынок новые продукты и услуги, причем их качество должно быть достаточно высоким. Методика DevOps помогает разработчикам за меньшее время создавать и передавать в эксплуатацию цифровые продукты и сервисы, добиваясь при этом необходимого уровня качества. Какова нынешняя ситуация с DevOps, в каком ракурсе ее следует рассматривать и чего можно ждать от этой методики, рассказывает Марк Смолли, консультант компании Smalley.IT в области управления ИТ, всемирный посол фонда ASL BiSL Foundation. Смолли выступил с ключевым докладом на юбилейном, пятнадцатом форуме ITMF 2018 для профессионалов в области управления ИТ, организованном издательством «Открытые системы».

- С чем связана нынешняя шумиха вокруг DevOps?

Эта методика зародилась в 2008-2009 годах в Бельгии: эксперты попытались применить гибкие (agile) методики разработки для управления операционной деятельностью по оказанию ИТ-услуг. DevOps можно рассматривать как продолжение гибкой разработки: она считается завершенной, когда код наконец написан и готов к развертыванию, но еще не развернут. Методика DevOps идет дальше: в ней много внимания уделяется тому, каким образом код может быть развернут, причем быстро и надежно, после чего передан в продуктивную эксплуатацию.

Большое значение в DevOps имеет автоматизация, но также очень существенную роль играет созидательная (generative) культура взаимодействия между заинтересованными сторонами. Нередко в организациях приходится сталкиваться с сильной бюрократией: подразделения представляют собой закрытые структуры, которым трудно взаимодействовать между собой, в них не развита культура передачи полномочий и пр. Встречаются и «патологические» организации с «токсичной» культурой, где увольнения сотрудников становятся обыденным делом.

Созидательная культура подразумевает психологическую защищенность, благодаря чему в ИТ-команде люди трудятся с удовольствием, а стрессы снижены. В определенной мере это ответная реакция на то, что нередко происходит в ИТ-командах: если специалисты, занятые в операционной деятельности ИТ, длительное время чувствуют себя некомфортно, испытывают стрессы, вынуждены работать по ночам, то производительность труда падает. Возникает вопрос: как нормализовать работу в ИТ? Думаю, именно это определяет сейчас основное направление развития DevOps.

- Так ли нова парадигма DevOps?

Она лишь отчасти новая и представляет собой комбинацию нескольких известных парадигм. В частности, в DevOps используются принципы бережливого производства, гибкой разработки, культуры психологической защищенности, теории ограничений и ряд других. Таким образом, DevOps объединяет несколько подходов применительно к конкретной области для непрерывной интеграции и развертывания систем. Действительно новым в DevOps является сочетание перечисленных подходов.

- Многие из тех, кто говорят о DevOps, часто имеют в виду разные идеи. Возможно ли унифицировать представление разных людей о DevOps? И нужно ли?

DevOps – это достаточно новая парадигма, и ее пока сложно определить однозначно. Вспомним Джеффри Мура: в жизненном цикле инновационного продукта есть стадия инициализации, есть ранние последователи, и есть мейнстрим. DevOps сегодня находится в стадии преодоления разрыва, и только начинается переход в стадию мейнстрима. Сейчас люди, которые приступают к работе по DevOps, говорят, что пока рано проводить стандартизацию. Но, с другой стороны, организациям необходимо сотрудничать, чтобы определить эту методику в деталях, ввести стандартизацию, сертификацию и пр. Найти баланс между этими подходами достаточно трудно. Впрочем, все согласны с тем, что есть обширное поле деятельности, которое сейчас стремительно развивается.

- Каковы на сегодня наиболее сильные стороны DevOps?

Самая сильная сторона – это возможность использовать ИТ в интересах ИТ-специалистов. Я имею в виду автоматизацию процессов разработки. Еще одна сильная сторона в том, что DevOps смещает внимание ИТ-специалистов с инструментария на взаимодействие между людьми. Аббревиатура CALMS, которую ввел Джон Уиллис, включает основные принципы DevOps: культура (Culture), автоматизация (Automation), бережливое производство (Lean), измерение (Measurement) и обмен знаниями (Sharing). Как видим, автоматизация – лишь один из элементов DevOps. Эта методика мотивирует людей переосмыслить свою деятельность, в результате ИТ-команды приходят в движение, и это замечательно! DevOps оказывает очень мощное влияние на ИТ-индустрию.

- Многие специалисты говорят, что DevOps – это методика проектирования и разработки ИТ-систем. Корректно ли рассматривать DevOps шире – например, как культуру проектирования и выстраивания стоимостных цепочек?

Если вы взглянете на то, что содержится в руководстве «The DevOps Handbook», то заметите, что описанная в нем техническая практика во многом концентрируется на разработке и операционной деятельности – на том, чтобы подготовить код к развертыванию и сохранить его в репозитории. При этом базовая область DevOps не охватывает то, что должно предшествовать созданию кода и что должно происходить после того, как работа завершена, и продукт передан в продуктивную эксплуатацию и сопровождение. Думаю, сообщество специалистов по ITSM, впитавшее в себя более чем 30-летний опыт предоставления ИТ-сервисов, сможет обогатить сообщество DevOps дополнительными знаниями, и тогда мы получим более объемлющий взгляд на создание и внедрение ИТ-систем. Таким образом, DevOps в узком смысле – это технические практики, но, полагаю, дополнив эту методику культурными нормами и принципами совместного созидания, а также знаниями из области ITSM, мы сможем трактовать DevOps гораздо шире, выведя разработку на более высокий уровень.

- Как вы расцениваете попытки перенести принципы DevOps на управление операционной деятельностью в ИТ-командах и в бизнес-организациях, а также на управление проектами?

Совсем недавно мне довелось участвовать в обсуждении того, как принципы и опыт DevOps могли бы быть использованы для управления сервисами. Считаю, что это хорошая идея: и бизнес, и специалисты по управлению проектами используют принципы agile, которые зародились в среде разработчиков ПО. На мой взгляд, переносить любую методику (в том числе DevOps) на новую предметную область следует избирательно, осваивая и адаптируя то, что подходит и что полезно для новой области.

- Каких изменений и наработок можно ожидать в DevOps в обозримом будущем?

Я считаю, говорить об этом несколько преждевременно. В современном цифровом предприятии, активно внедряющем технологии Интернета вещей, можно выделить не только подразделения ИТ и бизнеса, но и подразделения, отвечающие за операционные технологии (в первую очередь технологии автоматизации производственных процессов). Возникает вопрос: кто отвечает за системы Интернета вещей – ИТ, бизнес или ОТ? Прежде ИТ-команда отвечала за все, что связано с автоматизацией. Сегодня наблюдается конвергенция ИТ и бизнеса. Но куда отнести ОТ – к бизнесу или к ИТ? Другими словами, кто должен отвечать за ОТ – ИТ-подразделение или бизнес? Или же блок ОТ должен быть отдельной структурой? И в какой точке, в какой структуре должны находиться рычаги централизованного управления организацией в целом (а оно, уверен, должно быть)? Кто и как должен координировать, оркестрировать деятельность различных блоков – бизнеса, ИТ и ОТ? У меня пока нет ясного ответа.