Как архитектуры данных влияют на эффективность бизнеса, как обеспечить сохранность инвестиций, развивая прежние архитектуры и технологии работы с данными и к чему готовиться тем, кто отвечает за управление данными, рассказывает Алексей Сидоров, главный евангелист и директор по управлению данными компании Denodo.

— Эпоха больших данных качественно изменила набор требований к архитектурам данных. Какие из архитектур считаются сегодня наиболее эффективными и перспективными, а какие переходят в разряд устаревших?

Полагаю, будет неверно утверждать, что какие-то архитектуры в эпоху больших данных безнадежно устарели. Архитектуры реляционных хранилищ данных были разработаны для решения вполне определенных задач, и они по-прежнему востребованы. Бурно развиваются и архитектуры на базе Hadoop, есть целый спектр новых инструментов, которые помогают, например, строить графовые базы данных, хранилища документов, базы данных, обрабатываемые в оперативной памяти (in-memory), и пр. Все эти архитектуры и инструменты также имеют право на существование, поскольку позволяют решать отдельные классы задач.

Технология виртуализации данных обладает очень важным преимуществом по сравнению с ними: она дает уникальный шанс раз и навсегда избавиться от «черных ящиков» данных, с которыми ИТ-отрасль пытается бороться уже четверть века. Только объединив данные виртуально, без их физического перемещения, мы сможем использовать все прежние наработки в области данных (хранилища, озера данных и другие инструменты), предоставляя пользователям единую точку доступа для подготовки аналитики и отчетности, не требующую создания какого-то нового уровня физической абстракции.

— Многие крупные организации уже вложили большие средства в прежние архитектуры данных. Не приведет ли промедление с их обновлением к проблемам в бизнесе?

Проблемы в бизнесе уже наблюдаются. В частности, заказчики рассказывают о том, что, используя прежние технологии, они столкнулись с проблемами, связанными с масштабированием. В ходе беседы выясняется, что, например, они собирают данные в одно большое озеро данных, при этом не всегда ясно понимая, с какой целью.

Подход, основанный на идее сначала собрать все данные, а затем думать, что с ними делать, чреват многочисленными проблемами. Организация и ее ИТ-специалисты должны четко понимать, какие данные требуются для решения тех или иных бизнес-задач. Кроме того, необходимо понять, откуда эти данные можно получить — из каких внутренних систем организации или внешних. Обеспечить интеграцию данных из множества источников легче всего, используя платформу виртуализации данных. Применяя другие варианты, организации придется снова и снова собирать данные, копировать их в централизованное озеро, хранилище или облако — это дорого и неэффективно.

— Какими возможностями располагают организации, чтобы перейти на более современные архитектуры данных, инвестируя в них разумные деньги и по возможности не отказываясь от прежних разработок?

Мы никогда не призывали отказываться от прежних наработок в области данных. Все ранее внедренные технологии озер и хранилищ данных, в том числе реализованные с использованием массивно-параллельных вычислений на базе кластеров Hadoop, вполне успешно решают свои задачи, поэтому инвестиции в них должны сохраняться.

По мере накопления новых объемов данных, возникновения новых типов данных, с которыми традиционные технологии обработки данных справляются недостаточно эффективно, и появления новых бизнес-задач, требующих обработки данных в реальном времени, необходимо вносить изменения в архитектуры — это позволит успешно адаптироваться к происходящим изменениям. Объединение данных с помощью их виртуализации — пожалуй, самый простой подход к решению сегодняшних проблем в области управления данными.

— Что нужно предпринять организациям, чтобы их архитектуры данных соответствовали потребностям их бизнеса и не превращались в закрытый от посторонних глаз «черный ящик» и в «черную дыру» для инвестиций?

Это одна из основных проблем управления данными. Были времена, когда организациям нравились технологии одного известного вендора реляционных СУБД, и очень многие опирались именно на них. Потом началось всеобщее увлечение идеями, которые реализовал другой вендор, и все дружно осваивали его технологии и создавали на их основе хранилища данных. С наступлением «золотой лихорадки» вокруг больших данных многие бросились внедрять Hadoop и озера данных.

В первую очередь организации необходимо понять, для чего она собирает данные, какие бизнес-задачи она рассчитывает с их помощью решать и какая информация для этого ей будет действительно полезна. Если важна монетизация данных, надо использовать один подход и вполне определенные наборы данных. Если нужно строить модели предиктивного анализа, то потребуются другие данные и другая их архитектура. И так далее.

Подход «сверху вниз» сегодня становится преобладающим в науке о данных. Организации не могут идти «снизу вверх» — сначала накапливать какие-то данные, а затем пытаться найти им применение. Надо действовать наоборот: от бизнес-задач — к данным.

— В каких случаях разумно использовать архитектуру Data Mesh? Насколько сложно ее реализовать и какие выгоды можно в этом случае получить?

Если говорить о коммерческих организациях, то здесь эта архитектура успешно внедряется при условии, что ИТ-подразделение находит поддержку со стороны бизнеса и есть возможность выстроить необходимое организационное окружение. Дело в том, что, с точки зрения технологий, эта архитектура не привносит новых элементов. Она предлагает другое, пожалуй, даже более ценное — эффективный подход к выстраиванию управления данными внутри организации. В рамках этого подхода создается децентрализованная команда по управлению данными и определяются роли внутри нее: кто отвечает за финансовые данные, кто — за маркетинговые, кто — за данные других департаментов и предметных областей, кто отвечает за сбор данных, как эти данные должны аккумулироваться и пр. Кроме того, проводится кропотливая техническая работа по описанию всех доменов данных: какие именно данные нужны, откуда их можно получить и как их объединить в «золотой» домен. Наконец, придется задействовать и административный ресурс, чтобы определить, что и в каком объеме организация получает в результате внедрения архитектуры с точки зрения качества данных, их управляемости, доступности, какие области ответственности организация делегирует поставщикам данных.

Отдельного изучения заслуживает применение архитектуры Data Mesh в госсекторе — на уровне обмена данными между министерствами и ведомствами. Этот подход встраивается сюда совершенно естественно, поскольку, как правило, эти структуры не хотят отдавать свои данные, предоставлять возможность их копирования вовне. Чтобы повлиять на них, конечно, понадобится рабочая группа или межведомственная комиссия, имеющая полномочия требовать предоставления нужных данных нужного качества в том виде и формате, которые необходимы, и обладающая рычагами влияния на эти министерства и ведомства. Если удастся выстроить организационные аспекты Data Mesh, то эта архитектура будет очень эффективно работать в масштабах государства. Перед страной при этом открываются фантастические возможности в области анализа данных и прогнозирования на благо общества.

— Когда полезно применять архитектуру логических графов знаний (Logical Knowledge Graph)? Какое окружение — технологическое, процессное, организационное — требуется, чтобы эта архитектура работала эффективно?

На мой взгляд, эта архитектура, по сути, является очередным шагом эволюции управления основными данными (Master Data Management, MDM). Граф знаний — это «золотая» запись с базовой информацией о некоей сущности (клиенте, автомобиле, объекте недвижимости и пр.), соединенной с другими подобными записями посредством семантических связей. Такая взаимосвязанность открывает широкие возможности для проведения глубокого анализа и глубокой предиктивной аналитики. Это достаточно молодая, стремительно развивающаяся область. Тем не менее, уже есть интересные успешные примеры того, какие фантастические результаты можно получить, объединив данные из различных доменов с помощью семантических графов. Это несколько другой подход по сравнению с теми, что мы видели раньше, он основан на других идеях, видении и инструментарии. Реализовать его достаточно быстро и с относительно невысокими затратами можно, используя платформу виртуализации данных — она позволит очень гибко менять представление данных из различных источников и доменов.

— Каковы, на Ваш взгляд, дальнейшие перспективы развития архитектур больших данных?

Всё идет к тому, что скоро придется управлять данными, которые распределены и географически, и технологически, и с точки зрения владения ими. В ближайшие три-пять лет организациям предстоит научиться управлять данными, не собирая их в едином хранилище. Данные, скорее всего, будут находиться в разных средах, разных местах и у разных владельцев. Только если мы научимся управлять данными и объединять их (а физически сделать это становится уже практически невозможно), мы сможем решать задачи, которые встанут перед следующим поколением архитектур больших данных.

В ходе шестой ежегодной глобальной конференции DataFest 2021, организуемой компанией Denodo для своих пользователей, Мишель Гетц (Michele Goetz), вице-президент и главный аналитик компании Forrester, представила основные выводы исследования «Общее экономическое влияние логической фабрики данных с применением виртуализации данных» («Total Economic Impact of Logical Data Fabric with Data Virtualization»), а точнее, о том, как инвестиции в виртуализацию данных помогают улучшить общие показатели бизнеса.

Бизнес опирается на результаты аналитики

Как отметила Гетц, данные сегодня можно встретить повсюду, поэтому организации активно инвестируют в локальные и облачные источники данных, СУБД и хранилища данных для аналитики, а также в источники и платформы данных, связанные с приложениями. Очень важную роль в этом контексте играют партнеры, умеющие решать те или иные задачи, касающиеся работы с данными. Растет интерес к открытым данным и приобретению данных на коммерческих условиях у различных поставщиков, позволяя строить аналитику на более широком спектре данных.

Кроме того, растет уровень зрелости организаций в отношении использования данных. Под влиянием множества нынешних факторов все больше компаний рассматривают данные не просто как стратегический актив, внедряя управление данными, а идут дальше — выстраивают свою деятельность вокруг результатов аналитики, получаемых в реальном времени, чтобы получить максимум пользы из данных. Согласно оценкам Forrester, в 2020 году общий уровень зрелости таких компаний (Insight Driven Business Maturity) повысился на 7%, при этом уровень зрелости использования данных для аналитики (Insight Driven Business Data Maturity) вырос на 12%. И все большее число компаний переходят из категории «начинающих» в группу «продолжающих» применять результаты аналитики.

В качестве самых главных на сегодняшний день приоритетов в области работы с данными и аналитики Forrester отмечает интеграцию больших данных, использование общедоступных облачных сервисов данных, а также отслеживание клиентского и продуктового опыта. Что интересно, доля бюджетов на интеграцию данных в общих бюджетах на данные и аналитику выросла в 2020 году практически в два раза по сравнению с 2019 годом — с 8% до 15%. Эксперты Forrester объясняют это необходимостью собирать и обрабатывать данные из все большего числа источников.

В своих попытках обеспечить интеграцию данных организации сталкиваются с целым рядом проблем. Наиболее серьезные из них — долгие задержки с получением ответов на актуальные вопросы бизнеса; затрудненный доступ к данным; ресурсные ограничения в отношении аналитиков и специалистов по данным; существенные сложности с анализом данных из разрозненных источников; желание предоставить специалистам по данным большую гибкость и широкие возможности для анализа, а также стремление ускорить получение прибыли.

Экономический эффект виртуализации данных

Чтобы оценить экономическое влияние виртуализации данных на бизнес, аналитики Forrester изучили влияние технологий виртуализации за трехлетний период в четырех международных организациях — заказчиках компании Denodo, работающих в различных отраслях, среди которых производство, финансовый сектор, фармацевтика и сектор недвижимости. На основании полученных данных аналитики составили модель крупной международной компании с выручкой 5 млрд долл. и бюджетом на операционную деятельность в 1 млрд долл., имеющей 15 штатных специалистов по данным, которые ежегодно готовят 420 наборов данных для аналитики и отчетности. Эксперты Forrester оценили эффект от перехода такой организации с применявшихся прежде инструментов ETL на технологию виртуализации Denodo.

Мишель Гетц: «Данные сегодня можно встретить повсюду»

Согласно выводам аналитиков, показатель окупаемости инвестиций (ROI) в компаниях, подобных смоделированной, может достигать 408%, выгоды от использования технологий виртуализации — 6,8 млн долл., при этом срок окупаемости инвестиций в них вполне может составить менее шести месяцев. В качестве основных выгод от внедрения технологии Denodo аналитики Forrester отметили улучшение сроков предоставления наборов данных для анализа; повышение эффективности операционной деятельности за счет принятия более взвешенных решений, основанных на данных; увеличение производительности труда специалистов по данным; получение дополнительной прибыли и сокращение затрат, связанных с унаследованными системами.

В частности, переход с традиционных технологий ETL на виртуализацию данных позволяет сократить сроки получения наборов данных на 65%. Технология обеспечивает автоматическую интеграцию разрозненных источников данных и оптимизацию поисковых запросов. Трехлетний финансовый эффект от сокращения сроков предоставления данных за счет применения технологии виртуализации данных в крупной компании составит 1,7 млн долл.

За счет экономии затрат на средства интеграции данных можно получить эффект в 1,5 млн долл., из них 1,2 млн долл. обеспечит снижение затрат на ETL, а еще 300 тыс. долл. даст экономия за счет уменьшения использования унаследованных инструментов интеграции данных — по сути, плавного, постепенного отказа от них, благодаря чему конечным пользователям компании не придется переобучаться или менять привычные методы работы с данными. Дополнительный эффект в 698 тыс. долл. можно получить за счет повышения производительности труда специалистов по данным, поскольку переход на решения Denodo позволяют снизить трудозатраты на подготовку данных на 67%.

Еще 1,7 млн долл. можно получить за счет повышения эффективности операционной деятельности организации благодаря улучшению принятия решений, основанных на данных: технология обеспечивает предоставление новых сложных наборов данных для последующей аналитики, извлекая их в реальном времени из множества источников.

Эффект в 1,2 млн долл. может быть достигнут в результате увеличения прибыли вследствие сокращения на 83% сроков получения выгод от практической реализации идей (time-to-value): открывающиеся благодаря технологиям виртуализации данных Denodo возможности предоставления бизнесу новых наборов данных и принятия решений на их основе помогают существенно уменьшить сроки реализации бизнес-проектов, нацеленных на получение прибыли.

Среди дополнительных выгод от внедрения технологий виртуализации данных Denodo аналитики Forrester отметили повышение организационной гибкости, подъем уровня удовлетворенности клиентов и сотрудников, а также упрощение проведения различного рода аудитов.

В заключение Гетц привела три главных рекомендации экспертов Forrester, которые помогут ускорить реализацию стратегию в области данных с помощью технологии их виртуализации:

• Нужно привести бизнес и данные в соответствие друг другу путем повышения уровня зрелости бизнеса, опирающегося на результаты аналитики.
• Следует сформировать структуру метрик, привязанную к целям управления данными, которая будет отслеживаться в рамках процессов DataOps и контролироваться ИТ-руководителем.
• Также надо определить выгоды, которые получит бизнес: достижение целевых показателей бизнес-результатов, согласование бизнеса с возможностями обработки и анализа данных, а также четкое отслеживание динамики бизнес-результатов.

Сегодня цифровая трансформация находится в центре внимания многих компаний, где стремятся выполнить проекты цифровизации, одновременно снижая ИТ-затраты. Этому способствует виртуализация данных, обеспечивающая гибкий подход к интеграции данных в реальном времени без их физической репликации. Виртуализация, создавая слой абстракции, отделяющий источники данных от потребителей, оставляет данные в исходных системах; защищает аналитиков и бизнес-пользователей от изменений в базовых системах; позволяет ИТ-специалистам модернизировать базовые системы, не прерывая бизнес-операции. Представители компании Denodo Technologies рассказали о некоторых возможностях технологии виртуализации данных и перспективах ее применения в России.

Алексей Сидоров, главный евангелист и директор по управлению данными Denodo:

Алексей Сидоров: «Данные должны стать продуктом, который ИТ-организация предоставляет другим подразделениям, качественным и своевременным продуктом, необходимым бизнесу для цифровой трансформации»

Интеграция данных из разрозненных источников является традиционной задачей для управления данными. В последнее десятилетие наблюдаются серьезные изменения как в задачах, которые решаются при помощи такой интеграции, так и в самих источниках, в которых хранится необходимая информация.

Мы видим, что все больше данных необходимо для различных задач в рамках таких приложений цифровой трансформации, как машинное обучение, искусственный интеллект, предсказательная аналитика, магазины данных и ряд других.

Кроме того, появляется целый класс систем хранения данных, которые более не опираются на реляционные принципы. Обобщенно их принято называть NoSQL (not only SQL) — базы данных не только SQL. За этим термином скрывается множество различных подходов и методологий, в том числе базы данных «ключ-значение» (Key-Value store), документоориентированные, объектные и графовые базы данных.

Наряду с этим огромное количество данных, необходимых для принятия бизнес-решений, приходит в потоковом виде в режиме, близком к реальному времени.

Все это заставляет по-новому взглянуть на задачу интеграции данных. Мы больше не можем полагаться на идею физической консолидации всех данных в едином монолитном репозитории, хранилище или озере данных. Нужен кардинально иной подход, позволяющий бизнесу практически моментально получать необходимую информацию из всей этой лавины данных. Бизнесу неважно, откуда берутся данные для отчетов и информационных панелей. Главное, чтобы информация была надежной и оперативной.

Традиционные инструменты интеграции не справляются с этой задачей, поскольку предоставляют данные в пакетном режиме по расписанию и не поддерживают современные сложные типы и форматы данных.

Виртуализация данных — это передовой метод интеграции данных, который предоставляет всем приложениям общий источник данных, исключает возможность появления противоречивых результатов, отвечает современным требованиям и формирует основу для решений будущего.

— Где виртуализация данных наиболее эффективна?

Виртуализация данных позволяет эффективно решать большинство задач, возникающих в области управления данными, — от интеграции данных и построения логических хранилищ до таких сложных проектов, как управление мастер-данными в реальном времени.

Многие организации используют нашу платформу как основу для реализации централизованной ролевой модели доступа к данным с применением динамического маскирования.

Задачи построения платформ сервисов данных или магазинов данных так же быстро и эффективно решаются при использовании концепции виртуализации.

— В каких случаях очевидны преимущества виртуализации данных перед традиционными ETL-решениями? Используются ли сочетания этих технологий с учетом уже сложившейся технологической предыстории?

Инструменты ETL возникли как часть концепции хранилищ данных в конце прошлого века. Уже в тот момент было понятно, что подход физического перемещения данных в единый реляционный репозиторий имеет свои преимущества и недостатки. Копируя данные в централизованное монолитное хранилище, мы решали задачу абстрагирования источников данных от их потребителей и разгружали операционные приложения, ограничивая чтение данных только в строго определенные временные интервалы, зачастую по ночам. При этом мы сознательно отказывались от анализа данных в реальном времени и шли на то, чтобы данные копировались несколько раз внутри хранилища.

В тех же случаях, когда необходимо интегрировать данные для принятия решений в реальном времени, подход виртуализации данных становится единственно возможным. Однако это не означает, что в новых ландшафтах нет места для инструментов ETL, ELT и репликации данных.

Зачастую наши заказчики предпочитают модернизировать существующее традиционное хранилище путем замены слоя физических витрин данных на виртуальные. Данный подход позволяет сочетать преимущества ETL и виртуализации, кардинально ускоряя процесс создания новых отчетов для бизнеса.

— Насколько важна виртуализация данных в облачных средах, а также при использовании территориально, административно и технологически разделенных источников информации?

В последнее время мы все чаще сталкиваемся с географически распределенными ландшафтами данных. Гибридные среды, где большинство источников данных остается в организациях, а какая-то их часть перемещается в облако, сменяются более сложными многооблачными архитектурами, в которых задействовано несколько облачных провайдеров.

Применение виртуализации данных в этих архитектурах является, вероятно, единственным решением, которое способно обеспечить своевременную интеграцию.

В нашем портфеле имеются интересные примеры построения целых виртуальных паутин, связывающих наборы данных, географически распределенные по всему миру, в единое унифицированное представление.

— Существует мнение о необходимости революционных сдвигов в сознании ИТ-персонала, работающего с данными, для их виртуализации. Каковы требования к компетенциям таких специалистов в составе команд цифровой трансформации?

Думаю, что тема революционных сдвигов несколько преувеличена. Тем не менее людям, которые, скажем, четверть века работали с реляционными СУБД, бывает сложно осознать, для чего вообще нужны среды хранения данных, в которых используются другие принципы. Не сразу происходит и принятие концепции виртуализации данных, если человек всю жизнь создавал ETL-процессы для наполнения хранилища.

Революционный сдвиг необходим в отношении к данным и управлении ими. Мы должны перестать думать о данных в терминах серверов, хранилищ, петабайтов и т. п.

Данные должны стать продуктом, который ИТ-организация предоставляет другим подразделениям, качественным и своевременным продуктом, необходимым бизнесу для цифровой трансформации.

— Что дает конечным пользователям работа с виртуализированными данными?

Бизнес-пользователи получают в одном месте всю необходимую информацию в виде сервиса или продукта. Для них значительно ускоряются организационные и технологические процессы поиска и предоставления данных, отпадает необходимость в их подготовке и очистке. Заметно сокращается время создания новых отчетов и аналитических представлений.

В одной из крупнейших биотехнологических компаний, к примеру, с помощью виртуализации данных ежедневно интегрируют сведения о продажах, поступающие от почти сотни дистрибьюторов из разных государств. Теперь отчеты о продажах формируются за пару десятков минут, а не за несколько часов, как раньше, когда они создавались вручную. Кроме того, данные стали более точными и содержат меньше ошибок, устранение которых на последующих этапах обработки обходится весьма недешево.

— Может ли виртуализация данных снижать затраты при выполнении проектов цифровой трансформации?

Безусловно. Так, в одной из ведущих финансовых компаний на основе виртуализации данных создан отдельный уровень сервисов данных для всех внутренних команд разработчиков. Экономия достигнута за счет сокращения трудозатрат на тысячи часов. Программным инженерам уже не нужно тратить время на поиск данных и получение доступа к ним: специальные сервисы предоставляют разработчикам необходимые данные. В результате годовая экономия оценивается в несколько сотен тысяч долларов.

Виртуализация данных позволяет сформировать уровень абстракции, который скрывает от пользователей форматы данных, их местонахождение, протоколы доступа и особенности хранения. Такой подход значительно упрощает внедрение новых технологий. Платформа Denodo обеспечивает доступ к первичным данным в режиме реального времени, без копирования и репликации. За счет этого интеграция и предоставление данных происходят почти в два раза быстрее, чем при использовании других решений, и требуют меньших трудозатрат.

Александр Прохоров, директор по продажам Denodo в России:

Александр Прохоров: «Развитие канала и сертификация партнеров — важнейшие первоочередные задачи Denodo в России»

Коммерческая эффективность внедрения виртуализации данных и сроки окупаемости зависят от используемых решений и конкретных проектов. Для оценки таких параметров применяются различные методики. Один из возможных вариантов — сравнение затрат на создание единого хранилища, куда должны перемещаться данные из разрозненных источников, со стоимостью внедрения решения виртуализации. Можно оценить экономию при оптимизации уже имеющихся аппаратных хранилищ, когда часть их данных может быть перемещена в более дешевые хранилища. Можно также оценить увеличение скорости создания витрин данных на основе платформы виртуализации по сравнению с традиционными методами. В каждом проекте подход индивидуален.

— Насколько российские организации готовы к внедрению виртуализации данных?

В результате общения с российскими заказчиками, обсуждения с ними текущих проблем мы видим, что многие понимают преимущества и выгоды виртуализации данных и готовы развернуть пилотные проекты, чтобы убедиться в работоспособности решения. Однако разные заказчики находятся на различных этапах построения информационных систем, включая хранилища данных. Если одни уже вплотную столкнулись с проблемой объединения данных из разных хранилищ и источников, то другие только подходят к таким проблемам или имеют лишь одно хранилище.

— Что и для каких отраслей вы намерены продвигать в первую очередь в нашей стране?

В первую очередь мы намерены продвигать нашу платформу виртуализации данных Denodo Platform. Она уже используется заказчиками из различных отраслей в разных странах мира. В России финансовый сектор традиционно выступает лидером применения новейших решений. Слияния и поглощения в этой области открывают возможности для внедрения виртуализации данных, маскирования данных и для других решений. Не менее перспективными для виртуализации данных являются информационные системы телекоммуникационных операторов. Интеграция нашей платформы с решениями SAP, которые широко используются в нефтегазовой отрасли, формирует фундамент для работы с отечественными компаниями этой отрасли.

Мы традиционно делаем ставку на своих партнеров, через которых идут все продажи и осуществляется первая линия поддержки заказчиков. Развитие канала и сертификация партнеров — важнейшие первоочередные задачи Denodo в России.

В ходе форума «Управление данными — 2020», организованном издательством «Открытые системы», большой интерес вызвало выступление Алексея Сидорова, главного евангелиста и директора по управлению данными Denodo. Рассказывая о технологии виртуализации данных, он, в частности, сравнил ее действие с функционированием человеческого мозга и заявил о необходимости революционных изменений в сознании заказчиков. Мы поговорили с ним о тенденциях, наблюдающихся на рынке, и причинах того, что виртуализация данных становится актуальной только сейчас.

— Вы сравниваете виртуализацию данных с работой человеческого мозга. Как это можно объяснить руководителю компании, принимающему решение о покупке платформы?

Когда мы разговариваем с руководителями компаний и другими лицами, принимающими решения, то говорим в первую очередь о бизнес-преимуществах, которые можно получить при использовании технологии виртуализации данных. В нашем случае уместно провести другую аналогию. Если мы вспомним, как смотрели фильмы 20 лет назад, то у многих в памяти всплывет шкаф, в котором стояли видеокассеты, а потом и CD. Чтобы насладиться фильмом, надо было встать с дивана, выбрать кассету, вставить ее в плейер... А сейчас нам доступны стриминговые сервисы (Netflix, ivi и т. п.): мы можем двумя кликами выбрать фильм и смотреть его в любой точке планеты. Виртуализация данных предоставляет схожие преимущества при работе с большими массивами информации. Больше не нужно хранить ее в едином репозитории, так же как не нужно идти в специализированный магазин, чтобы приобрести новый фильм. Все данные доступны в одном окне, в едином формате и для всех потребителей в организации.

Однако в функционировании нашей платформы действительно можно увидеть много схожего с тем, как работает человеческий мозг. В реальном времени человек получает огромный объем информации, поступающей через различные каналы восприятия. Эту информацию он совмещает и сопоставляет с уже имеющимися статическими данными, хранящимися в долговременной памяти, и на основе этого принимает решения. Примерно так же действует и наша платформа: мы подключаемся к данным в реальном времени, собираем их из различных источников, объединяем с уже имеющейся информацией, хранящейся в озерах данных. На основе собранных сведений бизнес может принимать быстрые и обоснованные решения в нынешнем сложном мире.

— О виртуализации данных было известно 10–15 лет назад, но, по вашим словам, ее долго не могли реализовать так, чтобы она полностью отвечала требованиям заказчиков. Лишь сейчас она приобрела законченный вид. А каковы эти требования? И как они изменяются во времени?

Действительно, 10–15 лет назад многие компании предпринимали попытки создать инструмент, который бы помог реализовать идею виртуализации данных. Сама по себе идея не нова. Однако эти попытки предпринимались «в лоб». Для того чтобы виртуализация действительно работала, требуются довольно сложные механизмы. Вариант, в котором ее пытались выполнить раньше, предполагал чтение больших массивов данных и их обработку в оперативной памяти сервера. Это не работало: объемы данных экспоненциально росли, а значит, росла и скорость, с которой их требовалось обрабатывать.

Мы предлагаем совсем другой подход к построению архитектуры виртуализации данных. У нас «под капотом» находится очень мощный оптимизатор запросов, который за несколько шагов пытается улучшить производительность и обеспечить обработку данных настолько эффективную, насколько это возможно. Сначала проводится статическая оптимизация запроса с точки зрения языка SQL. Следующий шаг — динамическая оптимизация: все вычисления, которые могут быть проведены в системах-источниках, выполняются там. Мы используем умное кэширование, можем забирать инкрементальные изменения данных, которые поступают из инструментов для захвата изменения данных (Change Data Capture, CDC). Кроме того, оптимизатор запросов рассматривает варианты физического перемещения информации из одного источника в другой, чтобы операции по ее объединению и пересечению выполнялись как можно быстрее. Только применив все эти методы оптимизации выполнения запросов, мы смогли на практике реализовать концепцию виртуализации данных.

— Кто является вашими конкурентами? Между какими альтернативами приходится выбирать компаниям?

Я обычно ссылаюсь на авторитетные аналитические агентства, такие как Gartner и Forrester. Они изучают рынок и продукты компаний, представляющих те или иные решения в области интеграции данных, сравнивают их по множеству параметров. Изучив последние квадранты Gartner по продуктам в области управления данными, мы увидим, что Denodo находится в лидерах — среди таких игроков, как Informatica, IBM, SAP, Oracle. Все эти компании представлены на рынке достаточно давно, однако они исповедуют другой подход к интеграции данных, ориентируясь на их физическое перемещение, будь то ETL-процессы или механизмы репликации данных. Мы же, придя на рынок интеграции данных с подходом виртуальной обработки информации, предоставляем возможность управлять данными по-другому, с помощью более современных подходов. То есть мы конкурируем не столько с компаниями, сколько с другими архитектурными подходами.

На протяжении последних 20 лет заказчикам объясняли, что невозможно управлять данными без их объединения в едином физическом репозитории. Данные перемещали из разрозненных источников в единое хранилище, или озеро данных. Однако данные по своей природе обладают центробежным свойством, и чем больше их накапливается, тем больше они стремятся «разлететься» по различным географически и технологически распределенным источникам. Идею собрать всю информацию в одном месте не получалось реализовать никогда. Компании пытаются строить хранилища данных, куда собиралась бы вся информация о деятельности компании, однако всегда оставались данные, которые не были интегрированы в этот процесс. При реализации концепции озера данных было точно такое же желание, но и этой мечте не суждено сбыться. Сейчас мы видим, что большие поставщики облачных сред предлагают переместить все данные в облако, чтобы упростить управление ими. Этот подход на практике также оказывается невозможным.

В наши дни архитектура данных, оказывающаяся в распоряжении любой крупной или средней компании, включает в себя и традиционные хранилища данных, и озеро данных, а какая-то их часть находится в облаке. Мы возвращаемся к тому моменту, когда наши данные разрозненны и нет никакого уровня абстракции, позволяющего их эффективно обрабатывать.

Поэтому подход виртуализации данных и набирает все большую популярность. Его использование поможет решить задачу объединения данных из территориально, технологически и бюрократически разделенных источников на едином абстрактном уровне без необходимости перемещать информацию в одно место физически.

— Вы говорили о необходимости революционных сдвигов в сознании заказчиков для успеха вашей платформы. В чем именно они должны заключаться?

В развитии средств управления данными мы, скорее, за эволюционный подход. Идея виртуализации данных и ее архитектурная реализация представляют собой логичный следующий шаг в эволюции подходов к управлению данными. А вот революционные сдвиги нужны в сознании людей, отвечающих за архитектуру платформы и сбор данных. Если на протяжении последних 25 лет специалисты строили хранилища данных, которые до сих пор работают и выполняют свои задачи, то они скептически относятся к новым идеям. И такое отношение совершенно нормальное: если что-то работает, то не нужно это трогать.

Однако если смотреть шире на задачи, которые бизнес ставит перед ИТ, то можно увидеть, что многие из них нельзя решить с помощью традиционных подходов. Надо понимать, что архитектуры Virtual Data Fabric и Data Mesh появились не на пустом месте, а при решении сложных задач. Для физического объединения данных необходимо их собрать и переместить, эти процессы сложны и занимают много времени и ресурсов. Зачастую просто невозможно перемещать необходимые объемы данных с требуемой скоростью.

— «Серебряной пули» не существует. В каком случае подобный подход лучше, а в каком — правильнее ориентироваться на традиционные решения?

Действительно, мы не позиционируем платформу как волшебное средство, способное решить все проблемы, возникающие при управлении данными. Если задачи компании состоят в том, чтобы собрать простую консолидированную отчетность из однородных систем, если нет большого количества разнообразных источников данных и не требуется аналитика в реальном времени, то, возможно, правильнее использовать более простые и проверенные технологии.

— Какие ключевые изменения произошли в вашей платформе за последние два-три года?

Мы постоянно улучшаем функционал платформы и добавляем новый. Например, в ее последней версии особый акцент сделан на использовании искусственного интеллекта для управления данными. Он применяется для улучшения всей цепочки обработки данных, начиная с оптимизации запросов и заканчивая рекомендациями по использованию наборов данных, выдаваемыми конечным пользователям на основе их потребностей и истории работы в системе.

— Кто является типичным заказчиком Denodo? Каков их «клиентский путь», какие задачи они решают?

Сейчас у нас более 900 заказчиков, которые представляют различные вертикали бизнеса. Их клиентский путь, конечно же, подразумевает использование традиционных технологий: ETL, репликации, применение шин данных. Многие приходят к пониманию того, что задачи, которые встают в 20-е годы XXI века, не могут решаться с помощью технологий и методологий прошлого века. Именно из-за того, что традиционные подходы к управлению данными имеют достаточно много ограничений (например, невозможность анализировать данные в реальном времени), компании и движутся к использованию платформ виртуализации данных и построению архитектуры Virtual Data Fabric.

— Какую бизнес-ценность получают клиенты? В чем она выражается?

Разумеется, никто не будет тратить деньги только ради того, чтобы внедрить технологию, даже самую современную. Она должна приносить эффект: либо экономить деньги, либо помогать их зарабатывать. Применение виртуализации данных для решения различных задач позволяет существенно сократить сроки внедрения и добиться других преимуществ — быстрого принятия решений и возможности реагировать на события в режиме реального времени. Это актуально как в обычных проектах по разработке отчетности, так и в проектах демократизации данных, внедрения продвинутой аналитики и искусственного интеллекта.

Можно привести пример использования платформы виртуализации данных для создания единого представления о клиенте для операторов контакт-центров. В момент звонка буквально за 3–4 секунды на экране оператора появляется вся информация о звонящем клиенте, которая находится в различных системах. Она собирается в реальном времени, что позволяет оператору видеть самые свежие сведения и дает возможность максимально сократить время на обработку запроса.

— Каковы общие направления развития платформы Denodo?

Эти направления включают использование всех современных тенденций в сфере управления данными. Мы можем говорить о дальнейшем улучшении оптимизации запросов, развитии каталога данных, бесшовной интеграции инструментов data science с нашей платформой. Я уже говорил, что для улучшения всех процессов, происходящих внутри нашей платформы, все больше используется искусственный интеллект. Это касается и сбора данных, и их очистки на лету, и умного профилирования, и поиска конфиденциальной информации — мы будем развивать все эти направления. Надеюсь, следующая, девятая версия платформы станет революционной на рынке управления данными.

На форуме «BIG DATA 2020 ОНЛАЙН», который издательство «Открытые системы» провело в начале июня, состоялась российская премьера компании Denodo – разработчика одноименной платформы виртуализации данных. Компания появляется на российском рынке в непростое время, но настроена вполне оптимистично. О том, зачем предриятиям еще одна виртуализация, что умеет платформа Denodo и почему ее внедрение потребует изменения менталитета ИТ-специалистов, рассказывает Алексей Сидоров, главный евангелист и директор по управлению данными Denodo.

— Denodo — новое имя на российском рынке. Расскажите о компании.

Компания была создана около 25 лет назад как университетский стартап в городе Ла Корунья (Испания). Группа ученых под руководством профессора Анхеля Виньи, работавшая в области интеграции данных, вдохновилась идеей виртуализации (интеграция данных без их физического перемещения) и достаточно быстро довела эту технологию до промышленного уровня. Первое серьезное финансирование Denodo получила от испанского инвестиционного фонда, благодаря чему смогла выйти на европейский рынок. За короткое время у компании появились десятки крупных европейских заказчиков. Параллельно с активной коммерческой деятельностью шло развитие технологии.

Успех в Европе привлек к компании внимание крупных инвесторов из Кремниевой долины. Были сделаны большие вложения, штаб-квартира Denodo переместилась в Пало-Альто. После выхода на американский рынок около 10 лет назад у Denodo появились такие заказчики, как Intel, крупные американские банки и промышленные предприятия. На протяжении последних лет ежегодный рост компании был значительным — на 50% по персоналу, прибыли и числу заказчиков.

В прошлом году Denodo пришла в Азиатско-Тихоокеанский регион. В этом году было принято решение расширять присутствие компании на Ближний Восток, Восточную Европу, Россию и СНГ. Меня пригласили в компанию для реализации этих планов, потому что у меня есть опыт работы на всех этих рынках.

Ядро Denodo по-прежнему составляет команда ученых, которая ее основала, благодаря чему здесь сохраняются академический дух и нацеленность на глубокое технологическое развитие. На R&D тратятся огромные средства. Работа в таком коллективе очень вдохновляет.

— Технология виртуализации данных существует уже больше 20 лет, но есть ощущение, что она пока не стала мейнстримом в области интеграции данных. Как вы думаете, почему?

По оценкам Gartner, виртуализация данных относится к числу информационных технологий c наиболее высоким уровнем зрелости. Но 10–15 лет назад мы технологически не могли реализовать ее так, чтобы она полностью отвечала требованиям заказчиков. По существу, Denodo первой смогла воплотить перспективную идею на практике.

— Что же мешало: не хватало глубокой технологической проработки идеи, не было нужной программной или аппаратной инфраструктуры для ее реализации?

Во-первых, «железо» было слишком медленным, чтобы эффективно поддерживать технологию. Во-вторых, не хватало профессионального видения, чтобы правильно реализовать виртуализацию. Тем, наверное, и обусловлен успех Denodo, что удалось совместить научный подход к разработке идеи и инфраструктурные возможности для ее поддержки.

— Основная задача, которую решает виртуализация данных, — это интеграция данных?

Мы предлагаем смотреть на данные не с точки зрения ИТ (как мы их интегрируем, трансформируем), а с точки зрения бизнеса. А бизнесу нужны данные для решения его задач, и ему совершенно неважно, с помощью каких инструментов это достигается.

С этой точки зрения виртуализация данных приближена к требованиям бизнеса. Виртуализация данных — технология, которая позволяет получить доступ к разнородным источникам данных в реальном времени и использовать эти данные в различных проектах без их физического перемещения в какой бы то ни было репозиторий.

Если мне необходимо создать новый отчет по продажам либо подготовить прогнозы продаж на следующий квартал, используя алгоритмы машинного обучения, или если я занимаюсь проектами по монетизации данных, то с помощью виртуализации мне удастся получить все нужные данные сразу и в том виде, который удобен для обработки, без их перемещения в промежуточное хранилище.

При этом все детали процесса предоставления данных скрыты от пользователей — они получают в свое распоряжение «магазин данных», в котором можно в реальном времени найти все необходимые им сведения.

— Развернув платформу виртуализации, например Denodo, компания получает логический уровень, который будет поддерживать любые проекты с данными? Или платформа будет работать лишь для определенного круга задач и окажется неприменимой для решения других? Насколько универсальным является этот подход?

Это абсолютно универсальный подход именно потому, что мы смотрим на задачу предоставления данных с точки зрения бизнеса. Конечно, неизбежно возникают технические вопросы: как предоставить данные в том виде, в каком их хочет видеть пользователь, и на необходимой ему скорости. Но все эти вопросы решаемы, и в большинстве случаев для этого достаточно заложенных в платформу механизмов. Решение всегда находится под «капотом» платформы, никак не затрагивая бизнес. Пользователи могут обратиться за любыми данными, и они будут им предоставлены.

— Насколько сложным будет переход к виртуализации для компании с большим числом разнородных источников и унаследованным инструментарием интеграции данных?

Для потребителей данных все упрощается сразу же и в разы: гораздо проще искать и получать данные, повышается их качество и согласованность. Для ИТ-организации внедрение виртуализации — это одна новая технология, которая очень проста в изучении. Любой специалист, который раньше работал с инструментами интеграции данных, моделирования данных, с базами данных, осваивает эту технологию за одну-две недели.

При этом мы не следуем стратегии «кукушки» — никого из гнезда не собираемся выталкивать. Если компания 20 лет работает с традиционным хранилищем, значит, на то есть веские причины. Если есть озеро данных, значит, оно им нужно, мы будем его использовать как один из источников данных.

— Но, тем не менее, в своем выступлении на форуме BIG DATA 2020 вы заметили, что внедрение виртуализации данных — это определенный ментальный сдвиг. У кого он должен произойти: у ИТ-специалистов, директоров по данным, бизнес-пользователей?

По нашему опыту, прежде всего у ИТ-специалистов. Когда мы рассказываем о виртуализации бизнесу, он воспринимает ее возможности с большим энтузиазмом. Но если мы говорим с ИТ-специалистами, то в первую очередь с нами начинают обсуждать, где эта технология потенциально не работает. Для меня это означает, что люди просто боятся нового, опасаются того, что все, чем они раньше жили и зарабатывали, может стать неактуальным. CIO и CDO тоже, как правило, быстро принимают идею виртуализации. Но для тех специалистов, которые непосредственно отвечают за предоставление данных для бизнеса, происходит смена парадигмы. Раньше они строили витрины данных, выполняли процессы ETL, занимались перемещением данных — теперь будет совсем другой подход.

Одна из моих задач как главного евангелиста компании — участвовать во встречах с заказчиками и доносить суть подхода виртуализации данных, чтобы этот ментальный сдвиг действительно происходил.

— Denodo — это решение on-premise, облачная платформа, гибридный вариант?

Изначально это, конечно, была платформа on-premise. С развитием облачных технологий мы стали следовать этой тенденции, и сейчас Denodo сертифицирована для основных облачных платформ: Amazon, Microsoft Azure, Google Cloud.

Так как Denodo является уровнем абстракции для всех данных, которые есть в организации, архитектура внедрения платформы будет зависеть от количества и архитектуры источников данных. Если организация продвинутая, все ее данные находятся в облаке (как правило, не в одном), то Denodo будет находиться в облаке и предоставлять уровень абстракции для всех облачных источников данных заказчика. Если решение гибридное: большинство данных находится в облаке, но часть остается on-premise, — платформа Denodo может находиться как в облаке, так и внутри организации.

Если организация консервативная либо по регуляторным причинам не может хранить данные в облаках (это характерно не только для России, но и для стран Ближнего Востока), то это будет полностью решение on-premise.

— Как Denodo будет продвигаться в России?

Наша стратегия — работать через партнеров, с которыми уже заключаются соглашения. В Москве будет открыт офис, сейчас подписываем контракт с его директором и ищем технического специалиста. Я буду половину своего времени уделять российскому рынку.

Модель продаж Denodo такова, что мы сосредоточиваем свои усилия на продвижении технологии, а не на ее внедрении. Мы должны убедить заказчика в том, что технология виртуализации данных поможет ему решить определенные задачи, сэкономит деньги и время и предоставит конкурентные преимущества. После этого подключаются наши партнеры, которые уже занимаются внедрением платформы.

— Какое обучение предлагает Denodo партнерам и заказчикам?

Я работал во многих организациях и был приятно удивлен уровнем и качеством тех учебных материалов и документации по продукту, которые есть у Denodo. Все партнеры получают бесплатные тренинги по различным аспектам работы с платформой Denodo — по разработке, администрированию, архитектуре. Мы проводим однодневные бесплатные тренинги для заказчиков. Существует сильное сообщество Denodo, где можно обсуждать разные вопросы.

— На форуме вы отмечали, что компания планирует работу с госструктурами РФ. Это потребует определенной сертификации — вы готовы к этому?

Да, мы прекрасно знаем, что необходимо сертифицироваться в соответствии с местным законодательством. Как только будет сформирован московский офис, начнем работу в этом направлении.

— Технология универсального доступа к данным может быть полезна в реализации Национальной системы управления данными, которая сейчас создается в России. Рассматриваете ли вы возможность такого сотрудничества?

Да, стратегически эта задача для нас очень интересна. Но для того, чтобы эта стратегия реализовалась, нужно вначале сделать обязательные тактические шаги.

— Можно ли привести показательные примеры из практики, когда именно виртуализация данных позволила решить важную бизнес-задачу вашего клиента?

Один из таких проектов недавно завершен в крупнейшей логистической компании. Платформа Denodo поставляет данные для аналитических задач по управлению потоками грузов и расстановке контейнеров на складах (складов — огромное количество). Виртуализация данных оказалась единственно возможным решением для сбора данных в те сроки, которые бизнес ставил для ИТ-организации.

Ряд телеком-компаний строят на платформе Denodo решения по управлению мастер-данными в реальном времени, так называемые референциальные MDM, которые сейчас очень популярны. Из всех приложений и баз данных собираются данные для контакт-центра, и оператор получает всю информацию о клиенте в тот момент, кода принимает его звонок. Это позволяет сократить время обслуживания в 3–4 раза.

Кроме того, много проектов по интеграции данных из Интернета вещей в реальном времени — в медицине, в производственных компаниях, в обслуживании сложной техники.

Очень интересный проект по демократизации данных идет в Саудовской Аравии. Казалось бы, демократизация — не то слово, которым можно охарактеризовать происходящее в этом регионе. Однако крупнейшая госорганизация решила предоставлять другим министерствам и частным лицам данные о денежных потоках. На платформе Denodo строится магазин данных: любой человек сможет зайти на сайт и скачать нужные данные, естественно, при соблюдении всех необходимых требований к защищенности данных.

— У ваших потенциальных заказчиков в России сегодня ситуация сложная: неопределенность, экономический кризис, почти наверняка сокращение ИТ-бюджетов. Какие аргументы можно привести для обоснования вложений в платформу виртуализации данных?

На протяжении последних 25 лет кризисы происходят постоянно. В любое время заказчик не расходует деньги просто для того, чтобы их потратить. Внедрение виртуализации данных — то вложение, которое даст отдачу. Если вы сегодня инвестируете некоторую сумму в технологии Denodo, то через год она окупится, через два у вас сократятся расходы, а если вы занимаетесь монетизацией данных, то получите прибыль. Если показать это, любой адекватный бизнесмен вложится в такую технологию.

— И благодаря чему достигается такой результат?

Прямая выгода — это радикальное сокращение времени на внедрение задач, связанных с доступом к данным, от традиционных отчетов до сложной аналитики, машинного обучения, магазинов данных, монетизации данных. Проекты ускоряются, и снижается стоимость внедрения. Как показывает опыт наших заказчиков, внедрение любой из этих инициатив при использовании технологии виртуализации данных может стать дешевле в 10 раз.

Непрямая выгода состоит в том, что компания начинает полноценно использовать все свои данные — не тратится время на их поиск, повышается их качество. Это дает компании конкурентное преимущество.