В работе форума «Управление данными — 2021», проведенного в сентябре издательством «Открытые системы», приняла участие компания Ataccama, разработчик ПО и комплексных решений управления корпоративными данными, которые формируют фундамент принятия эффективных управленческих решений. В компании предлагают унифицированную платформу Ataccama ONE для автоматизированного контроля качества данных, управления мастер-данными и руководства данными (Data Governance).
Компания, созданная в Чехии в 2007 году, в настоящее время имеет представительства в ряде стран, включая Канаду, США, Великобританию, Германию, Россию. Алексей Ильин, генеральный директор российского офиса Ataccama, рассказал о стратегии и технологиях компании, о ее работе в нашей стране.
- Каковы предпосылки появления компании Ataccama?
Ataccama начинала как вендор, специализирующийся на решении задачи качества данных, первоначально — клиентских данных. Наша головная компания Adastra предоставляет консалтинговые услуги и внедряет ИТ-решения на рынке Центральной Европы — в Чехии, Словакии, Германии. Здесь всех вполне устраивали традиционные системы и решения для бизнес-аналитики, включая BI, хранилища данных и другие. Но когда дело доходило до качества данных, было очень трудно использовать продукты ведущих международных производителей, которые первоначально разрабатывались для англоязычных данных. В Чехии и Словакии ничего не получалось, не хватало гибкости для их внедрения. Начались собственные разработки, и в 2007-м появилась Ataccama.
- Ataccama — небольшая по меркам глобального ИТ-рынка компания, которая, по мнению аналитиков, добилась значительных успехов в сегментах Data Quality, Master Data Management, Data Governance и конкурирует здесь с IBM, Informatica, Oracle, SAS. Как вам удалось достичь таких результатов?
Прежде всего — за счет технологий. «Монстры» вышли на рынок управления данных лет шесть-семь назад, в основном купив компании-стартапы. Чтобы соперничать с организациями с огромными маркетинговыми бюджетами и очень сильными продавцами, надо быть на голову выше технологически.
- В чем же основные отличия ваших подходов?
В первую очередь — в гибкости, в возможности адаптировать наши решения к самым различным ИТ-ландшафтам. Затем — в ориентации на горизонтальную масштабируемость и использование продуктов Ataccama в любых гибридных средах. Очень хороший пример — проект в «Яндекс.Маркете», представленный на этом форуме. Там мы смогли развернуться в облачной среде, которая существенно отличается от популярных облаков Amazon и Microsoft, сделали это с минимальными доработками на своей стороне, предоставили разработчикам «Яндекса» консультанта, поделились с ними «кусочками» исходных кодов. В основном они сами занимались адаптацией решения и интеграцией.
Крупные вендоры продают лицензии, проводят определенное обучение, а дальше — или сами, или с системным интегратором. Мы же вместе с лицензией всегда стараемся предоставить «играющего тренера». Это наиболее удобная для заказчиков модель, которая помогает повысить компетенции их специалистов, работающих в совместной команде. Систему управления качеством данных невозможно внедрять только силами «со стороны», ее нужно непрерывно поддерживать и развивать, привлекая собственных сотрудников. Ataccama всегда формирует такую команду и сначала развертывает небольшой тестовый проект. У нас много специалистов из различных отраслей с опытом успешных внедрений.
- Когда в компании перешли к облакам и насколько востребованы облачные версии платформы Ataccama ONE?
Я бы отметил два этапа облачного развития продуктов Ataccama. Сначала появилась их модификации для развертывания в публичных облаках Amazon и Microsoft. Тогда выполнялись проекты для тех заказчиков, которые использовали такие публичные облака. По сути дела, не было большой разницы между облачными решениями и инсталляциями on-premise на площадках заказчиков.
На втором этапе стали модернизировать «движок», чтобы адаптировать его к облачным платформам. Использовали контейнеры и такие инструменты, как Kubernetes, для управления контейнерными рабочими нагрузками и сервисами.
Текущая версия Ataccama ONE позволяет одинаково эффективно использовать платформу как в облаке, так и on-premise. В настоящее время на Западе в основном идут облачные продажи, там этого требует рынок, здесь — по-прежнему on-premise. Переход к облакам — вопрос времени и готовности рынка воспринимать облачные технологии.
В Москве есть центр компетенции компании, который работает над европейскими проектами. Здесь облачные реализации начались в 2017–2018 годах, в первую очередь для управления мастер-данными.
- Что наиболее важно в новейшей генерации Ataccama ONE?
На наш взгляд, в Ataccama ONE Gen2 полностью переосмыслена работа всех инструментов с точки зрения пользовательского опыта — удобства и массовости применения. Еще два-три года назад средства работы с корпоративными данными рассматривались как инструментарий ИТ-разработчиков. Однако, чтобы сделать проекты управления данными успешными, нужно со всеми этими сложными вещами дойти до бизнеса. Нужны инструменты, которыми могут пользоваться множество людей для поиска требующихся данных. Необходимо, чтобы качество данных стало прозрачным для всех.
Одна из главных идей такого реинжиниринга — объединить каталог данных с инструментом качества данных, создать своеобразную «википедию» с системой поиска, которая могла бы подсказать, где находятся нужные данные и какие проверки их качества существуют, а также предоставить возможность добавлять пользовательские проверки. Теперь, к примеру, если в компанию приходит новый аналитик, ему не нужно искать давно работающего в ней человека, который все знает про данные: где, что и как.
Выпуск Gen2 состоялся в марте. До этого новую платформу предоставили десятку опытных пользователей-первопроходцев в различных странах мира, генерирующих собственные идеи, учли их отзывы и предложения. Уже есть заказчики, использующие Gen2 в промышленном контуре. В нашей стране видим огромный интерес и первые успешные пилотные проекты.
- В начале года Ataccama приобрела стартап Tellstory. Что дает интеграция новой технологии в вашу платформу?
Это небольшая словацкая компания, где появилась идея создать социальную сеть для обсуждения данных. Такая функциональность встраивается в наш каталог данных. Если, к примеру, будут замечены какие-либо аномалии в данных, то появляется возможность совместно их анализировать, дискутировать о том, что в них необычного. В продукте Tellstory есть также инструменты визуализации данных. Мы их дополним и упростим конечным пользователям навигацию по каталогу Ataccama, создание отчетов. Такие инструменты помогут в проектах обеспечения качества данных. Новые релизы нашего ПО выходят каждые шесть-восемь недель. Tellstory, как ожидается, появится к концу года. С нетерпением ждем этого.
- Вы отметили интерес в России к обновленной платформе Ataccama ONE. Как вы оцениваете положение Ataccama в нашей стране и состояние российского рынка управления данными?
Ataccama в России — с 2012 года, где первоначально сотрудничала с международными банками, с которыми уже работала в других странах. Сейчас у нас здесь около 40 консультантов-внедренцев. Кажется, что это не очень много, но в России ни в одной компании нет такого числа специалистов в области практики Data Governance. Специфика российского рынка управления данными такова, что наши клиенты - это крупные организации: ведущие банки, розничные сети, телеком-операторы. У небольших компаний подобные решения пока не в фокусе. С самого начала Ataccama успешно решала в России задачи управления качеством клиентских данных, а у известных вендоров это отнюдь не всегда получалось. Сейчас в данной области у нас нет международных конкурентов, но есть локальные. Однако они, как правило, фокусируются только на узкой области клиентских данных, мы же предлагаем решения качества для произвольных данных
Что касается рынка в целом, то он активно развивается. Принимать управленченские решения только на основе опыта и интуиции становится все сложнее. Нужно ориентироваться на данные. Пандемия разрушила многие привычные коммуникации между людьми, для работы им требуется все больше данных. Характерно, что в течение последнего года увеличение зарплат специалистов по управлению данными существенно превысило среднерыночные показатели.
Кроме того, заметен рост культуры работы с данными. К финансовым организациям, телекому и ретейлу теперь присоединяются производственные компании. С промышленными предприятиями еще недавно было бессмысленно говорить о качестве данных, а сейчас они заинтересованы в цифровой трансформации и управлении на основе данных. Например, недавно нашим клиентом стала крупная металлургическая компания, где заинтересованы во внедрении каталога данных и решения по управлению качеством данных.
- Что можно сказать о дальнейших планах Ataccama в нашей стране?
Будем сохранять и наращивать темпы органического роста, которые с самого начала составляют здесь от 30 до 60% в год. Наш потенциальный рынок в России — сотня крупных компаний.
Видим хорошие возможности в сегменте управления данными о товарах, готовой продукции, материалах, где наметился существенный разрыв между доступными отечественными продуктами с ограниченной, к сожалению, функциональностью и безумно дорогими предложениями грандов. Планируем вывести на российский рынок решения нашего партнера — немецкой компании Viamedici, специализирующейся на ПО управления продуктами и маркетингом продуктов, применение которого способно изменить сложившуюся ситуацию.
Для нас очень важно развивать партнерские связи. Мы работаем с такими компаниями, как IBS, T1 (ранее «Техносерв») и рядом других, и рассчитываем на сотрудничество с новыми организациями. На форуме «Управление данными — 2021» было несколько встреч, очень перспективных в этом направлении.
Управление качеством мастер-данных в электронной коммерции
На форуме «Управление данными — 2021» сотрудники «Яндекс.Маркета» представили проект управления качеством мастер-данных
Качество данных о товарах становится критически важным фактором для площадок электронной коммерции, где, в отличие от объектов традиционной торговли, покупателям доступны лишь цифровые двойники товара.
.jpg)
Низкое качество данных заметно сказывается и на бизнесе электронной торговли, блокирует производственные процессы, приводит к существенным потерям. Один из примеров — инциденты с мастер-данными в «Яндекс.Маркете»: поставщики допускали ошибки в характеристиках веса и габаритов крупных товаров, указывали нулевой срок годности товаров и пр.
Для системного выявления таких ошибок в «Яндекс.Маркете» решили внедрить инструменты, позволяющие контролировать качество-мастер данных и управлять ими.
Наиболее заинтересованные сотрудники по своей инициативе уже предпринимали разрозненные попытки использовать собственные решения для контроля важнейших данных, однако теперь возникла необходимость комплексной и систематической работы с качеством мастер-данных.
«Мы хотели выбрать одно из предлагаемых на рынке решений Data Quality. Для этого определили необходимую функциональность и сформулировали технические требования, учитывающие возможность поддержки многочисленных собственных разработок. На основе правого верхнего «магического» квадранта Gartner мы составили список потенциальных вендоров», — пояснил Юрий Кротков, менеджер проектов «Яндекс.Маркета».
С учетом наиболее часто встречающихся ситуаций были подготовлены тестовые задания, способные определять в подобных случаях возможности предлагаемых продуктов.
Участники тендера предоставили также списки своих успешных внедрений, и специалисты «Яндекс.Маркета» провели консультации с представителями их заказчиков.
На выбор Ataccama повлияла не только функциональность решений этой компании, но и открытость платформы, возможность ее адаптации к инфраструктуре «Яндекса» и реализации в этой инфраструктуре горизонтального масштабирования.
Кроме того, очень важна была готовность вендора предоставить разработчикам заказчика все необходимые технологические сведения для интеграции с собственными программными системами «Яндекс.Маркета».
«Нам удалось внедрить поквартальное планирование для выполнения проекта, и главное — мы уже перешли к успешному использованию внедренного решения», — отметил Кротков.
Теперь при выявлении проблемы специалист команды управления мастер-данными самостоятельно настраивает нужную логику Data Quality для контроля и очистки данных, а также для обработки инцидентов. Более того, стал возможным переход к проактивному мониторингу качества данных и максимально раннему устранению проблем.
«В дальнейшем мы намерены масштабировать решение на другие процессы и практики, где участвуют мастер-данные, включая развитие инцидент-менеджмента, а также на работу со статистическими и учетными данными», — сообщил Сергей Васильчиков, руководитель проектов управления мастер-данными и качеством данных в «Яндекс.Маркете».
