Вокруг «Информатики» – за один день

Борис Рабинович: «Корпоративным управлением данными в Сбербанке занимается отдельная структура из 40 специалистов во главе с директором по данным»


09:21 08.06.2017  (обновлено: 15:55 10.06.2017)   |   4828 |  Михаил Зырянов |

Рубрика Предприятие



Компания Informatica представила свои новые продукты и решения, а ее заказчики поделились опытом создания информационных систем.

Ключевыми анонсами конференции Informatica Day 2017, проведенной компанией Informatica в рамках мирового технологического турне совместно с российским партнером DIS Group, стали сообщения о выходе новых решений, ориентированных на конкретные насущные задачи предприятий различного масштаба.

Эмилио Валдес, вице-президент компании Informatica, отметил, что в настоящее время использование данных эволюционирует от стадии, на которой данные применяются в сквозных бизнес-процессах, пронизывающих всю организацию, к новой стадии, характеризуемой тем, что данные в организациях способны порождать экономическое преимущество, усиливая эффект от цифровой трансформации. На этот вектор развития как раз и ориентирована интеллектуальная платформа Informatica для управления данными, в ядро новейшей версии которой теперь встроен технологический механизм CLAIRE, использующий возможности искусственного интеллекта для управления метаданными и унифицированного анализа данных из различных источников.

Еще одним важным новшеством, по словам Ильи Гершанова, технического менеджера Informatica, стала обновленная версия интеллектуальных облачных сервисов, предназначенная для управления облачными данными в масштабе предприятия, а также ряд решений на базе CLAIRE – для управления данными о клиентах, поставщиках, продуктах предприятия, его НСИ, озерами данных, корпоративными каталогами, для управления данными масштаба организации, а также для обеспечения информационной безопасности источников данных. Появились в портфеле Informatica и решения для управления мастер-данными в системах Больших Данных, способные работать с Hadoop.

Помимо технологических анонсов, на конференции был широко представлен опыт заказчиков. Одни из наиболее масштабных российских проектов реализуются в Сбербанке, который использует технологии Informatica около шести лет. Как рассказал Борис Рабинович, директор центра компетенции развития BI-технологий компании «Сбербанк Технологии», ярким примером применения продуктов Informatica является проект внедрения и использования платформы In-Memory Data Fabric компании GridGain Systems. Технологии Informatica PowerCenter и Test Data Management помогают обеспечить интеграцию баз данных Oracle и Teradata. В текущем году планируется реализовать пилотные проекты по выгрузке данных из Oracle в Hadoop и из Teradata в Hadoop, а также из источников Hive в приемники на базе других СУБД. Кроме того, предполагается обеспечить интеграцию с платформой GridGain, системами машинного обучения и осуществить миграцию с прежних решений на новую платформу.

Еще одно интересное направление проектов Сбербанка – обезличивание данных, призванное обеспечить защищенность персональных данных клиентов банка и предотвратить их утечки в ходе разработок, а также нагрузочного и функционального тестирования совершенствуемых и новых систем. С помощью автоматизированной системы на базе Informatica Test Data Management уже удалось обезличить 30 баз данных общей емкостью 50 Тбайт, используя при этом около 150 уникальных правил. Применяемая в банке технология обезличивания позволяет сохранять некоторые важные признаки, такие, например, как пол клиента, контрольный разряд номера карты и пр. В течение ближайшего года планируется обезличить еще 150 реляционных баз данных и выстроить процесс обезличивания данных в Hadoop, GridGain, а также выбрать технологию псевдообезличивания в Hadoop с применением шифрования, динамического маскирования и других методов, которая позволит безопасно предоставлять данные аналитикам.

В компании Tele2 технологии Informatica PowerCenter применяются в качестве основного ETL-средства в первую очередь при загрузке корпоративного хранилища данных, куда стекается информация из более чем 100 источников. Ключевые направления использования хранилища данных – подготовка кампаний целевого маркетинга и расчет KPI на основе единого слоя данных. По словам Ники Пономаревой, руководителя департамента развития систем машинного обучения и бизнес-анализа Tele2, проект хранилища данных окупился гораздо быстрее, чем рассчитывали. Примечательно, что в ходе его реализации был сформирован офис проектов Больших Данных. Еще одна интересная деталь: при создании новых функциональных возможностей для анализа данных применяются как гибкая (на базе Scrum), так и классическая нисходящая разработка, выбор их производится исходя из целей и задач конкретного проекта.


Теги: Большие данные Бизнес-аналитика Сбербанк Hadoop Informatica
На ту же тему: