За три дня конференцию, посвященную обсуждению опыта эксплуатации открытой СУБД и анализу направлений ее дальнейшего развития, посетило около 700 человек, что сопоставимо с проводимыми в Европе и США аналогичными конференциями сообщества PostgreSQL.

Олег Бартунов, генеральный директор компании Postgres Professional, организовавшей мероприятие, напомнил слушателям историю развития проекта СУБД PostgreSQL: будучи первончально академической разработкой, эта СУБД стала промышленной системой и сегодня эксплуатируется, например, в таких организациях, как ФНС, «Ростелеком», ВТБ, Сбербанк и «Росатом». Как отметил Бартунов, почти каждое новое усовершенствование PostgreSQL, начиная с первой стабильной версии в 1996 году, приводило к расширению ее сообщества: 1997 год – интернационализация и поддержка Windows – пользователи Windows, 2010 год – встроенная репликация – корпоративные пользователи, 2014 год — поддержка jsonb — NoSQL-пользователи, 2016 год – параллельные запросы – OLAP-пользователи.

В первый день работы конференции евангелистами и ведущими разработчиками PostgreSQL было проведено девять мастер-классов, а два последующих дня, вместивших 55 докладов, были посвящены выступлениям экспертов по этой СУБД, а также пользователей. В отдельной секции были собраны семь докладов по работе PostgreSQL c системой «1C:Предприятие», включая обзор опыта центров корпоративной технологической поддержки по развертыванию систем 1C на PostgreSQL (к настоящему времени 15% инсталляций «1С:Предприятие» сегодня функционирует именно на платформе PostgreSQL), блокчейн на 1C и др.

В рамках конференции при поддержке АРПП «Отечественный софт» состоялся круглый стол «Импортозамещение системного и инфраструктурного программного обеспечения»; его участники обсудили отчет Счетной палаты по импортозамещению ПО, директивы Минкомсвязи по реестру российского ПО, планы создания каталога совместимости отечественного ПО.

В основе таких известных продуктов, как Greenplum, Vertice, Aster Data, CitusDB, Amazon RedShift, IBM Netezza, лежат форки PostgreSQL, однако опыт аналитической базы Greenplum, выросшей из форка версии PostgreSQL 8.2, показывает, что дистанцирование от сообщества Open Source неблагоприятно сказывается на развитии продукта. За время, пока совершенствовались аналитические возможности Greenplum, сообщество PostgreSQL ушло далеко вперед, и сегодня на подходе уже версия 12, в которой устранены старые ошибки и включена новая функциональность: средства NoSQL, векторизованные операции, поддержка блокчейна, адаптивность, поддержка облаков.

По утверждению футурологов, за следующие 20 лет когнитивной эры человечество изменится сильнее, чем за предыдущие три столетия. Научные гипотезы и вымысел фантастов становятся свершившимся фактом, а драйвером этого процесса являются данные – основа цифровой экономики, роль электричества играет искусственный интеллект, а Интернет вещей служит нервной системой. Уже к 2020 году половина доходов компаний во всем мире будет определяться их деятельностью в цифровом поле. По оценке экспертов World Economic Forum, к 2025 году общая экономическая ценность цифровой трансформации для бизнеса и общества превысит 100 трлн долл. Однако, как отметил на недавней конференции Insight 2018 Джордж Куриан, генеральный директор NetApp, цифровая трансформация невозможна без трансформации ИТ, прошедших путь от монолитных архитектур к виртуализированным, а теперь и к облачным. Уже сегодня 80% корпораций работают в мультиоблачной среде, одновременно используя как локальные ЦОДы, так и гибридные и публичные облака от ведущих провайдеров. «Цифровая трансформация включена в повестку дня как первоочередная задача для 70% руководителей бизнеса. Успех же преобразований зависит от того, как компания обрабатывает данные. Все это создает неплохие условия для увеличения продаж оборудования для хранения данных, но мы выбрали стратегию мгновенных и регулярных обновлений ПО, чтобы удовлетворить актуальные запросы рынка, и намерены действовать как гибкий стартап, а не гигант, обновляющий свои продукты раз в год», — отметил Куриан.

Заявление руководителя NetApp получило осязаемое подтверждение на ежегодной конференции, собравшей в 2018 году более 4 тыс. консультантов, клиентов и партнеров компании. Конференция была посвящена новым решениям в области хранения и обработки данных, и акцент был сделан на то, чтобы показать, как заказчики смогут с помощью инструментов компании достигать своих бизнес-целей, управляя корпоративной информацией и безопасно используя данные не только из локальных систем хранения, но и обращаясь к сервисам публичных и гибридных облаков. «Наши заказчики уже понимают необходимость преобразования бизнеса с ориентацией на облачные среды, однако не все еще могут оценить реальные результаты этого», — отметил Александр Вальнер, генеральный менеджер NetApp в регионе EMEA (страны Европы, Ближнего Востока и Африки). В компании уверены в том, что облака стали основным средством цифровых инноваций, для осуществления которых нужно только предоставить заказчикам именно ту облачную инфраструктуру, которая наилучшим образом подходит для решения конкретной бизнес-задачи.

На Insight 2018 были анонсированы новые сервисы и решения, призванные облегчить работу с облаками ведущих провайдеров: Microsoft Azure, Google Cloud и AWS. Например, Microsoft Azure NetApp Files — файловый сервис Azure на основе технологии NetApp ONTAP, обеспечивающий хранение данных и управление ими для переноса и развертывания файловых рабочих нагрузок в облаке Azure. Сервис NetApp Cloud Volumes для Google Cloud Platform расширен теперь и на Европу, что позволяет европейским заказчикам оперативно выполнять анализ в облаке и защищать базы данных в высокопроизводительных файловых службах, чтобы проводить высокоскоростное тестирование приложений и обеспечить поддержку рабочих нагрузок с возможностью возврата к исходной базе данных в случае сбоев. Сервис NetApp Cloud Volumes для AWS – управление данными через NFS для работы с облаком Amazon.

По мнению аналитиков Gartner, к 2020 году приложения искусственного интеллекта станут одной из приоритетных статей инвестирования компаний, это подтверждают и в IDC, считая, что почти 75% разработчиков будут встраивать функционал искусственного интеллекта в свои приложения. Однако предприятия часто сталкиваются с тем, что для таких приложений сложно использовать все имеющиеся данные из-за их разрозненности и слабой структурированности, а без этого невозможна, в частности, эффективная реализация систем глубинного обучения. "Для поддержки работы приложений искусственного интеллекта, черпающих данные из различных источников, включая локальные и внешние хранилища на флеш-платформах, вам неизбежно потребуется подключение к различным облакам, а значит, нужны будут средства работы с ними, как с единым целым. Даже если у вас имеется высокопроизводительный и емкий флеш-массив, вы ничего не выиграете, это все равно что покупать 'Феррари' без руля – вы не сможете управлять автомобилем», — отметил Вальнер.

Расходы на системы хранения для решений на базе технологий искусственного интеллекта в 2017 году составили 2,1 млрд долл., а в 2022-м они вырастут до 10 млрд. Архитектура работы с данными для таких решений может предусматривать три уровня: сбор и обработку первичных данных на граничных устройствах Интернета вещей; анализ и обучение на массивах из озер данных локальных ЦОДов; сервис логических умозаключений (inference) с привлечением облачных ресурсов. Для работы с каждым уровнем NetApp предлагает соответствующие решения, которые позволяют сохранить контроль над данными независимо от масштаба их потоков, места и способа хранения. Система ONTAP 9.5 обеспечивает приложения искусственного интеллекта единой точкой входа для работы с данными от всевозможных датчиков Интернета вещей, с результатами обработки на локальных ЦОДах и с массивами сведений из публичных облаков. Для работы с системой Nvidia DGX-1 (предназначена для поддержки решений на основе технологий глубинного обучения) на организованной в рамках Insight 2018 выставке была представлена версия ONTAP AI, созданная в партнерстве с Nvidia и позволяющая формировать конвейер данных, поддерживать масштабирование их потоков при гарантированной производительности и обеспечении перемещения данных между граничными устройствами, локальными ЦОДами и облаками с соблюдением требуемого уровня безопасности. Для этого, в частности, применяется MAX Data – решениe по работе с энергонезависимой памятью на серверах с тем же временем отклика, как у системной памяти, и емкостью, как у флеш-носителей. В результате обработка данных для приложений на основе технологий искусственного интеллекта может выполняться в реальном времени без переписывания кода программ, а главное – обеспечивается гарантированное время отклика.

«Извлечение прибыли из данных сегодня зависит от способности разработчиков быстро внедрять новации, например благодаря культуре DevOps, но организациям часто не хватает возможностей инфраструктуры для установления требуемого уровня сотрудничества различных команд. — отметил Питер Вюст, старший директор по облачным инфраструктурам и сервисам в регионе EMEA. — Мы предоставляем продукты и услуги для повышения эффективности совместной работы подразделений разработки и сопровождения, с помощью которых достигается необходимый уровень технологической независимости, позволяющий всем сотрудникам компании совместно работать, не нарушая непрерывный процесс создания, доставки и сопровождения приложений». Новый сервис NetApp Kubernetes предназначен для развертывания кластера Kubernetes в стеке облачных платформ AWS, Google Cloud и NetApp HCI. Сервисы корпоративного уровня для облачных приложений позволяют с предсказуемой производительностью выполнять рабочие нагрузки над данными из множества источников, а также одновременно совместно использовать их нескольким приложениям. По сути, Kybernetes – это ОС для поддержки облачного кластера, с которым как с единым целым могут работать несколько команд, оперирующих с разными данными из разных облаков. «Мы также анонсировали проект с открытым исходным кодом Trident для поддержки всего портфеля хранилищ NetApp. Сочетание Kubernetes и Trident позволяет разработчикам приложений использовать высокопроизводительное хранилище для создания и развертывания приложений с отслеживанием состояния во всех ведущих публичных и частных корпоративных облаках», — подчеркнул Вюст. Trident автоматически распределяет ресурсы энергонезависимой памяти для контейнерных сред Docker, Kubernetes, Red Hat OpenShift Container Platform, а также применяется для поддержки процессов DevOps в системе NetApp Cloud Volumes для облачных платформ Google и AWS.

Большинству предприятий во всем мире данные обеспечивают сегодня стратегическое преимущество, не стала исключением и Россия. «Наши заказчики все чаще интересуются расширенными средствами хранения, как следствие, во втором квартале 2018 года бизнес флеш-массивов компании во всем мире вырос на 29% по сравнению с аналогичным периодом прошлого года, что означает доход в 2,2 млрд долл. Российский рынок на этом фоне также продемонстрировал оптимизм: растут популярность облаков и спрос на системы хранения. Например, по данным IDC, мы заняли первое место по поставкам решений класса All Flash, объем продажи этих систем во втором квартале 2018 года достиг 6 млн долл., а доля рынка составила 22,7%», — отметил Крис Гринвуд, старший директор в странах Северной и Западной Европы, России и Турции.

В Gartner в 2019 году ожидают рост расходов на ИТ во всем мире на 3,2% до 3,8 трлн долл. и смещение акцентов от использования предприятиями исключительно собственной ИТ-инфраструктуры к приобретению облачных сервисов работы с данными. Будущее действительно все больше управляется данными, однако пока определяется людьми, – большинство выдающихся верных бизнес-решений все еще принимается на основе чисто человеческих качеств: эмоций, интуиции, воли, кинестетики и, конечно, реального интеллекта.

Датой рождения ИТ-индустрии в России считается 29 июня 1948 года – именно тогда в Москве был создан Институт точной механики и вычислительной техники. Арутюн Аветисян, директор Института системного программирования им. В. П. Иванникова РАН, открывая конференцию, посвященную этой годовщине, отметил, что на протяжении 70 лет отечественные ученые создают технологии передового уровня, во многом не уступающие зарубежным аналогам, чему во многом способствует преемственность научных школ. Владимир Васильев, ректор НИУ ИТМО, обратил внимание на то, что в 1948 году страна с высоких позиций стартовала в индустрию высоких технологий и сумела не растерять свой научный потенциал, столь необходимый сегодня при решении слабоформализованных задач.

«Только в России были созданы два поисковика, которые работают с глубокой математикой, в то время как ни одна страна Европы свой Google так и не создала», — напомнил Васильев. Во многом этому способствует организация работы по принципу «физтеховского треугольника», практикуемому в том числе и в ИСП РАН: наука, образование, индустрия.

«Мы сотрудничаем с ведущими вузами, через магистратуру и аспирантуру берем на работу талантливых студентов. Наши партнеры − ведущие отечественные и западные компании. В результате мы, как академический институт, способны проводить передовые исследования в тесной интеграции с партнерами — лидерами в своих областях», — отметил Аветисян.

«ИСП − одно из тех мест, которые притягивают талантливую молодежь. Мы надеемся, что подобных крупных образовательных центров международного уровня будет больше» − такое мнение высказал участникам конференции Валерий Козлов, вице-президент РАН.

«В цифровую эпоху физическая жизнь человека буквально становится зависимой от технологий – про социальную уже и речи не идет», — указал Андрей Духвалов, руководитель управления перспективных технологий компании «Лаборатория Касперского». Но как можно быть уверенным в ПО, часто написанном неизвестно когда и неизвестно кем? Прямо на конференции было подписано соглашение между ИСП и «НПО РусБИТех» о продаже годовой лицензии на статический и динамический анализаторы программного кода Svace и Crusher соответственно. Эти системы позволят «НПО РусБИТех», в интересах федеральных органов исполнительной власти разрабатывающему такие программные системы, как сертифицированная ОС Astra Linux Special Edition, обнаруживать ошибки в коде на ранних стадиях жизненного цикла ПО.

«Мы уже давно выполняли совместные проекты, в том числе в области верификации модели безопасности, а теперь наше сотрудничество перешло в новую фазу», — рассказал директор по развитию «НПО РусБИТех» Юрий Соснин. Примечательно, что в «РусБИТех» начали применять анализаторы с опережением – сейчас проверка кода еще не стала обязательным требованием регуляторов. Svace позволяет обнаруживать более 500 классов ошибок, способных привести к сбоям программ, а также выявлять уязвимости, создающие риск перехвата контроля над системой. Динамический анализатор Crusher автоматически генерирует наборы входных данных для проверки программы на устойчивость при обработке входных потоков, не соответствующих ожидаемому формату. Crusher с 2015 года используется в Samsung для автоматического тестирования.

В работе конференции также приняли участие президент IEEE Computer Society Хиронори Касахара, вице-президент Samsung Electronics Джин Ук Ли и глава европейского представительств Научно-исследовательского института промышленных технологий Тайваня (ITRI) Фан-Чжу Чень, подписавшая в ходе конференции соглашение с ИСП о сотрудничестве в сфере исследования качества ПО. Ранее ITRI активно сотрудничал с РАН в области физики и материаловедения, а сейчас взаимодействие распространилось и на ИТ. Важно, что права на интеллектуальную собственность остаются за институтом, с учетом современной бизнес-модели которого была разработана специальная лицензия, предусматривающая не получение роялти за пользование каким-либо продуктом, а прямое финансирование заказчиком дальнейших исследований и разработок.

Силами одной организации не решить задачи цифровой эпохи – для успеха необходима комплексная программа исследований и разработок, нацеленная на получение фундаментальных знаний, создание соответствующих технологий и кадрового потенциала.

«В России задачи такого масштаба и сложности может решать Академия наук, играющая роль распределенного центра компетенций, консолидирующего усилия институтов РАН, университетов, компаний и государства», − сообщил Аветисян. Как отметили участники конференции, деятельность ИСП подтверждает, что благодаря сохранению преемственности поколений и научных школ, международной кооперации и сотрудничеству с коммерческими компаниями и государственными организации в России можно создавать востребованные во всем мире технологии. Среди примеров: анализаторы программного кода, компиляторы на платформах ARM, Android и Tizen, масштабируемая платформа семантического анализа текстов Texterra и интегрированная с ней технология анализа Больших Данных, а также ряд других продуктов, созданных в ИСП РАН и используемых сегодня российским и зарубежными компаниями, такими как Samsung, Bentley, Huawei, HPE, Dell, Nvidia, «ВымпелКом», ГосНИИАС, «Свемел» и др.

Что может быть общего между автомобильным регистратором и «говорящей» плюшевой игрушкой? То, что они работают на платформе интеллектуальных виртуальных ассистентов. На конференции Conversations’18 два отечественных стартапа, NotAnotherOne и Mishka AI, представили свои разработки: умный видеорегистратор Linza со встроенным голосовым ассистентом и умную плюшевую игрушку mishka.cloud.

Кирилл Петров, управляющий директор компании Just AI, занимающейся исследованиями, разработкой и внедрением технологий разговорного искусственного интеллекта, сделал обзор нового сегмента интеллектуальных технологий, оценив его как следующий шаг к человеко-машинному взаимодействию. До недавнего времени не существовало средств адекватной автоматизации основного способа нашего общения — человеческого языка. Сегодня с распространением новых каналов взаимодействия (мессенджеры, веб-чаты, голосовые ассистенты и т. п.) и на фоне успехов технологий распознавания речи (Automatic Speech Recognition), перевода текста в речь (Text To Speech), понимания естественного языка (Natural Language Understanding), использующих, в частности, машинное обучение, ситуация изменилась.

Рынок интеллектуальных ассистентов и устройств на их основе динамично растет. Так, темпы продаж умных колонок сейчас выше, чем в свое время были для смартфонов: в 2017 году во всем мире использовалось 50 млн умных колонок, годом позже — 100 млн, а в 2021-м, по оценкам Just AI, во всем мире будет уже 500 млн умных колонок. Лидеры здесь недолго почивают на лаврах – если в 2014 году на рынке господствовала Amazon Alexa, то в 2017 году у Google было 20% рынка, а затем произошло коренное изменение – 36% у Google и 27% у Amazon, да и выбор резко расширился: Apple Homepod, Samsung Bixby, Xiaomi Mi AI, «Яндекс Алиса», ну и разработки множества азиатских игроков помельче.

Сегодня 32% домохозяйств в США уже применяют умные колонки, 50% из них используются для заказа товаров. Среди причин популярности умных устройств — возможность заниматься одновременно другими делами, оперативность получения ответов, освобождение от рутинных действий, а выдержка и доброжелательность виртуальных ассистентов приводит к тому, что у людей появляется привычка общаться именно с ними.

Для широкого распространения умных устройств критически важна экосистема, отметил Андрей Липатцев из Google, отвечающий за развитие партнерского сообщества. В сфере разговорного искусственного интеллекта и соответствующих интерфейсов сегодня открывается большой простор для исследований, особенное если учесть, что речь идет не о голосовых, а именно о разговорных интерфейсах. Здесь важны не только распознавание или генерация голоса, но и грамотная комбинация всех деталей, присущих осмысленному диалогу: качество и стиль подачи информации, ее объем, тональность, форма разговора – лаконичность, доброжелательность, доверительность, в сумме формирующих персону общения. Очевидно, что паттерны ведения диалога зависят от национального менталитета, возраста, самочувствия собеседника и других факторов. При этом, как отметил Липатцев, работа ассистента определяется не кодом программы, а именно сценарием, и здесь, как и у грандов ИТ-индустрии, так и у стартапов, имеется обширное поле деятельности по созданию устройств, обеспечивающих иллюзию общения с живым собеседником и способных не только отвечать на четкие вопросы, но и самостоятельно инициировать и вести осмысленный диалог.

«Одноклассницы» Siri все больше завоевывают симпатии масс. Даниил Колесников, руководитель маркетинга проекта «Яндекс.Алиса», отметил, что с «Алисой» общается 33 млн человек в месяц (треть всего Рунета), а в поисковом приложении «Яндекса» 20% запросов формулируются голосом. Однако, как это было раньше, например, с мышью, для работы с голосовыми интерфейсами от людей требуются определенные навыки.

О том, как создавалась мультимедийная система «Яндекс.Станция» с «Алисой» внутри, рассказала Вера Козырь, руководитель компании NotAnotherOne, принимавшей участие в проектировании этой умной разработки, уже ставшей популярной у отечественных пользователей. Нужно было ответить на массу вопросов: сколько должно быть микрофонов, где их разместить, как обеспечить охлаждение станции, каким должен быть ее уникальный, еще никем доселе не запатентованный дизайн.

«Алиса» «живет» не только в смарфонах и в «Яндекс.Станции». Козырь представила умный видеорегистратор Linza, который появится на прилавках уже в декабре 2018 года. Он имеет лишь две кнопки, управляется через приложение на смартфоне, взаимодействует с облаком и другими устройствами – можно посмотреть, что видит другой водитель, оценить обстановку на дороге, узнать погоду и пр. Кроме обычных для устройств такого типа функций, в Linza имеются: поддержка Wi-Fi с режимом хот-спот; встроенные сенсоры — гироскоп и акселерометр, способные, например, «почувствовать» момент эвакуации машины, вовремя предупредить водителя и сохранить видео в облаке; интерфейсы с бортовыми системами автомобиля; интеллектуальный голосовой помощник, способный общаться на любые темы и выполнять команды по управлению инфраструктурой автомобиля.

Умный мишка разговаривает с ребенком, выполняет его просьбы, заполняя возможный дефицит общения с часто занятыми, уставшими после работы родителями

Кульминацией конференции можно назвать выступление Андрея Тесленко, основателя и операционного директора компании Mishka AI, работающей на ниве виртуальных ассистентов для детей. Как показывают опросы, шесть из десяти родителей сегодня выступают против гаджетов и разного рода экранов для детей, опасаясь формирования первой в их жизни зависимости. Общаться ребенку предпочтительно с физическим, а не виртуальным объектом, однако до сих пор ИТ-индустрия предлагала очень мало интеллектуальных устройств, спроектированных именно для детей. Технологии искусственного разговорного интеллекта позволяют сделать «умной» практически любую традиционную детскую игрушку, встроив в нее чип и обеспечив связь с облаком. Умный мишка разговаривает с ребенком, выполняет его просьбы: может спеть песенку, рассказать сказку на ночь и т. п., в какой-то степени реализуя функции воспитания и обучения, заполняя возможный дефицит общения со стороны часто занятых, уставших после работы родителей. Подписка на контент (см. www.mishka.cloud) дает возможность настраиваться практически на любое содержание, а расширение функционала в будущем может быть достигнуто, например, путем смены «одежды» игрушки. Эта полностью российская разработка одновременно с выходом на местный рынок запускается и в США.

«Наши решения призваны помочь пользователям получить ответ на любой вопрос, обеспечив поиск в массивах любых машинных данных», — заявил, открывая Discovery Day 2018, Нордин Амшун, вице-президент компании Splunk в странах Европы, Ближнего Востока и Африки. Действительно, данные – основа цифрового предприятия, и от того, как будет организована работа с ними, зависит сегодня не только успех бизнеса, но и само его существование.

Продукты и решения Splunk направлены на создание и поддержку инфраструктуры, предоставляющей пользователям возможность получать ответы на заранее неизвестные вопросы в пуле данных, поступающих в реальном времени, причем масштабы данных также заранее не определены. Такие продукты и сервисы, как Data Stream Processor, Data Fabric Search, Bussiness Flow, Natural Language, Insights for Web and Mobile Apps и другие, включая решения от недавно приобретенной компании VictorOps, позволяют обнаружить корреляции, например, корреляции в разных каналах коммуникаций (телефонный звонок, обращение по почте, чату или через социальную сеть), по которым клиент общается с провайдером. Одна из целей Splunk – создание простых и понятных витрин данных, который служат единой точкой входа в пул корпоративных данных теоретически неограниченного объема. Так, по словам Амшуна, у компании имеется клиент, которому требуется обрабатывать до 4 Пбайт данных в день.

Как на практике применяются решения Splunk, рассказали клиенты компании из России. Среди них один из ее первых в стране пользователей – онлайн-кинотеатр Okko. Это сервис был запущен в 2011 году, в 2018-м стал частью Rambler Group; в 2019 году планируется ребрендинг сетей кинотеатров Rambler Group «Формула кино» и «Синема парк» в Okko. Представлявшие сервис Екатерина Коптилина, ведущий аналитик, и Михаил Алексеев, специалист по обработке и анализу данных, отметили, что с помощью продуктов Splunk ML Toolkit, DB Connect можно отслеживать поведение клиента и выявлять его предпочтения. Инфраструктура Okko, работающая с более чем 5 Тбайт данных, построена на платформе СУБД PostgreSQL, Impala, Cloudera HDFS и Hive, а для непосредственной обработки данных пользователей применяется Kafka.

Продукты Splunk используются в проектах цифровой трансформации и в компании «МегаФон». Дмитрий Никитенко, руководитель по системам анализа и обработки данных, и Никита Кучинов, менеджер по развитию систем самообслуживания, рассказали, в том числе, как удалось существенно сократить паузу между подключением клиента к центру обслуживания абонентов и запуском автоинформатора, а также как проверять бизнес-гипотезы и планировать маркетинговые кампании.

О своем опыте работы с продуктами Splunk для решения операционных задач, обеспечения безопасности и мониторинга бизнес-процессов с целью выявления скрытых взаимосвязей рассказали также представители МТС, Mars и «Росгосстрах».

Мероприятие прошло при поддержке компании RRC, профильного дистрибьютора решений Splunk в России.

Обеспечение эффективного взаимодействия подразделений разработки и эксплуатации информационных систем – одна из наиболее актуальных проблем предприятий, вступивших на путь цифровой трансформации. От всех подразделений сегодня требуются высокие темпы реагирования на изменения; недопустима ситуация, когда одни оперативно создают новые и модернизуют существующие приложения, а другие их саботируют, оберегая стабильность инфраструктуры. Облака, большие данные и машинное обучение способны предоставить бизнесу конкурентные преимущества за счет своевременного вывода на рынок востребованных сервисов, однако полная реализация их потенциала зависит от того, насколько эффективно применяются инструменты поддержки разработки и оперативного изменения сервисов и приложений для создания новых бизнес-моделей — иначе говоря, от уровня развития культуры DevOps в организации. Об особенностях освоения DevOps в Центре разработки ADM Micro Focus в Израиле рассказал в ходе форума ITMF 2018 Евгений Карасик, руководитель проектов, технический директор по направлениям Mobile/Cloud/DevOps.

- Что собой представляет лаборатория Mobile Center?

В 2015 году для разработки инструментов тестирования и мониторинга мобильных приложений в городке Иехуд, недалеко от Тель-Авива, была создана лаборатория HPE Mobile Center на базе образованной еще в 1996 году исследовательской лаборатории компании Mercury Interactive. Сегодня центр, структурное подразделение компании Micro Focus, занимается созданием продуктов для тестирования и мониторинга любых мобильных приложений и устройств в произвольных рабочих средах, охватывающих практически все платформы и типы устройств. Мы работаем на корпоративных клиентов во всех сферах бизнеса, в основном в финансах, но не ограничиваемся только ими: в конечном счете, наша задача состоит в удовлетворении потребностей заказчиков, благодаря регулярной и ранней поставке ценного для их бизнеса программного обеспечения, что возможно сегодня благодаря DevOps.

- Что изменилось с момента образования лаборатории?

Развитие мобильных технологий идет полным ходом, добавились, скажем, такие интересные вещи, как Progressive Web Apps. Однако некоторые новшества себя пока не проявили в полном объеме. Например, большие надежды возлагались на Интернет вещей; предполагалось, что к сегодняшнему дню предприятиями будут востребованы соответствующие инструменты, но этого не случилось – ни у одного из наших заказчиков нет долгосрочной стратегии работы в Интернете вещей. Конечно, сама индустрия развивается, например, «подключенные автомобили» (connected cars), но на корпоративном уровне кардинальных сдвигов не произошло. Так, не оправдали ожиданий «умные» часы, включая Apple Watch, хотя предполагалась, что для них будет создано множество приложений. С другой стороны, весьма востребовано оказалось все, что связано с аналитикой, особенно прогнозной, – есть конкретные запросы на реализацию ее функций на уровне корпоративных приложений.

Еще одно изменение, не технологическое – рост уровня зрелости клиентов во многих странах, где мы работаем, включая и Россию. Сегодня диалог с ними идет уже не на уровне «покупатель-продавец», причем желательно зарубежный, а на уровне партнерства: даже далекий от ИТ бизнес стремится к интеграции новых технологий и построению на их основе новых процессов. Общение с заказчиками происходит предметно, на уровне обмена идеями, причем местные компании все больше ориентируются на внутренний рынок. Для нас это хорошо – не нужно заниматься ликбезом, но и сложно – требуется не просто продать продукт, а наладить взаимовыгодное партнерство.

Основной технологический сдвиг, произошедший за это время, – инвестиции в решения, автоматизирующие рутинные операции, например роботов, динамически генерирующих тесты для проверки работы приложений, а также в исследования по виртуализации данных как продолжение виртуализации серверов, сетей и приложений. Однако одной лишь автоматизации разработки уже недостаточно – в процесс создания продукта обязательно должны быть вовлечены представители бизнеса, которые задавали направление движения. DevOps – это карта, однако, если не знать куда идти, то карта не поможет.

- Что означает ваш тезис, прозвучавший в выступлении на форуме: «Всё находится в системе контроля кода»?

Обязательное вовлечение заказчиков, пользователей и разработчиков в процесс создания продукта. Речь, конечно, не идет о том, чтобы заставить бизнес-менеджеров тестировать код — прежде всего требуется в каком-либо виде определить потребности бизнеса, которые со временем могут изменяться и донести эти изменения до разработчиков. Этот процесс эволюционен: запросы, итерации, причем данные постоянно доступны всем и всегда, а не только на совещаниях. На выходе получается либо демосессия, либо интерфейс для самостоятельной проверки приложений бизнесом с целью получения обратной связи для формирования гипотез по дальнейшему развитию продукта. Такая организация может привести к тому, что требуются изменения структуры и нашей компании.

- Какие имеются проблемы при переходе на DevOps?

Основные проблемы не столько технические, сколько организационные — исторически имелась «стена», отделяющая подразделения разработки от служб эксплуатации, сотрудники которых до сегодняшнего дня решали разные, с точки зрения бизнеса, задачи. DevOps позволяет наладить коммуникации, но главное – всем надо понять требования бизнеса, а не пытаться внедрять DevOps ради него самого, тем более, что в его основе лежит здравый смысл, а не некое откровение. Часто структура компании просто не позволяет наладить оперативное взаимодействие – нет горизонтальных связей и для того, чтобы «дотянуться» до коллеги за соседним столом, требуется прежде объясняться с его руководителем. Без структурных преобразований компании, предусматривающих работу по DevOps всех ее подразделений, успех от Agile вряд ли будет возможен.

Как следует из практики, наиболее жизнеспособны виртуальные группы на спринты, включающие представителей всех дисциплин: кодировщики, тестировщики, и пр. У каждого микросервиса имеется свой хозяин, а все участники группы в курсе работы соседа, а потому при необходимости могут его подменить в определенных пределах. Архитектура микросервисов позволяет сконцентрироваться вокруг потребностей бизнеса, динамично отображая его запросы. Кроме того, появляется возможность разрабатывать и развертывать решение независимо и параллельно без привлечения большой группы разработчиков. Упрощается также интеграция и развертка продукта, нет технологической зависимости, но главное даже не это, а наличие зоны совместной ответственности – на всех участниках группы лежит коллективная ответственность за динамичный выпуск качественного, ценного для бизнеса продукта.

Кстати, стоит обратить внимание на то, что термин Agile означает не «быстрый», а «динамичный», «гибкий», и ошибочно думать, что внедрение DevOps сразу ускорит производство и получение ценного продукта. DevOps как культура, способствующая постоянным изменениям потребностей и усилению обратной связи, означает формирование cистемного мышления, призывающего акцентироваться на ценности всей системы, а не ее отдельных элементов.

- Как на ранних этапах проекта определить ценность ПО?

Бизнес-заказчики не задумываются о ценности ПО, а только выдают нам свои проблемы, а мы их конвертируем в приложения, разбиваем решение на этапы, продукты, а потом корректируем. Здесь очень помогают SaaS-решения, позволяющее при взаимодействии с клиентами получить обратную связь. Мы два года выстраивали Agile-цепочку формирования ценности программного продукта, руководствуясь, в частности, принципом MVP (minimum viable product — «минимально жизнеспособный продукт»), согласно которому результатом первых спринтов становится продукт, обладающий минимальным, но уже достаточным для удовлетворения исходных запросов бизнеса функционалом. Не следует сразу пытаться в одном продукте решать все проблемы всех клиентов, но нужно культивировать специалистов, способных сформулировать те 20% требований заказчиков, которые способны отобразить 80% потребностей клиентов.

Ценность — величина не постоянная: если мы решили актуальную проблему заказчика, то отлично, если же нет, то мы в проигрыше и лучше бывает вообще ничего не делать, как это, например, происходит сейчас с Интернетом вещей, в условиях отсутствия у предприятий стратегий его применения.

- Гиганты интернет-индустрии, Facebook, Google и Amazon, способны ежедневно выпускать в промышленную среду по несколько версий продуктов при приемлемом качестве. Достаточно ли для этого инструментов, предлагаемых сегодня Micro Focus?

Да, вполне. Мы применяем сами и предлагаем своим заказчикам интегрированный набор продуктов, помогающий разрабатывать, управлять, тестировать, контролировать и улучшать программное обеспечение. Такие инструменты, как ALM Octane – управление жизненным циклом и потоками DevOps, в частности, автоматизированным тестированием; UFT/StormRunner Functional/LeanFT и другие модули из Application Delivery Management – функциональное тестирование веб и мобильных сред, позволяющие включить в процесс тестирования специалистов по бизнес-процессам; StormRunner Load – нагрузочное тестирование в облаке; AppPulse – мониторинг и адаптация пользовательских возможностей, помогают быстро выпускать качественный продукт. Однако, сегодня ни один заказчик не использует решения только от одного поставщика – как минимум, все они смотрят на открытые решения: Chef – оркестровка развертывания ПО; Jenkins – непрерывная интеграция; средства тестирования Appium и Selenium, которые мы также интегрируем в свои решения.

Вообще говоря, в Agile не рекомендуется жестко регламентировать перечень программных средств. Разработчикам должна быть предоставлена свобода выбора инструментария, но он должен быть аргументирован. Мы стремимся к тому, чтобы процесс формирования набора инструментов шел снизу, создавая надстройку над базовой инфраструктурой и дополнительными инструментами, применяемыми разработчиками по собственной инициативе. Например, Jenkins может эффективно, но по-разному использоваться, хотя его отдельные функции есть и в базовом фирменном пакете. Авторитаризм при выборе инструментов не будет соответствовать долгоиграющей стратегии развития компаний, поэтому технологический стек должен изменяться по мере необходимости. Мы называем это рефакторингом – переходом с одной технологии на другую.

- Переход на DevOps позволил вам достичь впечатляющих результатов...

Вместо выпуска новой версии продукта раз в год теперь мы выпускаем релизы по запросу бизнеса, а вместо увеличения объема кода от версии к версии на 30% рост сейчас составляет максимум 3-5%. Чем меньше изменений, тем ниже риски и меньше вероятность внесения ошибок. Раньше автоматическим тестированием было охвачено лишь 20% кода, а сейчас 80%. Следствием данных изменений стала не регрессия качества продукта, вызванная хотя бы тем, что через три года объем программ удваивался и разбухшим кодом было все сложнее управлять, а увеличение качества. Весь код мы стараемся разделить на «живой» и «мертвый», инвестируя в первый и отсекая второй. Но для этого надо понять, зачем он был включен и потребуется ли в будущем.

- Agile, DevOps называют инструментами цифровизации, а каким должно стать ИТ-подразделение цифрового предприятия?

Общая тенденция – движение в сторону архитекутуры serverless на основе облаков, когда все необходимые сервисы прозрачны, а необходимые для их поддержки ресурсы предоставляются по запросу. В цифровую эпоху ИТ-подразделения заменят боты, которые сами будут искать необходимые для поддержки бизнеса ресурсы. Как таковой должности CIO не будет, возможно, вырастет роль CDO (Chief Data Officer), но в любом случае бизнес-менеджеры должны будут в состоянии сформулировать требования в терминах ИТ, как сегодня вы платите за кубометры или киловатты – ресурсы, фактически поставляемые из «облака». Иначе говоря, не будет четкой границы между ИТ и бизнесом, а ИТ-подразделение как таковое станет неотъемлемой частью бизнеса, а не его отдельным подразделением.

«Движение целых отраслей к цифровизации вызвало взрывной рост интереса к решениям по эффективному управлению корпоративными данными, обеспечивающему их качество, полноту и актуальность — то, без чего невозможен успех цифровой трансформации», — отметил в своем выступлении на открытии форума «Данные — основа цифровой трансформации» Павeл Лихницкий, генеральный директор DIS Group. Уже сегодня компании собирают массу сведений о своих клиентах, однако часто не удается получить целостного представления о них, потому что данные раздроблены, распределены по разным подразделениям и представлены в разнообразных форматах. Решения класса Data Governance позволяют всегда работать с полной и актуальной информацией, поддерживая все процессы обработки данных в масштабе организации. Как показывает опыт DIS Group, именно это сегодня востребовано и новыми, и уже имеющимися клиентами компании, в числе которых — ВТБ, «ВымпелКом», банк «Уралсиб», Сбербанк, ассоциация аптек АСНА.

Стив Мерфи, вице-президент Informatica в странах Европы, Ближнего Востока и Африки, посвятил свое выступление особенностям так называемой третьей генерации данных, определяющей сегодня основу цифровой трансформации. В первой генерации данные использовались в специфических бизнес-приложениях, во второй – для поддержки корпоративных бизнес-процессов и, наконец, сегодня данные обусловили появление новых моделей бизнеса, бизнес-процессов и ролей, а также новых приложений и организационных структур компаний. Третья генерация сопровождается взрывным ростом объемов данных (15 зеттабайт в год), увеличением числа бизнеса-пользователей (более 300 млн по всему миру), появлением новых типов данных, получаемых от 20 млрд подключенных сегодня к сети устройств. При этом, по словам Мерфи, примерно 90% трафика идет из облаков, а обработка всего потока данных уже невозможна без машинного обучения. «Наше отличие – предоставление средств обработки всех корпоративных данных: «умный» каталог данных, высокоскоростная интеграция данных, управление качеством данных, анализ и минимизация рисков», — отметил Мерфи. Действительно, если в январе 2017 года решение для управления корпоративными данными Informatica Axon заинтересовало лишь четырех клиентов, то в декабре 2017-го уже для 277 компаний во всем мире стали важны такие функции Axon, как поиск и понимание активов данных, связь данных с бизнес-контекстом, контроль изменений.

О новых возможностях обработки данных и способах повышения эффективности интегральной работы с ними рассказал на форуме Джузеппе Мура, главный эксперт по Data Governance компании Informatica. Работа с разнообразными облаками — Microsoft Azure, Amazon Web Services и другими — осуществляется через новые инструменты, дающие возможность средствами машинного обучения анализировать множество структур данных и обогащать потоковые данные метриками «на лету». «Умная» платформа clAIre для работы с корпоративными данными позволяет формировать каталоги, проводить профилирование данных, распознавать их структуру, выполнять кластеризацию с подбором похожих данных, выдавать рекомендации в случае обнаружения аномалий и проч., чтобы в конечном счете через системы самообслуживания дать всем сотрудникам компании доступ к данным для проверки бизнес-идей. Поверх платформы размещаются такие продукты, как Big Data Management, Data Quality, Master Data Management, Data Security, Data Integration, а также решения для построения корпоративного озера данных, формирования портрета клиента, обеспечения безопасности.

«Для цифровой трансформации требуется соединить островки данных подразделений компании, каждое со своими отчетами, политиками, процессами — финансы, логистика, продажи, ИТ, юридическое сопровождение и так далее, обеспечив сквозное управление по ролям, функциям, знаниям и системам. Организации признали, что данные играют центральную роль в цифровой трансформации, а ключевым фактором успешной реализации корпоративной стратегии управления данными является наличие единого ответственного лица – Chief Data Officer», — отметил Мура.

Сегодня данные – это корпоративная функция, как и любая другая, будь то кадры, финансы, логистика, обратил внимание Александр Тарасов, управляющий партнер DIS Group: «На предприятиях за финансы отвечает финансовый директор, за кадры — директор по персоналу, за управления ИТ – CIO, а теперь пришла очередь CDO, отвечающего за корпоративные данные». По мнению Тарасова, директор по данным обязательно должен иметь свой бюджет на реализацию стратегических инициатив и подчиняться либо ИТ-директору, либо финансовому, либо входить в совет директоров. Ключевая задача CDO состоит в развитии инструментария демократизации данных – их свободного и гибкого использования всеми сотрудниками компании. Директор по данным – это лидер кроссфункциональных команд, корпоративный интегратор, драйвер повышения эффективности компании и ускорения принятия ключевых бизнес-решений в динамичной рыночной среде.

Максим Феопентов, начальник отдела разработки витрин данных Hadoop компании «Сбербанк-технологии», продемонстрировал, как средствами Informatica создавать витрины данных в Hadoop, стек которого состоит из двух десятков приложений поверх файловой системы HDFS и менеджера пакетов YARN. Здесь как раз помогла возможность продукта Informatica Big Data Management работать с разными источниками данных и автоматически генерировать код для таких подсистем Hadoop, как Hive Spark. Виталий Ананьев, начальник отдела развития систем интеграции данных Промсвязьбанка, в числе преимуществ продуктов Informatica отметил направленность на интеграцию данных, полученных из множества источников, их трансформацию и доставку для обработки без кодирования, благодаря чему можно, например, осуществлять централизованное администрирование, повторно использовать процессы и выполнить интеграцию с уже имеющимися в банке решениями SAP.

В Москве прошел пятнадцатый форум IT Management Forum, организованный издательством «Открытые системы» и собравший более 400 представителей отечественных и зарубежных компаний из разных отраслей зарождающейся цифровой экономики. Слоган форума – «Стратегия и практика управления ИТ. В ответе за цифровое предприятие» — весьма точно характеризует современное состояние процесса цифровой трансформации, которая не сводится к последовательной и уже привычной автоматизации. Сама по себе автоматизация не улучшает текущие бизнес-модели – за счет одного лишь применения новых технологий цифрового общества не построить, поэтому требуется, как считают участники сессии «Корпоративный Agile/DevOps и другие инновации в управлении», изменение культуры, профессиональное движение, нацеленное на изменение производственных отношений.

В форумах ITMF регулярно принимают участие ведущие зарубежные и отечественные эксперты. В этом году на форуме выступил Марк Смолли, всемирный посол фонда ASL BiSL и ассоциации DevOps Agile Skills, который на пленарном заседании задал вектор обсуждения вопроса о роли DevOps, сравнив, в частности, разговоры вокруг этой методологии с религиозными спорами, а именно, с дзэн-буддизмом.

Итак, что такое DevOps – культ романтиков, где на любого, пришедшего на обсуждение без принятых артефактов, смотрят с подозрением, либо это лишь рядовой метод разработки программного обеспечения, а может быть, это развивающееся профессиональное движение, нацеленное на укрепление производственных отношений между разработчиками и специалистами подразделения эксплуатации и ускорение выполнения запланированных работ?

В своем докладе «Первые шаги к DevOps и контроль качества ПО» Ольга Тимашева, руководитель центра компетенций по тестированию и обеспечению качества ПО «ЮниКредит Банка», рассказала о движении банка в сторону DevOps. В конце 2017 года была образована инициативная группа с привлечением команд разработчиков приложений, команды развития инфраструктуры и команды тестирования для реализации проекта объединения всех инициатив по автоматизации. В качестве основы на первых порах были выбраны некритичные для бизнеса приложения. Сразу выяснилось, что текущий способ управления изменениями не готов к процессам непрерывной доставки и развертывания, причем невозможно автоматизировать «человеческий фактор» в деле согласования изменений. Однако при развертывании тестовых сред вполне возможно минимизировать субъективизм, а для коллектива из молодых специалистов, стремящихся к освоению новых подходов, нет проблем при движении к DevOps.

Евгений Карасик, менеджер по продукту израильского центра разработок компании Micro Focus, отметил в своем докладе «Как мы внедряли DevOps. Рецепты успеха на основе личного опыта» важность ответственности всей команды за общее дело. Подход DevOps был выбран как способ реализации требований бизнеса за счет регулярной и ранней поставки ПО благодаря организации взаимодействия подразделений разработки, тестирования и эксплуатации. При этом продукты разрабатываются не только на основе принятых методологий, но и с учетом личного опыта разработчиков, а главный принцип звучал как «все,что может быть использовано более, чем один раз, должно быть автоматизировано». Следование DevOps позволяет выявлять и преодолевать организационные, технологические и психологические барьеры для создания управляемого и контролируемого прозрачного процессa с быстрой обратной связью. Однако нельзя делать DevOps наполовину, а эффект будет выше, если всем членам команды интересно работать «по душе, а не по карьерному росту», отметил Карасик. Если до перехода на DevOps новая версия продукта выходила раз в год, то после – по запросу бизнеса, технологический стек стал меняться теперь не раз в несколько лет, а по мере необходимости. Обычно объем кода увеличивался на 30% для каждой версии, а теперь максимум на 3-5%, причем автоматизация тестирования составила 80%, а не 20%, как раньше. Все это позволило резко повысить качество продукта.

Однако, несмотря на такие высокие показатели, не все докладчики сессии рекомендовали слушателям всегда следовать дорогой DevOps. Ирина Марчева, руководитель продуктового офиса компании «М.Видео», в своем выступлении «Нужен ли вам Agile?» обратила внимание на то, что внедрение DevOps не следует считать панацеей. Гибкие методологии итеративной разработки, например Scrum, эффективны в случаях, когда неясен результат и требуется быстро проверить различные гипотезы, а для классических, размеренных проектов с четкими сроками и целями достаточен инкрементальный, эволюционный подход. Проблема может возникнуть в крупных организациях, когда одна часть компании живет в парадигме Agile, а другая – в старой «водопадной», и здесь может помочь SAFe. Проект создания интернет-магазина «М.Видео» с его неясными целями и масштабами изначально относился к Agile, и, по словам Марчевой, его успеху способствовали поддержка со стороны руководства, привлечение консультантов и, главное, – предоставление команде права на ошибку.

Бизнесу нужны конкретные конкурентные преимущества, и ему в конечном счете нет дела до Agile как культуры, отметил в своем докладе «Покажи мне свои практики. Когда Agile краснеет» Олег Егоркин из «Ростелекома». Однако эффективность любой практики, а значит, и результаты бизнеса сильно зависят не только от возможностей команды, но и от способности самих бизнес-руководителей принять культурные преобразования. Свое выступление Егоркин построил вокруг общей многоуровневой модели развития организационной культуры – поведение всех сотрудников компании определяется ее принадлежностью к конкретному уровню: импульсивная (банда), конформистская (церковь), конкурентная (корпорация), плюралистическая (семья) и эволюционная (живой организм). В наибольшей степени практики DevOps начинают работать лишь на четвертом уровне, на втором Dev и Ops существуют раздельно, а на третьем появляется ITIL. Предложенная модель позволяет понять, готова ли команда к DevOps и имеет ли смысл перенимать практики у команд с более развитым культурным кодом.

Вслед за повсеместным принятием на предприятиях концепции DevOps, поддерживающей активное взаимодействие всех участников жизненного цикла приложений, сегодня заговорили и о DataOps — подходе, который обеспечивает «демократизацию» данных, позволяет работать с ними всем сотрудникам предприятия. Участники дискуссии постарались разобраться, что в DataOps от проходящей моды, а что от насущных потребностей.

Сам термин DataOps появился в 2015 году в блоге Энди Палмера, вместе с Майклом Стоунбрейкером основавшего компанию Tamr. В марте 2017 года термин прозвучал на конференции Strata+Hadoop World, организуемой O’Reilly, а вскоре прочно вошел в лексикон профильных периодических изданий, в частности в ИТ-глоссарии Gartner. Саму концепцию уже взяли на вооружение такие компании, как Facebook, Netflix, Uber, LinkedIn, Twitter и eBay, развернув под нее соответствующую инфраструктуру.

Термин был выбран достаточно удачно – все его понимают как применение практик быстрой интегрированной разработки и эксплуатации на больших объемах данных, однако в его трактовке возникают разногласия. Разрешить их и была призвана дискуссия «DataOps – agile-подходы к работе с данными», которую в рамках форума BIG DATA 2018 провел Андрей Николаенко из IBS.

В ходе дискуссии обсуждались, например, такие вопросы: agile-методологии в работе с большими данными: скрещивание модных терминов или насущная необходимость? «Бимодальные ИТ», большие данные и DataOps: можно ли развести процессы и данные — часть в «традиционный модус», часть в «гибкий цифровой»? Имеет ли смысл накопление данных при их неясной ценности для анализа в будущем? При обсуждении второго вопроса участники дискуссии рассмотрили ситуацию, когда все данные общие, но с ними одновременно надо работать двумя разными способами: традиционно, когда релизы приложений выходят раз в полгода, и в цифровом режиме, когда обновления происходят несколько раз в день. Анджей Аршавский, директор Центра анализа данных и математического моделирования НЛМК, вместе с Антоном Исаниным, руководителем центра качества «Альфа-Банка», подтвердили, что в их компаниях налицо бимодальность ИТ, но аккуратное выстраивание над платформой данных правильных переходников позволяет эффективно работать с единой платформой в двух режимах.

Наиболее оживленную полемику вызвал вопрос о выживании в условиях DataOps профессий аналитика, математика, программиста, тестировщика и администратора баз данных, поскольку этих специалистов потенциально могут заменить «универсальные солдаты» — исследователи данных (data scientist). Участники дискуссии опровергли тезис о том, что возможно слияние специализаций. Например, Вадим Индриков, начальник отдела системной архитектуры ГНИВЦ ФНС РФ, и Валерий Артемьев, консультант отдела разработки политик, стандартов и процедур Управления методологического и организационного обеспечения департамента статистики и управления данными Банка России, обратили внимание на то, что в командах скорой разработки очень важны взаимная страховка и понимание работы коллег. В этом смысле, как отметил Олег Егоркин, директор проектов «Ростелекома», важно владеть смежной квалификацией, но при этом само по себе понимание работы смежника и готовность его подстраховать вовсе не означает «универсализацию специализаций» – нельзя быть автомехаником, лишь обладая навыками замены колеса. Интересный момент по поводу слияния специализаций по работе с данными отметил Артем Данилов, архитектор хранилища данных в Avito.ru. Менеджеры по работе с посетителями портала Avito, сказал он, владеют SQL, составляют визуальные отчеты и с помощью запросов к базе постоянно решают возникающие нестандартные задачи, что, впрочем, не делает их разработчиками платформы данных, поскольку хранилище и витрины создают все-таки профильные специалисты.

Итак, по мнению участников дискуссии, чтобы «демократизировать» данные, нужно преобразовать как средства доступа к ним, так и способы управления данными, обеспечивающие коммуникации и интеграцию уже имеющихся данных, команд и систем. На решение этой задачи и направлена концепция DataOps — установление связи тех, кто собирает и готовит данные, с теми, кто их анализирует и применяет в бизнесе. Данные не принадлежат ИТ, специалистам по данным или аналитикам. Они принадлежит всему бизнесу, а инструменты самообслуживания должны позволять всем сотрудникам компании создавать собственные аналитические отчеты и визуализации, делясь своими открытиями с коллегами. В этой связи, как прогнозируют аналитики Gartner, уже в ближайшие годы 80% компаний из Global Fortune 1000 будут использовать в своей практике методологию DataOps.

Компания Syncsort, в состав которой в 2017 году вошли Vision Solutions (поставщик решений оптимизации, восстановления, миграции, анализа больших данных) и Trillium Software (разработчик систем обеспечения качества корпоративных данных) организовала мероприятие для представителей промышленных предприятий и государственных организаций, на которм обсуждались актуальные тенденции в области больших данных и обеспечения устойчивости бизнеса.

«Технологии больших данных, прогнозной аналитики и искусственного интеллекта становятся сегодня реальной необходимостью для бизнеса, однако возникают сложности с тем, чтобы интегрировать их в существующие инфраструктуры без прерывания текущей работы предприятия и с минимальными затратами», – отметил Александр Трекин, региональный директор Syncsort/Vision Solutions. Действительно, большие данные открывают для предприятий возможность углубленной аналитики своей операционной деятельности и поиска направлений для инвестиций, определяющих прибыльность и устойчивость бизнеса, да и сам факт его существования. В этой связи многие организации обращают сегодня внимание на аналитические среды нового поколения, однако здесь их поджидает ряд трудностей – требуется при минимальных затратах обеспечить постоянный доступ к данным, гарантировать их безопасность, а также соответствие правовым нормам и стандартам.

Тендю Йогуртчу: «Для компаний цифровой эпохи данные — не дополнение, а основной бизнес»

«Для компаний цифровой эпохи данные — не дополнение, а основной бизнес», – отметила Тендю Йогуртчу, технический директор компании Syncsort. Свое выступление она посвятила анализу четырех аспектов обеспечения непрерывности бизнеса и операционной аналитики цифрового предприятия. Она отметила, что гибридные облака стали нормой, но нередки сложности при переносе данных и масштабировании; Интернет вещей и потоковые данные – отличный источник данных, но возникает проблема управления ими, репликации, обеспечения аналитики реального времени — и все это на фоне отсутствия на рынке труда специалистов по данным; анализ и обработка данных, искусственный интеллект существенно облегчают выполнение рутинных задач, но при этом усложняются процессы подготовки данных и взаимодействия с пользователями, а также нет ясности с окупаемостью инвестиций; системы комплексного управления всеми корпоративными данными обостряют проблему совместимости решений, консолидации разнообразных источников и множества платформ, а также обеспечения безопасности и качества данных.

О том, как увидеть целостную картину состояния предприятия и обеспечить поддержку всех процессов обработки данных с соблюдением нормативных требований, рассказал Мадс Тоубро, вице-президент Syncsort/Vision Solutions в странах Европы, Ближнего Востока и Африки: «'Вода' в озере данных должна быть всегда свежей. Наш портфель решений позволяет задействовать прошлое, работать с настоящим и готовится к будущему для обеспечения актуальности корпоративных данных». В портфеле компании имеется три группы продуктов для решения следующих задач: оптимизация – улучшение эффективности и управление расходами на всех уровнях ИТ-инфраструктуры; надежность – повышение доступности данных и гарантии их безопасности в контексте глобального перехода к модели непрерывного доступа к данным; интеграция – совместимость имеющейся инфраструктуры работы с данными и новых технологий, обеспечение качества данных, необходимого для систем искусственного интеллекта, машинного обучения и прогнозной аналитики. Пакет Athene обеспечивает кроссплатформное управление ресурсами и оптимизацию хранилищ в масштабах предприятия. За надежность, высокую доступность, аварийное восстановление, миграцию данных, защиту и шифрование отвечает пакет решений MIMIX. Интеграцию с унаследованными технологиями, кроссплатформенный обмен данными, обогащение и проверку данных помогут осуществить пакет Ironsteam и пул продуктов обеспечения качества данных компании Trillium.