В платформе для приложений искусственного интеллекта Watson Data Platform реализованы новые функции каталогизации (Data Catalog) и очистки данных (Data Refinery), предназначенные для подготовки их к анализу методами искусственного интеллекта. Массивы данных в разных форматах, размещенные в облачных системах, с их помощью можно объединить в один массив, а затем с использованием технологий машинного обучения провести обработку и очистку данных для дальнейшего анализа.

Метаданные, извлеченные в процессе каталогизации и очистки, позволяют маркировать данные и обеспечивать соблюдение политик управления данными. Это дает разработчикам возможность определять риски при обмене конфиденциальными данными. Сервис Analytics Engine, предназначенный для разделения хранилищ данных и содержащейся в них информации, значительно ускоряет загрузку данных в приложения, облегчая таким образом работу с большими массивами данных.

Технологии искусственного интеллекта должны базироваться на прочном фундаменте из данных, подчеркивают в IBM. Корпорация объявила также о реализации новых функций в системе управления данными Unified Governance Platform.

Наблюдение за далекими звездами с помощью современных телескопов, живое, со сверхвысоким разрешением, сканирование мозга, сложное моделирование климата по запросу – на первый взгляд у перечисленных задач нет ничего общего. Но такое впечатление обманчиво. Общим же у этих научных чудес является то, что все они поддерживаются инфраструктурой OpenStack.

В ЦЕРНе, где Большой адронный коллайдер сталкивает частицы друг с другом и где ранее была доказана теория о так называемой частице бога – бозоне Хиггса, экспериментальные данные также хранятся в облаке OpenStack, поддерживаемом T-Systems.

На собираемой раз в два года конференции OpenStack Summit, которая на сей раз проходила в Сиднее, исследователи из двух институтов рассказали о проводимых ими сложных работах и используемой при этом инфраструктуре. Двое выступавших представляли инициативу австралийского правительства Nectar (National e-collaboration tools and resources research cloud), направленную на поддержку исследований в облаке.

Профессор Брендан Маккей, осуществляющий руководство программой Climate Change Response Programme, вместе со своей командой призвал устранить технические барьеры на пути моделирования изменения климата и формирования биологических видов.

«Исключительное биологическое разнообразие характерно для всего растительного и животного мира, существующего сегодня на планете, – указал Маккей. – Кроме того, речь идет о том, что поражает и убивает нас, – о трансмиссивных болезнях и вирусах, об их реальном и потенциальном воздействии в свете изменения климата под влиянием человеческой деятельности».

Все вышесказанное сопряжено с обработкой огромных объемов традиционно разрозненных данных, которые в ходе биологических наблюдений собираются исследователями, отправляющимися в специальные экспедиции на Амазонку или в Конго. Многое зависит от условий окружающей среды, данные о которых мы получаем в том числе и при помощи спутников и различных морских приборов.

Из всего этого складывается видение будущего климата. Причем речь идет не о каком-то одном прогнозе, а о более чем 40 моделях глобальных климатических изменений с различными сценариями и различными временными и прочими параметрами.

Конечный пользователь видит своего рода «сложное приложение», где можно для проведения экспериментов выбрать биологические или климатические данные. Данные обрабатываются в облаке, объединяющем около 30 тыс. ядер, но вся внутренняя работа остается невидимой для пользователя.

С помощью API пользователь моделирует эксперимент – его запрос обрабатывается системой, получает доступ к внешним данным, а результаты возвращаются обратно пользователю. «Это итерационный процесс, позволяющий выполнять эксперимент много раз, совершенствуя модель, – добавил Маккей. – И в конечном итоге вам захочется поделиться с миром полученными результатами. Для этого даже не нужно быть исследователем – любой желающий может зайти на сайт BCCVL, зарегистрироваться там и изучать возможные изменения интересующих его видов».

Компания Garvan Institute, занимающаяся секвенированием ДНК, управляет пятой по величине лабораторией подобного рода в мире. Большая часть изучаемых здесь заболеваний связана с геномикой. А лучше понять причины болезней сердца или онкологических заболеваний помогают мощные компьютеры с инфраструктурой OpenStack.

Гэри Иган возглавляет в Университете Монаша направление биомедицинских исследований. Поднявшись на сцену, он продемонстрировал видео, посвященное изучению мозга, и рассказал об исследованиях, которые в его университете проводятся с помощью инструментов OpenStack.

«Почти 50 лет назад исследователи приступили к построению первого сканера мозга, – отметил Иган. – С этих самых пор перед нами стоит задача заглянуть в мозг живого человека».

Около 30 лет назад технологии впервые дали нам возможность наблюдать человеческий мозг при выполнении им различных операций, совершаемых при помощи органов зрения, органов слуха и просто в процессе мыслительной деятельности. Требовалось сопоставить структуру мозга с его функциями, поставив им в соответствие микроскопические детали мозговой ткани. Первые открытия в этой области сделал Эдгар Адриан.

Для обработки больших наборов данных и визуального представления сложной трехмерной структуры мозга группа исследователей из Университета Монаша использует мощную суперкомпьютерную систему.

«Сегодня мы можем динамически проецировать мозговые функции на различные секции мозга, – указал Иган. – В начале каждой мозговой операции видны всплески нейронной активности».

Иган рассказал о технологии обработки изображений, созданной в Characterisation Virtual Laboratory. Сложные данные с синхротрона обрабатываются через удаленный рабочий стол. Для того чтобы проникнуть внутрь живых существ, исследователи использовали новую технологию трехмерного объемного сканирования сверхвысокого разрешения с помощью компьютерной томографии. «С помощью потока рентгеновских лучей, генерируемых синхротроном, вы можете изучать мозговую деятельность, наблюдая за динамической структурой, которая меняется так же, как меняются легкие в процессе дыхания», – пояснил он.

В удаленных областях Австралии, Новой Зеландии и Южной Африки ученые готовятся приступить к реализации проекта Square Kilometre Array. На огромном пространстве развернуты тысячи параболических антенн, предназначенных для сбора колоссальных объемов данных (примерно 5 тыс. Пбайт ежедневно). Эти данные в конечном итоге должны помочь нам разгадать многие тайны Вселенной.

Интересно, что здесь тоже имеется специально построенная среда OpenStack. Между этим проектом и исследованиями мозга в Университете Монаша можно провести и другие параллели.

«И при реализации проекта SKA, и при установке больших телескопов, и в ходе дальнейшего проникновения в глубины мозга мы должны постоянно увеличивать разрешение наших сканеров, – поясняет Иган. – Не так давно было разработано очередное поколение сканеров магнитно-резонансной томографии сверхвысокого разрешения, применяемых сегодня при изучении возбуждения отдельных нейронов в мозге живых людей».

При анализе больших данных прежде всего необходимо выделить в них так называемые признаки: наиболее ценные для анализа или прогноза элементы набора данных. При выборе признаков специалистам, как правило, приходится полагаться на собственную интуицию. Исследователи из Массачусетского технологического института попытались применить для решения этой задачи методы краудсорсинга. Они разработали систему под названием FeatureHub. С ее помощью специалисты могут ознакомиться с данными и предложить свои варианты выбора признаков. Затем система автоматически пробует строить прогнозы на основе различных комбинаций этих признаков.

В эксперименте 32 специалистам предложили две задачи с конкурса по анализу данных Kaggle. Качество полученных системой моделей по 100-балльной шкале оказалось всего на 3 и на 5 баллов хуже, чем моделей, победивших в конкурсе. Но участники конкурса работали над задачами в течение недель и месяцев, тогда как каждому из специалистов было выделено на работу с FeatureHub всего пять часов, а в целом решение заняло несколько дней. Авторы надеются, что в будущем этот метод удастся применить в более крупном масштабе.

В дискуссиях о цифровой экономике практически всегда всплывает фраза «данные – это новая нефть». Но как нефть не используется напрямую (ценность имеют продукты ее переработки: бензины, масла, краски, пластмассы и пр.), так и «сырые» данные требуют обработки и анализа, в результате чего появляются информация и знания, которые двигают вперед экономику и общество. Помочь клиентам извлечь максимум пользы из имеющихся у них данных — именно в этом видят в Hitachi задачу новой компании.

Hitachi Vantara — результат реорганизации внутри Hitachi, корпорации, основанной в 1910 году и имеющей оборот 76 млрд евро. В новой компании объединены три бизнес-актива Hitachi: специализирующаяся на ИТ-инфраструктуре компания Hitachi Data Systems, работающая в области Больших Данных Pentaho и занимающаяся Интернетом вещей Hitachi Insight Group.

Как подчеркнул президент и генеральный директор Hitachi Ltd. Тошиаки Хигашихара, Hitachi Vantara имеет три важных отличительных особенности, которые выделяют компанию среди других поставщиков решений для Интернета вещей. Во-первых, это более чем вековой опыт в области операционных технологий (ОТ), обеспечивающих функционирование и контроль различных промышленных, транспортных, энергетических, медицинских и других систем. Во-вторых, огромный опыт в области информационных технологий, которые в мире Интернета вещей применяются для мониторинга объектов, анализа получаемой информации и предсказания их поведения. Наконец, в-третьих, широкий спектр предлагаемых продуктов. Все перечисленное позволяет Hitachi Vantara предлагать современные цифровые системы, способные решать задачи, стоящие как перед отдельными заказчиками, так и перед обществом и странами в целом.

Одно из ключевых решений новой компании – Lumada, платформа для Интернета вещей. В Hitachi Vantara отмечают несколько характеристик, отличающих Lumada от предложений конкурентов. Одна из них – гибкий выбор моделей использования: Lumada может быть развернута как в облаке, так и на площадке заказчика, а также по гибридному сценарию. По данным Hitachi Vantara, более 50% заказчиков из промышленности пока предпочитают устанавливать такую платформу на своей площадке (on-premise). Другая важная характеристика Lumada – высокая степень безопасности: надежная защита данных предусмотрена на всех этапах, от их сбора, агрегации на пограничных устройствах и доставки в ЦОД вплоть до вывода результатов анализа данных на дисплеи или экраны мобильных устройств.

Создаваемые в Lumada аватары объектов, этакие «цифровые близнецы», позволяют получить цифровое представление оконечных устройств и разнообразные метаданные, используемые для аналитики. Что касается собственно анализа данных, то в Lumada применяются технологии искусственного интеллекта.

На базе Lumada создано программно-аппаратное решение Hitachi IoT Appliance, которое поставляется заказчику в виде полностью готовой к работе системы. Как утверждают в Hitachi Vantara, это решение не нуждается в дополнительных настройках, его можно развернуть и подготовить к эксплуатации буквально за час. Hitachi IoT Appliance можно размещать в любой точке по выбору заказчика – от границы до центра информационной среды. Выбор места определяется различными факторами: необходимой скоростью реакции на события, требованиями к безопасности, ограничениями каналов связи и пр. Благодаря оптимальному месту размещения платформы удается снизить риски, уменьшить сложность и неопределенность, присущие развертыванию систем Интернета вещей, особенно в промышленных средах.

Понятно, что Lumada работает на базе ИТ-инфраструктуры как в пограничных устройствах, так и в классических ЦОД. Для них Hitachi Vantara предлагает полный набор решений, включая системы хранения на основе флеш-технологий, конвергентные и гиперконвергентные системы. Сразу за объявлением о создании новой компании осенью 2017 года последовал целый ряд важных продуктовых анонсов: Hitachi Vantara представила новое семейство конвергентных инфраструктурных систем Unified Compute Platform (UCP) CI, решение Smart Data Center, а также расширила комплекс корпоративных облачных решений Hitachi Enterprise Cloud для использования практик DevOps и работы с контейнерами приложений.

В UCP CI объединены возможности систем хранения корпоративного класса Hitachi Virtual Storage Platform (VSP) и процессоров Intel Xeon Scalable. Как подчеркивают в Hitachi Vantara, это гибкие, высокопроизводительные и легко конфигурируемые системы, способные поддерживать корпоративные приложения любого масштаба в любых облачных средах. Решение поставляется в виде сертифицированной, интегрированной и полностью готовой к работе системы, на ее развертывание не потребуется много времени.

Одновременно с UCP CI компания представила Hitachi UCP Advisor 2.0, программное обеспечение нового поколения для автоматизации и управления продуктами UCP. Эти ПО и системы UCP CI представляют собой новый этап развития семейства решений UCP. В семейство также входят созданные на базе VMware Cloud Foundation системы UCP RS с архитектурой Rack-Scale и гиперконвергентные системы UCP HC, дополненные возможностями ускорения энергонезависимой памяти (NVMe). UCP Advisor 2.0 можно сочетать с любой из этих систем UCP, благодаря чему упрощается управление данными и координирование процессов.

Разработанная Hitachi Vantara концепция интеллектуального центра обработки данных Smart Data Center нацелена на то, чтобы сделать ИТ-инфраструктуру более гибкой посредством централизации контроля и автоматизации процессов, охватывающих различные системы, ЦОД и облачные среды. В отличие от ЦОД с традиционным ИТ-администрированием, в интеллектуальных ЦОД процессы анализа данных и принятия решений будут автоматизированы, а значит, повысится эффективность и качество выполнения как простых операций по конфигурированию и выделению ресурсов, так и более сложных – например, по оптимизации использования ресурсов и самовосстановления в сети ЦОД. В решениях Smart Data Center используются широкие возможности технологий Интернета вещей и предсказательной аналитики.

Поддержка практик DevOps и работы с контейнерами приложений реализована в расширенном комплексе корпоративных облачных решений Hitachi Enterprise Cloud. Обновленное решение HEC интегрировано с технологией vRealize Automation от VMware, а также предоставляет для DevOps гибридные облачные ресурсы, использующие архитектуру микросервисов.

В Hitachi Vantara прекрасно понимают, что мир ИТ идет по пути все большего разнообразия моделей использования облаков, а потому предлагают максимально гибкие и эффективные решения для таких гибридных сред. Кроме того, облака выходят за пределы традиционных ЦОД, и для эффективной поддержки Интернета вещей часто требуется наличие небольших облачных платформ рядом с конечными устройствами. Реализовать такие решения помогает уникальный опыт Hitachi по части промышленных систем для производства, транспорта, медицины, энергетики и других областей.

«Почта России» тестирует технологию, которая позволяет идентифицировать человека при его входе в почтовое отделение, сообщил глава ведомства Николай Подгузов, выступая на инвестиционном форуме ВТБ Капитала «Россия зовет!».

По словам Подгузова, наряду с другими возможностями идентификация позволила бы работникам почтового отделения заранее подготовить для клиента посылки во время его ожидания.

Глава ведомства добавил, что в «Почте России» уже накопили большой объем данных о клиентах: «Раньше мы их не упорядочивали, сейчас мы имеем достаточно развитую систему аналитики. Каждая посылка, которая отправляется, отслеживается нашей системой, и в будущем мы бы хотели прогнозировать, например, нагрузку на отделения исходя из понимания, сколько посылок будет доставлено в конкретный день в конкретное отделение. Это позволит нам оперативно управлять сетью, и, надеюсь, проблема очередей уйдет в прошлое».

«Тема будущего – не блокчейн, а искусственный интеллект, вот что взорвет рынок. Данные о клиенте, которыми обладает банк, скоро станут гораздо более ценными, чем размещенные им депозиты», — заявил Алгирдас Шакманас, вице-президент «Промсвязьбанка» и руководитель блока «Цифровой бизнес», на пресс-конференции, посвященной освоению банком цифрового пространства. Уже в ближайшем будущем пойдет речь о бизнесе не на транзакциях клиента, а на его интересах и потребностях. Разумеется, подобное пристальное наблюдение может нервировать, но надо понимать, что за счет этого банк сможет выступать в роли «хорошего официанта», угадывая желания и потребности клиента. Согласно внутренним прогнозам банка, к концу следующего года примерно 50% продаж физическим лицам будет происходить с участием искусственного интеллекта.

Недавно «Промсвязьбанк» принял новую стратегию, в первую очередь предусматривающую переход в цифровые каналы, пересмотр кредитных конвейеров и функций поддержки. В нынешнем году было успешно запущено онлайн-кредитование малого и среднего бизнеса и физических лиц.

По словам Ивана Паткина, директора «Промсвязьбанка» по электронному бизнесу в СМБ, сейчас самая горячая сфера для банка – именно сегмент юридических лиц. Цифровизация банковского ретейла уже состоялась, а вот корпоративные клиенты начали активно переходить в онлайн лишь сейчас, и этой тенденции приходится уделять повышенное внимание. Борьба за клиента в значительной степени происходит именно здесь.

«Мы активно привлекаем новых клиентов в сегменте СМБ – более 10 тыс. юрлиц в месяц, около 98% из них сразу подключают интернет-банк. Дальнейшую свою стратегию мы видим именно в цифровизации всех наших процессов и выводе продуктов в онлайн-каналы», — рассказал Паткин. В планах на ближайшую перспективу – по возможности максимальный переход в «цифру» при работе с юридическими лицами, как с небольшими предприятиями, так и в корпоративном сегменте.

Однако сервисам нужна не только привлекательная оболочка, но и мощный «мотор»: кузов «Феррари» на двигателе от «Запорожца» далеко не уедет. Важную роль в цифровизации процессов будет играть искусственный интеллект – роботы должны завладеть бизнес-процессами. Парадокс заключается в том, что именно благодаря роботам банк способен стать более человечным, предоставляя персонифицированные сервисы.

Тем не менее первое решение, основанное на искусственном интеллекте, в банке появилось в области безопасности: была внедрена система по борьбе с мошенничеством на основе модели поведения человека, сформированной с помощью анализа Больших Данных.

«Как только внедрили интеллектуальную систему, число инцидентов радикально сократилось. Как в анекдоте про медведя и охотников, банку не надо бежать быстрее всех – достаточно обогнать самых медленных», — констатирует Шакманас. После появления такого решения мошенники переключили свое внимание на более уязвимые организации. В текущем году размер компенсаций, которые банк был вынужден выплатить пострадавшим от мошенничества клиентам, не достиг и 1 млн руб.

Идет пилотный проект по биометрической идентификации клиентов. Государство выступило жестким драйвером унификации этого процесса. В течение следующего года большинство крупных банков начнут использовать эту технологию в своих идентификационных каналах. Возможность дистанционной идентификации приведет к тектоническим изменениям банковского сектора, рынок будет перекроен на основе реальной ценности услуг, предлагаемых банками своим клиентам. Банки получат возможность стать полностью виртуальными, единственной физической сущностью останется пластиковая карта. Основу будущей конкуренции составит маркетинг, а не наличие сети отделений.

Agile заставляет «пылесосить»

По признанию Шакманаса, начавшаяся несколько лет назад цифровая революция изменила правила игры в финансовом секторе, во главу угла ставится производство виртуальных продуктов и услуг. Конечно, большинство процессов в банках и раньше были сильно автоматизированными, но сейчас цифровизация становится неотъемлемой частью бизнеса, его ядром. Более того, это ключевая компетенция, поэтому ее нельзя отдать в аутсорсинг. Как следствие, шаг за шагом банки становятся ИТ-компаниями.

«Мы весь год ‘пылесосили’ рынок талантов, штат серьезно увеличился», — подчеркнул Андрей Овсянников, вице-президент по ИТ Промсвязьбанка. В настоящее время внутренний ИТ-персонал выполняет почти 80% работ для бизнеса.

Еще одним фактором в наращивании ИТ-штата стало изменение используемых методологий: в начале нынешнего года банк начал активно внедрять подходы Agile. Как можно догадаться, эта история обходится недешево, требуется уход от традиционной парадигмы, годами складывавшейся в ИТ-подразделении. По мнению Овсянникова, гибкие методики сами по себе подразумевают расширение штата: вместо «высушенных» ИТ-подразделений с отлаженными процессами создаются отдельные команды, обладающие достаточными компетенциями для создания готовых продуктов. Более того, в банке используются приемы парного программирования, когда два разработчика сидят за одной рабочей станцией.

«Сказать, что гибкие методики ускоряют разработку, было бы неправильно. Скорее, эффект заключается в более точном удовлетворении потребностей бизнеса», — отметил Овсянников. Оказалось, что сократить время вывода новых продуктов на рынок невозможно без кратного расширения штата ИТ.

Что касается использования блокчейна, то пока направлений, способных взорвать рынок, в «Промсвязьбанке» не видят, хотя и планируют реализовать в следующем году пилотный проект в области факторинга. Пока действия большинства банков не выходят за рамки экспериментов, большого бизнеса в этом нет. Однако положительно то, что блокчейн приводит к сотрудничеству между конкурентами, а это не может не иметь позитивного влияния на рынок.

Те компании, у которых нет ИТ-инфраструктуры, необходимой для адаптации к революции больших данных, не смогут получить выгоду от этого роста, заявили в компании TmaxSoft. У многих организаций унаследованная ИТ-инфраструктура неспособна обеспечить необходимую емкость систем хранения, процессы обмена данных, утилиты и приложения, необходимые для обработки и анализа больших массивов неструктурированных данных для извлечения из них ценной информации. Кроме того, анализ постоянно увеличивающихся объемов данных может потребовать значительных инвестиций в устаревшую ИТ-инфраструктуру организации, а также дополнительных ресурсов для сопровождения, которые можно было бы использовать для разработки новых приложений и сервисов, подытожили в компании.

По мнению исполнительного директора TmaxSoft Россия Андрея Ревы, эти факторы приведут к тому, что организации, которые сегодня продолжают использовать унаследованную инфраструктуру, в будущем будут вынуждены заплатить намного больше за переход на новые технологии, либо не смогут получить никакого эффекта от революции больших данных. Корпоративные базы данных должны стать тем компонентом ИТ-инфраструктуры, который помогает внедрению инноваций, а не отвлекает ресурсы ИТ-подразделения на другие задачи, сказал Рева.

По данным IDC, в связи ростом объемов данных, генерируемых подключенными к Интернету устройствами, датчиками и другими технологиями, доходы, связанные с большими данными увеличатся со 130 млрд долл. в 2016 году до 203 млрд к 2020-м. Во втором квартале 2017 года объем продаж корпоративных систем хранения в мире вырос на 2,9% по сравнению с прошлым годом и составил 10,8 млрд долл.

Говоря о причинах, аналитики Gartner в недавнем докладе «Цикл зрелости технологий управления данными» пишут, что дистрибутивы Hadoop выходят из моды ввиду «сомнительной пользы» от наличия на предприятии соответствующего полного стека, в который помимо стандартных компонентов — распределенной файловой системы HDFS, платформы управления ресурсами кластеров YARN и системы обработки данных MapReduce может входить еще целый ряд модулей, таких как Apache Pig, Hive, HBase и др.

К трем ведущим дистрибутивами Hadoop обычно относят MapR, Cloudera и Hortonworks. Глава компании MapR Мэтт Миллс на недавней конференции Strata признал, что сегодня дистрибутивы Hadoop — это «бизнес проигравших, поэтому мы убрали слоника из нашего дома». В MapR предпочитают называть компанию поставщиком конвергентной платформы данных.

В Cloudera, в свою очередь, сообщают, что в компании сознательно стали избегать использования имени Hadoop при маркетинге, поскольку «оно неоднозначно толкуется и путает заказчиков». Взамен в Cloudera предпочитают объяснять, как можно решать задачи бизнеса — распознавание мошенничеств, прогнозирование текучки клиентов и т. п. — с помощью пакетных предложений компании, включая платформу Data Science, комплект аналитических СУБД и пакет транзакционных баз данных.

Однако хотя Hadoop больше не в центре внимания, фреймворк по-прежнему пользуется спросом: продажи растут и у Cloudera, и у Hortonworks, и у MapR. О том же говорят и представители компаний, разрабатывающих вспомогательное ПО для Hadoop. Например, в Trifacta, предлагающей платформу подготовки данных для аналитики, отмечают рост продаж Hadoop, в частности, для облачных развертываний. А в Pepperdata, поставляющей ПО для мониторинга и оптимизации рабочих задач Hadoop и Spark, за прошлый год удвоили объем продаж, в основном благодаря клиентам, расширяющим кластеры Hadoop. Но в дальнейшем, уверены в Pepperdata, основная часть спроса будет приходиться на тех, чьи рабочие задачи выполняются в облаке, преимущественно на базе новых архитектур наподобие системы управления контейнеризованными приложениями Kubernetes. Pepperdata вместе с Google, Red Hat и другими участвует в проектах, в рамках которых обеспечивается взаимодействие Kubernetes, HDFS и Spark.

Взлет и падение Hadoop произошли примерно за десять лет. Сегодня корпоративных заказчиков больше волнует вопрос не какую технологию анализа выбрать, а где разместить данные, — локально или в облаке, полагает Эш Манши, глава Pepperdata, бывший директор по технологиям Yahoo, где зародился Hadoop. Во многих случаях это зависит от законов о репатриации данных, действующих в различных странах, добавляет он.

Многие участники Strata высказали наблюдение, что сегодня Hadoop вытесняется Spark, фреймворком распределенных вычислений в кластерах, лишенным некоторых ограничений MapReduce.

Например, в Cloudera называют MapReduce «безусловно мертвым», утверждая, что в 2016 году дистрибутив Hadoop компании покупали преимущественно ради Apache Spark. При этом, хотя основные компоненты Hadoop заменяют на другие, в Cloudera убеждены в верности основной архитектурной идеи Hadoop: данные должны быть централизованы, и средства их обработки необходимо размещать там же, где находятся сами данные.

Между тем в компании AtScale, которая предлагает работающую поверх Hadoop систему бизнес-анализа, не согласны с тем, что Hadoop утрачивает ценность. Глава компании Дейв Мариани говорит, что настоящей революцией стало не появление Hadoop, а замена хранилищ данных на озера данных, а у Hadoop, ставшего «самой первой реализацией озера данных», сегодня просто есть много альтернатив. В AtScale также не согласны с Gartner в том, что предприятия массово отказываются от Hadoop — есть данные, показывающие, что дистрибутивы по-прежнему покупают, а прежние пользователи расширяют имеющиеся инфраструктуры.

По словам Мариани, в компании не считают, что Hadoop мертв: на конференциях нет прежнего энтузиазма по поводу фреймворка просто потому что ему уже десять лет, и аудитория мероприятий изменилась; сам же он за это время лишь стал более зрелым.