«Национальный центр информатизации», входящий в «Ростех», разработал технологическую платформу для создания защищенных систем хранения данных сверхбольших объемов – от нескольких петабайт до десятков эксабайт, сообщается на сайте госкорпорации.

Решение, созданное с применением отечественных технологий, отвечает самым высоким требованиям по безопасности и надежности хранения данных.

Такая система может использоваться в силовых ведомствах и иных органах исполнительной власти для хранения и обработки информации, в том числе содержащей государственную тайну, а также в научных организациях и коммерческих компаниях, которым приходится работать с большими массивами данных. Кроме того, платформа может стать технологической основой в проекте создания российской инфраструктуры Интернета вещей и других масштабных задачах.

Решение позволяет создавать как объектовые системы хранения данных, так и распределенные. Система подразумевает многократное реплицирование хранимых данных, что предельно снижает риск потери информации и максимально повышает надежность системы. Она выполнена по отказоустойчивой схеме: в случае аварии восстановление происходит в течение 15 минут без прекращения доступа к данным. С помощью решения можно не только повысить отказоустойчивость ЦОД, надежно хранить информацию и увеличить скорость доступа к ней, но и сократить расходы на содержание инфраструктуры.

Технологическая платформа базируется на разработанной специалистами НЦИ операционной системе «Аврора», защищенной ОС класса GNU/Linux, которая соответствует требованиям информационной безопасности к третьему классу защищенности СВТ от НСД и второму уровню контроля отсутствия НДВ.

Современные организации целиком зависят от своих данных, но существующие инструменты и процессы не позволяют им держать эти данные в безопасности.

Такого мнения придерживается генеральный директор Informatica Анил Чакраварти, заявивший недавно, что его компания, традиционно ориентировавшаяся на задачи управления данными и их интеграции, займется теперь и вопросами обеспечения безопасности данных.

«Сегодня нам то и дело говорят о брешах, – заметил он. – А теперь представьте, сколько существует брешей, о которых вы не слышали. В настоящее время обеспечение безопасности данных для клиентов – нерешенная проблема».

В прошлом году Informatica представила программный продукт Secure@Source, обещающий новый подход к информационной безопасности, нацеленный на данные. Он помогает организациям идентифицировать и видеть важные данные, где бы они ни находились.

Нынешней осенью компания планирует анонсировать свои новые разработки в сфере безопасности данных.

«Мы полагаем, что наша ориентация на данные поможет выработать новые подходы, – пояснил Чакраварти. – Вместо того чтобы фокусировать внимание на инфраструктуре и сети, необходимо уделять его в первую очередь данным, независимо от того, где они располагаются. Задача эта требует детального анализа данных, и мы полагаем, что Informatica поможет справиться с этим лучше любого другого поставщика. По крайней мере, я не видел, чтобы кто-то еще придерживался аналогичного подхода».

Больше года тому назад акции Informatica были выкуплены с фондвого рынка за 5,3 млрд долл. с привлечением инвестиций от Microsoft и Salesforce. Чакраварти, исполнявший на тот момент обязанности директора по продуктам, сменил на посту генерального директора Сохаиба Аббаси, который сохранил за собой должность председателя совета директоров.

Главной целью перехода в статус частной компании было движение в сторону облачных вычислений и Больших Данных, и за прошедший год был достигнут серьезный прогресс в этом направлении.

На сегодняшний день именно облачные решения являются для компании главными.

«Большинство клиентов используют до 30-40 корпоративных программных решений разряда SaaS, – подчеркнул Чакраварти. – При этом данные оказываются разбросаны в облаке повсюду, а значительная их часть по-прежнему хранится еще и в ИТ-системах самой компании. Никогда ранее организации не сталкивались с такой фрагментацией и потерей контроля над данными; но и в условиях такой разбросанности информации они несут ответственность за свои данные. И сегодня эта задача носит уже фундаментальный характер».

Основным своим конкурентом в данной сфере в Informatica считают продукт Dell Boomi.

Еще одним ключевым направлением для Informatica становятся Большие Данные. Компаниям, взявшим на вооружение новые технологии наподобие Hadoop, необходимо уделять больше внимания тому, чтобы, переходя из мира традиционных СУБД, не утратить присущей им управляемости, качества и интеграции данных.

«Технологии Больших Данных становятся более зрелыми, но многие организации хотят иметь те же возможности управления данными, те же средства и процессы, которые были у них в прошлом, – пояснил Чакраварти. – Им по-прежнему нужны эти традиционные ценности».

«Использование данных открывает перед компаниями потрясающие возможности с точки зрения трансформации своих процессов и перехода к новым моделям ведения бизнеса, – подчеркнул Чакраварти. – И мы очень рассчитываем на то, что и нас на этом пути ждет успех».

В SuperJob завершили тестирование сервиса Social Link для агрегации данных о соискателе из социальных сетей. С 23 августа 2016 года инструмент стал доступен всем работодателям на сайте.

Social Link агрегирует открытые данные о соискателе из социальных сетей: фотографии, список друзей, интересы, другие публикации. Сервис работает, даже если кандидат не указал в своем резюме ссылки на профили в социальных сетях — алгоритмы автоматически сопоставляют информацию в резюме пользователя и в социальных сетях и определяют его личные профили с точностью до 99,8%. Данные Social Link получает из Facebook, Twitter, Instagram, «ВКонтакте» и «Одноклассников».

Инструмент представляет собой кнопку, встроенную в резюме соискателя, нажав на которую, работодатель получает всю нужную ему информацию на одной странице.

Пока все работодатели могут пользоваться инструментом бесплатно, но компания не исключает введения платной функциональности.

Проект Social Link был запущен в конце 2015 года, но весной 2016 года компания закрыла сервис на доработку. Сервис создан на базе технологий компании Double Data, занимающейся хранением и обработкой больших объемов данных.

Hewlett Packard Enterprise приобретает SGI за 275 млн долл. с расчетом существенно укрепить направления бизнеса, связанные с анализом Больших Данных и высокопроизводительными вычислениями.

Сделка стала очередным сюрпризом от HPE, сформированной в прошлом году в результате разделения Hewlett-Packard. С тех пор в новой компании начались крупные перемены.

Благодаря новому приобретению HPE получит возможность и дальше претворять в жизнь планы по расширению бизнеса, связанного с аналитикой данных; кроме того, HPE сможет еще более укрепить свои позиции в области высокопроизводительных вычислений, а это немаловажно, так как данный сегмент серверного рынка продолжает динамично развиваться.

У SGI примерно 1100 сотрудников во всем мире. Буквально на днях компания отчиталась об убытках за очередной финансовый год, составивших 11 млн долл. при обороте в 533 млн долл.

«Приобретение SGI не только позволит усилить влияние HPE на быстрорастущем рынке анализа Больших Данных, но и упрочить наши позиции на вертикальных рынках, включая госсектор, медицину, высшее образование, науку, производство и суперкомпьютеры», — заявил Антонио Нери, глава HPE Enterprise Group.

Серверы линейки Ice сделали SGI одним из крупнейших игроков рынка высокопроизводительных вычислений Источник: Intel

В частности, положение HPE в мире систем высокопроизводительных вычислений должно укрепиться благодаря технологии анализа данных в памяти, разработанной в SGI, полагают в HPE.

История SGI — многолетняя и бурная. Компания была основана в 1982 году Джимом Кларком, который впоследствии создал и Netscape. Изначально SGI называлась Silicon Graphics. Название было изменено в 2009 году, после банкротства и поглощения компанией Rackable Systems.

HPE в свое время отказалась от бизнеса принтеров и персональных компьютеров и с тех пор продолжает искать себя в новом ИТ-мире. Как и другие поставщики традиционных технологий, HPE прикладывает силы к тому чтобы вписаться в эпоху новых бизнес-моделей, основанных на облачных вычислениях.

Среди шагов, предпринятых HPE в текущем году, — отказ от бизнеса, связанного с предоставлением публичных облачных сервисов, планы отсоединить большую часть подразделения по ИТ-услугам и создать на его основе совместное предприятие с CSC. Кроме того, ряд топ-менеджеров компании объявили о намерении покинуть ее.

Ранее SGI и HPE сотрудничали: внутренние межсоединения SGI NUMAlink используются в серверах HPE Integrity. Время покажет, получит ли HPE преимущества, на которые рассчитывает после покупки SGI — компании со сложной историей.

Несомненную ценность представляют собой разработки SGI в области высокопроизводительных вычислений и средств аналитики на основе систем с процессорами Intel, считает Чарльз Кинг, главный аналитик Pund-IT: «Эти активы отлично дополняют технологии и бизнес HPE, а значит, компаниям будет легко наладить взаимодействие».

Еще одно важное обстоятельство — это цена покупки.

«Если вспомнить, сколько было заплачено за некоторые последние приобретения в ИТ-отрасли, причем многие из них были невыгодными, то сделка HPE и SGI выглядит просто изумительной, — продолжил Кинг. — Особенно это подтвердится, если оправдаются прогнозы, предсказывающие, что продолжится уверенный рост систем высокопроизводительных вычислений и аналитики».

Миры высокопроизводительных вычислений и Больших Данных все больше становятся взаимопроникающими как в архитектурном, так и в прикладном отношении, отметил Патрик Мурхед, главный аналитик Moor Insights & Strategy.

Серверы линейки Ice сделали SGI одним из крупнейших игроков рынка высокопроизводительных вычислений, а системы UV дали компании широкие возможности в области Больших Данных, добавил он. По сведениям Мурхеда, в мире высокопроизводительных вычислений SGI «за десятилетия работы наладила очень тесные взаимоотношения с заказчиками».

«Я уверен, что после данного приобретения HPE сделается более конкурентоспособной и на рынке высокопроизводительных вычислений, и на рынке Больших Данных, — добавил он. — HPE лишь останется вложиться в интеграцию со своими решениями».

Как ожидается, сделка совершится в первом квартале 2017 финансового года, который оканчивается для HPE в январе.

В компании Columbus Collaboratory разработали CognizeR, расширение языка программирования R, предоставляющее доступ к системе искусственного интеллекта IBM Watson. R широко применяется специалистами по данным для создания статистических и аналитических приложений. Раньше для обращения к сервисам Watson приходилось пользоваться другими языками, для которых у него есть интерфейсы программирования, например, Java или Python. Расширение CognizeR позволяет работать с Watson, пользуясь конструкциями R.

В IBM выражают уверенность в том, что теперь ученым по данным станет проще анализировать с помощью Watson неструктурированную информацию, в том числе чаты, электронную почту, изображения и другие документы.

В числе первых сервисов Watson, ставших доступными в R благодаря CognizeR, — машинный перевод, анализ личных профилей, анализ тональности текста, преобразование речи в текст и распознавание образов.

Расширение, распространяемое, как и сам язык R, в открытых кодах, доступно на сайте GitHub.

Участники практической конференции «Технологии Больших Данных», организованной издательством «Открытые системы» 21 июня, заполнили актовый зал гостиницы «Интурист» в Коломенском плотно: опоздавшим и замешкавшимся с кофе не сразу удавалось найти свободное место. И это не удивительно. Модная тема, и при этом актуальная — большинство докладчиков говорили о практических делах, а не о потенциальных возможностях. О практике здесь, в России. Соотношение маркетингового шума и полезности технологий Больших Данных остается неясным, но это не так уж интересовало слушателей: среди них в будущем Больших Данных мало кто сомневается.

Еще одна особенность Больших Данных не дает скучать: они имеют отношение к каждому из нас, ведь только отшельник не пользуется сотовой связью, банками и соцсетями.

Сигналы о неверности

Доклад Александра Фонарева, директора по науке компании Rubbles (SBDA Group), наглядно продемонстрировал, насколько глубоко информация о «простом человеке» может изучаться коммерческими компаниями. Фактически решение Rubbles Customer Insight, которое компания адресует банкам (в частности, мобильное приложение Альфа-банка Alfa Sense использует технологии Rubbles), исследует психологию клиента. Оно берется определить, предсказать критические точки поведения, моменты, когда лояльность банку дает трещину. В этом случае банк может реагировать специальными предложениями, которые отправляются не веерной рассылкой, а именно тем, на чье поведение они могут, как полагают аналитики, повлиять, — на тех же, кто, по «мнению» программного обеспечения, окончательно решил покинуть банк, больших ресурсов тратить уже не стоит. Для анализа данных примерялись различные алгоритмы; хорошо показали себя композиции решающих деревьев. Банк, со своей стороны, свидетельствует, что аналитика — не искусство ради искусства: в среднем клиенты, согласившиеся на рекомендации, ежемесячно оставляют на счету на 4600 руб. больше.

Задачи аналитика сотового оператора не так уже сильно отличаются от задач банковского аналитика, можно было понять из доклада Дмитрия Бабаева, эксперта компании «МТС». Надо определить тех клиентов, которые недовольны и могут перейти к альтернативному оператору. Другая задача — определение качества связи: когда обрывается связь, сколько раз клиенту приходится перезванивать, надежно ли работает Интернет. «Изначально не известно, — признался Дмитрий, — по каким из персональных данных клиента мы сможем прогнозировать его поведение. 90% времени уходит именно на сбор таких данных». Для машинного обучения строится матрица, в которой строки соответствуют пользователям, а колонки — их свойствам. Эта матрица разрежена и огромна: 200 колонок можно потратить только на то, чтобы отметить, на какие сайты человек ходит. Такие таблицы хранить в реляционной базе данных неудобно. Обычно матрицы содержат примерно по тысяче колонок, но разработчики уже не раз доходили до технологического предела в 4 тыс. колонок в используемой ими СУБД.

Торговые книги в облаках

Налоговикам не до психологии, нужно проверять, перепроверять и сверять. О том, какие технологии при этом могут использоваться, рассказал в своем докладе Александр Чистяков, ведущий разработчик в компании СКБ «Контур».

С 2015 года отчеты налоговикам приходят в электронном виде. Классические сервисы сверки требуют загрузки и своих торговых книг, и торговых книг контрагентов. По словам Чистякова, единственный в России облачный сервис сверки от «Контура» устроен иначе. После того, как предприятие загрузило через веб-интерфейс свои торговые книги, как только контрагент загрузит свою, сверка произойдет автоматически, что позволит избежать пристального внимания налогового инспектора. Сегодня в облако «Контура» загружают 25-30% товарооборота России.

В проекте используется СУБД PostgreSQL. Сама база небольшая по объему, меньше 100 Гбайт, все индексы умещаются в памяти. Хранятся связи контрагентов и агрегаты, полученные в результате анализа. Связи полезны для быстрой работы веб-интерфейса. А вот за данные для аналитики отвечает СУБД HBase, под которую выделено 11 узлов кластера, — всего около 1 Тбайт данных в распределенной файловой системе HDFS, около миллиарда строк в таблицах.

Как видно, Большие Данные в этом облаке не слишком велики. Да на конференции вообще, кажется, ни разу не было произнесено слово «петабайт» — отнюдь не во все практические задачи порождают горы данных, как австралийский радиотелескоп, сбрасывающий 400 Мбайт в секунду.

Прыткий Tarantool

Tarantool — СУБД категории NoSQL с открытым кодом и сервер приложений на языке Lua. Его создатели утверждают, что Tarantool, который хранит свои данные в памяти, способен обрабатывать 1,5 млрд запросов в сутки. На вопрос докладчика, Константина Осипова, поинтерсовавшегося: «Кто знаком с технологией Tarantool?» подняли руки немногие (надо сказать, вопросы «А кто знаком с технологией X или Y» задавались на конференции часто, и лес рук не взметнулся ни разу). А ведь Tarantool, разрабатываемый в Mail.Ru Group, используется не только своими создателями, но и в других проектах, в том числе, в Badoo и в «Одноклассниках». Надо сказать, вопросы «а кто знаком с технологией X или Y» звучали на конференции часто, и лес рук не взметнулся ни разу. Это говорит о том, что мало кто поспевает за всеми новинками технологий Больших Данных, да и смысл участия в конференции для многих был именно в знакомстве с новейшими технологиями.

Дело, однако, в том, что сам термин «Большие Данные», бесконечно любимый маркетологами, содержит соблазн судить их по количеству. Общий же ИТ-контекст подсказывает: интересны скорее «другие», чем «большие» данные, и не из-за характерной для них слабой структурированности, а по их назначению: большинство проектов в этой области сосредоточено на аналитике. И это подразумевает повсеместное использование технологий искусственного интеллекта, а не только успевшие войти в журналистский словарь MapReduce и Hadoop, а теперь и Spark. Показательно, что во многих докладах содержалось гордое упоминание «науки о данных» (Data Science), а нейронные сети и машинное обучение упоминались чуть ли не в каждом втором выступлении.

Глубинное обучение естественному языку

Павел Велихов, сотрудник компании Finstar Labs, рассказал о понимании машиной не просто естественного языка, а языка отзывов, иногда довольно лукавых и двусмысленных. Задача поставлена амбициозная: понять все, что пишут в Интернете о гостиницах, ресторанах, фильмах — любые отзывы на естественном языке, а затем помочь пользователю выбрать лучший вариант с набором нужных ему свойств.

Пугающая аббревиатура NLP (Natural Language Processing — «обработка естественного языка») звучала в докладе часто и не всуе. В рамках представленного проекта опробован огромный арсенал средств — и грамматический разбор, и онтологии, векторное представление слов, и глубинное обучение. Используется рекуррентная нейронная сеть, которая запоминает свое состояние и использует его для каждого последующего шага.

Связь времен

Соседствуя с докладами о графах и графовой OrientDB, о глубинном обучении при распознавании лиц в видеопотоках и прочих приметах современности, представители крупнейших ИТ-компаний предъявили актуальный инструментарий. Виктория Федотова из Intel представила библиотеки DAAL (Data Analytics Acceleration Library) и MKL (Math Kernel Library). Василий Суханов, представитель SAP Labs, рассказал о платформе SAP HANA. Вадим Челышков, сотрудник Microsoft, был, кажется, единственным докладчиком, продемонстрировавшим работу представляемого продукта в реальном времени. Желающим изучать Большие Данные в Microsoft предолагают облачный сервис Azure Machine Learning.

Значительный интерес вызвали доклады о текущем состоянии и планах развития свободных, а также отечественных СУБД — MySQL, PostgreSQL, «Линтер», «Ред База Данных».