Владимир Пономарев: «Третья версия системы 'Гарда Предприятие' опирается на технологии Больших Данных и поэтому представляет собой принципиально новое решение». Источник: «МФИ Софт»

9 сентября компания «МФИ Софт» представила третью версию DLP-решения «Гарда Предприятие», обогащенную новыми инструментами для расширенного анализа данных.

По мнению заместителя генерального директора «МФИ Софт» Владимира Пономарева, до последнего времени продукты для борьбы с утечками конфиденциальной информации на предприятиях развивались в рамках одной технологической парадигмы. Она предусматривает мониторинг и сопоставление данных, курсирующих по коммуникационным каналам, по образцам этих данных. Проблема в том, что при внедрении подобных систем очень трудно найти баланс между полнотой контроля и приемлемой частотой необоснованных предупреждений об утечках. Ведь чем больше образцов данных отслеживает система, тем чаще вероятность ее ложного срабатывания. А снижение «чувствительности сенсора» чревато настоящими утечками важных данных.

Решение этой дилеммы, по мнению Пономарева, невозможно в рамках прежней парадигмы – тут нужен принципиально новый подход к созданию DLP. Этот подход подразумевает многоуровневый анализ всех коммуникаций сотрудников и данных, которые они генерируют, основанный на передовых технологиях поиска.

Третья версия системы «Гарда Предприятие» опирается именно на эти принципы контроля утечек и поэтому представляет собой принципиально новое решение, — подчеркнул Пономарев.

Продукт будет поставляться на рынок в виде готового программно-аппаратного комплекса. Сообщалось, что в минимальной конфигурации для работы системы достаточно одного сервера стандартной архитектуры. «Гарда Предприятие» нового поколения включает в себя три ключевых элемента: систему хранения данных, поисковый механизм и веб-интерфейс.

Как пояснил менеджер по разработке продукта «Гарда Предприятие» Алексей Нейман, механизм хранения собственной разработки в новом релизе DLP-решения «МФИ Софт» специально рассчитан на работу с Большими Данными. Ограничения по наращиванию емкости такой системы, модно сказать, отсутствуют, а собранные данные хранятся в бинарном виде с многофакторной индексацией, благодаря чему доступ к ним осуществляется почти мгновенно. В системе реализован скоростной поиск по хранилищу, и нужная информация отыщется также быстро как в «Яндексе» или Google, — уверяют разработчики. На рабочие места сотрудников устанавливается специальный агент. Кроме того весь трафик контролируется системой на коммуникационных шлюзах, соединяющих сеть предприятия с внешней информационной средой. Эти меры позволяют организовать интеллектуальный контроль действий по работе с данными всех сотрудников предприятия.

На первый взгляд пользоваться такой системой будет сложно. И внутри она действительно устроена намного сложнее, чем предыдущие версии «Гарда Предприятие». Но новый веб-интерфейс системы делает ее использование очень простым и удобным как для профессионалов в сфере информационной безопасности, так и для неискушенных в тонкостях ИТ-администрирования руководителей предприятий, уверяет Нейман. К тому же контролировать работу системы можно с любого устройства – с ПК, планшета или смартфона.

Система способна формировать множество видов отчетов и графиков. Все отчеты реализованы по многоуровневой схеме drill-down, которая позволяет от обобщающих материалов быстро перейти к детальной информации о коммуникациях каждого сотрудника – электронной почте, сообщениям в социальных сетях и так далее. Предустановленные фильтры позволяют отобрать для анализа рисков наиболее важные характеристики использования сотрудниками коммуникационных каналов, автоматически воссоздать схему информационного обмена в компании, выявить статистические аномалии. Например, можно почти мгновенно выяснить, кто из сотрудников осуществлял в Интернете поиск работы, кто использовал торрент-клиенты, а кто пересылал пароли в открытом виде. И в любой момент офицер по безопасности либо руководитель компании может получить отчет о наиболее часто посещаемых сайтах или список работников-завсегдатаев социальных сетей.

Обновленная версия «Гарда Предприятие» еще находится на стадии финального тестирования, ее коммерческий релиз будет доступен на рынке в ноябре. Распространение планируется через дистрибьюторскую сеть и прямые продажи. Продукт ориентирован на средние и крупные компании, руководство которых осознает риски утечек конфиденциальных данных и готово инвестировать в их защиту. Ориентировочная стоимость системы превысит миллион рублей. В дальнейшем планируется выпуск облегченной версии для малого бизнеса. В основной версии «Гарда Предприятие» же вскоре появится функционал, позволяющий строить модель поведения любого сотрудника на основе глубокого анализа данных о его активности. Если система вдруг выявит отклонение от стандартного поведения работника, это сразу станет поводом для беспокойства и усиления контроля дальнейших действий «подозреваемого». Большой Брат на предприятиях теперь будет оперировать Большими Данными.

По словам Криса Тугуда, команда Thing Big накопила значительно количество интересных проектов. Источник: Teradata

Teradata покупает уже третью короткий срок компанию, специализирующуюся на Больших Данных. На этот раз в область ее интересов попала консультационная фирма Think Big Analytics.

Поглощение Think Big укрепит мощь консультационного подразделения Teradata, насчитывающего уже 5 тыс. человек, и объединит его с командой инженеров, архитекторов и специалистов по данным, которые сегодня занимаются многочисленными дистрибутивами Hadoop, базами данных NoSQL и непосредственно связанными с Hadoop проектами с открытым кодом, такими как Hive и Spark.

«Компания Think Big была образована примерно четыре года назад и сегодня имеет достаточное число проектов», – сообщил вице-президент Teradata по маркетингу продуктов и сервисов Крис Тугуд.

Сделка между Teradata и Think Big была закрыта 29 августа, сумма ее не разглашается. По словам основателя и президента Think Big Рика Фарнелла, который сохранит свою должность и в Teradata, в компании сейчас насчитывается около ста сотрудников.

«Все торговые марки, принадлежавшие Think Big, будут сохранены, – отметил Тугуд. – Мы намерены поддерживать и развивать этот бренд».

Помимо высококвалифицированного персонала компанию Teradata привлекла операционная модель Think Big. Консультанты Think Big выезжают непосредственно к клиентам и там вместе с местными специалистами продумывают идеи для своих проектов.

Написанием программного кода сотрудники Think Big занимаются в своем офисе в Солт-Лейк-Сити. Его удобное местоположение позволяет сократить продолжительность полетов к клиентам, которые находятся главным образом в США.

Think Big придерживается методологии скорой (agile) разработки, разбивая большие проекты на отдельные итерации. Продолжительность цикла проектирования составляет шесть недель. Такой срок выбран не случайно. «Разработка длится больше месяца, поэтому у вас есть возможность сделать нечто достаточно значительное, – пояснил Фарнелл. – При этом цикл оказывается короче квартала. Это очень важно, потому что руководство, финансирующее инновации, имеет возможность оценить результаты до завершения отчетного периода».

В настоящее время Teradata ограничивает сферу бизнеса Think Big масштабами Северной и Южной Америки, но в дальнейшем планируется более широкая международная экспансия. Для этого консультанты Teradata будут направляться на обучение во внутреннюю академию Think Big.

Нынешняя сделка стала уже третьей для Teradata за последние несколько месяцев: в июле были приобретены компании Revelytix и Hadapt. Специалисты Revelytix разрабатывают для Hadoop среду управления метаданными, а Hadapt предлагает инструменты, которые позволяют программистам, знающим SQL, применять этот широко распространенный язык и при работе с Hadoop.

Вадим Москаленко: «Перевод на HANA призван максимально устранить ограничения, которые ИТ накладывают на бизнес»

Проекты по внедрению платформы SAP HANA в компании «Российские железные дороги» принесли обнадеживающие результаты, и по итогам их анализа принято решение продолжить перевод на эту платформу бизнес-приложений SAP, работающих в компании. В настоящее время на HANA переводятся управленческие системы, быстродействие которых требует, с точки зрения бизнеса, наиболее скорого увеличения. В дальнейшем компания, возможно, весь свой парк систем SAP переведет на HANA.

«Основная цель перехода на HANA — максимально устранить ограничения, которые ИТ накладывают на бизнес, — отметил Вадим Москаленко, заместитель начальника департамента информатизации и корпоративных процессов управления РЖД. — Сотрудники должны работать, а не ждать, когда системы смогут предоставить им нужный отчет».

В РЖД сегодня работает свыше 300 бизнес-систем SAP, развернутых в четырех ЦОД, конечными пользователями этих систем являются более 220 тыс. сотрудников компании. В перспективе все системы SAP могут быть переведены на HANA. Пока же миграция на новую платформу проведена для систем, генерирующих критически важную для бизнеса и в то же время слишком «медленную» отчетность, таких систем сегодня в РЖД около десятка. Ускорение удалось обеспечить действительно ощутимое — в десятки раз, притом что объемы обрабатываемых в РЖД данных весьма велики — они вполне подходят под определение Больших Данных. Существенно ускоряя генерацию наиболее значимых для бизнеса отчетов, команда внедрения добивается быстрого получения выгод, благодаря чему идея расширения круга систем, работающих на HANA, получает одобрение и поддержку со стороны бизнеса.

«Миграция на HANA дает компании возможность перейти с мэйнфреймов на кластеры серверов x86-архитектуры, — рассказывает Москаленко. — Это позволит перевести бизнес-приложения на серверное оборудование отечественного производства или собранное в странах, достаточно дружелюбных в отношении России».

Москаленко добавил, что у РЖД есть также планы импортозамещения производственных систем, но о деталях этих планов не сообщил.

По словам Дмитрия Шепелявого, заместителя генерального директора SAP СНГ, в России идут десятки проектов в области Больших Данных, реализуемых с применением HANA. Наиболее активно они ведутся в нефтегазовой, металлургической промышлености, ретейле, финансовом секторе. Рольф Шуманн, старший вице-президент, руководитель группы платформенных решений SAP в Центральной и Восточной Европе, добавил, что внедрение HANA способно принести пользу практически в любой отрасли. В таких отраслях, как нефтегазовая, телекоммуникационная, торговая, накапливается много данных, и выгода может быть получена благодаря их анализу. В некоторых секторах, например, в здравоохранении, выгода может достигаться в результате повышения качества таких исследований. В ряде других секторов пользу от Больших Данных принесет создание новых продуктов и услуг, например розница сможет генерировать «на лету» выгодные предложения для покупателей, а автомобильная отрасль существенно расширит комплекс услуг благодаря использованию возможностей бортовых компьютеров автомобилей, подключенных к сетям мобильной связи и системам геопозиционирования. Впрочем, уже скоро спектр применения систем значительно расширится в результате широкого применения различных подключенных устройств, обменивающихся данными между собой и с другими системами.

Сравнивать коммерческие системы обработки Больших Данных на основе Hadoop теперь станет несколько проще благодаря появлению нового теста от Transaction Processing Performance Council.

Тест получил название TPCx-HS, он позволяет оценивать быстродействие систем на базе Hadoop.

Рожденный в Yahoo, Hadoop сегодня — самая популярный из инструментов обработки Больших Данных. Источник: Yahoo

«Наши заказчики активно требовали стандарта, позволяющего объективно измерять быстродействие и соотношение цена-производительность для систем обработки Больших Данных», — отметил Рагунат Намбиар, председатель комитета TPCx-HS и заслуженный инженер Cisco.

Hadoop на сегодня — самая популярная из систем обработки Больших Данных, осваиваемых предприятиями. Заранее интегрированные дистрибутивы Hadoop предлагают IBM, HP и другие компании.

Обычно они приводят показатели производительности для своих систем, но каждый из поставщиков применяет собственную систему тестирования, поэтому заказчикам трудно сравнивать дистрибутивы.

В TPC надеются, что поставщики Hadoop будут пользоваться новым тестом для оценки своих систем, что поможет потенциальным покупателям сравнивать соотношение цена-производительность для различных решений.

«TPCx-HS выравнивает игровое поле, — убежден Намбиар. — Результат, который указывает для своего решения компания X, можно будет напрямую сопоставлять с результатом, который приводит компания Y».

Новый тестовый комплект можно загрузить на сайте TPC. В него входят спецификации и руководство пользователя, а также скрипты для выполнения кода теста и Java-приложение, имитирующее рабочую нагрузку.

Сам тест определяет, насколько быстро система на базе Apache Hadoop перестраивает данные с помощью широко используемого алгоритма сортировки. Производители могут оптимизировать свои системы программным способом либо указывать результаты тестирования на максимально быстром оборудовании.

Для тестирования можно выбрать один из искусственно сгенерированных срезов данных размером от терабайта до 10 тыс. терабайт.

По результатам тестирования выдается число, указывающее общее быстродействие, и показатель соотношения цена-производительность. Предусмотрен также необязательный тест, оценивающий энергоэффективность системы.

Согласно правилам TPC, т ест необходимо выполнить дважды, указав в качестве результата меньший из полученных показателей. Другие стороны могут оспорить опубликованные результаты в течение 60 дней.

Как и в случае с остальными своими тестами, в TPC требуют, чтобы официальное тестирование проводилось третьей стороной. Это может быть независимый аудит или партнерская проверка, которая, вероятно, обойдется дешевле.

TPC — основанная в 1988 году некоммерческая корпорация, предоставляющая независимые от производителей тесты для проверки быстродействия систем обработки транзакций и управления базами данных.

Изначально TPC создали для тестирования транзакционных СУБД, но в последние годы организация расширила сферу деятельности. В 2012 году, например, был опубликован тест для оценки ПО виртуализации.

Участниками TPC являются Dell, Cisco, IBM, Hewlett-Packard, Oracle, Unisys, Intel и Microsoft, а также поставщики дистрибутивов Hadoop — Cloudera, Pivotal и Red Hat.

Mesa может хранить петабайты данных, обновлять миллионы строк в секунду и обслуживать триллионы запросов в сутки. Источник: Google

В Google реализовали возможность распределения хранилища данных между несколькими дата-центрами с помощью разработанной в компании архитектуры, которая способна продолжить путь к гораздо более масштабным, надежным и быстрым облачным аналитическим системам, чем сегодня.

Исследователи из Google обсудят новую технологию на VLDB2014, конференции по очень большим базам данных, которая пройдет в сентябре в китайском Ханчжоу.

Как объясняют в Google, Mesa может хранить петабайты данных, обновлять миллионы строк в секунду и обслуживать триллионы запросов в сутки. Систему можно распределить между несколькими центрами обработки данных, и она сможет продолжать работу, даже если один из них отключится.

Эту технологию разработали, чтобы хранить и анализировать контрольно-измерительные данные для бизнеса онлайн-рекламы Google, но систему можно применять и для других похожих задач, подчеркивают разработчики.

«Mesa принимает данные, генерируемые сервисами более высокого уровня, накапливает их, перманентно хранит и предоставляет по запросу пользователей», — говорится в докладе ее разработчиков.

Mesa позволила Google решить ряд операционных задач, с которыми бы не справились традиционные хранилища данных и другие аналитические системы уровня предприятия.

Во-первых, большинство коммерческих хранилищ данных не поддерживают непрерывное обновление данных — как правило, информация в них обновляется раз в сутки или в неделю. Google же требовалось, чтобы новые данные можно было анализировать сразу, как только они поступили в базу.

Google также нужна была надежная гарантия консистентности запросов, то есть чтобы одинаковые запросы из одного и того же источника всегда давали один и тот же результат независимо от того, какой ЦОД обрабатывает запрос.

Традиционно консистентность обеспечивали только реляционные СУБД, но они могут не справляться с загрузкой петабайт данных, особенно если база тиражируется между многими серверами в кластере, как это обычно делается на предприятиях для ускорения отклика и увеличения коэффициента безотказной работы. Базы NoSQL, такие как Cassandra, с легкостью справляются с загрузкой огромных объемов данных, но Google требовался гораздо более высокий уровень консистентности, чем обеспечивают большинство нереляционных СУБД.

По словам специалистов Google, ни один из коммерческих продуктов и проектов Open Source не отвечал всем требованиям, и тогда была создана Mesa.

В Mesa используется ряд других технологий, разработанных в компании, в том числе распределенная файловая система Colossus, распределенная система хранения данных BigTable и аналитический фреймворк MapReduce. Консистентность помогает обеспечивать распределенный протокол синхронизации Paxos, тоже созданный в Google.

Mesa имеет еще одно преимущество помимо масштабируемости и консистентности — она может работать на стандартных серверах, то есть не требует специализированного дорогостоящего оборудования. Благодаря этому она может действовать в качестве облачного сервиса, легко масштабируемого вверх и вниз в зависимости от потребностей.

Mesa стала еще одним участником семейства инновационных приложений и архитектур для обработки данных, созданных в Google специально для своего бизнеса.

Некоторые разработки компании стали основой широко используемых приложений. В частности, на базе Big Table создан проект Apache Hadoop.

Другие технологии Google, созданные для внутреннего применения, компания впоследствии начала предлагать в качестве облачных сервисов. К примеру, система Google Dremel для интерактивного опроса обширных срезов данных в режиме «только чтение» была положена в основу сервиса Google BigQuery.

По мнению Курта Монаша, главы компании Monash Research, с коммерческой точки зрения перспективы Mesa могут быть ограниченными. Мало каким организациям сегодня требуется опрос столь гигантских и сложных массивов данных, как у Google, с временем отклика меньше секунды, отметил он. Кроме того, в Mesa нет возможности опроса данных с помощью привычных команд SQL. Именно поэтому для Hadoop разработали ряд технологий с поддержкой языков запросов, похожих на SQL, в том числе Hive, Impala и Shark.

Помимо того, считает аналитик, на предприятиях скорее всего в первую очередь обратят внимание на устоявшиеся коммерческие или открытые решения, позволяющие синхронизировать хранилища данных между дата-центрами, а не на разработку Google. В большинстве хранилищ данных в последнее время появляются механизмы управления параллельным доступом с помощью многоверсионности, добавил Монаш.