SAP Vora, работающая в памяти система распределенных вычислений на основе Apache Spark и Hadoop, в начале апреля станет доступной в виде облачного сервиса. В SAP сообщили о расширении возможностей Vora — в версии 1.3 появились новые движки обработки: для временных рядов, графов и данных в формате JSON без схемы. Кроме того, для системы доступен ряд дополнений, предназначенных для конкретных отраслей.

Vora может работать в любой среде Hadoop и интегрируется с облачными сервисами хранения данных, например с Amazon S3, но в SAP собираются разместить систему в собственном облаке, SAP Cloud Platform Big Data Services. Оно создано на базе мощностей купленной SAP компании Altiscale и имеет центры обработки данных в США и Германии.

От прежнего названия SAP HANA Vora в компании решили отказаться, чтобы не было путаницы с платформой обработки данных в памяти HANA. Vora доступна в платных редакциях Standard и Enterprise с расценками в зависимости от числа узлов и в бесплатной версии Developer, которую нельзя применять в рабочей среде.

В Amazon Web Services заявили, что отключения, наблюдавшиеся в конце февраля и затронувшие целый ряд крупных интернет-ресурсов и приложений, были вызваны ошибкой человека.

Целый ряд сайтов, в том числе и принадлежащие Netflix, Reddit и Associated Press, испытывали во вторник серьезные трудности из-за простой опечатки. О возникших проблемах с работой сервиса Apple Music сообщила компания Apple. Неполадки с хостингом изображений возникли у интернет-изданий The Verge и Business Insider. Проблемы наблюдались даже на сайте Комиссии ?по ценным бумагам и биржам США.

«Мы гордимся высоким уровнем готовности Amazon S3 и знаем, насколько важен этот сервис для наших клиентов, их приложений и конечных пользователей, – говорится в сообщении компании. – Мы сделаем все, что в наших силах, для того чтобы извлечь из случившегося необходимые уроки и используем их для дальнейшего роста уровня готовности».

Напомним, 28 февраля на электронной доске объявлений AWS Service Health Dashboard появилась информация о возникновении проблем с сервисом S3 (Simple Storage Service) в ЦОД, расположенных в северной Вирджинии.

Сбои, отразившиеся даже на работе инструментальной панели AWS, продолжались до пяти часов вечера по североамериканскому восточному времени.

И вот теперь AWS предлагает объяснение тому, что случилось.

«Команда Amazon Simple Storage Service (S3) разбиралась с причинами более медленного по сравнению с ожидаемым совершенствования биллинговой системы S3, – говорится в заявлении компании. – В 12:37 авторизованный участник команды S3 в рамках утвержденной схемы выполнил команду, которая отключила небольшое количество серверов в одной из подсистем S3, использовавшейся в биллинговом процессе. К сожалению, один из параметров в команде был задан некорректно, в результате чего из обработки было выключено большее число серверов по сравнению с запланированным».

По словам аналитика компании ZK Research Зевса Керравалы, он не удивлен тем, что столь масштабный сбой был вызван ошибкой человека.

«Мои исследования показывают, что 37% отключений происходят из-за человеческого фактора, – указал он. – Удивительно, что несмотря на огромные технологические достижения многие процессы по-прежнему выполняются вручную. Улучшение автоматизации и применение методов машинного обучения помогло бы избежать возникновения таких ситуаций».

В AWS заявили, что инженеры извлекли уроки из произошедшего и внесут в свою деятельность необходимые коррективы, с тем чтобы подобное больше не повторялось.

«Ключевым фактором в данном случае стало отключение определенного объема мощностей, – поясняют в компании. – Применявшийся инструмент позволял отключать большое их количество слишком быстро. Мы внесли изменения, замедляющие процесс удаления мощностей, и добавили средства защиты, которые предотвращают отключение, если при этом доступные любой из подсистем ресурсы опускаются ниже минимально требуемого уровня».

Все это должно блокировать нежелательное отключение в случае ошибочного ввода команд.

В компании подчеркнули, что инженеры изучат и другие операционные инструменты, с тем чтобы инициировать аналогичные проверки на безопасность.

«Мы внесем необходимые изменения для сокращения сроков восстановления ключевых подсистем S3, – говорится в заявлении AWS. – Применение множества эффективных технологий обеспечит быстрое восстановление наших сервисов в случае любого сбоя».

По мнению аналитика компании Moor Insights & Strategy Патрика Мурхеда, инцидент с S3 отрицательно отразится на репутации AWS в краткосрочной перспективе.

«Просто удивительно, какое сильное влияние всего одна ошибка в команде оказала на миллионы пользователей, – подчеркнул он. – От AWS люди ожидали большего. И теперь предприятиям нужно дважды подумать, прежде чем перемещать свою рабочую нагрузку и приложения в публичное облако. У них появляются дополнительные факторы мотивации для развития частных облаков».

Со своей стороны, Керравала ожидает, что Google и Microsoft также извлекут из инцидента с AWS необходимые уроки и постараются использовать его для повышения своей конкурентоспособности.

Недавний масштабный сбой облачного сервиса хранения данных AWS S3, продолжавшийся 11 часов, был вызван тем, что сотрудник Amazon Web Services допустил опечатку, выполнив команду отключения небольшого числа серверов системы тарификации, которая работала медленнее, чем должна была.

Из-за неверно введенного параметра произошло отключение большого количества серверов, поддерживающих критически важные системы S3. Результатом стал отказ S3 в регионе Amazon US-EAST-1 (Северная Вирджиния) и зависимых сервисов, включая Elastic Block Store, Lambda и механизм запуска новых экземпляров Elastic Compute Cloud.

Сбой повлиял на работу таких компаний, как Netflix, Reddit, Adobe и Imgur. По данным Apica, сайты более половины онлайн-магазинов из сотни самых крупных загружались медленнее обычного.

Для восстановления работоспособности S3 понадобился полный перезапуск ряда подсистем, но такая операция в Amazon не выполнялась уже несколько лет, а поскольку за это время облако существенно выросло, перезагрузка заняла больше времени, чем предполагалось.

Чтобы предотвратить повторение инцидента, в Amazon приняли ряд мер, в частности, изменили инструмент, ставший виновником сбоя, — теперь он будет анализировать возможные последствия ввода команд и выдавать соответствующие предостережения.

Разработчики мессенджера Telegram добавили в него облачное хранилище, при помощи которого пользователи смогут загружать на платформу собственные файлы, а затем скачивать их с другого устройства или пересылать их своим друзьям.

Интерфейс хранилища основан на диалоге пользователя с самим собой. Чтобы сохранить файл или отдельное сообщение, нужно открыть меню «Контакты» и найти там собственное имя. После этого пользователь сможет открыть чат с собой и загружать туда всю необходимую информацию.

Также разработчики добавили возможность предпросмотра состава групповых чатов и контента и открыли встроенный видеоплеер в Telegram Desktop.

Компания «Электронная Москва» — ведущий поставщик комплексных ИТ-решений специализируется на реализации инфокоммуникационных проектов с предоставлением инфраструктуры и сервисов на базе собственной сети надежных центров обработки данных, обеспечивающих максимально эффективную работу с ресурсоемкими приложениями. В дата-центрах компании размещены и обслуживаются более 200 высоконагруженных социально значимых информационных систем, в том числе система электронного документооборота Правительства Москвы.

В единой системе электронного документооборота, внедренной «Электронной Москвой» в 2011 году, реализованы все основные бизнес-процессы в области делопроизводства, организационно-распорядительного и управленческого документооборота. Система предназначена для организации движения электронных документов с момента их создания до завершения их исполнения. Особое внимание уделяется безопасности и надежности. С момента запуска проекта число пользователей и количество обрабатываемых документов постоянно растет. В настоящий момент в системе находится более 27 млн документов (более 140 млн файлов), работает 60 тысяч активных пользователей, которые формируют более 24 тысяч ежедневных подключений. Динамичный рост количества пользователей системы и обрабатываемых запросов потребовал изменений изначальных конфигураций и преобразования хранилища неструктурированной информации.

Для этого был внедрен продуктивный комплекс систем хранения данных среднего уровня и кластера из файловых шлюзов Hitachi NAS 4060. Переход на модернизированную систему хранения информации и введение нового ПО полностью преобразовали информационную архитектуру проекта и позволили расширить объемы обработки данных, упростить и ускорить работу системы, а также решить проблему резервного копирования.

«ОБЛАКА» МОСКВЫ

Функционирование проектов «Электронной Москвы» основано на использовании облачных систем, которые обеспечивают централизацию данных, используемых сервисами, их сохранность и доступность с любых электронных устройств из любой точки земного шара. «Облака» также гарантируют безопасность обработки и хранения данных.

В процессе работы проекта стало очевидным, что технологии, используемые «Электронной Москвой» требуют модернизации. В частности, при запуске системы электронного документооборота (СЭД) изначально использовались серверы стандартной архитектуры x86 и операционной системы Linux. На их основе создавались NFS-узлы хранения. Со временем объем неструктурированных данных СЭД вырос настолько, что старые технологические решения уже не могли с ним справляться. Для этой задачи «Электронная Москва» выбрала решение Hitachi Data Systems (HDS), отвечающее реальным потребностям.

НОВЫЕ РЕШЕНИЯ

Специалисты HDS, проанализировав профиль работы с данными в системе электронного документооборота, предложили компании аппаратно-программный комплекс по обеспечению файлового доступа по протоколу NFS. Этот подход предоставил возможность наращивать объем хранимых данных до 150 ТБ, при этом поддерживая работу с десятками миллионов файлов.

Данный программно-аппаратный комплекс состоит из блочной части в виде дискового массива Hitachi среднего уровня и файловых шлюзов Hitachi NAS 4060, кластеризованных для отказоустойчивости. Особое внимание уделяется скорости работы с большими данными по протоколу NFS: для ее увеличения ичпользуются уникальные технологии организации файлового доступа, такие, как Tiered File System. Они позволяют отделить метаданные от файлов и разместить их на производительном уровне хранения информации, организованном на флэш-накопителях Hitachi Flash Module Drive.

УСПЕШНАЯ МОДЕРНИЗАЦИЯ

Аппаратное ускорение NFS-доступа, новейшие технологии защиты данных путем создания снэпшотов, доступность комплекса хранения – эти и другие решения обеспечили полное обновление технологической архитектуры проекта. До перехода на обновленную ИТ-инфраструктуру объем хранимых данных «Электронной Москвы» составлял примерно 50 миллионов файлов – сегодня их количество выросло втрое. Помимо решения задачи хранения большого количества файлов и их резервного копирования, HDS удалось упростить и ускорить управление каталогами файлов. После внедрения технологии Hitachi NAS среднее время листинга файлов в плоских каталогах, содержащих огромные объемы информации, сократилось в 9 раз: с 36 до 4 часов.

Также, при переходе на новый комплекс хранения файловых данных, упростились процедуры добавления дискового пространства в систему: многие процедуры стали автоматизированными, а выравнивание нагрузки по всему пространству происходит автоматически. Кроме того, было установлено программное обеспечение комплексного мониторинга нагрузки на систему. Теперь с его помощью разработчики прикладного ПО могут точнее анализировать влияние новых версий программного обеспечения на аппаратную часть комплекса хранения документов. Следовательно, обновленные версии ПО не будут нарушать эффективность работы пользователей СЭД.

Отдельная работа была проведена и над системой резервного копирования. В старой архитектуре оно осложнялось из-за плоской структуры хранения документов, не способной обрабатывать столь большие объемы информации. С помощью технологий Tiered File Systems удалось снизить время листинга файловой структуры, а, следовательно, наладить регулярное резервное копирование всех файлов системы.

В итоге, решения HDS дали «Электронной Москве» значительные преимущества в управлении всей информационной инфраструктурой проекта.

25 сентября компания Huawei провела финал Всероссийских соревнований в сфере ИКТ Honor Cup. Программа соревнований, в которых приняли участие более 1,5 тыс. студентов из 70 вузов, включала не только сами испытания, но и онлайн-школу, в рамках которой прошли вебинары для подготовки участников. В этом году Honor Cup был посвящен двум наиболее актуальным направлениям ИКТ: широкополосной мобильной связи и облачным решениям для серверов и систем хранения.

Финальные соревнования, в которые вышли 50 участников, проходили в два этапа. На первом этапе участники выполняли практические задания, по итогам которых были определены по восемь победителей в каждой номинации. Во второй части финала 16 лидеров соревновались за первенство в режиме реального времени. Победителями стали студенты Санкт-Петербургского государственного университета телекоммуникаций им. проф. Бонч-Бруевича: в «мобильной» номинации – Ринат Гимадинов, в «облачной» — Анастасия Ражева.

Финалисты и победители получили новейшие мобильные устройства линейки Honor: смартфоны Honor 7, Honor 6+ и «умные» браслеты. Также лучшие участники были награждены ваучерами на прохождение обучения в Сетевой академии Huawei.

На прошедшей в рамках мероприятия панельной дискуссии «Частный бизнес – образованию. Повышение эффективности взаимодействия образовательных организаций, органов власти и бизнеса» обсуждались вопросы подготовки востребоыванных специалистов, взаимодействия властей и бизнеса, необходимые меры по повышению конкурентоспособности российской науки.

По окончании дискуссии Huawei подписала соглашения с двумя вузами на открытие Авторизованной инфокоммуникационной академии Huawei — Санкт-Петербургским государственным электротехническим университетом им. Ленина и Санкт-Петербургским государственным университетом информационных технологий, механики и оптики. В учебную программу вузов будет включен курс «Системы хранения данных», разработанный при участии специалистов Huawei. Практические занятия студентов по этому курсу будут проводиться на оборудовании, предоставленном компанией Huawei. Также Huawei подписала соглашение о проведении совместных исследований с Центром прикладных исследований компьютерных сетей.