Вот уже на протяжении нескольких лет Microsoft выдает быстрые и точные результаты поиска в Bing с помощью экспериментальных серверов Project Catapult, получивших недавно очередное архитектурное обновление.

Серверы Catapult используют программируемые логические матрицы (Field Programmable Gate Array, FPGA), которым отводится центральная роль в улучшении результатов поисковой выдачи. Микросхемы FPGA способны быстро анализировать, фильтровать, ранжировать и оценивать релевантность текстовых запросов и запросов изображений в Bing.

В конструкцию оригинального сервера Catapult был внесен ряд изменений, призванных ускорить обработку. Предложенная архитектура Catapult v2 отличается большей гибкостью при использовании FPGA в качестве ускорителей и помогает преодолеть ограничения традиционных вычислительных ресурсов центров обработки данных применительно к задачам машинного обучения.

Впервые новая архитектура Catapult v2 была представлена Microsoft на конференции Scaled Machine Learning, проходившей в августе в Стэнфорде.

Сегодня ЦОД Microsoft обслуживают сервисы Cortana и Skype Translator, и корпорация постоянно стремится наращивать производительность своих серверов. В частности, совместно с Intel в Microsoft работают над более широким применением кремниевой фотоники, заменяя медные кабели волоконно-оптическими каналами, обеспечивающими более быстрый обмен данными между серверами в ЦОД.

В Catapult v2 возможности FPGA используются шире — теперь с их помощью можно управлять остальными вычислительными ресурсами и поддерживать связь с оперативной памятью, центральным процессором и сетевыми коммутаторами.

FPGA способны не только ускорять работу локальных приложений, но и выступать в роли мощного вычислителя, работающего с моделями глубинного обучения.

Новые серверы существенно улучшены по сравнению с прежней моделью Catapult, в которой область действия FPGA была ограничена небольшой сетью внутри серверов.

Catapult v2 можно использовать для распознавания образов в облаке, обработки естественного языка и других задач, связанных обычно с машинным обучением.

Вторая версия Catapult способна заложить основы использования FPGA в системах машинного обучения. В настоящее время многие модели машинного обучения построены на базе графических процессоров. Между тем китайская интернет-компания Baidu также использовала микросхемы FPGA для организации глубинного обучения в своем ЦОД.

Микросхемы FPGA позволяют быстро получать результаты глубинного обучения, но потребляют слишком много ресурсов, если их не запрограммировать правильно. Они допускают перепрограммирование для настройки на конкретные задачи, но все же недостаточно универсальны. Графические процессоры обладают гораздо более высокой гибкостью и могут управлять разными расчетами, однако FPGA зачастую превосходят их по производительности при выполнении специализированных вычислений.

К FPGA проявляют интерес многие крупные производители компьютерных систем. В нынешнем году, к примеру, известный разработчик микросхем FPGA, Altera, был куплен корпорацией Intel, которая планирует применять чипы FPGA в автомобилях, серверах, роботах, дронах и других устройствах.

Помимо ЦОД самой Microsoft, серверы Catapult для машинного обучения развернуты в центре Texas Advanced Computing Center Техасского университета в Остине. Система, собранная в этом центре, объединяет 32 двухпроцессорных сервера на базе Intel Xeon, каждый из них оснащен 64 Гбайт памяти и чипом FPGA Altera Stratix V D5 с собственной кэш-памятью DDR3 объемом 8 Гбайт.

Анализ онлайн-активности человека способен указать на вероятность наличия у него онкологического заболевания, показывают научные сотрудники Microsoft Research в опубликованном недавно докладе.

Исследователи объявили, что по результатам обработки истории поисковых запросов им удавалось выявлять людей, болеющих раком поджелудочной железы, еще до того, как тем поставили диагноз.

Как пишут авторы, результаты исследования указывают на возможность создания «недорогих систем наблюдения с широким охватом» для пассивного мониторинга поисковой активности и заблаговременной выдачи предостережений о вероятности рака поджелудочной железы, а также, после расширения разработанной методологии, и других опасных видов рака, пишут авторы. «Такие системы могли бы постоянно сохранять общие данные и ключевые ориентиры, рекомендуя пользователю темы для обсуждения c врачом», — добавляют они.

В исследовании использовалась база из 9,2 млн запросов к поисковой системе Bing, поступивших от англоязычных американцев за период с октября 2013-го по май 2015 года. Для построения статистической модели применялись не только сами запросы, но и данные переходов по ссылкам, позволившие уточнять намерения пользователей.

Участники исследовательской группы, в которую вошли научные сотрудники Microsoft Research Эрик Хорвитц и Райен Вайт, а также аспирант Колумбийского университета Джон Папарризос, сообщили, что данные были анонимизированы, но каждому поисковому запросу был присвоен идентификатор, привязывающий его к конкретному браузеру, чтобы можно было прослеживать индивидуальную историю поиска.

Вначале, по словам авторов, были выявлены пользователи, делавшие запросы, которые указывали на недавнюю постановку диагноза «рак поджелудочной железы». К таким запросам, например, относились фразы «причины развития рака поджелудочной» и «к чему готовиться, если диагностировали рак поджелудочной».

С помощью специальным образом настроенных фильтров Bing исследователи отсеяли запросы со специальной лексикой, указывавшей на то, что их делали профессиональные медики. В результате для изучения осталось около 7,2 млн запросов от людей, у которых предположительно диагностировали заболевание.

Затем исследователи проанализировали запросы о симптомах, совершавшиеся теми же пользователями на несколько месяцев раньше.

«Мы убедились, что можем идентифицировать рак в 5-15% случаев при очень низком количестве ложно-положительных результатов», — пишут исследователи. По их словам, уровень таких результатов составлял от одного на 100 тыс. до одного на 10 тыс.

В отличие от многих других видов злокачественных опухолей, которые могут расти медленно, рак поджелудочной железы — один из самых агрессивных, поэтому в его случае более ранняя диагностика улучшает шансы больного.

Ранние признаки рака поджелудочной железы малозаметны и нередко проявляются в форме неспецифичных симптомов, меняющихся со временем, отмечают исследователи.

Результаты анализа поисковых запросов указывают на возможность раннего обнаружения заболевания — до пяти месяцев перед официальной постановкой диагноза.

«Журналы запросов веб-поиска способны стать ценным источником сигналов для скрининга на рак поджелудочной железы на довольно ранних этапах, — пишут исследователи. — Учитывая, что этот вид рака может перейти от первой к четвертой стадии всего за год с лишним, такой скрининг способен улучшить пятилетнюю выживаемость».

Изюминка Adam — в способности различать похожие объекты. Источник: Microsoft Research

В Microsoft сообщили о работе над проектом Adam, платформой, предназначенной для интерпретации цифровых изображений. Цель создания системы — придать электронному помощнику Microsoft Cortana способность лучше понимать окружающий мир.

Объявление о проекте Adam в Microsoft впервые сделали на конференции Worldwide Partner Conference, сообщив также, что технология машинного осмысления появится в облаке Azure.

Померанский шпиц — это не доберман

Чтобы цифровой помощник мог выполнять свои функции, ему необходим доступ к как можно большему объему данных. Большинство подобных систем, включая Google Now, Appe Siri и Cortana, осведомляются о вашем местонахождении, просматривают электронную почту, календарь и другие часто используемые источники данных, чтобы знать о будущих событиях, например о вашем предстоящем авиарейсе, и напоминать о них. В 2010 году в Google выпустили Google Goggles — приложение, распознающее на цифровых снимках объекты и отображающее информацию о них.

Но на сегодня Goggles так и осталось не больше чем развлечением на один раз — «Kinect для смартфона» из него не вышло, поскольку при непрерывном использовании приложение слишком быстро съедает заряд батареи.

Проект Adam в чем-то подобен Googles. Как объясняют в Microsoft, изюминка Adam — в способности различать похожие объекты, например он может отличить померанского шпица от добермана. Но для решения столь элементарной, с точки зрения человека, задачи машине требуются нейросеть, огромный объем учебных данных и немалая вычислительная мощность. В Microsoft подчеркивают, что добились большого прогресса в отношении точности, быстродействия и масштабирования системы.

В корпорации заявляют, что Adam более совершенен, чем Google Brain — нейросеть, обученная распознавать кошек на изображениях (Эндрю Ын, создатель Google Brain, сейчас работает в китайской компании Baidu, являющейся оператором поисковой системы).

Похожую систему распознавания изображений, Levan, несколько месяцев тому назад разработали исследователи из Вашингтонского университета. Обработав снимки из индекса Google, она составила собственную базу изображений различных объектов, причем не только кошек и собак.

У Cortana появился вкус к научным исследованиям

Систему Cortana между тем предполагается научить новому «фокусу» — способности разбираться в научных исследованиях.

В Microsoft сообщили, что в «записной книжке» Cortana, разделе для хранения пользовательских настроек, появится новая категория — научные исследования. Как объясняют в корпорации, скоро при помощи Cortana пользователи смогут следить за работой различных ученых и ходом исследований по выбранным темам.

«Вместо того чтобы создавать отдельный поисковик по научной информации, как поступают наши конкуренты, мы сделаем так, что она будет выводиться в общих результатах поиска Bing», — объявили в Microsoft. Очевидно, это намек на Google, чья поисковая система для ученых Google Scholar представляет собой отдельный продукт.

«Система поиска для ученых Microsoft Academic Search преобразуется из исследовательского проекта в рабочий инструмент, в котором будут в полной мере задействованы возможности нашего поискового движка Bing», — подчеркнул Куансан Ванг, директор центра интернет-сервисов Microsoft Research.

Компания Microsoft объявила о том, что новая плата Catapult, построенная на базе специальных процессоров, существенно увеличит производительность поискового механизма Bing. Как ожидается, новая технология появится в ЦОД в 2015 году. Аналогичную информацию сообщил и крупнейший китайский поисковик Baidu.

Повышение эффективности и производительности поисковых алгоритмов, которые сулит Katapult, несомненно, обрадует каждого

Обе компании представили свои доклады на конференции Hot Chips в Купертино, посвященной последним достижениям в области создания микропроцессоров и сопутствующих технологий.

Сегодня в ПК и игровых консолях широко применяются графические процессоры. Несколько лет назад не меньшей популярностью пользовались и звуковые платы. И те и другие чипы эффективно справлялись с порученными им специализированными функциями. В отличие от них Intel Core, AMD A-серии и ARM Cortex представляют собой программируемые процессоры общего назначения, которые служат для решения самого широкого спектра задач.

Программируемые логические матрицы (field-programmable gate array, FPGA) занимают в этой классификации промежуточное положение. Они обладают ограниченными возможностями программирования, но их производительность ниже, чем у специализированных чипов с фиксированным функционалом. «У нас возникла идея использовать микросхемы FPGA, чтобы продлить жизнь старым системам и добавить им гибкости, – отметил старший инженер-исследователь Microsoft Эндрю Путнэм. – А если вы приобретаете машину для ЦОД, она, как правило, остается там надолго».

Дополнительная гибкость очень значима для ускорения программных алгоритмов (в частности поиска), которые постоянно адаптируются и совершенствуются. Со временем ускоритель с фиксированным набором функций становится все менее и менее эффективным, продолжая занимать ценное пространство и потреблять электроэнергию.

По итогам испытаний команда Путнэма решила отказаться от специализированной платы, в которой использовалось шесть микросхем Xilinx, крупнейшего производителя FPGA. Эти платы заметно усложняли конструкцию серверов, становились дополнительным источником ошибок и выделяли слишком много тепла, что не могло не беспокоить администраторов ЦОД, поддерживавших функционирование Bing и других облачных сервисов Microsoft. Зато плата Catapult, на которой размещались микросхема Altera Stratix V G5 D5, 8 Гбайт оперативной памяти, 32 Гбайт флэш-памяти и восемь разъемов PCI 3, проявила себя самым лучшим образом.

Она прекрасно умещалась в серверах Microsoft Open Compute, чья конструкция стала популярной благодаря Facebook и не требовала специальных доработок со стороны производителей готового оборудования (HP или Dell). В серверах Microsoft установлены два восьмиядерных процессора Xeon с тактовой частотой 2,1 ГГц, 64 Гбайт оперативной памяти, четыре жестких диска объемом 2 Тбайт и два твердотельных накопителя емкостью 512 Гбайт. В половине стойки умещается 48 таких серверов, и в каждый была установлена плата FPGA. Посредством кабелей платы объединили в матрицу 6x8, имеющую тороидальную топологию.

В производственных испытаниях было задействовано 1632 сервера ЦОД. Выяснилось, что платы FPGA ускоряют поиск документов, отвечающих параметрам, задаваемым пользователями. Скорость поисковых операций выросла в два раза, а время задержки сократилось на 29%. Достигнутая экономия позволила Microsoft наполовину уменьшить число требуемых серверов.

Результаты испытаний оказались настолько успешными, что в 2015 году планируется оснастить новыми платами все серверы Bing. Соответственно возникает вопрос, где еще технология FPGA могла бы найти применение?

Компания Baidu, которой принадлежат десятки тысяч серверов в Китае, применяет микросхемы FPGA для ускорения работы нейронных сетей и реализации самых разных алгоритмов — от традиционного поиска до распознавания речи и поиска и распознавания изображений. Плату FPGA Xilinx K7 480t-2l, используемую Baidu, можно устанавливать в любые типы серверов высотой 1U или 2U. Испытания при различной рабочей нагрузке показали, что платы FPGA в несколько раз эффективнее центральных и графических процессоров.

Улучшение качества поисковых операций Bing и Baidu ощутят на себе все пользователи без исключения. Повышение эффективности и производительности поисковых алгоритмов, несомненно, обрадует каждого.