Все производители компьютеров и собственно процессоров традиционно хотели сделать их побыстрее, а создатели средств разработки программ хотели, чтобы порождаемые ими приложения работали побыстрее. Сегодня, когда процессоры Intel Xeon применяются в подавляющем большинстве суперкомпьютеров мира, корпорация обращает особое внимание на инструментарий программирования систем высокопроизводительных вычислений (High Performance Computing, HPC).

О своих программных технологиях HPC представители Intel рассказывают в рамках серии семинаров по всему миру. Несколько таких семинаров проведено и в нашей стране; один из них прошел в конце ноября в Москве. Intel сегодня связана с HPC по всем направлениям — корпорация теперь производит все основные аппаратные компоненты для узлов вычислительных систем и их межсоединения, а также необходимые средства разработки программ.

Основная часть семинара была посвящена новейшим интегрированным программным средствам Intel Parallel Studio XE 2016, ориентированным на HPC-приложения. Для проведения таких семинаров в России имеются весьма серьезные причины: отечественные программисты выполняют очень большую часть работ по созданию основных компонентов Parallel Studio — библиотек времени выполнения MKL (здесь русскими вообще проводится 90% всех работ), оптимизирующих компиляторов и средств распараллеливания Intel MPI.

Parallel Studio XE 2016 включает в себя компиляторы Си/С++ и Фортрана (вплоть до Фортрана 2008 включительно) версии 16.0. Компиляторы поддерживают последнюю версию стандарта распараллеливания для систем с общей памятью OpenMP 4.1 (для С/С++ поддерживается также применяемый в акселераторах OpenCL). Сluster OpenMP в Intel более не предлагают, поскольку можно применять UPC и Сoarray Fortran. Что касается системы Intel MPI, то она допускает распараллеливание поверх всех актуальных кластерных межсоединений, включая Ethernet и выше c уменьшенными задержками по RoCE и iWARP, а также технологию Infiniband (у Intel есть ее собственные QDR-реализации с пропускной способностью 40 и 80 Гбит/с соответственно при использовании одного или двух каналов). А от этого Infiniband-варианта в Intel перешли уже к более быстрому OmniPath с пропускной способностью 100 Гбит/с.

В Parallel Studio входит и библиотека MKL 11.3, основанная на средствах базовой линейной алгебры ScaLAPACK. В действительности MKL объединяет несколько оптимизированных библиотек, дающих высокую производительность в случае их применения с процессорами Xeon и акселераторами Xeon Phi. Учитывая достижение там максимальной производительности при применении векторных команд AVX (с длиной векторов до 512 бит в новейших ядрах Xeon Phi Knights Landing; в Xeon Haswell пока 256 бит — 512 бит ожидается в следующем году), углубленная векторизация применяется и в модулях из MKL, и в компиляторах. Большие расширения выполнены в составе MKL для обеспечения работ с разреженными матрицами. Стало доступным так называемое «пакетное» умножение матриц, когда ряд маленьких матриц объединяются в большие, а их умножение эффективно распараллеливается.

Определенный уровень совместимости на уровне команд, особенно векторных, между ядрами Xeon и Xeon Phi, по возможности отражается и в программном обеспечении Parallel Studio. Возможен некоторый перенос программного обеспечения с ядер Xeon на Xeon Phi. Например, если основное время выполнения программы уходит на вызовы MKL, то достаточно просто переключиться на соответствующие библиотеки из MKL для Xeon Phi. Cтандарт OpenMP сейчас вообще предполагает возможность перехода на акселераторы.

Надо заметить, что Intel предлагает говорить теперь о двух классах HPC. Первый класс — традиционный. Там речь идет о расчетах для самых различных приложений с использованием средств традиционной прикладной математики, которые требуют задействования больших процессорных ресурсов. В предельном случае для этих приложений необходимы суперкомпьютеры. При использовании кластеров здесь требуется распараллеливание с применением высокоскоростных межсоединений с низкими величинами задержек при передаче коротких сообщений.

Но теперь сформировались новые области приложений, в основном коммерческих, для проведения анализа, для которых характерна обработка очень больших объемов данных. Такие приложения при распараллеливании в кластерах не нуждаются в продвинутых межсоединениях с маленькими задержками, а подчас вообще можно прибегать к облачным вычислениям. Поэтому и в состав MKL фирма включила новую библиотеку DAAL (Data Analytics Acceleration Library). В обычном понимании этот класс приложений вообще представляется не относящимся к HPC. Но, судя по активности задаваемых на семинаре вопросов, среди участвовавших в нем российских специалистов большинство, вероятно, занимаются именно такими задачами. Однако все рассказанные на семинаре истории успеха применения программных продуктов относились к обычным HPC-приложениям.

Для решения аналитических и численных математических задач создано немало программных продуктов, в том числе Mathcad, Matlab, Maple, Mathematica. Все это не обычные библиотеки прикладных программ для математических расчетов, которые можно просто вызывать, а высокоуровневые системы с мощными возможностями интеграции, визуализации и т. д., как правило имеющие собственные языки программирования.

В целом Wоlfram сегодня ориентируется на создание комплексных решений на стыке различных областей (скажем, ИТ, математика и медицина). Программные продукты компании предполагают простоту применения и высокую единообразность, включая общий язык Wolfram Language, обработку информации непосредственно на веб-сайтах, высокоразвитые средства визуализации. Примерами могут служить Wolfram Data Drop (сервис для обработки и перемещения данных) или System Modeler (моделирование биохимических и физико-технических объектов собственным объектно-ориентированным языком).

В Mathematica, в марте получившей обновление в виде версии 10.1, очень быстро продолжает расти число самых разнообразных функций. Теперь функции появляются не столько для базового, сколько для среднего уровня — не для решения дифференциальных уравнений, а, скажем, для работы с Википедией или с Twitter. Работа со слабоструктурированными данными — тоже конек Wolfram. В работе с базами данных, помимо традиционных применений, усиливается функциональность, рассчитанная на специализированные базы данных.

Все это дает лишь общее представление о том, на что ориентируется Wolfram в первую очередь. Один из докладов на семинаре четко проиллюстрировал довольно широкую область, где продукция Wolfram весьма привлекательна. Речь в нем шла о работах Института проблем управления РАН, использующих платформу Wolfram Data Science. По сути, это добыча данных (data mining) для слабоструктурированных данных. Можно говорить о целом конвейере Wolfram Data Science, куда входят, например, такие этапы, как постановка задачи, ее формализация, сбор данных, трансформация (включая «очистку» и преобразование данных), тонкая настройка модели и т. д.

В Wolfram Data Science общую сложность задачи определяют три основные компонента — размер, гетерогенность, сложность алгоритма решения; они диктуют целесообразность использования того или иного программного инструментария. Mathematica ориентирована на символьную парадигму, на применение списков. Если все три компонента сложны и трудоемки, эта ориентация может привести к неудовлетворительной производительности и излишней сложности. Если статистическая обработка в своей основе медианная (считаются средние значения), что типично для обработки медицинских данных и для экономических задач, например финансовых данных, то можно использовать Excel или написать простенькую дисперсионную программку на языке Wolfram. А если обработка нужна «экстремальная», могут понадобиться более сложные программы на Питоне, Си и других языках. Символьно-строчечная парадигма Mathematica при работе с большими побайтовыми массивами еще более увеличивает его реально используемый размер, замедляя вычисления. Написать в Mathematica можно быстро, а считать — значительно медленнее, чем на Си. Но современные специализированные языки программирования (например, R) развиваются в направлении общего пользования; вероятно, такое будет происходить и с языком Wolfram (в частности, шаги по поддержке традиционных массивов уже делаются). Если задачи незначительны по сложности, гетерогенности и размеру, можно вообще обойтись Excel. Если велики гетерогенность и сложность, а размер маленький или средний, хорошо применять Mathematica. Если еще и размер данных велик — лучше применять Си и профессиональный инструментарий (SAS, Statistica).

Язык Wolfram — интегратор, великолепный для иллюстраций, презентаций. Огромное количество форматов данных, которые можно читать и обрабатывать, делает его удобным инструментом для сбора и трансформации данных; очень просто связываться с различными базами данных, в том числе специализированными; легко и эффективно загружаются всевозможные данные из Интернета.

Поскольку в исходных данных имеются ошибки, для их устранения можно применить процедуры первоначальной специальной обработки, например, на базе алгоритмов нейросетей.

Язык Wolfram — интерпретируемый, а не компилируемый. Не следует ждать от него высокой производительности: если она очень важна, следует обратиться к обычным языкам программирования. Та же проблема и с функциями Mathematica. Имеющиеся возможности распараллеливания и работы c GPU/CUDA довольно ограниченны, быстрых функций в Mathematica не добавилось — они по-прежнему последовательные, но можно на языке Wolfram организовать параллельное выполнение их нескольких экземпляров с применением Open MPI и (в кластере) технологии Pooch. Распараллеливание возможно в Mac OS X и Linux-64; вообще же Mathematica работает и в Windows, и во всех основных дистрибутивах Linux.

Китайская экономика лишь недавно стала второй в мире, хотя лидирующие позиции Китая в отдельных областях общеизвестны. Теперь же Китай становится мировой суперкомпьютерной державой.

Уже в прошлом году китайские вычислительные системы заняли первую и третью строчки списка Top500 самых мощных суперкомпьютеров мира, войдя в число очень немногих, которым удалось преодолеть петафлопсный барьер. Мировым лидером стала массово-параллельная система Tianhe-1A на базе шестиядерных процессоров Intel Xeon Х5670/2,93 ГГц (в количестве 14336 штук) и графических процессоров nVidia Tesla М2050 (7168). Система, достигшая 2566 TFLOPS на тестах HPC Linpack, работает с ОС Linux и потребляет 4 МВт электроэнергии.

В лидеры Top500 вышла система Tianhe-1A на базе процессоров Intel Xeon и графических процессоров nVidia Tesla. Фото: nVidia

Удивительно другое — Tianhe-1A использует межсоединение узлов Arch, разработанное в Китайской академии наук, которое обладает вдвое большей пропускной способностью, чем Infiniband 4x QDR, — самое быстрое среди используемых в Beowulf-кластерах в Top500. Топология Arch — "толстое дерево"; задержка — всего 1,6 мкс. Но и этого мало — Китай объявил о выпуске высокопроизводительного энергоэффективного процессора Godson 3B c пиковой производительностью 128 GFLOPS, потребляющего всего 40 Вт. А ведь межсоединение и процессоры — основные компоненты современных суперкомпьютеров, опредедяющие их производительность.

Производительность Godson 3B на единицу мощности составляет 3,2 GFLOPS/Вт. Для сравнения, у ведущего сопроцессора nVidia, C2050, она равна 2,2 GFLOPS/Вт; у новейшего шестиядерного Xeon W3690/3,5 ГГц c векторным расширением AVX — 1,3 GFLOPS/Вт.

Godson 3B работает на частотах до 1,05 ГГц, содержит восемь процессорных ядер 464V (V — сокращение от vector) и имеет 685 млн транзисторов при площади около 300 кв. мм. Микросхемы Godson 3B содержат векторные устройства — для векторов длиной 256 бит (четыре 64-разрядных числа с плавающей запятой). Каждое ядро имеет восемь устройств, поддерживающих DP-команды "умножить и сложить", итого получается 16 DP-результатов за такт на ядро. Производит процессоры по технологии 65 нм компания STMicroelectronics.

Подробные технические данные по Godson 3B недоступны, но, по-видимому, микросхема содержит общий кэш второго уровня емкостью 4 Мбайт и 64-килобайтные кэши инструкций и данных первого уровня из расчета по одному на ядро. Ядра представляют собой суперскалярные (выдаются четыре команды за такт) RISC-процессоры с внеочередным выполнением, использующие систему команд MIPS64.

Эти показатели служат очередной демонстрацией того, что вершины производительности проще достигать не на CISC-архитектуре типа х86-64, а на RISC (впрочем, в микросхемах семейства Godson имеются аппаратные средства поддержки эмуляции х86). Godson 3B содержит два контроллера памяти DDR3 и два 16-разрядных порта AMD HyperTransport.

Отдельного разговора заслуживает межсоединение ядер в Godson 3B. В то время как популярным является применение межсоединения с топологией кольца (как это сделано в новой разработке 8-ядерных процессоров Intel Itanium — Poulson), разработчики Godson выбрали топологию решетки. Конечно, китайцы здесь не оказались первыми. 32- и 64-ядерные процессоры с межсоединением такого типа уже создала компания Tilera. Предполагается, что применение такого межсоединения понижает энергопотребление по сравнению с кольцом; при этом топология решетки уменьшает общую длину необходимых проводников.

Кольцо создавать дешевле. В Intel, к примеру, отмечают, что простое кольцевое межсоединение позволяет легко добавлять процессорные ядра с кэшем, как модули, и при этом дополнительная задержка невелика. Разработчики Godson считают, однако, что применение кольцевых межсоединений вызовет проблемы при числе ядер свыше 32.

Сопоставление кольцевой и решеточной топологий можно найти в любом учебнике по компьютерным архитектурам. Да, в кольце суммарная пропускная способность фиксирована, а в решетке — растет с числом узлов. Да, задержка в кольце линейно растет с числом узлов N, а в обычной решетке — как квадратный корень из N. Но топология на Godson — не простая решетка, и еще надо учитывать простоту и стоимость реализации. В общем, судить надо по готовой продукции.

По заявлениям разработчиков Godson, следующий процессор, Godson 3C, будет производиться по 28-нанометровой технологии. Godson 3C будет иметь уже 16 ядер, производительность 512 GFLOPS и при частоте до 1,5 ГГц и выше потреблять всего 20 Вт. Процессоры Godson 3B (а затем и 3C) будут использованы в китайском МРР-cуперкомпьютере Dawning 6000.

Что произойдет, если китайцы начнут экспортировать свои процессоры и даже суперкомпьютеры? Если к тому же у них появится собственное производство микропроцессоров с низким типоразмером, они станут опасными конкурентами США.

В России уже много лет назад была осуществлена собственная разработка VLIW-процессоров семейства Elbrus, которая обещала стать конкурентом на мировом уровне. Впоследствии часть разработчиков ушли в Intel, ослабив команду первоначальную команду МЦСT, некоторые затем вернулись. Впрочем, финансирования, необходимого для организации производства подобных процессоров на адекватном уровне, так и не нашлось.

7 апреля 1964 года - памятная дата в истории вычислительной техники. В этот день корпорация IBM объявила о выпуске представительного семейства совместимых между собой компьютеров System/360.

Не один десяток лет мэйнфреймы IBM, которые и поныне до определенной степени сохраняют обратную совместимость с S/360, были лидерами компьютерного рынка, а особенности их архитектуры и операционных систем до сих пор служат источником идей для разработчиков аппаратного и программного обеспечения.

Области применения мэйнфреймов, изначально являвшихся компьютерами универсального назначения, конечно, видоизменились. Современные 64-разрядные компьютеры IBM zSeries предназначены в первую очередь для работы в сложных информационных системах больших корпораций, имеющих много департаментов и дочерних предприятий. Системы zSeries и их кластеры, Parallel Sysplex, обеспечивают высоконадежные отказоустойчивые и катастрофоустойчивые решения. Мэйнфреймы используются для интеграции приложений, а консолидация большого числа серверов с переходом к применению zSeries позволяет уменьшить общую стоимость владения.

Cовременные мэйнфреймы IBM содержат много процессоров и могут подразделяться на логические разделы LPAR, в каждом из которых может работать своя операционная система. Но флагманcкой ОС для zSeries является z/OS, "потомок" MVS.

До 45% кодов управляющей программы этой операционной системы предназначено для анализа и обработки различных сбоев, что позволяло обеспечить высокую устойчивость и на гораздо менее надежном, чем сегодня, оборудовании. Но и такой уровень надежности не предел. До 32 одиночных систем zSeries могут быть объединены в кластер Parallel Sysplex. Более того, можно строить еще и катастрофоустойчивые территориально распределенные кластеры на базе GDPS (Geographically Dispersed Parallel Sysplex), разнося его узлы на расстояние до 100 км, а при использовании специальной оптоволоконной технологии на основе DWDM есть возможность создать кластер, один узел которого будет находиться во Владивостоке, а другой - в Москве.

В zSeries, кроме большого числа обычных процессоров, могут применяться специализированные - например, IFL (для работы с Linux), zAAP (процессор, ускоряющий выполнение Java-кодов), а также новые zIIP, в микрокодах которых "зашиты" некоторые специальные функции обработки данных.

В России, как и в других странах бывшего СССР, у мэйнфреймов имеется своя история. Здесь много лет выпускались ЕС ЭВМ, совместимые с IBM S/360 и S/370, с аналогичными ОС, и было разработано много приложений. В настоящее время такой техники в России практически не осталось, и основу современного парка составляют мэйнфреймы, которые могут работать с OS/390 и z/OS - от IBM 9672 до z9. Cреди организаций, использующих мэйнфреймы, можно назвать РЖД, Центробанк, Внешторгбанк, Росстат, АвтоВАЗ и Рособоронэкспорт.

Используются мэйнфреймы и в российских вузах. За несколько дней до юбилея мэйнфреймов в МГТУ им. Баумана прошла межвузовская конференция "Технологии IBM в образовании и бизнесе", посвященная мэйнфреймам (см. "Предмет переговоров", Computerworld Россия, № 13, 2009). Выступившие на ней представители IBM постарались продемонстрировать, что сочетание zSeries, z/OS и WebSphere — лучшая комбинация для интеграции ИТ-инфраструктуры крупного предприятия. В качестве примера организации, в которой была осуществлена успешная консолидация, был упомянут Банк России, где прежде было около 80 региональных центров обработки информации на базе Unix. За пять лет все отделения ЦБ были переведены на обслуживание тремя центрами, использующими мэйнфреймы zSeries. Стоимость обработки транзакции с 13 руб. в исходной распределенной системе упала до 50 копеек.