Решение RSC PetaStream устанавливает мировой рекорд вычислительной плотности в 1 PFLOPS на стойку

Группа компаний РСК, ведущий в России и СНГ разработчик и интегратор инновационных решений для сегмента высокопроизводительных вычислений (HPC) и центров обработки данных (ЦОД), продемонстрировала на ведущей международной выставке SC’13 в Денвере (США) революционное сверхплотное решение RSC PetaStream с прямым жидкостным охлаждением, установив мировой рекорд вычислительной плотности в 1 PFLOPS на одну стойку при занимаемой площади всего 1 м2. Тем самым, в 5 раз превышен ранее продемонстрированный РСК в этом году рекорд на базе своей суперкомпьютерной архитектуры «РСК Торнадо» с показателем 211 TFLOPS на стойку. Одна стойка RSC PetaStream состоит из 1024 вычислительных узлов и обеспечивает отвод более 400 кВт тепловой мощности. Это в 4 раза выше предыдущего достижения РСК и является новым мировым рекордом энергетической плотности.

«Столь значительного прорыва нам удалось достичь благодаря уникальному многолетнему опыту специалистов РСК в разработке технологий высокоэффективного прямого жидкостного охлаждения и сверхплотной интеграции суперкомпьютерных решений на базе стандартных серверных компонент», – отметил Алексей Шмелев, исполнительный директор группы компаний РСК.

Решение RSC PetaStream является инновационной реализацией массивно-параллельной архитектуры с использованием лучших из доступных индустриальных компонент, высочайшего уровня интеграции и уникальной системной архитектуры для высокопроизводительных вычислений, разработанной специалистами РСК. Каждый узел системы построен на базе 60-ядерного сопроцессора Intel® Xeon Phi™ 5120D с 8 ГБ высокоскоростной памяти DDR5. Все 1024 вычислительных узла объединены между собой высокоскоростными соединениями на базе технологии Infiniband FDR, обеспечивая революционное сверхплотное высокопроизводительное решение с более чем 250000 потоков в одной стойке на базе архитектуры x86. Это позволило сделать значительный рывок вперед в направлении создания суперкомпьютеров экзафлопного диапазона, способных обеспечивать миллионы исполняемых вычислительных потоков в одном приложении. Уже сегодня, имея в своем распоряжении такое решение как RSC PetaStream, пользователи и разработчики смогут разрабатывать и оптимизировать приложения для работы на будущих системах с массивно-параллельными архитектурами и новыми многоядерными процессорами.

«Возможность эффективного использования высокопроизводительных вычислений является основой для создания инноваций и появления новых открытий в самых различных областях человеческой деятельности, – сказал Радж Хазра, вице-президент подразделения Data Center Group и генеральный менеджер направления Technical Computing в корпорации Intel. – Наступающая новая эра вычислений требует создания и эффективного использования распараллеленных приложений на энергоэффективнных аппаратных платформах, способных обеспечивать чрезвычайно высокий уровень параллелизма с помощью процессоров Intel Xeon и сопроцессоров Intel Xeon Phi. Решение RSC PetaStream полностью соответствует этим требованиям, позволяя заказчикам уже сегодня защитить свои инвестиции в программно-аппаратные платформы, которые позволят им быстрее приблизиться к эре экзафлопных вычислений».

Решение RSC PetaStream на основе архитектуры x86, являющейся де-факто индустриальным стандартом во всем мире, обеспечивает защиту инвестиций на разработку и оптимизацию ПО. При создании нового ПО для будущих вычислительных систем разработчики смогут применять существующие модели программирования, фактически получая возможность запуска уже существующих приложений на суперкомпьютерах экзафлопного диапазона. В то же время, гибкость архитектуры RSC PetaStream позволяет тестировать инновационные модели программирования, которые могут быть более эффективными для экзафлопных вычислений.

На выставке SC’13 была продемонстрирована работа нескольких HPC-приложений на новой суперкомпьютерной системе РСК. В дополнение к высочайшей производительности приложений, которую обеспечивает RSC PetaStream, это решение позволяет в два раза сократить расход электроэнергии, по сравнению с традиционными кластерными системами, при выполнении задач моделирования с очень высоким уровнем параллелизма. Таким образом, пользователи имеют возможность значительно сокращать затраты на эксплуатацию (TCO), получая при этом лидирующую производительность при очень высокой компактности решения.

Для обеспечения максимальной плотности упаковки, высокой пропускной способности ввода/вывода, а также надежности вычислений и управляемости, несколько узлов RSC PetaStream группируются в один модуль, обеспечивающий узлам жидкостное охлаждение, высокоэффективное электропитание и преобразование электроэнергии, а также возможность агрегации узлов в стойку. Модуль RSC PetaStream объединяет до восьми узлов с Intel Xeon Phi, подсистему ввода-вывода, включающую серверную плату Intel S1600JP с процессором Intel Xeon E5-2600 v2, до пяти твердотельных дисков Intel SSD серий S3500 или S3700, и сетевые адаптеры, такие как Mellanox Connect-IB или хост-адаптеры Intel True Scale.

В дополнение к 1024 вычислительным узлам на основе Intel Xeon Phi, в каждую стойку RSC PetaStream может быть установлено до 640 твердотельных накопителей. Управление ими осуществляется с помощью масштабируемой файловой системы, что гарантирует большое количество операций ввода/вывода в секунду и обеспечивает эффективность работы множества ядер в системе, а также масштабируемость локальной части файловой системы хранения. При использовании твердотельных дисков Intel® SSD серий DC S3700 или DC S3500 емкостью 800 ГБ совокупная емкость локального файлового хранилища узлов в стойке достигает 0,5 ПБ при производительности системы в 1 PFLOPS. Применение твердотельных накопителей Intel серий DC S3500 и DC S3700 обусловлено высокими требованиями к отказоустойчивости и ресурсоёмкости системы хранения. Эти накопители являются стандартом де-факто в индустрии, обеспечивая высокую производительность и гарантированный жизненный цикл в течение 5 лет при 10-кратной ежедневной перезаписи, а также низкое временя отклика и высокий показатель качества сервиса обработки запросов QoS.

Новое решение РСК предоставляет заказчикам большую гибкость выбора типов интерконнекта за счет возможности подключения различных карт расширения, а также возможность выбора топологии создаваемой сети и широкие опции для построения инновационных систем хранения данных в составе суперкомпьютерного комплекса. Базовый модуль RSC PetaStream оснащен двумя слотами PCIe Gen3 x16 для подключения стандартных и нестандартных карт коммуникационных интерфейсов, что обеспечивает по 4 порта Infiniband FDR или QDR, в дополнение к интегрированным 4 портам Gigabit-Ethernet. Каждый модуль обеспечивает высокую пропускную способность во внешнюю сеть, превышающую 200 Гбит/c, в случае использования двухпортового адаптера Mellanox Connect-IB.

Технология высокоэффективного прямого жидкостного охлаждения, разработанная РСК, проверена временем и практикой использования заказчиками компании во многих реализованных проектах с 2009 года. Ее применение обеспечивает очень высокий уровень энергоэффективности, который демонстрирует и новое решение RSC PetaStream. Как показывают результаты измерений на нескольких эксплуатируемых заказчиками системах РСК, средняя эффективность использования электроэнергии (PUE) составляет 1,06. То есть не более 6% энергопотребления расходуется на охлаждение всей системы. Показатель PUE становится критически важным при создании суперкомпьютеров экзафлопного уровня с энергопотреблением в десятки МВт.

Рекордная вычислительная плотность в 1 PFLOPS на занимаемый объем лишь в 2,2 м3 требует не только высокой эффективности системы охлаждения, но и высокоэффективной подсистемы распределения электропитания. Поэтому в RSC PetaStream используется высокоэффективная подсистема распределения электропитания производства компании Emerson Electric, созданная на базе передового отраслевого стандарта электропитания постоянного тока с напряжением 400 В. В новом решении РСК эффективность распределения электроэнергии превышает 90%, что обеспечивает повышение энергоэффективности всей системы и снижение эксплуатационных расходов. Кроме того, применение стандарта электропитания постоянного тока с напряжением 400 В позволяет сократить количество преобразований электроэнергии и число используемых электронных компонент, что также повышает общую энергоэффективность и надежность работы всего вычислительного комплекса.

Для удобства пользователей в RSC PetaStream обеспечиваются расширенные программно-аппаратные функции мониторинга и управления системой с использованием интегрированного стека ПО «РСК БазИС». В системе используется технология Intel® Node Manager для контроля и мониторинга энергопотребления каждого узла, что позволяет суперкомпьютерным центрам реализовывать гибкие политики для оптимизации управления энергопотреблением, сокращая свои затраты на электричество и эксплуатацию вычислительных систем.

Решение RSC PetaStream поставляется с набором программных инструментов Intel Cluster Studio XE 2013 для операционной системы Linux, а также с набором оптимизированных библиотек.