В Национальном исследовательском университете ЮУрГУ установлен инновационный энергоэффективный суперкомпьютер «СКИФ-Аврора ЮУрГУ»

 «ЮУрГУ — инновационный вуз, вкладывающий ресурсы в современную научно-учебную базу и создание мощного суперкомпьютерного центра. Это позволяет нам готовить высококвалифицированных специалистов для науки и промышленности, обладающих знаниями и практическим опытом в передовых областях высокопроизводительных вычислений и инженерного моделирования, а также участвовать в решении задач развития научного потенциала и экономики не только Челябинской области, но и всего Уральского Федерального Округа. Поэтому для нашего университета дальнейшее развитие суперкомпьютерного центра имеет стратегическое значение, особенно после получения статуса Национального исследовательского университета — для реализации возможностей широкомасштабного развития научных исследований и подготовки высококлассных специалистов для всей страны по ряду приоритетных направлений», — подчеркивает ректор Южно-Уральского государственного университета Александр Леонидович Шестаков.

«СКИФ-Аврора ЮУрГУ» — это первый в мире суперкомпьютер на базе современных процессоров Intel Xeon (серии 5500) и высокоэффективного жидкостного охлаждения, содержащий в себе целый ряд уникальных отечественных разработок мирового уровня.

«Разработка суперкомпьютеров ряда 4 семейства «СКИФ» — «СКИФ-Аврора»,— ведется в 2009–2010 годах в рамках суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства, Непосредственно в этой работе участвуют группы из шести российских организаций (ИПС имени А.К. Айламазяна РАН головной).  Используется равноправное сотрудничество с западными партнерами — с корпорацией Intel и другими.  При соблюдении всех интересов российской стороны, это позволило обеспечить серьезные улучшения таких показателей проекта, как стоимость, сроки и качество разработки. — говорит член-корреспондент РАН, директор ИПС имени А.К. Айламазяна РАН, научный руководитель от России суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства Сергей Михайлович Абрамов. — Достигнутые на данный момент результаты совместных работ позволяют обеспечить перспективу развития отечественных суперкомпьютеров на платформе решения «СКИФ-Аврора» и мировое лидерство по ряду технологий как минимум до 2012 года. Сегодня платформа «СКИФ-Аврора» обеспечивает возможность создания самого компактного в мире суперкомпьютера с производительностью в 1 PFLOPS — всего из 25 стоек — с невысоким для такой системы уровнем энергопотребления в 2,84 МВт.  В планах развития стоит улучшение этих показателей».

В марте 2009 года ИПС имени А.К. Айламазяна РАН заключил контракты на изготовление первого опытного образца суперкомпьютера «СКИФ-Аврора» с компанией «РСК СКИФ».  Руководство программы «СКИФ-ГРИД» самой эффективной площадкой для размещения опытного образца признало Южно-Уральский государственный университет.  Со своей стороны университет дал согласие на размещение опытного образца, выделил необходимые ресурсы для его расширения, обеспечения эксплуатации и использования в составе грид-сети «СКИФ-Полигон».

С момента принятия решения о расположении в ЮУрГУ опытного образца за данным суперкомпьютером было закреплено имя «СКИФ-Аврора ЮУрГУ».

Таким образом, финансовые ресурсы на создание «СКИФ-Аврора ЮУрГУ» были выделены на паритетных началах как из бюджета Союзного государства (средства программы «СКИФ-ГРИД»), так из собственных средств ЮУрГУ.  А реализация вычислительного комплекса «СКИФ-Аврора ЮУрГУ» выполнена компанией «РСК СКИФ» в кооперации с другими исполнителями программы «СКИФ-ГРИД», при активной технической поддержке корпорации Intel и участии других западных партнеров.

«Сегодня мы можем продемонстрировать первый результат не только кропотливой работы специалистов нашей компании над созданием сложного интеграционного проекта «под ключ» и фактически суперком­пьютерного решения нового поколения, — каковым является вычислительный комплекс «СКИФ-Аврора ЮУрГУ», — но и эффективность совместных усилий в рамках широкой кооперации как российских участников, в большей степени отечественных исполнителей суперкомпьютерной программы «СКИФ-ГРИД», так и западных технологических партнеров, в первую очередь, корпорации Intel», — отметил Алексей Шмелев, исполнительный директор «РСК СКИФ».

Уже на этапе предварительного тестирования суперкомпьютер «СКИФ-Аврора ЮУрГУ»:

• Вошел в список Тор50 и сразу занял 8 место среди 50 мощнейших суперкомпьютеров СНГ согласно новой, 12-ой редакции рейтинга, опубликованной 30 марта 2010 г. Максимальная производительность суперкомпьютера «СКИФ-Аврора ЮУрГУ», полученная на тесте Linpack, составляет 21,86 TFLOPS, а пиковая производительность — 24 TFLOPS.
• Показал высокую вычислительную эффективность на реальных промышленных задачах, решаемых на базе суперкомпьютерного центра ЮУрГУ, продемонстрировав более чем 3-х кратный прирост производительности на ряде задач по сравнению с предыдущим кластером «СКИФ Урал».
• В апреле этого года была реализована возможность использования в платформе «СКИФ-Аврора» 6-ядерных процессоров Intel Xeon серии 5600, что позволяет повысить производительность системы в том же конструктиве в 1,7 раза.

 «Такие высокопроизводительные и энергоэффективные суперкомпьютерные решения, как «СКИФ-Аврора ЮУрГУ», демонстрируют реальные возможности российских инновационных начинаний в области разработки и реализации сложных вычислительных комплексов, что позволяет Челябинской области и России в целом использовать самую передовую технологию для развития российских научно-образовательных организаций и промышленных предприятий. Использование процессоров старших моделей линейки Intel Xeon, в том числе новейших 6-ядерных моделей серии 5600, позволяет участникам Альянса создавать суперкомпьютерные комплексы с лучшими в индустрии показателями в области быстродействия, вычислительной плотности, масштабируемости и экономичности», — подчеркнул Николай Местер, директор по развитию корпоративных проектов корпорации Intel в России и странах СНГ.

«СКИФ-Аврора» — уникальная суперкомпьютерная платформа с российскими ноу-хау

Суперкомпьютерную платформу «СКИФ-Аврора», которая стала основой для создания вычислительного комплекса  «СКИФ-Аврора ЮУрГУ», отличает высочайшая производительность, сверхвысокая плотность монтажа вычислительных узлов, повышенная надежность и управляемость. Отсутствие шума и вибрации в вычислительной системе достигается за счет применения жидкостного охлаждения всех компонентов вычислителя и использования твердотельных накопителей Intel SSD. Благодаря такому «зеленому дизайну» решение «СКИФ-Аврора» демонстрирует наилучшие в индустрии показатели энергоэффективности, что обеспечивает среднегодовую экономию затрат на электроэнергию до 60% по сравнению с решениями других разработчиков.

Метод жидкостного охлаждения является на сегодня самым инновационным и эффективным в суперкомпьютерной индустрии. Он позволяет строить вычислительные системы с высочайшим уровнем плотности, с пониженным уровнем энергопотребления, практически бесшумные и исключающие вибрацию, то есть более надежные. Именно такой системой охлаждения оснащен суперкомпьютерный комплекс «СКИФ-Аврора ЮУрГУ» — это первый в России и в мире суперкомпьютер на базе стандартных процессоров Intel Xeon (серии 5500) и технологии высокоэффективного жидкостного охлаждения, содержащий в себе целый ряд уникальных отечественных разработок мирового уровня.

Специалисты Южно-Уральского государственного университета принимали непосредственное участие в создании одного из элементов системы жидкостного охлаждения суперкомпьютера «СКИФ-Аврора ЮУрГУ» — охлаждающей пластины для вычислительных узлов суперкомпьютера. Опытное производство данных пластин налажено на базе ЮУрГУ.

Суперкомпьютерная платформа «СКИФ-Аврора» имеет следующие уникальные характеристики:

• Передовое решение по технологии охлаждения, наилучшая в отрасли эффективность использования электроэнергии — «зеленый дизайн»:
  • Значительная среднегодовая экономия электроэнергии.
  • Возможности использования особенностей климатических зон — беззатратное охлаждение (free cooling).
• Максимальная плотность упаковки вычислительной мощности стандартной архитектуры:
  • Самая высокая вычислительная плотность в суперкомпьютерной отрасли на базе стандартных процессоров архитектуры x86 — более 10 CPU в 1U.
  • На базе 6-ядерных процессоров Intel Xeon 5600 достигается рекордная производительность на одну стойку — свыше 40 TFLOPS.
  • Как минимум двукратное уменьшение занимаемой площади, по сравнению с решениями других производителей.
  • Возможность создания самого компактного в мире суперкомпьютера с производительностью 1 PFLOPS[1] — на базе всего 25-ти стоек «СКИФ-Аврора» (энергопотребление — 2,84 МВт).
• Уникальная системная сеть отечественной разработки с топологией 3D-тор:
  • Повышенная пропускная способность системной сети — до 60ГБ/с,— в 1,5 раза лучше показателей любых других доступных решений.
  • Высочайшая масштабируемость системной сети — возможность на сегодняшних решениях создать суперкомпьютер с производительностью 3 PFLOPS.
  • Аппаратная поддержка в системной сети некоторых операций MPI.
  • Возможность поддержки не только MPI, но и новых, перспективных подходов к реализации параллельных вычислений.
• Полная совместимость с существующим стандартным программным обеспечением в комбинации с возможностью использования FPGA-ускорителей, установленных в каждом вычислительном узле:
  • Обеспечена полная совместимость с программным обеспечением суперкомпьютеров с архитектурой x86, поддержка всех суперкомпьютерных приложений, как  созданных и разрабатываемых в рамках программ «СКИФ» и «СКИФ-ГРИД», так и широко используемых во всем мире суперкомпьютерных приложений от иных разработчиков.
  • Все характеристики производительности суперкомпьютеров «СКИФ-Аврора» приведены из расчета использования только стандартных процессоров, без учета применения FPGA-ускорителей. Доработка программного кода под использование последних позволяет обеспечить втрое большую реальную производительность суперкомпьютеров «СКИФ-Аврора» для ряда приложений.
  • Использование FPGA-ускорителей поддержано программным обеспечением «СКИФ-Аврора».
• Высочайшая надежность и отказоустойчивость суперЭВМ:
  • Отсутствие механически подвижных частей в вычислителе. Отсутствие вибрации.
  • Простые и надежные подсистемы электропитания и охлаждения.  Резервирование всех важных узлов.
  • Высокая теплоемкость хладоносителя — защита оборудования от «тепловых ударов».
  • Уникальная отечественная сенсорная и управляющая сеть СКИФ-Servnet v.4.  Три независимых системы мониторинга и управления суперкомпьютером.
  • Поддержка режима «горячей замены» модулей и узлов.
• Эффективная система электропитания повышенной безопасности (для персонала и оборудования).
• Улучшенные эргономические и эстетические показатели:
  • Система бесшумная.  Персонал может без средств защиты органов слуха долго и комфортно находиться в машинном зале.
  • Управление «на кончиках пальцев» — с использованием сенсорных LCD-панелей.
• Опора на широкую кооперацию российских разработчиков в сочетании с сотрудничеством с западными партнерами.

Технические характеристики суперкомпьютера «СКИФ-Аврора ЮУрГУ»

Вычислитель системы содержит 256 компактных и мощных вычислительных blade-модулей с жидкостным охлаждением.

Технические характеристики:

• Число вычислительных узлов/процессоров/ядер: 256/512/2048
• Тип процессора: Intel Xeon X5570  (4 ядра с тактовой частотой 2,93 ГГц)
• Суммарная оперативная память вычислительных узлов: 3 TБ (DDR3)
• Суммарная дисковая память вычислительных узлов: 60 TБ, твердотельные накопители
• Тип системной сети: Трехмерный тор, 60 Гбит/с, макс. задержка 1 мкс
• Тип вспомогательной сети: InfiniBand QDR, 40 Гбит/с, макс. задержка 2 мкс
• Сервисная сеть: три независимые сенсорные и управляющие сети, включая СКИФ-Servnet v.4
• Выделенная сеть глобальной синхронизации
• Программируемые FPGA‑ускорители в каждом вычислительном узле.  Связь FPGA‑ускорителя со стандартными процессорами: 80 Гбит/с
• Пиковая производительность установки (без учета FPGA‑ускорителей): 24 TFLOPS
• Производительность на тесте LINPACK: 21.84 TFLOPS.

Суперкомпьютер «СКИФ-Аврора ЮУрГУ» в полной мере унаследовал все уникальные характеристики (подробно описаны выше) платформы «СКИФ-Аврора»: высокие энергоэффективность, совместимость программного обеспечения, надежность, отказоустойчивость и другие.

«СКИФ-Аврора» — готовность обеспечить отечественными суперкомпьютерами потребности России

Суперкомпьютерная платформа «СКИФ-Аврора» разработана для эффективной реализации суперкомпьютеров в широком спектре производительности.  Запланировано дальнейшее развитие суперкомпьютерной платформы «СКИФ-Аврора».

Сегодня компания «РСК СКИФ», с опорой на СКИФ-кооперацию, готова обеспечить с высоким качеством выпуск, установку, ввод в эксплуатацию, гарантийное и послегарантийное обслуживание самых различных систем:

• от систем с производительностью в несколько единиц и десятков TFLOPS — суперкомпьютеры для лабораторий, конструкторских бюро, организаций науки и образования, предприятий;

до мощных систем в сотни и тысячи TFLOPS (на сегодняшних решениях до 3 000 TFLOPS = 3 PFLOPS) — суперкомпьютеры для отраслевых, региональных и национальных суперкомпьютерных центров.

[1] 1 PFLOPS = 1000 TFLOPS — квинтиллион (тысяча триллионов) операций с плавающей точкой в секунду.