Суперкомпьютер Frontier, в настоящее время лидер в мире и первый экзафлопсный компьютер, представляет собой технологическое достижение. Он работает на процессорах AMD EPYC & Instinct, обеспечивая выдающуюся производительность в области высокопроизводительных вычислений и являясь вторым по эффективности суперкомпьютером в мире. Исследование, представленное в Arxiv, отмечает, что Frontier успешно обучает один триллион параметров с использованием "настройки гиперпараметров", устанавливая новые стандарты в отрасли.
Frontier, установленный в Национальной лаборатории Ок-Ридж в Теннесси, США, представляет собой новаторский компьютер, использующий процессоры AMD EPYC Trento третьего поколения и графические ускорители Instinct MI250X. Этот суперкомпьютер подтвердил свою доминирование, удерживая первое место в рейтинге Top500.org.
Достижения Frontier стали возможными благодаря эффективным стратегиям обучения LLM и оптимальному использованию оборудования. Команда совершила значительные прорывы, тестируя миллиарды, а затем триллионы параметров и тщательно настраивая процесс обучения. Результаты были достигнуты при использовании до 3000 AI-ускорителей AMD MI250X, подчеркивая их эффективность.
Интересно, что весь суперкомпьютер содержит 37 000 графических процессоров MI250X, что обещает значительный потенциал производительности. AMD также готовится представить свои графические ускорители MI300, которые улучшат производительность искусственного интеллекта.
Достижения Frontier в области обучения моделей подчеркивают важность развития современных технологий и аппаратного обеспечения для серверов и центров обработки данных, особенно в контексте растущего спроса на вычислительную мощность в области генеративного искусственного интеллекта.