С момента выпуска своего первого чипа Wafer Scale Engine (WSE), компания Cerebras не останавливается на достигнутом, и теперь она представила свое решение третьего поколения с впечатляющими характеристиками, которые вызывают внимание благодаря своим огромным размерам. Как следует из названия, чип фактически представляет собой цельную кремниевую пластину, и на этот раз Cerebras делает ставку на усиление искусственного интеллекта с некоторыми мощными характеристиками, которые приведены ниже:
- 4 триллиона транзисторов
- 900 000 ядер искусственного интеллекта
- 125 петафлопс пиковой производительности искусственного интеллекта
- 4 4 ГБ встроенной SRAM
- 5-нм техпроцесс TSMC
- Внешняя память: 1,5 ТБ, 12 ТБ или 1,2 ПБ.
- Обучает модели искусственного интеллекта до 24 триллионов параметров
- Размер кластера до 2048 систем CS-3.
Говоря о самом чипе, Cerebras WSE-3 имеет размер кристалла 46 225 мм2, что в 57 раз больше, чем у NVIDIA H100, площадь которого составляет 826 мм2. Оба чипа основаны на 5-нм техпроцессе TSMC. H100 считается одним из лучших AI-чипов на рынке с его 16 896 ядрами и 528 тензорными ядрами, но его производительность уступает WSE-3, предлагающему поразительные 900 000 ядер, оптимизированных для искусственного интеллекта, что в 52 раза больше.
WSE-3 также имеет высокие показатели производительности, подкрепленные пропускной способностью памяти 21 петабайт в секунду (в 7000 раз больше, чем у H100) и пропускной способностью Fabric 214 петабит в секунду (в 3715 раз больше, чем у H100). Чип имеет 44 ГБ встроенной памяти, что в 880 раз больше, чем у H100.
По сравнению с WSE-2, чип WSE-3 предлагает в 2,25 раза больше ядер (900 000 против 400 000), в 2,4 раза больше SRAM (44 ГБ против 18 ГБ) и гораздо более высокие скорости межсоединения, все это в том же размере корпуса. Транзисторов на WSE-3 также на 54% больше (4 триллиона против 2,6 триллиона).
Так в чем же выгода от всего этого оборудования? Чип предназначен прежде всего для искусственного интеллекта и обеспечивает пиковую производительность искусственного интеллекта 125 петафлопс. NVIDIA H100 предлагает около 3958 терафлопс или около 4,0 петафлопс пиковой производительности искусственного интеллекта, так что мы говорим о увеличении в 31,25 раза. Чип также поставляется в различных конфигурациях внешней памяти: от 1,5 ТБ, 12 ТБ и до 1,2 ПБ. Благодаря такой мощности в одном кристалле чип может обучать модели искусственного интеллекта до 24 триллионов параметров.
Кроме того, помимо чипа WSE-3, Cerebras Systems также анонсировала свой суперкомпьютер CS-3 AI, который может обучать модели, превосходящие по размеру GPT-4 и Gemini в 10 раз благодаря огромному пулу памяти. Решение CS-3 AI предназначено как для корпоративных, так и для гипермасштабных пользователей и обеспечивает гораздо более высокую эффективность производительности по сравнению с современными графическими процессорами.
64 из этих систем искусственного интеллекта CS-3 будут использоваться для питания суперкомпьютера Condor Galaxy 3, который обеспечит производительность вычислений искусственного интеллекта 8 экзафлопс, что удвоит производительность системы при той же мощности и стоимости. Компания не раскрыла цены и доступность чипов WSE-3, но ожидается, что они будут стоить значительно больше, чем запрашиваемая цена в 25–30 тысяч долларов за графические процессоры NVIDIA H100.
