Cerebras Systems представила свой третьегенерационный чип WSE-3, который обладает 900 000 ядрами, оптимизированными для искусственного интеллекта, предназначенными для обучения до 24 триллионов параметров.
С момента запуска своего первого чипа Wafer Scale Engine (WSE) компания Cerebras не прекращала инновации, и теперь она представила свое решение третьего поколения с впечатляющими характеристиками. Новый чип представляет собой целую кремниевую пластину и ориентирован на усиление искусственного интеллекта с невероятными техническими возможностями:
- 4 триллиона транзисторов
- 900 000 ядер искусственного интеллекта
- Пиковая производительность искусственного интеллекта 125 петафлопс
- Встроенная память SRAM объемом 44 ГБ
- Процесс технологического узла 5 нм от TSMC
- Внешняя память: 1,5 ТБ, 12 ТБ или 1,2 ПБ
- Обучение моделей ИИ на 24 триллионах параметров
- Размер кластера до 2048 систем CS-3.
Что касается размера кристалла, то WSE-3 от Cerebras имеет площадь 46 225 мм2, что в 57 раз больше, чем у NVIDIA H100 с площадью 826 мм2, при том что оба чипа основаны на технологическом процессе 5 нм от TSMC. Если H100 считается одним из лучших чипов для ИИ на рынке с 16 896 ядрами и 528 тензорными ядрами, то WSE-3 обгоняет его с его 900 000 ядрами, что в 52 раза больше.
WSE-3 также имеет высокую производительность, подтвержденную пропускной способностью памяти 21 петабайт в секунду (в 7000 раз больше, чем у H100) и пропускной способностью Fabric 214 петабит в секунду (в 3715 раз больше, чем у H100). Чип обладает 44 ГБ встроенной памяти, что в 880 раз больше, чем у H100.
По сравнению с WSE-2, WSE-3 предлагает в 2,25 раза больше ядер (900 000 против 400 000), в 2,4 раза больше SRAM (44 ГБ против 18 ГБ) и гораздо более высокие скорости межсоединений, при этом они имеют одинаковый размер корпуса. Также количество транзисторов на WSE-3 больше на 54% (4 триллиона против 2,6 триллиона).
Чип WSE-3 в первую очередь предназначен для работы с искусственным интеллектом и обеспечивает пиковую производительность искусственного интеллекта в 125 петафлопс. Если NVIDIA H100 обеспечивает около 3958 терафлопс или около 4,0 петафлопс пиковой производительности искусственного интеллекта, то здесь мы видим увеличение в 31,25 раза. Кроме того, WSE-3 предлагает различные варианты внешней памяти: от 1,5 ТБ, 12 ТБ и до 1,2 ПБ. Благодаря такой мощности в одном кристалле чип может обучать модели ИИ до 24 триллионов параметров.
Кроме того, Cerebras Systems также представляет свой суперкомпьютер CS-3 AI, который может обучать модели в 10 раз больше, чем GPT-4 и Gemini, благодаря огромной памяти. Решение CS-3 AI предназначено для корпоративных и гипермасштабных пользователей, обеспечивая гораздо более высокую производительность по сравнению с современными графическими процессорами.
64 таких системы CS-3 AI будут использоваться для питания суперкомпьютера Condor Galaxy 3, что удвоит производительность системы при той же мощности и стоимости. Компания не раскрыла цены и доступность чипов WSE-3, но ожидается, что их стоимость будет значительно выше, чем цена в 25–30 тысяч долларов за графические процессоры NVIDIA H100.
