Илон Маск сообщил, что команда xAI успешно запустила кластер для обучения Colossus 100k H100 после 122-дневного процесса. Оставшись недовольным текущими возможностями, Маск заявил: «в течение ближайших нескольких месяцев его размер удвоится и достигнет 200 тысяч (50 тысяч H200s)».
Масштаб «Колосса» беспрецедентен, превосходя все существующие кластеры на сегодняшний день. Для сравнения, Google использует 90 000 GPU, а OpenAI — 80 000 GPU, но даже эти показатели превзойдены разработкой xAI, еще до удвоения размеров Colossus в ближайшие месяцы.
Разработанная в партнерстве с Nvidia, Colossus использует одну из самых передовых технологий GPU на рынке. Первоначально система оснащена чипами H100 от Nvidia, с планами включения новой модели H200 в процессе расширения. Это огромное количество вычислительных мощностей делает Colossus самой мощной системой обучения искусственного интеллекта на данный момент.
Хотя H200 недавно была превзойдена чипом Blackwell от Nvidia, представленным в марте 2024 года, она остается крайне востребованным компонентом в индустрии ИИ. Она обладает впечатляющей спецификацией, включая 141 ГБ памяти HBM3E и пропускную способность 4,8 ТБ/сек. В то время как чип Blackwell устанавливает новую планку, обеспечивая на 36,2% большую емкость и на 66,7% увеличение общей пропускной способности по сравнению с H200.
Nvidia с энтузиазмом и поддержкой ответила на представление Colossus. Компания поздравила Маска и команду xAI с их достижением, отметив, что Colossus станет не только самой мощной системой в своем роде, но также обеспечит «исключительные достижения» в энергоэффективности.
Вычислительная мощность Colossus может значительно ускорить прорывы в различных приложениях ИИ, от обработки естественного языка до сложных алгоритмов решения задач. Однако представление Colossus также возрождает дискуссии о концентрации мощностей ИИ среди нескольких технологических гигантов и хорошо финансируемых стартапов.
По мере того как такие компании, как xAI, расширяют границы возможного в обучении ИИ, вопросы о доступности таких передовых технологий для более мелких организаций и исследователей могут выйти на передний план.
С разогревом гонки вооружений в сфере ИИ, все взгляды будут прикованы к xAI и его конкурентам, чтобы увидеть, как они используют эти все более мощные системы. С Colossus Маск и его команда бросили вызов соперникам, призывая их достичь или превзойти их усилия.
Источник: Artificial Intelligence News