4 трлн. транзисторов, какой и когда следующий шаг?

[1500py470]

На дворе стоит день покорения вершин, а по такому поводу стоит вспомнить про такое достижение 2024 года как WSE-3.

Comments

[black_eric]

Какое для него охлаждение нужно?

[vlkamov]

[1500py470]

Такое как и для прошлых версий

[pavel_herc]

"CS-3 поддерживает масштабирование вплоть до 2048 штук WSE-3 с общей производительностью до 256 экзафлопсов. А это как не крути, уже 0,25 зеттафлопса!"

офигенная фраза, чувствую, что-то очень мощное - а что? зачем? как масштабируется?, чего-куда производит? даже объяснять будут - не пойму.

[misha_panda]

Обучает нейросети на 20+ трлн параметров.
Посмотрите, что может GPTchat с 1,7 трлн. парамертов.
Представьте, что-то в 10 раз более совершенное.

[pavel_herc]

я не понимаю - что такое 20+ трлн параметров.

[misha_panda]

Мир Дикого Запада смотрели?
20+ трлн параметров это примерно так.
Искусственный интеллект вышедший на новый уровень развития.

[vlkamov]

> говорят о 24 трлн параметров

Нейронов в мозгу в сотни раз меньше.

[tydymbydym]

Зато связей у каждого - огого.

[vlkamov]

Меньше, чем "огого" :
"У человеческих нейронов нашли множественные контакты...
nkj.ru›news/41588/
Между нейронами коры мозга может быть до девятнадцати синапсов. ..."

То есть примерно та же FP16.

[misha_panda]

Параметр это модель синапса, а не нейрона.

[johnwarner]

ОГраниченный в производительности робот-сгибатель Бендер Родригес обходился пятью тБ порно.

[serokoy]

> 44 Гбайт памяти SRAM

Эм. Даже для 5 нм что-то многовато...

[misha_panda]

Так это ж здоровенный проц, выполненный по технологии 5нм со множеством ножек и двумя ручками для переноски.
Вся хреновина на фото это один кристалл.
Будет ещё корпус, плата, охлаждение, пиание и такие штуки объединят в кластеры.

[rbs_vader]

И охлаждение там очень нетривиальное. Оно вроде и здоровое, но для 15 киловатт такая площадь не выглядит большой.

[serokoy]

Ну да, видимо. Хотя SRAM обычно на пластине относительно небольшая и при этом прилично места занимает.

Ещё интересно, как они отбраковывать будут, выход годных с пластины не 100 % даже сейчас, то есть некоторые ядра этих "транспьютеров" бдут выключены, по идее.