Cerebras

Dec 11, 2023 17:45




Read more... )

Leave a comment

Comments 7

monster December 12 2023, 02:44:53 UTC

Это классическая "магия" в смысле "телефона телефона, чукча кушать хочет". Никто не знает, что внутри этой вафли живёт, а если бы знал, то проблему можно было бы решить много более простым путём.

Но вообще тренд в некотором смысле верен, - будущее за "ассоциативной памятью", то есть когда на чипы памяти сразу прикручены небольшие процессоры для каталогизации и первичной обработки. Графические карты тоже являются приближением именно в эту сторону. Но "память" и "разум", это совершенно различные вещи.

Reply

evlasov December 12 2023, 12:44:48 UTC

The Cerebras architecture can help to accelerate sparse linear algebra and tensor workloads, stencil-based partial differential equation (PDE) solvers, N-body problems, and spectral algorithms such as FFT that are often used for signal processing.

No no, this is serious shit

Reply

monster December 13 2023, 01:55:20 UTC

Помочь-то поможет, и действительно чаще требуется именно "линейная алгебра", но нейросеть является банальной "параметрической системой уравнений", и понимание потрохов позволяет _выбросить_ многие ненужные параметры, что разом на _порядки_ повышает производительность.

То есть это именно следствие банального "телефона телефона чукча кушать хочет", сиречь следствие "магического" отношения к механизму как "чёрному ящику", когда всю работу совершат какие-то неведомые "высшие боги", а юзеру остаётся только поститься и молиться. А потом рушатся аквапарки. потому что границ применимости используемых моделей с таким подходом тоже никто заведомо не знает. Хотя, для замены наркоманов "художников", это будет самое то.

Насколько я знаю, сейчас всё ещё делается ставка на "магический" подход, а технологий фильтрации входных данных, на сейчас просто не существует. А я бы начинал бы работу как раз _оттуда,_ и потом сами вычисления вышли бы радикально облегченными, и выполнялись бы даже на имеющемся оборудовании. Когда америкосы в 70е годы тренировали ( ... )

Reply

evlasov December 12 2023, 12:53:08 UTC

Есть еще TPU - Tensor Processing Units, но это наоборот шаг в сторону упрощения, за графические чипы. По сути делает очень много операций сложения, с небольшой точностью. А тут каждое ядро это мудреный чип, который еще и заточен под свою математику. Быстрый Фурье трансформ это очень полезная штука, например, применяется примерно везде, и при этом специфическая. У памяти есть свой процессор - это контроллер. А у процессора есть память L1 и L2, и на этой вафле у кахдого из сорока тысяч ядер есть своя память.

Reply


Leave a comment

Up