Это классическая "магия" в смысле "телефона телефона, чукча кушать хочет". Никто не знает, что внутри этой вафли живёт, а если бы знал, то проблему можно было бы решить много более простым путём.
Но вообще тренд в некотором смысле верен, - будущее за "ассоциативной памятью", то есть когда на чипы памяти сразу прикручены небольшие процессоры для каталогизации и первичной обработки. Графические карты тоже являются приближением именно в эту сторону. Но "память" и "разум", это совершенно различные вещи.
The Cerebras architecture can help to accelerate sparse linear algebra and tensor workloads, stencil-based partial differential equation (PDE) solvers, N-body problems, and spectral algorithms such as FFT that are often used for signal processing.
Помочь-то поможет, и действительно чаще требуется именно "линейная алгебра", но нейросеть является банальной "параметрической системой уравнений", и понимание потрохов позволяет _выбросить_ многие ненужные параметры, что разом на _порядки_ повышает производительность.
То есть это именно следствие банального "телефона телефона чукча кушать хочет", сиречь следствие "магического" отношения к механизму как "чёрному ящику", когда всю работу совершат какие-то неведомые "высшие боги", а юзеру остаётся только поститься и молиться. А потом рушатся аквапарки. потому что границ применимости используемых моделей с таким подходом тоже никто заведомо не знает. Хотя, для замены наркоманов "художников", это будет самое то.
Насколько я знаю, сейчас всё ещё делается ставка на "магический" подход, а технологий фильтрации входных данных, на сейчас просто не существует. А я бы начинал бы работу как раз _оттуда,_ и потом сами вычисления вышли бы радикально облегченными, и выполнялись бы даже на имеющемся оборудовании. Когда америкосы в 70е годы тренировали
( ... )
Есть еще TPU - Tensor Processing Units, но это наоборот шаг в сторону упрощения, за графические чипы. По сути делает очень много операций сложения, с небольшой точностью. А тут каждое ядро это мудреный чип, который еще и заточен под свою математику. Быстрый Фурье трансформ это очень полезная штука, например, применяется примерно везде, и при этом специфическая. У памяти есть свой процессор - это контроллер. А у процессора есть память L1 и L2, и на этой вафле у кахдого из сорока тысяч ядер есть своя память.
Comments 7
Это классическая "магия" в смысле "телефона телефона, чукча кушать хочет". Никто не знает, что внутри этой вафли живёт, а если бы знал, то проблему можно было бы решить много более простым путём.
Но вообще тренд в некотором смысле верен, - будущее за "ассоциативной памятью", то есть когда на чипы памяти сразу прикручены небольшие процессоры для каталогизации и первичной обработки. Графические карты тоже являются приближением именно в эту сторону. Но "память" и "разум", это совершенно различные вещи.
Reply
The Cerebras architecture can help to accelerate sparse linear algebra and tensor workloads, stencil-based partial differential equation (PDE) solvers, N-body problems, and spectral algorithms such as FFT that are often used for signal processing.
No no, this is serious shit
Reply
Помочь-то поможет, и действительно чаще требуется именно "линейная алгебра", но нейросеть является банальной "параметрической системой уравнений", и понимание потрохов позволяет _выбросить_ многие ненужные параметры, что разом на _порядки_ повышает производительность.
То есть это именно следствие банального "телефона телефона чукча кушать хочет", сиречь следствие "магического" отношения к механизму как "чёрному ящику", когда всю работу совершат какие-то неведомые "высшие боги", а юзеру остаётся только поститься и молиться. А потом рушатся аквапарки. потому что границ применимости используемых моделей с таким подходом тоже никто заведомо не знает. Хотя, для замены наркоманов "художников", это будет самое то.
Насколько я знаю, сейчас всё ещё делается ставка на "магический" подход, а технологий фильтрации входных данных, на сейчас просто не существует. А я бы начинал бы работу как раз _оттуда,_ и потом сами вычисления вышли бы радикально облегченными, и выполнялись бы даже на имеющемся оборудовании. Когда америкосы в 70е годы тренировали ( ... )
Reply
Есть еще TPU - Tensor Processing Units, но это наоборот шаг в сторону упрощения, за графические чипы. По сути делает очень много операций сложения, с небольшой точностью. А тут каждое ядро это мудреный чип, который еще и заточен под свою математику. Быстрый Фурье трансформ это очень полезная штука, например, применяется примерно везде, и при этом специфическая. У памяти есть свой процессор - это контроллер. А у процессора есть память L1 и L2, и на этой вафле у кахдого из сорока тысяч ядер есть своя память.
Reply
Leave a comment