трансформеры

[kobak]

Мне надоело, что я не знаю, как устроены трансформеры, поэтому я организовал reading group в лаборатории, и мы более или менее разобрались. По итогам наших обсуждений написал тред в твиттере: https://twitter.com/hippopedoid/status/1641432291149848576

Comments

[monka]

По теме ничего не понимаю, но очень люблю такой почерк вообще и твой в частности!

[oude_rus]

вот да.
бешеная лютая зависть.

[kobak]

Зато как я мучался в начальной школе, когда заставляли писать письменными буквами - чтобы все буквы в слове были написаны одним росчерком. У меня почти каждая буква отдельно.

[oude_rus]

у меня тоже каждая буква отдельно, но помогает слабо
вот скажи: есть такие программы, которые якобы пишут вбитый текст?
и формулы еще

[leopoldcarlos]

Добрый день.
Как вы думаете, эта архитектура имеет потенциал повышения качества аналитических и decision making возможностей нейросети за пределы GPT-4?

[akor168]

Вроде как есть чуть ли консенсус что архитектура в этих сетях неважна по сути. Что важно это какой обьем сети и сколько было потрачено на ее обучение. На определенном размере можно визуально видеть скачки в качестве работы (видел такие графики). Причем на уровне, что до определенного размера сети танцы с бубнами вида добавления промпта: думай пошагово или представь что ты специалист по сравнительной арханологии, не оказывают вообще никакого эффекта на качество, а после определенного размера дают вдруг резкое видимое улучшение.

Как я понимаю что там дальше вылезет, одному богу известно - не попробуешь, не проверишь. А может и ничего не вылезет и упрется в какой-то потолок.