Исчерпав имеющиеся в открытом доступе тексты ОпенАИ взялись за видеоролики и аудиоподкасты. У гугла есть запас тестов отсутствующих в открытом доступе из-за проблем с правобладателем, который к примеру не найден.
Первый момент: есть явный разрыв между задачей предсказания следующего токена в тексте и общими интеллектуальными способностями. То, что до определенного момента прогресс в первом давал существенный прогресс во втором - очень счастливое совпадение, которое сложно вывести из какой-то фундаментальной теории. Причем речь не просто о тексте - но о рандомном тексте, доступном в Сети
( ... )
Есть еще один сильный косвенный признак - ОпенАИ почти полностью разогнали свою команду по безопасности. То есть стало абсолютно очевидно, что никакого само-зарожденного скайнета в принципе не может получится на текущем пути.
Ну не такой уж и сильный :) Мне кажется более сильной версия, что товарищи специалисты по этике мешали расширению коммерческого использования моделей. "Путались под ногами". Плюс внутренняя политика: Ян Лейке мог быть близок к Суцкеверу, и они оба противостояли Сэму Альману и его стратегии.
На самом деле это даже хорошо если нащупывается плато в ЛЛМ-ках, потому что ЛЛМ-ка это всего лишь базовый элемент для сборки собственно более интеллектуальных систем. Но пока этого плато нет никто ничего сложного не собирает ибо будет глупо если транзистор следующего поколения будет бесплатно давать весь функционал сложных систем на базе предыдущих. А сейчас появляется мотвация мутить сложные схемы и одновременно удешевлять работу базовых ЛЛМ-ок.
Но это лишь в том случае если плато действительно есть. Мы даже не знаем насколько ГПТ-4 большая сеть, и насколько большая сеть тренируется сейчас. Если речь идет а всего лишь несколько раз то это еще ни о чем не говорит кроме того что дешевого решения нет и для прогресса надо увеличивать таки базовые модели в дестяки-сотни и даже тысячи раз. Но денег пока столько не дают да и стремно сливать их.
Comments 41
У гугла есть запас тестов отсутствующих в открытом доступе из-за проблем с правобладателем, который к примеру не найден.
Reply
Есть попытки оценить предел эффективности, например ищем Neural Scaling Laws и compute efficient frontier
( ... )
Reply
Reply
Как там OpenAI o3?
Теперь до следующего бряка какого-нибудь мутного товарища прежде чем можно начинать ждать конца прогресса?
Reply
Но в принципе, да, я продолжаю оставаться открытым к мутным сливам как со стороны скептиков, так и со стороны оптимистов :)
Reply
Reply
Или он уже без помощи людей займется своей безопасностью. :)
Reply
Reply
Reply
Но это лишь в том случае если плато действительно есть. Мы даже не знаем насколько ГПТ-4 большая сеть, и насколько большая сеть тренируется сейчас. Если речь идет а всего лишь несколько раз то это еще ни о чем не говорит кроме того что дешевого решения нет и для прогресса надо увеличивать таки базовые модели в дестяки-сотни и даже тысячи раз. Но денег пока столько не дают да и стремно сливать их.
Reply
Leave a comment