Из первых рук (Сэм Альтман) про ГПТ

[akor168]

Click to view

Начал смотреть интервью Сэма Альтмана Лексу Фридману. Так как там почти 3 часа то смотреть придется точно частями. Посмотрел условно говоря первую треть до 47-й минуты. Запишу что мне показалось интересным в этой части

Comments

[drtopper]

ноября 2020, разумеется

[akor168]

Чат-ГПТ таки ноябрь 2022. Исправил.

[drtopper]

Не-не. У chatGPT начала этого года база именно что от 2020.

[akor168]

ГПТ-3 от этого времени, да. В этом то и ирония, что хайп подняли на возможностях еще предыдущей модели, имея уже ГПТ-4 в закромах.

[lyuden]

> Другими словами, другие конторы, включая ИИ гигантов, не смогут выдать аналог ГПТ-4 с нуля в разумное время даже если бросят гигантские деньги. Им придется все это придумать и внедрить по каждой мелочи.

Я бы тоже так говорил будь я владельцем стартапа.

[akor168]

Он так конечно не говорит, но намекает по сути, что тем, кто попробует сразу сделать модель ГПТ-4 может столкнуться с несколько большим числом трудностей... Другими словами, на коленке по приблизительному описанию это не сделаешь. И физический факт - конкуренты выкатили пока модели лишь на уровне ГПТ-3 и пока не достигли даже уровня чат-ГПТ.

[lyuden]

Сложности ожидаемы. Но это критично только в случае если они с помощью условного GPT5 захватят мир. И какой-нибудь phind.com уже улучшает мою производительность, и не очень понятно где там diminishing returns.

Я насколько понимаю без рук и глаз в реальном мире этот предел уже достаточно близко.

[alexanderr]

в 2021 году один стартап меня очень звал к себе, делать железки для AI

[akor168]

Железки вроде бы не проблема - геймеры и криптовалютчики бустанули графические процессоры до уровня: бери больше, кидай дальше.

[alexanderr]

конечно для начала и GPU вполне сойдет. но потом там будет глубоко специализированное железо. стартапы эти не про сейчас, а про N лет в будущем. ну примерно как с биткойном, его тоже сначала майнили на GPU. но потом научились делать специализированные ASICs и вот тогда дело действительно пошло хорошо. просто не сравнить, да. а здесь это еще более ярко выражено. ну самый простой пример, нейрон в мозгу работает очень неточно (и очень медленно, и очень эффективно), а в GPU вычисления делаются слишком точно, столько бит просто не нужно никому. т.е тут прямая аналогия. компании, которые первые стали делать custom ASIC for bitcoin mining озолотели, вне зависимости от взлетов и падений самого биткойна. народ уверен, что custom ASICs for AI поднимутся еще круче на этой волне

[alexanderr]

народ уже вовсю использует AI чтобы делать железки.

т.е. self-feeding cycle самоусиливающийся тут похоже будет:
для того, чтобы сделать новую мощную железку для AI
нужно иметь доступ к самому мощному AI

в SciFi фильме, ну в пределе мы убираем из этого цикла
человека и AI начинает самоусовершенствоваться еще быстрее
без посторонней помощи. но как он работает, и что делает,
не понимает уже вообще никто

[fromvancouver]

>>В компании работают над системой которая будет распознавать неправильные вопросы
А кто определяет какие вопросы правильные, а какие нет?

[a_konst]

Оракул.

[akor168]

Там краешком затрагивался вопрос. Как я понимаю они хотят дать возможность настривать это по конкретному пользователю. Там даже упоминается про национальные ГПТ.
И говорилось про то, что истины в этом вопросе как бы ни у кого нет. Это было в другом куске, но можно попробовать сделать вывод, что именно в этом сложность разработки цензора. То есть самого цензора возможно сделать несложно, но такая система, которая посылает пользователя в закон неюзабельна, а значит и по сути неинтересна даже самим радетелям цензуры.

[aziopik]

Неясно, на чем основывается вот это вот всеобщее заблуждение про "Open AI уже похоже действительно не догнать".

Мы же видели опровержение подобных прогнозов многократно при нашей жизни - тыц.

Я бы полагал, что призывы остановить прогресс и заняться цифровым луддизмом основаны не на меркантильных соображениях, а носят характер искренний и благонамеренный.

[akor168]

Ну я привел конкретный аргумент: если верить Альтману уже в процессе разработки ГПТ-4 пришлось придумать такое количество рюшечек и инсайтов, что случайная команда скорее всего не сможет повторить это. Не потратив те два года, которые потратили они. Если привести аналогию - американцы сделали свою бомбу в 1943-м, а СССР лишь в 1949 при этом имея кучу материалов от шпионов. Но разница в том что второй ядерной бомбы не было в природе, а тут есть непрерывная цепочка моделей - пока конкуренты закончат свой ГПТ-4, у OpenAI будет уже ГПТ 5.5.

И еще момент, самое интересное место на земле сейчас для спеца по ИИ это OpenAI. Кадры у других будут пожиже, а может быть даже сильно пожиже. Например Андрей Карпатый недавно объявил что возвращается в эту компанию.

[aziopik]

Ахиллес никогда не догонит черепаху, да.

[mishkaqwakin]

Если привести аналогию - американцы сделали свою бомбу в 1943-м, а СССР лишь в 1949 при этом имея кучу материалов от шпионов. Но разница в том что второй ядерной бомбы не было в природе, а тут есть непрерывная цепочка моделей - пока конкуренты закончат свой ГПТ-4, у OpenAI будет уже ГПТ 5.5.

Аналогия кривая.
Можно вспомнить "слойку" и газовую центрифугу.
У русских, светлые головы посмотрели разведданные и сделали по своему. В том числе и реактор в 48-ом году.