Неинтеллектуальный интеллект

[d0ctor_z]

Читаю новости. " Новая модель ИИ компании OpenAI оказалась не такой продвинутой, как надеялись". Иду по ссылке. "OpenAI, Google and Anthropic Are Struggling to Build More Advanced AI" - это Bloomberg, с аннотацией "Three of the leading artificial intelligence companies are seeing diminishing returns from their costly efforts to develop newer models

Comments

[cosmicstarcat]

Никто не ждал что данные так быстро закончатся
А новые не появятся
Так сожрав данные за 30лет интернета+ лет 300 человеческой истории
Внезапно оказалось что для следующего поколения чата жпт который будет эффективнее на 10% - нужно в 10(!) раз больше чистых данных
А это лет на 300 интернета потянет

[d0ctor_z]

Сожрал он, может, и не все (и не все ему дали), проблема в самом подходе. 10x модель для улучшения на 10%, а там и до фундаментальных ограничений на скорость вычислений и объемы памяти недалеко. Экспоненциальный рост требований - штука такая...

[cosmicstarcat]

Сама система основана числодробилках, апроксимации данных , поиска среднего значения.

[cosmicstarcat]

", Orion явно не дотягивает по уровню возможностей до своего предшественника - чат-бота GPT"
А причина простая
НЕЙРОГЕНЕРАЦИИ
Нерогенерации ПОРТЯТ БАЗУ ДАННЫХ НЕОБРАТИМО портят
потому что когда синтетика попадает в базу данных она "отравляет ее" заставляя нейросети выискивать не "взаимосвязи" между понятиями, а - вытаскивать наружу "алгоритмы работы самой число дробилки", и как итог алгоритм не способен вытащить "взаимосвязи" понятий, так как "Мощь" взаимосвязей самой нейросети все перебивает
Привет Технологическая сингулярность которую мы заслужили

[d0ctor_z]

Если модель еще и "наелась" данных, сгенерированных другими моделями, то да, совсем грустно. А они расползлись по всему Интернету...

[cosmicstarcat]

Ага. Доверять данным после 2020го нельзя. :) особенно учитывая что ни картинки, ни текст 90% 'создателей нейроконтента не то что не маркируют, так еще и маскируют под человеческий труд!

[d0ctor_z]

И там же: "Похожий отчет The Information показал: некоторые исследователи OpenAI считают, что в определенных областях, таких как программирование, вообще не произошло никаких улучшений." Быстро сдулись, очень быстро.

[rdia]

Между прочим, Антон Л. изначально предсказывал, что программистам этого AI опасаться нечего. А бояться надо сдувания пузыря ИТшки.

[d0ctor_z]

Пузырь разве что в вебе. И в мобильных приложениях, может быть.