Я думаю, что можно сформулировать две узкие задачи. Одна - сделать искусственного программиста на таком уровне, чтобы его, для начала, можно было бы нанимать в корпорации вместо, ну хотя бы, обычных младших программистов (понятное дело, настраемого, чтобы было некоторое разнообразие в популяции таких систем). Это - важная задача, программистов всем не хватает
( ... )
Если мои представления о ML верны, то в OpenAI, DeepMind & FB уже некоторое время задействованы автоматические системы, проектирующие другие системы на уровне архитектур, обучающие их и гибридизирующие.
Не вижу, чем это не описанный тобой AI researcher.
Насколько я опять-таки понимаю, эти системы гарантированно перешли описанный Винджем рубеж - их работу не понимают ни их создатели, ни создатели их создателей. Однако сингулярности пока нет...
Системы-то есть, но всё, что они делают, это ускоряют и улучшают сходимость при тренировке. То есть, это очень ограниченный класс задач... Это по духу ближе к оптимизируещей части оптимизирующего компилятора, чем к AI researcher, это даже не программист, это что-то вроде очень-очень умного генератора улучшенных оптимизирующих компиляторов
( ... )
Я думаю, что для начала нужно сделать искусственного программиста на таком уровне, чтобы его, для начала, можно было бы нанимать в корпорации вместо, ну хотя бы, обычных младших программистов. И сделать так, чтобы могла возникать популяция достаточно разнообразных вариантов таких искусственных программистов
( ... )
Я знаю, что 9 месяцев назад умели делать вот такую штуку, как в этом демо: https://twitter.com/matvelloso/status/1263193089310461952 (это, как раз, прогресс, который стал возможен благодаря GPT-3, с тех пор люди, пользовавшиеся GPT-3, делали много вещей на таком уровне). Вот, система, которая подсказывает инженеру, как, скорее всего, должны выглядеть следующие несколько строк кода, уже вполне реалистична (и, сколько я понимаю, на ходу кое-где
( ... )
Твоя попытка объяснения, что такое "attention", похоже, с той же кухни, что и бытовой "наивный байес". Хочется даже как-то посоветовать где-то перед сложением прологарифмировать вероятности... Но я не вчитывался, надо всё-таки копать сначала оригинал, чтобы что-то утерждать.
Задача для старт-апа такая: клиент грузит отмаркированный датасет, ставит несколько галочек и нажимает на кнопку. А ему в ответ прилетает сваренная по датасету нейронка. И платит за то, что ему не пришлось нанимать спеца по ML. ...Или так уже делают? Мне кажется, что задача настроек обучения нейронок намного проще задачи кодогенерации говнокода. И ведь это тоже по сути тоже "researcher"...
Да, теперь уже наверное все большие фирмы делают такой AutoML в качестве части своих "machine learning cloud services"; я уж не знаю, насколько он хорошо работает. Статьюки они про это публикуют, и вообще рекламируют, а как оно на деле - хрен знает. Google первым начал предлагать клиентам это дело несколько лет назад.
> Мне кажется, что задача настроек обучения нейронок намного проще задачи кодогенерации говнокода. И ведь это тоже по сути тоже "researcher"...Про это можно много чего сказать. Настоящий "researcher" будет, когда будет более серьёзный прогресс в "AI-generating algorithms"; вот, я тут разбираю эссе человека по имени Jeff Clune на эту тему: https://dmm.dreamwidth.org/24201.html... )
взглянуть более подробно на тот класс нейронных машин, которые я изучаю последние 5 с небольшим лет: они отлично заменяют любой говнокод Уточняю: towards-practical-dmms.pdf - оно про это?
Comments 60
A lot has happened since then.
Reply
А в остальном согласен :-)
Reply
Reply
Не вижу, чем это не описанный тобой AI researcher.
Насколько я опять-таки понимаю, эти системы гарантированно перешли описанный Винджем рубеж - их работу не понимают ни их создатели, ни создатели их создателей. Однако сингулярности пока нет...
Reply
Reply
А что же все-таки понимается под "true AI"? Каким критериям он должен отвечать?
Reply
Reply
А как Вы оцениваете, насколько далеко мы уже продвинулись по этому пути?
Reply
Reply
Хочется даже как-то посоветовать где-то перед сложением прологарифмировать вероятности... Но я не вчитывался, надо всё-таки копать сначала оригинал, чтобы что-то утерждать.
Reply
Reply
...Или так уже делают?
Мне кажется, что задача настроек обучения нейронок намного проще задачи кодогенерации говнокода. И ведь это тоже по сути тоже "researcher"...
Reply
> Мне кажется, что задача настроек обучения нейронок намного проще задачи кодогенерации говнокода. И ведь это тоже по сути тоже "researcher"...Про это можно много чего сказать. Настоящий "researcher" будет, когда будет более серьёзный прогресс в "AI-generating algorithms"; вот, я тут разбираю эссе человека по имени Jeff Clune на эту тему: https://dmm.dreamwidth.org/24201.html... )
Reply
Уточняю: towards-practical-dmms.pdf - оно про это?
Reply
Там, на третьей страничке, есть секция А.2, "Conventional programming and program synthesis", и в ней есть ссылки на примеры.
Reply
Leave a comment