Фронтир фронтира: интеллект, причинность, внимание и сознание в тематике AI в 2020
Сейчас в идёт активное обсуждение доклада Yoshua Bengio "From System 1 Deep Learning to System 2 Deep Learning" -- https://slideslive.com/38921750/from-system-1-deep-learning-to-system-2-deep-learning. Основная идея этого доклада в том, что для канемановского быстрого и медленного мышления в AI основной прогресс произошёл в области System 1, быстрого интуитивного мышления. И теперь нужно решать проблемы рассудочного медленного мышления -- в том числе и проблемы связи быстрого и медленного мышлений.
Ключевое направление -- это осознание связи вычислений с реальностью через концепцию причинности (causal inference). Тут нужно прежде всего указать на работу Bernhard Schölkopf "Сausality for machine learning", https://arxiv.org/abs/1911.10500 (я уже писал о ней в https://ailev.livejournal.com/1498813.html). И дальше просто знакомиться с материалами в тамошнем списке литературы. Высказываемые идеи по причинности как основе для интеллектуализации тупых сегодняшних искусственных интеллектов абсолютно не новы. Вот, например, очень похожий по идеям текст Carlos E.Perez "A New Capability Maturity Model for Deep Learning", https://medium.com/intuitionmachine/an-advanced-capability-maturity-level-for-artificial-general-intelligence-b300dafaca3f, это 28 июля 2018. Я тоже писал в июле про причинность -- "ложь, наглая ложь и причинный вывод (causal inference)", https://ailev.livejournal.com/1435703.html
Затем по линии работы с вниманием (которое уже понимается абсолютно формально, как веса учёта в текущем вычислении тех или иных входных стимулов -- никакой "психологии") всплывает тема сознания. Внимание сегодня одно из центральных понятий в тематике машинного интеллекта, но Bengio делает замечание, что "сознание" существенно демистифицированно уже, и сегодня можно этот термин употреблять в приличном обществе, не привлекая внимания санитаров (https://mc.ai/deep-learning-cognition%E2%80%8A-%E2%80%8Aa-keynote-from-yoshua-bengio/ -- похоже, что Bengio говорит одну и ту же речь на самых разных тусовках). Его выбор -- это Global Workspace Theory, и он напоминает свою работу The Consciossnes Prior по формализации сознания для целей AI (https://arxiv.org/abs/1709.08568). Я в своё время указывал на Attention Schema Theory (https://ailev.livejournal.com/1193568.html), но буквально в сентябре 2019 появился текст про "стандартную теорию сознания", который в том числе гармонизирует Global Workspace Theory и Attention Schema Theory (и ряд других) -- https://booksc.xyz/book/77159558/f47955 (можно почитать и краткий пересказ её идей -- https://selfawarepatterns.com/2019/09/29/a-standard-model-of-consciousness/).
Мысль о том, что речь идёт о AGI -- это уже даже не обсуждается, но AGI уже не понимается буквально как антропоморфный. Речь идёт об интеллекте в его абстрактном/математическом понимании, а не "похожем на человека в части господства на планете", страшилки из научной фантастики и жёлтой прессы тут не при чём. Пример механистического понимания (как сейчас принято говорить, вкладывая абсолютно положительное значение в это слово) интеллекта с выходом даже на математические определения я приводил, рассказывая о работе François Chollet "On the Measure of Intelligence", https://arxiv.org/abs/1911.01547 в "Развиваем интеллект (развиваем способности, а не компетенции)", https://ailev.livejournal.com/1498481.html.
Моё собственное замечание остаётся прежним: нужно прямо все новинки этого фронтира тянуть в обучение людей. Врождённый первичный интеллект нам у кожаных мешков простым способом не поднять, но вот через обучение трансдисциплинам мы можем поднять интеллект вторичный, как способность быстро разбираться с новыми ситуациями -- поднять broad abilities людей, дающие возможность быстро приобретать task-specific skills. Ну, и прочие идеи нужно прямо тащить в обучение людей. Вот, например, как я тащу тематику сознания/осознанности, текст "Системная осознанность, 2019" -- https://ailev.livejournal.com/1487672.html
Итого: в эпицентре фронтира AI в 2020 году будет обсуждение самой интеллектуальности как таковой, медленного мышления в связи с причинными рассуждениями (в том числе контрфактуальность, интервенции), плюс роль сознания (в том числе разборки со вниманием) в мышлении. И напомню: мышление я понимаю как функцию интеллекта, внешнее поведение. Мышление -- это решение новых классов задач через создание для этого новых компетенций. А если компетенции уже есть, то это не мышление, это просто думание. Трансдисциплины учат мышлению (meta-learning), учат быть более интеллектуальным.
И, конечно, все старые темы "узкого AI" при этом остаются -- все эти "задачи планирования" и прочие NP-полные задачи.
Для отвлечения внимания от сути поста: в старом тесте десятиборья по пониманию естественных языков теперь лидирует Baidu, тамошний алгоритм ERNIE имеет результат 90.1 из ста -- http://research.baidu.com/Blog/index-view?id=128. Люди заработали 87.1, этот результат уже победили нейросетки от Гугля, Майкрософта, Фейсбука, а теперь вот и из Baidu (которая победила их всех). Но эти нейросетки нельзя назвать очень интеллектуальными, они настроены на решение очень узкого класса задач. Хотя если вам нужно отвечать на вопросы в каком-нибудь колл-центре, то вам не нужен профессор-отвечальщик. Вам и интеллект кошки сойдёт, если клиенты будут уходить с ответами на свои вопросы. Главное, что такой "специализированный недоинтеллект" уже сегодня стоит дешевле грибов в расчёте на один ответ. А с реальным интеллектом пока всё не так радужно, но и ни разу не застой. А журналисты-гуманитарии, свободно трактующие "интеллект" и "сознание" с ни разу не формальными их определениями, быстро внесут необходимую шумиху и неразбериху -- скучно не будет.
Ключевое направление -- это осознание связи вычислений с реальностью через концепцию причинности (causal inference). Тут нужно прежде всего указать на работу Bernhard Schölkopf "Сausality for machine learning", https://arxiv.org/abs/1911.10500 (я уже писал о ней в https://ailev.livejournal.com/1498813.html). И дальше просто знакомиться с материалами в тамошнем списке литературы. Высказываемые идеи по причинности как основе для интеллектуализации тупых сегодняшних искусственных интеллектов абсолютно не новы. Вот, например, очень похожий по идеям текст Carlos E.Perez "A New Capability Maturity Model for Deep Learning", https://medium.com/intuitionmachine/an-advanced-capability-maturity-level-for-artificial-general-intelligence-b300dafaca3f, это 28 июля 2018. Я тоже писал в июле про причинность -- "ложь, наглая ложь и причинный вывод (causal inference)", https://ailev.livejournal.com/1435703.html
Затем по линии работы с вниманием (которое уже понимается абсолютно формально, как веса учёта в текущем вычислении тех или иных входных стимулов -- никакой "психологии") всплывает тема сознания. Внимание сегодня одно из центральных понятий в тематике машинного интеллекта, но Bengio делает замечание, что "сознание" существенно демистифицированно уже, и сегодня можно этот термин употреблять в приличном обществе, не привлекая внимания санитаров (https://mc.ai/deep-learning-cognition%E2%80%8A-%E2%80%8Aa-keynote-from-yoshua-bengio/ -- похоже, что Bengio говорит одну и ту же речь на самых разных тусовках). Его выбор -- это Global Workspace Theory, и он напоминает свою работу The Consciossnes Prior по формализации сознания для целей AI (https://arxiv.org/abs/1709.08568). Я в своё время указывал на Attention Schema Theory (https://ailev.livejournal.com/1193568.html), но буквально в сентябре 2019 появился текст про "стандартную теорию сознания", который в том числе гармонизирует Global Workspace Theory и Attention Schema Theory (и ряд других) -- https://booksc.xyz/book/77159558/f47955 (можно почитать и краткий пересказ её идей -- https://selfawarepatterns.com/2019/09/29/a-standard-model-of-consciousness/).
Мысль о том, что речь идёт о AGI -- это уже даже не обсуждается, но AGI уже не понимается буквально как антропоморфный. Речь идёт об интеллекте в его абстрактном/математическом понимании, а не "похожем на человека в части господства на планете", страшилки из научной фантастики и жёлтой прессы тут не при чём. Пример механистического понимания (как сейчас принято говорить, вкладывая абсолютно положительное значение в это слово) интеллекта с выходом даже на математические определения я приводил, рассказывая о работе François Chollet "On the Measure of Intelligence", https://arxiv.org/abs/1911.01547 в "Развиваем интеллект (развиваем способности, а не компетенции)", https://ailev.livejournal.com/1498481.html.
Моё собственное замечание остаётся прежним: нужно прямо все новинки этого фронтира тянуть в обучение людей. Врождённый первичный интеллект нам у кожаных мешков простым способом не поднять, но вот через обучение трансдисциплинам мы можем поднять интеллект вторичный, как способность быстро разбираться с новыми ситуациями -- поднять broad abilities людей, дающие возможность быстро приобретать task-specific skills. Ну, и прочие идеи нужно прямо тащить в обучение людей. Вот, например, как я тащу тематику сознания/осознанности, текст "Системная осознанность, 2019" -- https://ailev.livejournal.com/1487672.html
Итого: в эпицентре фронтира AI в 2020 году будет обсуждение самой интеллектуальности как таковой, медленного мышления в связи с причинными рассуждениями (в том числе контрфактуальность, интервенции), плюс роль сознания (в том числе разборки со вниманием) в мышлении. И напомню: мышление я понимаю как функцию интеллекта, внешнее поведение. Мышление -- это решение новых классов задач через создание для этого новых компетенций. А если компетенции уже есть, то это не мышление, это просто думание. Трансдисциплины учат мышлению (meta-learning), учат быть более интеллектуальным.
И, конечно, все старые темы "узкого AI" при этом остаются -- все эти "задачи планирования" и прочие NP-полные задачи.
Для отвлечения внимания от сути поста: в старом тесте десятиборья по пониманию естественных языков теперь лидирует Baidu, тамошний алгоритм ERNIE имеет результат 90.1 из ста -- http://research.baidu.com/Blog/index-view?id=128. Люди заработали 87.1, этот результат уже победили нейросетки от Гугля, Майкрософта, Фейсбука, а теперь вот и из Baidu (которая победила их всех). Но эти нейросетки нельзя назвать очень интеллектуальными, они настроены на решение очень узкого класса задач. Хотя если вам нужно отвечать на вопросы в каком-нибудь колл-центре, то вам не нужен профессор-отвечальщик. Вам и интеллект кошки сойдёт, если клиенты будут уходить с ответами на свои вопросы. Главное, что такой "специализированный недоинтеллект" уже сегодня стоит дешевле грибов в расчёте на один ответ. А с реальным интеллектом пока всё не так радужно, но и ни разу не застой. А журналисты-гуманитарии, свободно трактующие "интеллект" и "сознание" с ни разу не формальными их определениями, быстро внесут необходимую шумиху и неразбериху -- скучно не будет.