Ну, а нам-то, нам-то среди роботов

[egovoru]

В отличие от Ника Бострома, бестселлер которого мы здесь уже обсуждали, Стюарт Рассел - не философ, а bona fide компьютерщик, разработчик ИИ, и знает дело из первых рук. Уважаемый 109 отыскал его книжку, предназначенную для чайников широкой аудитории, и она понравилась мне больше, чем трактат Бострома, вышедший за пять лет до этого.

Comments

[109]

Ну если включить closed captions в видео, то будет и текст.

ЛеКун - мировая знаменитость в области machine learning и AI, такой же величины, как Stewart Russell или Andrew Ng.

Там он интересные мысли высказывает про consciousness, которых я раньше не слышал.

Типа - у нас только один "процессор" в голове, поэтому мы не можем одновременно делать несколько дел, которые требуют полной концентрации. И сознание - это такой supervisor, который определяет, чем заниматься процессору в данную секунду.

[egovoru]

"сознание - это такой supervisor, который определяет, чем заниматься процессору в данную секунду"

Это похоже на модель, развиваемую Майклом Грациано: сознание - это схема распределения нашего собственного внимания. Мне его книжка понравилась - показалась на редкость внятной для такого расплывчатого предмета. Правда, и в этой схеме не очень понятно, как объяснить свободу воли, если мы ее вообще дупускаем.

[109]

Тогда, наверное, свобода воли - это ощущение, возникающее при обратной связи от процессора к супервайзору, типа вот он дал процессору работу думать, а вот результат раздумий, всё логично.

Исключения же бывают иногда, иногда всплывают решения проблем, над которыми сознательно не думал, и это совсем не ощущается как свобода воли.

Кажущееся противоречие тут только от того, что у нас всё-таки не один процессор, как в компьютере, а некий мыслительный континуум, и задействовать его весь для решения одной задачи - это недостижимый идеал.

[egovoru]

Понятно, что и без всякого сознания в мозгу идет некая интеграция информационных процессов: внезапно увидев тигра, мы бросаемся бежать, потому что сенсорный канал, зарегистрировавший тигра, условно говоря, "кричит" громче всех (а также канал памяти, где хранится информация об опасности, которую тигр собой представляет). Но вот что происходит в мозгу, когда мы намеренно (сознательно?) решаем поступить так, а не иначе? Что, тоже просто активность какой-то одной зоны "забивает" все остальное?

[109]

> намеренно (сознательно?) решаем поступить так, а не иначе?

Ну вот это решение в вашем вопросе, это же результат какого-то мыслительного процесса, так? С учётом этого, мне кажется, я на ваш вопрос уже ответил:

"это ощущение, возникающее при обратной связи от процессора к супервайзору, типа вот он дал процессору работу думать, а вот результат раздумий"

[egovoru]

Да, но кто такой этот "супервайзер", который отдает распоряжения, и как он работает? Мне кажется, размышляя таким образом, мы неизбежно приходим к старой идее "гомункулюса", сидящего у нас в мозгу и дергающего за ниточки. Но это ведь никакое не решение проблемы, а просто задвигание ее под ковер.

Решением было бы допущение, что в основе и сознательного, и бессознательного решения лежит обычная механическая интергация всех внешних и внутренних стимулов. При этом в случае сознательного решения у нас возникает некая иллюзия "agency", то есть, возможности влиять на события. Но такой взгляд предполагает абсолютно жесткий детерминизм мироздания (или, наоборот, отдает дело на волю случая, если мы добавим в это уравнение квантовую неопределенность), а это мало кого устраивает.

[109]

Я предполагаю аксиому, что в мозгу ничего нет, кроме neural nets (если не спускаться) на более низкий уровень описания, и весь интерес состоит в том, как именно эти подсети друг с другом взаимодействуют. Не ожидал, что это надо проговаривать явно.

Также непонятно, почему вы хотите одну из этих сетей назвать гомункулусом

[egovoru]

С аксиомой я согласна, но вопрос в том, как именно эти сети работают? Если принять, что то, что у них на выходе, определяется тем, что у них на входе, то мы неизбежно приходим к абсолютному детерминизму - если угодно, предопределению. Из чего вроде бы следует, что наши собственные волевые усилия ничего не значат: все равно все будет так, как сложится паззл. А в таком случае какой же смысл наказывать преступника, если он все равно не мог не совершить преступление, и какой смысл выдавать нобелевскую премию, если то, за что ее присудили, не потребовало от лауреата никаких личных усилий - он просто подчинился неизбежному?

[109]

Вы не посмотрели видео с лекуном, которое я рекомендовал? Я согласен с его ответом про свободу воли.

В вашем тексте - извините заранее, не хочу обидеть - мало смысла. Вы используете плохо определенные понятия, чтобы задать вопрос. Ответ зависит от того, что вы вкладываете в слова "наши собственные волевые усилия".

Вообще, ваше рассуждение напоминает аргумент про китайскую комнату, или рассуждение 18 или 19 века о том, почему машина никогда не сможет играть в шахматы. Не встречали такое? Очень логично, очень смешно, и немножко обидно, что половина наших рассуждений сегодня будет так же смотреться лет через 50.

[egovoru]

Посмотрела небольшой кусочек видео, которое Вы рекомендовали, но там не совсем о том. Согласна, что плохо сформулировала вопрос, но это не моя вина - мне кажется, у нас просто нет адекватной терминологии для этих вещей. Но попробую еще раз.

Меня занимает то субъективное ощущение трудности, которое у нас возникает, когда мы заставляем себя делать то, что нам делать не хочется, но мы считаем, что делать нужно. Чтобы лежать на диване, волевого усилия не нужно, а вот чтобы встать и пойти на работу - да. Какова природа этого усилия, откуда оно берется?

[109]

Я вижу тут несколько интересных ответов, на разных уровнях.

На одном - это instrumental goal (о которых Бостром тоже пишет), возникающая при оптимизации over long time horizon. Если учитывать только короткий горизонт, такой цели нет. "Трудность" - это feedback from short-term systems.

Некоторые животные, попавшие в капкан, отгрызают себе ногу. Там short-term systems вообще взрываются от отрицательного фидбэка, а вот поди ж ты. Это я специально привожу extreme example, чтобы континуум очертить.

Ответ на другом уровне похож на ответ, что ощущение consciousness - это просто byproduct работы супервайзора.

ЛеКун explicitly упоминает и неправильно заданные вопросы, и китайскую комнату. Жаль, что вы не нашли.

[egovoru]

Да, конфликт между short- and long-term goals - это понятно. Это разные отделы мозга, порождающие каждый свои сигналы. Интегратор, принимающий решение, сравнивает силу этих сигналов и действует по результирующей. Но при этом у нас есть ощущение, что, "напрягая волю", мы способны изменить решение в пользу long-term goal, а про человека, к этому неспособного, мы говорим "безвольный". Меня интересует, что происходит в мозгу, когда мы "напрягаем волю"?

"ощущение consciousness - это просто byproduct работы супервайзора"

А объясните, пожалуйста, подробнее, что же представляет собой этот "супервайзор", а то мне кажется, что это тот самый гомункулюс, о котором я писала в предыдущем комментарии? На всякий случай поясню, что условный "интегратор", упомянутый выше - это механизм, просто подводящий баланс, он не способен к волеизъявлению (то есть, принятию произвольного решения). Вопрос в том, есть ли в мозгу что-то, что к нему способно, и если да, то каков механизм его действия?

[109]

https://109.livejournal.com/686919.html

also вот тут, https://youtu.be/rK7ux_JhHM4?t=8133, Joscha говорит примерно то же, что и я

[egovoru]

Спасибо, но, может, Вы все-таки - своими словами?

[109]

Я гарантирую, что из слов ЛеКуна и Джоши вы извлечёт больше полезного, чем из моих.

Ну и плюс мы тут с вами по кругу в основном ходим. Чтобы был прогресс, нам обоим нужно прилагать усилия - в частности, в форме ознакомления с тем, что по этому поводу думают ведущие мыслители.

И я прямо трепещу от предвкушения, как вы послушаете Джошу Баха и перескажете своими словами. Это должно быть феерически интересно.

[egovoru]

Так я же уже писала, что не люблю видео, предпочитаю текст. Кроме того, переформулировка услышанного своими словами - полезное упражнение. По следам нашей беседы написала отдельный пост, выйдет в среду.