Дарио Амодеи: "Машины благодатной любви" (VII)
<< Часть I - III
<< Часть IV - V
<< Часть VI
VII. Похороны демократии
До сих пор мы обсуждали, что мощный ИИ может принести отсталым авторитарным странам. Однако более интересен вопрос, что он может дать сегодняшним государствам с развитыми либеральными институтами. Ведь совершенству предела нет?
Предела нет. Но только не для Амодеи. Для Амодеи предел есть. И этот предел зовется «демократией». Демократия - это альфа и омега, это Абсолют и чуть ли не религиозная святыня. При всей грандиозности планов, описанных в предыдущих частях - вековой прогресс за 5 лет, биологическая свобода, полный контроль за эмоциями и так далее - политический прогресс в представлении Амодеи выглядит до смешного робким.
Всё, на что надеется Амодеи - это «улучшить» демократию, поправить отдельные механизмы и подновить фасад. И даже в этих улучшениях он совсем не уверен: “Они могут быть нереально утопичными”.
Нет, Дарио. Ты еще не знаешь, что такое нереальная утопия. Ты слишком цепляешься за привычные демократические представления, которые в странах Запада считаются «священной коровой» и одним из ключевых элементов цивилизационной идентичности. Прогресс требует избавления от старых порядков. И сейчас мы попробуем представить, как именно может измениться политическая система с появлением мощного ИИ.
Конечно, никто не будет спорить, что политическое устройство - более консервативная штука, меняющаяся далеко не так быстро, как техносфера. Но и оно совсем не отлито в граните. Мы можем лишь чуть-чуть отредактировать фреймворк, использованный в предыдущих частях - расширить период для сравнения на несколько лет - и посмотреть на массивную разницу в гражданских правах американцев между 1920 и 2024 гг.
В 1920 Конституция не давала женщинам права голосовать. В ряде штатов существовал имущественный ценз для голосования и селективный допуск к выборам, нацеленный на исключение чернокожих из политических процессов. Процветала сегрегация по расовому признаку. Белые люди пользовались привилегиями, недоступными другим расам. Частному сектору дозволялось дискриминировать людей на основании их религии, национальности и сексуальной ориентации.
Подытоживая, в 1920 в США не было демократии в ее современном понимании - где ключевым свойством является равенство прав всех граждан. А через 100 лет она появилась. Почему тогда не предположить, что десятилетие бурного прогресса не даст нам новую политическую систему взамен демократии?
Опять посмотрим на историю. Теоретические основы либеральной демократии были заложены горсткой людей - буквально можно пересчитать по пальцам - в конце 17-го-18-ом веках. Человечество еще не знало, что в процессе дыхания кислород превращается в углекислый газ. Не знало, что электрический ток порождает магнитное поле. Не знало о существовании биологической клетки. Но зато придумало политическую систему, к которой якобы должна стремиться и просвещенная цивилизация 21 века, вместе со всем своим ИИ, наноботами и киберпанком. (К слову, архаичность этих теоретических основ бросается в глаза во многих местах. Так, Джон Локк обосновывал концепцию прав человека тем, что человека создал Бог по своему образу и подобию.)
Эти отцы-теоретики демократии, несомненно, были незаурядными людьми. Но рискну утверждать, что гением никто из них не был. И тогда возникает вопрос: почему Амодеи уверен, что «планета гениев в дата-центре», эквивалентная миллиардам блестящих человеческих мыслителей, будет не способна предложить новую политическую систему, превосходящую демократию по всем статьям?
Неужели это направление, недостойное выделения крупных исследовательских ресурсов? Вовсе нет, это крайне важная тема, прямо затрагивающая каждого гражданина. Неужели демократия - это идеальная система общественного устройства? Вовсе нет, ее ограничения и недостатки хорошо известны. Так почему мы будем избавляться от биологических недостатков - но в общественно-политической сфере продолжим закрывать глаза на недостатки системы 200-летней давности?
Добавим, что ограничения и недостатки демократии носят системный характер. Это значит, что стремление Амодеи корректировать отдельные недочеты, не покушаясь на «сакральные» основы демократии, является малоперспективным по сравнению с радикальным реинжинирингом системы «из первых принципов».
Любопытно, что более ранние теоретики либерализма тоже считали, что достаточно подправить некоторые моменты - и всё будет работать даже в «автократии с человеческим лицом». Лишь позднее, в работах Жан-Жака Руссо и де Монтескьё, мы видим аргументы в пользу коренных изменений политической системы, не оставляющих места для авторитарного правления. Как видим, «радикализм» в итоге принес свои позитивные плоды. А попытка поагитировать за то, что, дескать, хорошая жизнь возможна и в автократии, под «добрым царём», в наши дни будет попросту осмеяна.
Поэтому я не вижу смысла в полумерах. И готов утверждать, что мощный ИИ позволит нам избавиться от демократии. Давайте обратимся к нескольким примерам, которые Амодеи считает «улучшениями демократии», достигаемыми при помощи ИИ. И порассуждаем, насколько они согласуются с представлениями о демократии - и насколько их развитие упирается в кардинальную перестройку самих основ общественной системы.
Пример первый: судебная система и использование ИИ для вынесения судебных решений. Амодеи долго рассказывает, что судебная система формально беспристрастна, а на практике - очень сильно зависит от личностей людей, в ней работающих. Они могут интерпретировать нормы закона в очень широких пределах - и часто эта свобода служит лишь их предубеждениям, порождая несправедливые решения.
Что предлагает Амодеи? “Я не предлагаю буквально заменить судей системами искусственного интеллекта...” Мдаа… А, собственно, к чему тогда была вся эта длительная экспозиция с обличением недостатков? Чтобы остаться у того же самого разбитого корыта? Оказывается, Амодеи прочит ИИ вспомогательную роль, что-то вроде советника. Руководить процессом по-прежнему будут человеческие предубеждения и пристрастия.
Стоит ли говорить, что это НЕ решение проблемы? Если проблема заключается в человеческих предубеждениях, некомпетентности и небрежности, ее решение должно заключаться в избавлении от этих недостатков. Есть человек - есть проблема. Нет человека - нет проблемы. На место человека должна прийти машина.
Алгоритмизация судебного процесса несет с собой еще один приятный бонус: значительное, на порядок и более, ускорение правосудия. Сегодняшняя ситуация, когда тяжбы идут годами, демонстрирует дисфункциональность судебных институтов. Чем быстрее судебный орган восстанавливает справедливость - тем больше справедливости в обществе.
Развивая судебную алгоритмизацию, мы приходим к тому, что стороны истца и ответчика тоже должны представлять алгоритмы. А лучше всего - один и тот же алгоритм. Это позволит исключить неравенство сторон. Тогда кардинальные изменения ждут и процессуальные практики.
Теперь взглянем на эту сферу со стороны теории. Независимый суд стал одним из органичных институтов либеральной демократии по двум основным причинам. Во-первых, он очень децентрализован, что прекрасно сочетается с основными принципами демократического общественного устройства. И здесь мы уже видим серьезнейшее противоречие: предлагаемая нами алгоритмизация судов, упразднение децентрализованных судей с их уникальными пристрастиями и прочим трэшем, подразумевает критическое усиление централизации. Ситуация усугубляется еще больше, если мы алгоритмизируем представительство обвинения и защиты.
Несомненно, риски, возникающие в связи с такой централизацией, будут компенсироваться вводом дополнительных обратных связей - например, аудитом, т. е. проверкой альтернативными алгоритмами. Многократной и, возможно, многоуровневой. Несомненно, что создание и поддержание судебных алгоритмов должно поддерживаться системой тотального сбора всех релевантных данных. И в итоге я не вижу иных вариантов, кроме сильно централизованной системы, которая при этом будет иметь гораздо более сложную функциональную структуру (разделение компетенций) и гораздо больше связей между разными своими частями, нежели нынешняя человеческая судебная ветвь.
Вторая причина органичного сочетания независимого суда с демократией состоит в том, что формирование этого органа (т. е. выбор судей и прокуроров) стало подчиняться тем же принципам, что и формирование исполнительной ветви власти. Судьи в демократии - не просто инструмент по интерпретации законов. Общество наделяет судейскими и прокурорскими полномочиями некоторых своих членов, которых считает достойными этой высокой позиции. Судьи, таким образом, являют собой одну из сторон самоуправления общества. Это одновременно представители народа и его слуги.
И вновь очевидно радикальное противоречие между институтом суда в демократии и новым вариантом судебной системы. Противоречие, которое подрывает фундаментальные положения демократического устройства. Еще можно согласиться с тем, что ИИ по-прежнему служит народу - но он уже не представляет народ, т.е. не является его частью, и это перестаёт быть самоуправлением.
Переходим к следующему кейсу. “Аналогичным образом, искусственный интеллект может быть использован как для сбора мнений, так и для достижения консенсуса среди граждан, разрешения конфликтов, нахождения точек соприкосновения и поиска компромисса. [...] Очевидно, что более информированное и вдумчивое гражданское общество укрепило бы демократические институты“.
Здесь стоит отметить, что за всё время существования современной формы либеральной демократии - и даже захватывая более ранний период - институты и организационные техники сбора мнений и поиска консенсуса практически не изменились. Это советы, комитеты, собрания и слушания, целиком и полностью состоящие из живых людей и их активного живого взаимодействия и взаимовлияния.
Если мы вводим в эту традиционную схему «неживой элемент», если мы поручаем поиск решений алгоритму и тем самым вновь сводим на нет основу самоуправления человеческих граждан - вправе ли мы по-прежнему называть получившуюся систему демократией?
Некоторые могут мне возразить: да, эта схема отстраняет человека от процесса общественного обсуждения, да, она совершенно не похожа ни на один существующий демократический институт. Но ведь такие алгоритмы - всё равно про достижение консенсуса в обществе и мирное, справедливое урегулирования конфликтов. А это всё является очень демократическими ценностями. Так что мы хотим называть такую систему демократической, потому что так нам привычнее.
Что ж, здесь можно выдвинуть несколько контраргументов. Первый, методологический, заключается в том, что у демократии нет монопольных прав на стремление к консенсусу и мирное разрешение конфликтов. Демократия - это инструмент, при помощи которого эти стремления реализуются. Средство, а не цель. И прежде всего этот инструмент описывает организацию органов власти. См. в VI части гипотетический пример про автократа-«гения управления», железной рукой насаждающего в своей стране всеобщую справедливость и благоденствие. Автократии тоже могут стремиться к консенсусу и справедливости - но на практике, в силу иной организации органов власти, это будет получаться у них гораздо хуже, чем у демократий.
Это приводит нас к следующему контраргументу. В демократиях ключевым, фундаментальным элементом организации органов власти, на которого завязаны множество процессов управления, является гражданин. Каждый взрослый человек, проживающий в стране. А взрослым он обязан быть потому, что демократия считает граждан рациональными агентами. Эффективность демократии, равно как и справедливость ее решений, обосновываются рациональностью членов общества и их самоуправлением, т. е. возможностью выражать свои интересы в принимаемых решениях.
Как видим, мы опять упираемся в фундаментальную характеристику демократии. Ее суть: демократия - это про людей. Всегда. И как только мы начинаем заменять людей на алгоритмы в тех или иных ее элементах - система перестаёт быть демократией.
Идем дальше. Главной составляющей политических процессов в демократии является не просто гражданин - но его активное волеизъявление. Человек - единственный субъект политики в демократии. Но его участие в политике - лишь право, которым он может воспользоваться, а может и не воспользоваться. И здесь идея Амодеи о сборе мнений поистине революционна для демократии: до сих пор мнения политически пассивных граждан, не подкрепленные конкретными действиями, не имели влияния на политические исходы.
Наконец, пожалуй, самое интересное противоречие. Амодеи предполагает, что внедрение «консенсусных» алгоритмов повысит информированность и вдумчивость общества. Но я всё-таки смотрел бы на такие изменения двояко.
С одной стороны, действительно, алгоритмы способны обрабатывать информацию в масштабах, попросту непредставимых для человека. Алгоритмы способны отделить сигнал от преобладающего шума и превратить хаос общественно-политических дискуссий в четкое видение политической картины.
Но, с другой стороны, делегирование алгоритмам полномочий по поиску консенсуса и агрегированию мнений отдаляет человека от непосредственного участия в таком анализе. Мы отдаём эту работу алгоритмам ровно потому, что мы, люди, плохо с ней справляемся. И для нас мало смысла ей заниматься.
Если в старой системе качество демократических решений зависело от информированности и вдумчивости людей-граждан, то в новой системе алгоритмы кардинально превосходят людей как в информированности, так и в аналитических способностях. Формулирование решений тоже поручается им. Гипотетически люди могут воспользоваться как минимум частью знаний, добытых алгоритмами - но какую пользу это принесет? Ведь в любом случае с решениями лучше справляется ИИ. Укреплять демократические - «про людей» - институты нет нужды. Совершенствовать надо то, что реально принимает решения.
Если бы Амодеи оглянулся на окружающие его демократические реалии, он бы увидел, что сейчас, особенно в интернет-эпоху, гражданам доступна весьма глубокая политическая аналитика из множества источников. Однако гражданское общество, в своей основной массе, совсем не стремится к информированности и вдумчивости. А предпочитает формировать свои представления о политике из незамысловатых фейсбучных постов, твиттерных обрывков да ТВ-«зомбоящика»...
Этот тезис плавно подводит нас к заключительному кейсу. Амодеи серьезно относится к угрозе информационных войн в интернет-пространстве. Но при этом пытается подверстать такие войны к своему голливудскому нарративу о всепланетном противостоянии сил Света (демократий) с силами Тьмы (автократиями).
Поскольку в представлениях Амодеи конфронтация и игра с нулевой суммой - это хорошо, исследователь полагает, что информационная война - тоже не самая плохая штука. При условии, что мы, силы Света, эту войну выиграем. Для чего коалиции демократий нужно вырваться вперед в ИИ-гонке и создать непробивамые ИИ-технологии для доминирования на информационном поле боя. ИИ будет контратаковать тоталитарную пропаганду и непримиримо бороться с происками политических врагов сил Света.
Проблема здесь в том, что в информационной войне выигравшими могут быть кто угодно, но только не граждане. Граждане неизменно проигрывают от отравления коммуникационного пространства, от превращения его в площадку для эксплуатации, где цель оправдывает любые средства её достижения.
Для «сил Света» это опасная игра: демократии критически зависимы от качества и нейтральности коммуникационных площадок, где как раз и идёт формирование общественного консенсуса и компромиссов. Превращение данных площадок в арену для войны ломает эту важнейшую функцию.
Но одновременно избежать эксплуатации этих площадок невозможно. Если не «политическими врагами» - то капиталом и «политическими союзниками». Теми, кто будет контролировать самый продвинутый ИИ. И дело здесь вовсе не в уязвимости самих площадок. А в уязвимости их пользователей. Граждан. Людей.
Информационные войны эффективны не потому, что в Интернете отсутствует «главный ИИ-цензор» (в отличие от традиционных СМИ, где у редакции есть полный централизованный контроль над коммуникациями). Напротив, отсутствие «главного цензора» и децентрализованность Интернета очень благоприятны с точки зрения демократии: это порождает гораздо больше обратных связей в коммуникационном пространстве.
Информационные войны эффективны потому, что главная опора демократии - гражданин - очень уязвим перед эксплуатацией со стороны игроков с крупными ресурсами. Ресурсы отдельного человека по обработке информации очень скудны, и он не может оказать большого сопротивления потоку манипулятивных коммуникаций.
И чем больше совершенствуются (=удешевляются) технологии работы с информацией - тем больше становится разрыв между возможностями крупных игроков и отдельно взятого человека. В этом плане мечты о доминировании ИИ на информационном поле боя выглядят пугающе: они не оставляют человеку никаких шансов.
Где же выход?
Выходов здесь на самом деле несколько. Один из них - убрать информационное неравенство. То есть буквально запретить крупным игрокам контролировать большие объемы информации в Сети. Идея буквально противоположна идее Амодеи с его централизованной ИИ-модерацией: напротив, контроль сколь-нибудь значительных сегментов Сети будет запрещен. Также необходимо закрыть крупные сетевые сервисы («Гугл», «Фейсбук» и т. п.), сделать публичным код таких сервисов и, скорее всего, обязать его диверсифицировать, т. е. использовать тысячи разных вариантов такого кода с теми или иными изменениями. Наконец, понадобится упразднить традиционные СМИ: телеканалы, газеты и журналы.
Звучит не очень похоже на традиционную демократию, верно? И самым радикальным отличием здесь будет даже не отмена «четвертой ветви власти», СМИ. А покушение на одну из «священных коров» либерализма - разрешение на концентрацию ресурсов. Демократия вращается вокруг равенства прав, но не требует равенства возможностей. В истории демократии - и, шире, в истории государственного управления - еще никогда не было попыток ввести эти требования в коммуникационной сфере. Смещение фокуса на равенство возможностей и жесткие ограничения по организации коммуникационного пространства были бы настоящим сдвигом парадигмы в общественно-политическом устройстве.
Другой возможный выход развивает идеи второго кейса. Если коммуникационные площадки для человека становятся отравленными - то почему бы не отдать функционал этих площадок алгоритмам по агрегированию мнений и поиску консенсуса? Эксплуатировать алгоритмы будет намного сложнее, чем эксплуатировать человеческое сознание. Алгоритмы адаптивны и могут скорректировать свою работу буквально за минуты. Меж тем как сознание человека - это константа, доставшаяся нам в наследство от наших обезьяньих предков. Отредактировать ее практически невозможно.
Наконец, самый радикальный выход состоит в том, чтобы отвязать манипуляции с архаичным человеческим сознанием от политических решений. Если ключевой, фундаментальный элемент нынешней системы общественного устройства - человек - настолько уязвим к эксплуатации, то возникает потребность создать новую систему на совершенно ином фундаменте. Более устойчивом. Более адаптивном и более удобном для инжиниринга. Ключевым элементом новой системы должны стать алгоритмы.
Безусловно, это запредельно сложная задача. Чтобы система власти перестала быть «про людей» - и при этом работала «для людей» еще лучше, чем демократия, необходимо парадоксальное условие. Алгоритмы буквально должны знать, что на самом деле нужно людям, лучше самих людей.
Парадокс перестаёт быть парадоксом, если мы вспомним об ограниченности человеческих способностей к познанию. В том числе и к самопознанию. Машины же, по прогнозу Амодеи, через несколько лет превзойдут человека в познавательных способностях. И продолжат развивать их дальше. Описываемые им достижения в нейронауках потенциально могут предложить альтернативный, более точный и более эффективный способ реконструкции подлинных человеческих стремлений и предпочтений.
Конечно, такие размышления сейчас порождают больше вопросов, чем дают ответов. Но в своём эссе Амодеи отсылает большую часть вопросов к «планете гениев в дата-центре»: мол, машины умные, они что-нибудь придумают. Нам остаётся воспользоваться этой удобной отговоркой - благо пора переходить к следующей, заключительной части…
>> Продолжение: Часть VIII >>
_______________________________________________________________
Друзья, я начал вести канал в Телеграм: Экономика знаний. Подписывайтесь!
<< Часть IV - V
<< Часть VI
VII. Похороны демократии
До сих пор мы обсуждали, что мощный ИИ может принести отсталым авторитарным странам. Однако более интересен вопрос, что он может дать сегодняшним государствам с развитыми либеральными институтами. Ведь совершенству предела нет?
Предела нет. Но только не для Амодеи. Для Амодеи предел есть. И этот предел зовется «демократией». Демократия - это альфа и омега, это Абсолют и чуть ли не религиозная святыня. При всей грандиозности планов, описанных в предыдущих частях - вековой прогресс за 5 лет, биологическая свобода, полный контроль за эмоциями и так далее - политический прогресс в представлении Амодеи выглядит до смешного робким.
Всё, на что надеется Амодеи - это «улучшить» демократию, поправить отдельные механизмы и подновить фасад. И даже в этих улучшениях он совсем не уверен: “Они могут быть нереально утопичными”.
Нет, Дарио. Ты еще не знаешь, что такое нереальная утопия. Ты слишком цепляешься за привычные демократические представления, которые в странах Запада считаются «священной коровой» и одним из ключевых элементов цивилизационной идентичности. Прогресс требует избавления от старых порядков. И сейчас мы попробуем представить, как именно может измениться политическая система с появлением мощного ИИ.
Конечно, никто не будет спорить, что политическое устройство - более консервативная штука, меняющаяся далеко не так быстро, как техносфера. Но и оно совсем не отлито в граните. Мы можем лишь чуть-чуть отредактировать фреймворк, использованный в предыдущих частях - расширить период для сравнения на несколько лет - и посмотреть на массивную разницу в гражданских правах американцев между 1920 и 2024 гг.
В 1920 Конституция не давала женщинам права голосовать. В ряде штатов существовал имущественный ценз для голосования и селективный допуск к выборам, нацеленный на исключение чернокожих из политических процессов. Процветала сегрегация по расовому признаку. Белые люди пользовались привилегиями, недоступными другим расам. Частному сектору дозволялось дискриминировать людей на основании их религии, национальности и сексуальной ориентации.
Подытоживая, в 1920 в США не было демократии в ее современном понимании - где ключевым свойством является равенство прав всех граждан. А через 100 лет она появилась. Почему тогда не предположить, что десятилетие бурного прогресса не даст нам новую политическую систему взамен демократии?
Опять посмотрим на историю. Теоретические основы либеральной демократии были заложены горсткой людей - буквально можно пересчитать по пальцам - в конце 17-го-18-ом веках. Человечество еще не знало, что в процессе дыхания кислород превращается в углекислый газ. Не знало, что электрический ток порождает магнитное поле. Не знало о существовании биологической клетки. Но зато придумало политическую систему, к которой якобы должна стремиться и просвещенная цивилизация 21 века, вместе со всем своим ИИ, наноботами и киберпанком. (К слову, архаичность этих теоретических основ бросается в глаза во многих местах. Так, Джон Локк обосновывал концепцию прав человека тем, что человека создал Бог по своему образу и подобию.)
Эти отцы-теоретики демократии, несомненно, были незаурядными людьми. Но рискну утверждать, что гением никто из них не был. И тогда возникает вопрос: почему Амодеи уверен, что «планета гениев в дата-центре», эквивалентная миллиардам блестящих человеческих мыслителей, будет не способна предложить новую политическую систему, превосходящую демократию по всем статьям?
Неужели это направление, недостойное выделения крупных исследовательских ресурсов? Вовсе нет, это крайне важная тема, прямо затрагивающая каждого гражданина. Неужели демократия - это идеальная система общественного устройства? Вовсе нет, ее ограничения и недостатки хорошо известны. Так почему мы будем избавляться от биологических недостатков - но в общественно-политической сфере продолжим закрывать глаза на недостатки системы 200-летней давности?
Добавим, что ограничения и недостатки демократии носят системный характер. Это значит, что стремление Амодеи корректировать отдельные недочеты, не покушаясь на «сакральные» основы демократии, является малоперспективным по сравнению с радикальным реинжинирингом системы «из первых принципов».
Любопытно, что более ранние теоретики либерализма тоже считали, что достаточно подправить некоторые моменты - и всё будет работать даже в «автократии с человеческим лицом». Лишь позднее, в работах Жан-Жака Руссо и де Монтескьё, мы видим аргументы в пользу коренных изменений политической системы, не оставляющих места для авторитарного правления. Как видим, «радикализм» в итоге принес свои позитивные плоды. А попытка поагитировать за то, что, дескать, хорошая жизнь возможна и в автократии, под «добрым царём», в наши дни будет попросту осмеяна.
Поэтому я не вижу смысла в полумерах. И готов утверждать, что мощный ИИ позволит нам избавиться от демократии. Давайте обратимся к нескольким примерам, которые Амодеи считает «улучшениями демократии», достигаемыми при помощи ИИ. И порассуждаем, насколько они согласуются с представлениями о демократии - и насколько их развитие упирается в кардинальную перестройку самих основ общественной системы.
Пример первый: судебная система и использование ИИ для вынесения судебных решений. Амодеи долго рассказывает, что судебная система формально беспристрастна, а на практике - очень сильно зависит от личностей людей, в ней работающих. Они могут интерпретировать нормы закона в очень широких пределах - и часто эта свобода служит лишь их предубеждениям, порождая несправедливые решения.
Что предлагает Амодеи? “Я не предлагаю буквально заменить судей системами искусственного интеллекта...” Мдаа… А, собственно, к чему тогда была вся эта длительная экспозиция с обличением недостатков? Чтобы остаться у того же самого разбитого корыта? Оказывается, Амодеи прочит ИИ вспомогательную роль, что-то вроде советника. Руководить процессом по-прежнему будут человеческие предубеждения и пристрастия.
Стоит ли говорить, что это НЕ решение проблемы? Если проблема заключается в человеческих предубеждениях, некомпетентности и небрежности, ее решение должно заключаться в избавлении от этих недостатков. Есть человек - есть проблема. Нет человека - нет проблемы. На место человека должна прийти машина.
Алгоритмизация судебного процесса несет с собой еще один приятный бонус: значительное, на порядок и более, ускорение правосудия. Сегодняшняя ситуация, когда тяжбы идут годами, демонстрирует дисфункциональность судебных институтов. Чем быстрее судебный орган восстанавливает справедливость - тем больше справедливости в обществе.
Развивая судебную алгоритмизацию, мы приходим к тому, что стороны истца и ответчика тоже должны представлять алгоритмы. А лучше всего - один и тот же алгоритм. Это позволит исключить неравенство сторон. Тогда кардинальные изменения ждут и процессуальные практики.
Теперь взглянем на эту сферу со стороны теории. Независимый суд стал одним из органичных институтов либеральной демократии по двум основным причинам. Во-первых, он очень децентрализован, что прекрасно сочетается с основными принципами демократического общественного устройства. И здесь мы уже видим серьезнейшее противоречие: предлагаемая нами алгоритмизация судов, упразднение децентрализованных судей с их уникальными пристрастиями и прочим трэшем, подразумевает критическое усиление централизации. Ситуация усугубляется еще больше, если мы алгоритмизируем представительство обвинения и защиты.
Несомненно, риски, возникающие в связи с такой централизацией, будут компенсироваться вводом дополнительных обратных связей - например, аудитом, т. е. проверкой альтернативными алгоритмами. Многократной и, возможно, многоуровневой. Несомненно, что создание и поддержание судебных алгоритмов должно поддерживаться системой тотального сбора всех релевантных данных. И в итоге я не вижу иных вариантов, кроме сильно централизованной системы, которая при этом будет иметь гораздо более сложную функциональную структуру (разделение компетенций) и гораздо больше связей между разными своими частями, нежели нынешняя человеческая судебная ветвь.
Вторая причина органичного сочетания независимого суда с демократией состоит в том, что формирование этого органа (т. е. выбор судей и прокуроров) стало подчиняться тем же принципам, что и формирование исполнительной ветви власти. Судьи в демократии - не просто инструмент по интерпретации законов. Общество наделяет судейскими и прокурорскими полномочиями некоторых своих членов, которых считает достойными этой высокой позиции. Судьи, таким образом, являют собой одну из сторон самоуправления общества. Это одновременно представители народа и его слуги.
И вновь очевидно радикальное противоречие между институтом суда в демократии и новым вариантом судебной системы. Противоречие, которое подрывает фундаментальные положения демократического устройства. Еще можно согласиться с тем, что ИИ по-прежнему служит народу - но он уже не представляет народ, т.е. не является его частью, и это перестаёт быть самоуправлением.
Переходим к следующему кейсу. “Аналогичным образом, искусственный интеллект может быть использован как для сбора мнений, так и для достижения консенсуса среди граждан, разрешения конфликтов, нахождения точек соприкосновения и поиска компромисса. [...] Очевидно, что более информированное и вдумчивое гражданское общество укрепило бы демократические институты“.
Здесь стоит отметить, что за всё время существования современной формы либеральной демократии - и даже захватывая более ранний период - институты и организационные техники сбора мнений и поиска консенсуса практически не изменились. Это советы, комитеты, собрания и слушания, целиком и полностью состоящие из живых людей и их активного живого взаимодействия и взаимовлияния.
Если мы вводим в эту традиционную схему «неживой элемент», если мы поручаем поиск решений алгоритму и тем самым вновь сводим на нет основу самоуправления человеческих граждан - вправе ли мы по-прежнему называть получившуюся систему демократией?
Некоторые могут мне возразить: да, эта схема отстраняет человека от процесса общественного обсуждения, да, она совершенно не похожа ни на один существующий демократический институт. Но ведь такие алгоритмы - всё равно про достижение консенсуса в обществе и мирное, справедливое урегулирования конфликтов. А это всё является очень демократическими ценностями. Так что мы хотим называть такую систему демократической, потому что так нам привычнее.
Что ж, здесь можно выдвинуть несколько контраргументов. Первый, методологический, заключается в том, что у демократии нет монопольных прав на стремление к консенсусу и мирное разрешение конфликтов. Демократия - это инструмент, при помощи которого эти стремления реализуются. Средство, а не цель. И прежде всего этот инструмент описывает организацию органов власти. См. в VI части гипотетический пример про автократа-«гения управления», железной рукой насаждающего в своей стране всеобщую справедливость и благоденствие. Автократии тоже могут стремиться к консенсусу и справедливости - но на практике, в силу иной организации органов власти, это будет получаться у них гораздо хуже, чем у демократий.
Это приводит нас к следующему контраргументу. В демократиях ключевым, фундаментальным элементом организации органов власти, на которого завязаны множество процессов управления, является гражданин. Каждый взрослый человек, проживающий в стране. А взрослым он обязан быть потому, что демократия считает граждан рациональными агентами. Эффективность демократии, равно как и справедливость ее решений, обосновываются рациональностью членов общества и их самоуправлением, т. е. возможностью выражать свои интересы в принимаемых решениях.
Как видим, мы опять упираемся в фундаментальную характеристику демократии. Ее суть: демократия - это про людей. Всегда. И как только мы начинаем заменять людей на алгоритмы в тех или иных ее элементах - система перестаёт быть демократией.
Идем дальше. Главной составляющей политических процессов в демократии является не просто гражданин - но его активное волеизъявление. Человек - единственный субъект политики в демократии. Но его участие в политике - лишь право, которым он может воспользоваться, а может и не воспользоваться. И здесь идея Амодеи о сборе мнений поистине революционна для демократии: до сих пор мнения политически пассивных граждан, не подкрепленные конкретными действиями, не имели влияния на политические исходы.
Наконец, пожалуй, самое интересное противоречие. Амодеи предполагает, что внедрение «консенсусных» алгоритмов повысит информированность и вдумчивость общества. Но я всё-таки смотрел бы на такие изменения двояко.
С одной стороны, действительно, алгоритмы способны обрабатывать информацию в масштабах, попросту непредставимых для человека. Алгоритмы способны отделить сигнал от преобладающего шума и превратить хаос общественно-политических дискуссий в четкое видение политической картины.
Но, с другой стороны, делегирование алгоритмам полномочий по поиску консенсуса и агрегированию мнений отдаляет человека от непосредственного участия в таком анализе. Мы отдаём эту работу алгоритмам ровно потому, что мы, люди, плохо с ней справляемся. И для нас мало смысла ей заниматься.
Если в старой системе качество демократических решений зависело от информированности и вдумчивости людей-граждан, то в новой системе алгоритмы кардинально превосходят людей как в информированности, так и в аналитических способностях. Формулирование решений тоже поручается им. Гипотетически люди могут воспользоваться как минимум частью знаний, добытых алгоритмами - но какую пользу это принесет? Ведь в любом случае с решениями лучше справляется ИИ. Укреплять демократические - «про людей» - институты нет нужды. Совершенствовать надо то, что реально принимает решения.
Если бы Амодеи оглянулся на окружающие его демократические реалии, он бы увидел, что сейчас, особенно в интернет-эпоху, гражданам доступна весьма глубокая политическая аналитика из множества источников. Однако гражданское общество, в своей основной массе, совсем не стремится к информированности и вдумчивости. А предпочитает формировать свои представления о политике из незамысловатых фейсбучных постов, твиттерных обрывков да ТВ-«зомбоящика»...
Этот тезис плавно подводит нас к заключительному кейсу. Амодеи серьезно относится к угрозе информационных войн в интернет-пространстве. Но при этом пытается подверстать такие войны к своему голливудскому нарративу о всепланетном противостоянии сил Света (демократий) с силами Тьмы (автократиями).
Поскольку в представлениях Амодеи конфронтация и игра с нулевой суммой - это хорошо, исследователь полагает, что информационная война - тоже не самая плохая штука. При условии, что мы, силы Света, эту войну выиграем. Для чего коалиции демократий нужно вырваться вперед в ИИ-гонке и создать непробивамые ИИ-технологии для доминирования на информационном поле боя. ИИ будет контратаковать тоталитарную пропаганду и непримиримо бороться с происками политических врагов сил Света.
Проблема здесь в том, что в информационной войне выигравшими могут быть кто угодно, но только не граждане. Граждане неизменно проигрывают от отравления коммуникационного пространства, от превращения его в площадку для эксплуатации, где цель оправдывает любые средства её достижения.
Для «сил Света» это опасная игра: демократии критически зависимы от качества и нейтральности коммуникационных площадок, где как раз и идёт формирование общественного консенсуса и компромиссов. Превращение данных площадок в арену для войны ломает эту важнейшую функцию.
Но одновременно избежать эксплуатации этих площадок невозможно. Если не «политическими врагами» - то капиталом и «политическими союзниками». Теми, кто будет контролировать самый продвинутый ИИ. И дело здесь вовсе не в уязвимости самих площадок. А в уязвимости их пользователей. Граждан. Людей.
Информационные войны эффективны не потому, что в Интернете отсутствует «главный ИИ-цензор» (в отличие от традиционных СМИ, где у редакции есть полный централизованный контроль над коммуникациями). Напротив, отсутствие «главного цензора» и децентрализованность Интернета очень благоприятны с точки зрения демократии: это порождает гораздо больше обратных связей в коммуникационном пространстве.
Информационные войны эффективны потому, что главная опора демократии - гражданин - очень уязвим перед эксплуатацией со стороны игроков с крупными ресурсами. Ресурсы отдельного человека по обработке информации очень скудны, и он не может оказать большого сопротивления потоку манипулятивных коммуникаций.
И чем больше совершенствуются (=удешевляются) технологии работы с информацией - тем больше становится разрыв между возможностями крупных игроков и отдельно взятого человека. В этом плане мечты о доминировании ИИ на информационном поле боя выглядят пугающе: они не оставляют человеку никаких шансов.
Где же выход?
Выходов здесь на самом деле несколько. Один из них - убрать информационное неравенство. То есть буквально запретить крупным игрокам контролировать большие объемы информации в Сети. Идея буквально противоположна идее Амодеи с его централизованной ИИ-модерацией: напротив, контроль сколь-нибудь значительных сегментов Сети будет запрещен. Также необходимо закрыть крупные сетевые сервисы («Гугл», «Фейсбук» и т. п.), сделать публичным код таких сервисов и, скорее всего, обязать его диверсифицировать, т. е. использовать тысячи разных вариантов такого кода с теми или иными изменениями. Наконец, понадобится упразднить традиционные СМИ: телеканалы, газеты и журналы.
Звучит не очень похоже на традиционную демократию, верно? И самым радикальным отличием здесь будет даже не отмена «четвертой ветви власти», СМИ. А покушение на одну из «священных коров» либерализма - разрешение на концентрацию ресурсов. Демократия вращается вокруг равенства прав, но не требует равенства возможностей. В истории демократии - и, шире, в истории государственного управления - еще никогда не было попыток ввести эти требования в коммуникационной сфере. Смещение фокуса на равенство возможностей и жесткие ограничения по организации коммуникационного пространства были бы настоящим сдвигом парадигмы в общественно-политическом устройстве.
Другой возможный выход развивает идеи второго кейса. Если коммуникационные площадки для человека становятся отравленными - то почему бы не отдать функционал этих площадок алгоритмам по агрегированию мнений и поиску консенсуса? Эксплуатировать алгоритмы будет намного сложнее, чем эксплуатировать человеческое сознание. Алгоритмы адаптивны и могут скорректировать свою работу буквально за минуты. Меж тем как сознание человека - это константа, доставшаяся нам в наследство от наших обезьяньих предков. Отредактировать ее практически невозможно.
Наконец, самый радикальный выход состоит в том, чтобы отвязать манипуляции с архаичным человеческим сознанием от политических решений. Если ключевой, фундаментальный элемент нынешней системы общественного устройства - человек - настолько уязвим к эксплуатации, то возникает потребность создать новую систему на совершенно ином фундаменте. Более устойчивом. Более адаптивном и более удобном для инжиниринга. Ключевым элементом новой системы должны стать алгоритмы.
Безусловно, это запредельно сложная задача. Чтобы система власти перестала быть «про людей» - и при этом работала «для людей» еще лучше, чем демократия, необходимо парадоксальное условие. Алгоритмы буквально должны знать, что на самом деле нужно людям, лучше самих людей.
Парадокс перестаёт быть парадоксом, если мы вспомним об ограниченности человеческих способностей к познанию. В том числе и к самопознанию. Машины же, по прогнозу Амодеи, через несколько лет превзойдут человека в познавательных способностях. И продолжат развивать их дальше. Описываемые им достижения в нейронауках потенциально могут предложить альтернативный, более точный и более эффективный способ реконструкции подлинных человеческих стремлений и предпочтений.
Конечно, такие размышления сейчас порождают больше вопросов, чем дают ответов. Но в своём эссе Амодеи отсылает большую часть вопросов к «планете гениев в дата-центре»: мол, машины умные, они что-нибудь придумают. Нам остаётся воспользоваться этой удобной отговоркой - благо пора переходить к следующей, заключительной части…
>> Продолжение: Часть VIII >>
_______________________________________________________________
Друзья, я начал вести канал в Телеграм: Экономика знаний. Подписывайтесь!