За сутки мне трое прислали ссылку на статью Вячеслава Широнина "Членораздельное и голографичное" --
http://syg.ma/@viacheslav-shironin/chlienorazdielnoie-i-ghologhrafichnoie. В этой статье берётся противопоставление символистского подхода коннективистскому и прикладывается ко всему подряд: к институциональному подходу и путям развития западной цивилизации, отношениям мужчины и женщины, протестантизму и православию. Как я к этому отношусь?
Как к популяризации идеи о наличии и сосуществании символистского и коннекционистского подходов (а ведь ещё есть байесианский, эволюционный и много разных других) в знаниевой работе -- отношусь очень положительно. Мой собственный глас тут по адресу гуманитариев -- вопиющего в пустыне, я "инженерен", обращаюсь к инженерам. Широнин обращает внимание гуманитариев на то же, что я в
http://ailev.livejournal.com/1228029.html обращал внимание инженеров, рассказывая о распределённых, некатегориальных представлениях. Он выпустил свой труд про когнитивистику членораздельного и голографического в 2013, а я с 2012 писал про глубокое обучение
http://ailev.livejournal.com/1044735.html и representation learning --
http://ailev.livejournal.com/1045081.html. Широнин тут не одинок, обращаясь по линии человечьего когнитивизма к распределённым представлениям в протиповоставлении их символическим, логическим. Тот же
sergey-borod с его "языковым бессознательным" идёт тем же гуманитарно-теоретическим путём. Для меня это направление маркируется словом "когнитивистика", которое уже мало что обозначает (недаром оно было практически хором убрано из названия участниками круглого стола "Принципиальные вопросы продвижения когнитивных исследований в образовании" --
http://ailev.livejournal.com/1267947.html).
Как я отношусь к конкретным идеям, приведённым в статье? Ну, для меня статья пример использования метафор (автор говорит "моделей", но для меня модель все-таки формальна -- членораздельна, как говорит автор. А метафора дозволяет с собой нечленораздельную, "голографическую" в терминах автора работу). Итак, берётся метафора членораздельности против невыговариваемости, обосновывается как коннективизм против символизма и далее прикладывается ко всему подряд. Очень продуктивно, начальная стадия науки -- это очень правильное действие. Потом вдруг бах! коннективизм исчезает! и дальше прикладывается уже метафора голографическая, которая была "проходной" для объяснения коннективизма (я и сам использовал голографию как всем известное нелокальное представление информации, это общее место. Но оно не нейронное ни разу!). И вот уже в нечленораздельности от голографии у нас появляются опорные источники света и куски текста, уже с этой совсем другой метафорой. разве что знаньевых лазеров с ученьем-светом не предложено, но близко, да. И так далее -- прыг-прыг по метафорам, прикладываем очередную (ну, или ту же самую, только другими словами) дихотомию на уровне интуитивной "чуйки", "голографически" ко всему подряд, где есть хоть какая-то сложно организованая информация, знания, т.е. "когнитивность". Эта дихотомия очень хороша, ибо не на пустом месте (особенно если вернуться от голографии к коннективизму и нейронным сетям, и назвать распределённые представления их собственным именем).
Например, tacit knowledge будет коннективистским знанием, implicit knowledge будет символистским знанием, и вот мы уже притянули огромный пласт knowledge management в эту "когнитивистскую социологию" -- а ведь этому tacit уже 58 лет, оно 1958 года рождения,
https://en.wikipedia.org/wiki/Tacit_knowledge. Можно и дальше в этом роде продолжать. Скажем, берём советскую инженерию с её опорой на неогранёный талант и tacit knowledge против западной с опорой на формальные процедуры и постоянную письменную рефлексию методов. Вот оно! Оказывается, системная инженерия -- это такой инженерный протестантизм, а советская инженерная школа это такое инженерное православие! Готовая тема для студенческой работы по "когнитивной социологии"! Или футбол, в котором класс решает (голографичность!), а порядок бьёт класс (членораздельность!), ну и в конечном итоге классный порядок бьёт всех (вот он, момент истины, протестантское православие будет править миром -- только нужно догадаться, как его создать! Впрочем, для этого у нас есть академия наук, и когнитивные социологи).
Это всё шутки, но только с небольшой долей шутки. Кроме распределённых глубоких (нейронная сеть) представлений и символьных будут и другие способы работы с информацией (кстати, книжка об этом вышла на русском -- Педро Домингос, "Верхновный алгоритм",
http://www.mann-ivanov-ferber.ru/books/verhovnyj-algoritm/, на английском
http://bookzz.org/dl/2596649/2ef094). Это означает, что метафор будет больше. Дихотомия станет сложней и мир уже не будет таким чёрно-белым, членораздельным-мычащим. Вот, например, изучение международных отношений методами байесовской статистики, тут тоже явный отход от дискретных представлений, "членораздельности":
http://www.cs.columbia.edu/~blei/papers/ScheinZhouBleiWallach2016.pdf Для меня просто метафора недостаточна. Если уж мы понимаем, что есть коннективистское распределённое представление, то мало просто заявлять о нём и тыкать в него пальцем. Нужно его изучать, разбираться с его структурой. Наука начнётся с этого места. И она не будет "когнитивистикой", она будет называться как-то по-другому. Может, это и не наукой будет -- науку будут творить по месту, в силу каких-то инженерных потребностей.
Например, возьмём вопрос о гендерных искажениях. Кто не вздрагивал, когда через полстраницы английского текста какой-нибудь friend оказывался вполне себе девушкой, а вы считали его мужчиной? Предположим, вы решили выявить такое смещение восприятия и откорректировать его -- если не у себя, то хотя бы у компьютера. Вот такая лингвистическая социология, борьба за равноправие полов в естественном языке. Вот работа, которая как раз использует распределённые представления ровно для этого: "Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings":
http://arxiv.org/abs/1607.06520. Обратите внимание, насколько лингвистично это исследование -- как оно направлено на закреплённость именно в языке знания о типично мужских и женских профессиях! Но обратите внимание, как далеко заходит это исследование от простого поминания распределённости представлений: оно вычисляет "разлитое знание о гендере" и привязывает его к словам:
А вот и мотивация для этой работы: One perspective on bias in word embeddings is that it merely reflects bias in society, and therefore one should attempt to debias society rather than word embeddings. However, by reducing the bias in today’s computer systems (or at least not amplifying the bias), which is increasingly reliant on word embeddings, in a small way debiased word embeddings can hopefully contribute to reducing gender bias in society. At the very least, machine learning should not be used to inadvertently amplify these biases, as we have seen can naturally happen. UPDATE: вот более ранняя работа этих же авторов по embedding biases
https://arxiv.org/abs/1606.06121 А вот ещё один пример: создание сценария, который хоть как-то объективно мог бы претендовать на хитовость. Это означает построение социолингвистической модели "хита" (эта модель совсем не сводится к синтаксическим правилам, она вполне нечленораздельна по своему построению) и потом проверка авторской работы сценариста на соответствие этой модели: это не "завтрашний день", это вполне сегодняшний, та же "когнитивная социология" --
https://www.kickstarter.com/projects/970954017/impossible-things-worlds-first-ai-co-written-featu Это и есть "когнитивная социология", как я бы её понимал -- далеко уходящая за пределы простого признания, что "есть такое разлитое не в языке знание". Это знание нужно вычленять, измерять, привязывать к языку и объяснять. Одних качественных рассуждений сегодня уже недостаточно, потому что человечество уже в этой области может лучше.
Я лично считаю, что цивилизация существенно приросла в последнюю тройку тысяч лет формализацией, появлением и доведением до экстремума членораздельности. Широнин примерно это же пишет в своей работе, хотя мягко и не в таких жёстких заявлениях, как у меня: где добавлялось членораздельности, там жизнь чуточку становилась интересней -- в основе всяких там "революций" именно добавки членораздельности легли. Добавление формализма к развитой интуиции (не замена! добавление!) существенно продвигает цивилизацию. Сначала от распределённых представлений к локальным (появление знаков, появление естественного языка), потом формализация языка для облегчения формулирования лёгких для логических проверок результатов интуитивного внеязыкового размышления в распределённых представлениях -- это всё существенно добавило к цивилизации. Конечно, работа с распределённым представлением знания никуда при этом не исчезает. Компьютеры существенно продвинули человечество в использовании дискретной, символьной информации, добавив членораздельности к толпе носителей разлитого в их головах невыразимого, нечленораздельного знания. Получившиеся киборги (не кибернетические организмы, а кибернетические организации -- тысячи людей, координирующихся через компьютеры) стали реально мощны, масштабы их действий уже касаются миллиардов людей (например, Apple пару дней назад
продало миллиардный iPhone, цифры для Facebook и Google тоже говорят о затрагивании миллиардов людей: скоординированная работа людей и машин по отдельным проектам выходит вполне на цивилизационные масштабы).
Сегодня компьютеры только-только прикоснулись к обработке знаний в распределённых представлениях, и теперь революции будут происходить уже по этой линии, гибридного процессинга в нежити.
Я лично в своих интересах тоже целюсь в точку, исследующую симбиоз распределённого и локального представлений. Впрочем, не только я.
Matthew West любит различать онтологии, где "описано, как люди говорят о том, из чего устроен мир" (DOLCHE) и "описывают, из чего устроен мир" (ISO 15926). John Sowa всё время увязывает лингвистичность и онтологичность. Но это всё про локальные представления, формальные и готовые для работы программ логического вывода. Но в распределённых представлениях "пространство знаний" -- оно отражает знания о словах (как говорят о мире, т.е. является "семантическим пространством", пространством значений), или знание о самом мире (т.е. является онтологическим пространством, отражающем не язык, не говорение о мире, а сам мир)? Это, замечу, не совсем абстрактный вопрос: если мы хотим разбирать инженерные тексты, нам хорошо бы различать, где мы отражаем говорение о мире, а где сам мир -- иначе в какой-то момент можно сильно удивиться различию. В какой-то мере пример с гендерным смещением пространства говорения и гендерной нейтральностью пространства реальных объектов даёт представление о том, с чем можно будет столкнуться, если не различать говорение о мире и сам мир -- а ведь в "голографическом" знании представлены они оба, и "говорение о мире" и "мир, как он есть"! Мы ж не только слышим речь, но и видим и ощущаем мир непосредственно!
Так что я глубоко приветствую работу Вячеслава Широнина и надеюсь, что он пойдёт дальше, за пределы использованной им начальной метафоры.
UPDATE: чтобы два раза не вставать -- моё понимание институционализма как онтологизации/стандартизации было тут:
http://ailev.livejournal.com/982274.html. В принципе, это хорошо совпадает с тем, как показывает прорастание символистского, членораздельного проговаривания появляющихся в безымянном море разливанном распределённого знания паттернов действия и связанной с этим действием организации. Понятно, что в жизни непроговариваемые обычаи действия и проговариваемые структурные правила тесно переплетены, кроме того возможны крайне разные описания (рендеренги) глубокого многоуровневого (много уровней абстракции) невыразимого словами точно знания об организованностях -- отсюда и трудность с определениями институтов. Но сам заход на такое понимание институтов и институализации как попыток использования эксплицитных символитских описаний имплицитных распределённых представлений мне кажется продуктивным. Вот как представляется Вячеславу Широнину очень приблизительно по этой линии рассуждений (у него, конечно, совсем другая терминология) ход институционального развития современной Европы и России:
http://shironin.com/M_35_14-20.03.pdf А как поглядеть, так и описываемые Кеном Уилбером обобщения теорий развития что-то похожее описывают: сначала плотная ткань неосознаваемой жизни, потом осознание некоторых де факто ритуалов, потом кодификация ритуалов и примат кода над жизнью, потом преодоление догмата кода -- это всё можно обсуждать по той же линии.
А ещё "моя космоонтика", где про всё более и более точное моделирование -- вот это разнообразие репрезентаций и моделирование на одних из них других (на мозгах логики, на компьютерах коннективистики, затем переход к физической коннективистике и т.д.), оно точно сюда --
http://ailev.livejournal.com/1268678.html У СМД-методологов можно обсуждать естественное-искусственное по этой линии, где "искусственное" это символьное, а естественное -- коннективистское.
А ещё можно обсуждать так же "зрелость процессов", только там после кодификации сразу идёт ход на инженерию кода в его символьном выражении, плюс мало внимания потом оестествлению (метафора машины так машиной и остаётся, а кодификация идёт как преодоление власти неосознаваемых ритуалов).
Ну, и обобщать всякие "истории" (включая истории институционализма) лучше бы не по статьям, а по исходным материалам. В какой-то момент у IBM Watson вместо чтения медицинских статей появилась идея брать доступ прямо к историям болезней: ибо медицинские статьи часто искажали материал, который они брали в историях болезни. Яндекс в нейросетках Яндекс.пробок тоже отказался в какой-то момент брать прогноз погоды: по оригинальным данным о состоянии атмосферы эти нейросетки учитывали изменения в погоде лучше, чем алгоритмы текущего прогноза погоды. Так и тут нужно: брать материалы прямо из первоисточников -- текстов разговоров, а в отдалённом будущем и прямо из мозгов в распределённых представлениях (нейротехнологии ведь тоже не дремлют, развиваются, и фантастика потихоньку становится явью -- хотя это будет не в следующем году, конечно).
UPDATE: вот тут Симон Кордонский обсуждает эту статью по линии связи с онтологиями, но аспект распределённых представлений он не поминает -- сразу противопоставляет символьное природному (а не символьное и коннективистское природному):
https://www.facebook.com/simon.kordonsky/posts/10205293324811799