Тезисы по визуальному мышлению
1. Мышление не визуально, а синестезийно. Все модальности в нём замешаны. Но в мышлении поддерживается некоторый спектр представлений -- от богатых иконографических с излишними деталями через пиктограммы-образы к схемоидам к схемам в нотациях к формальным текстовым нотациям. И "всё что вовне есть и внутри" (то есть мышление в паттернах увиденного-услышанного-прочувствованного во внешнем мире, в том числе увиденного в мире и в картинках, и в текстах), но не всё что есть внутри можно выразить на каких-то языках (синестезии трудны в выражении, в том числе в синтезе картинок и в синтезе текста). Проблема связи коннективистской обработки "гештальтами", визуальными образами и символистской обработки текстов известна (neural-sybmolic binding, learning and reasoning), решения её неудовлетворительны. Обсуждается это в рамках современных исследований по когнитивным архитектурам, см. ссылки в https://ailev.livejournal.com/1418637.html -- можно отдельно обсуждать память, внимание, воображение, многоуровневое сжатие внешней информации (включая тексты и картинки) и хранение её как priors для последующих размышлений над вновь прочтённой из внешнего мира информацией.
2. Поддерживать мышление внутри непонятно как, этим мало кто занимается. Но есть способ поддержать мышление снаружи: каждый раз, когда придумывается новая онтика/онтология, то можно представить какую-то удобную нотацию для неё. Ссылки на многочисленные исследования по нотациям разной степени визуальности для выражения разных предметов размышления и геометрическому процессингу синестетической информации внутри мозга я собрал в тексте про когнитивные архитектуры -- https://ailev.livejournal.com/1322862.html. Но у меня и другие тексты на эту тему в количестве. Вот, например, про диаграммы как средство выражения топологии предметной области: https://ailev.livejournal.com/1069810.html. Всё это для хардкорного мышления, которое ведёт к нобелевским премиям или полётам на Марс. Это не для тусовки на 200 менеджеров, которая пришла договориться о том, что они не будут воевать друг с другом и понять, какие интересы у них есть для совместной деятельности. Все эти фасилитаторские методики с картинками без сложных нотаций и дополнительных усилий по формализации это что-то типа speed dating -- решения принимаются не по итогам speed dating, а после кропотливой работы, где работают уже другие инструменты, другие средства моделирования.
3. Нотации тем более выразительны и удобны для мышления, чем более они абстрагируют/сжимают информацию о внешнем мире (см. мой текст "Жми, господь!", https://ailev.livejournal.com/1414038.html). В пределе это текстовые нотации. Сложное мышление может быть поддержано главным образом текстом: миллионы строк кода на языках программирования подтверждают это, математические книги с формулами подтверждают это. Все остальные картинки поддерживают не столько мышление, сколько бытовую попсу, "околомышление", социализацию. Все балаганы с картинками и фасилитаторами резко заканчиваются, когда начальники уходят, и ответственным за продукт людям нужно породить продукт. Конечно, мышление есть и во время speed dating, когда хочется договориться двоим или двумстам людям. Но мы ж за state-of-the-art мышление, на пределе возможностей человечества, а не про организацию коммуникации большого числа людей. Это отдельный тезис, порождается ли что-то реально сильное в плане мышления даже на ОДИ-играх -- и при помощи каких механизмов это порождается в части визуальной работы, как фиксируется, в чём там сложности и если всё так круто, почему математики всего мира и инженеры всего мира так не работают над своими сложными системами. Про "сложность системы из людей" можно рассказывать, но у любой ракеты есть обеспечивающая её система из людей, которая оказывается совершенно беспомощной, если провалено описание той же ракеты в формальных главным образом текстовых и табличных языках. Получается квартет: люди быстро договариваются с использованием визуальной коммуникации, но потом при отсутствии реального мышления инженеров (не попсового design thinking! а того, как работают настоящие инженеры!) с формальными языками проект становится фейком.
4. Вопрос о нотациях и их помощи мышлению имеет огромную историю, в том числе и в математике с физикой, и в языках программирования, где эти вопросы изучались специально (требовалось обсуждать очень сложные результаты мышления, недоступные для простых смертных -- и были попытки изучить, что работает, а что нет). Они для "визуальщиков"-попсовиков неутешительны. Кроме "струнных диаграмм" (явно помогающих мышлению) и инфографики (которая помогает пропаганде или обучению чему-то простому, но не мышлению ни разу) тут трудно что-то предложить массово работающее. Опыт всяких графических языков моделирования архитектуры приводит к тому, что у них появляется текстовое представление или хотя бы представление в виде базы данных (графовое или табличное), которое потом обрабатывается компьютером. И картинки эти неудобны для редактирования их на компьютере, неудобны для изменения на флипчарте. Всё плохо, но неграмотным людям кажется, что они что-то в этих картинках понимают -- больше, чем поняли бы их букв. Можно это было бы протестировать (и получить тот же результат: что чем сложнее предмет, тем больше текстовых описаний на не-графических DSL), но факт, что простую картинку на бегу люди посмотрят, это психофизиология, она задействует "быстрое мышление" по Канеману, а аналогичный по выразительности текст, взывающий к трате мыслетоплива на "медленное мощное мышление" смотреть не будут. Картиночное обезьянье мышление дешёвое, для простых ситуаций. Тяжёлое текстовое мышление для сложных. Дальше вопрос скрипки Энгельбарта (текстовые нотации нужно учить долго и нудно, чтобы выработать автоматизмы мышления, с ними связанные -- http://ailev.livejournal.com/1158826.html, это явно не большие массы народу) и что мы будем делать с теми, кому попроще (то есть теми, кто хотел бы побольше графического в нашем случае) -- с ними ничего не делать, делать без них: https://ailev.livejournal.com/1385867.html
5. Интересный вопрос, почему архитектурные языки удерживаются в графической области (ArchiMate, SysML и т.д.). Потому что их удобней "продавать" менеджерам? Потому что тамошние модели относительно небольшие? Потому что по факту это не совсем формальные языки? Но при росте сложности (когда хочется, например, проаннотировать архитектурные модели) немедленно появляется параллельная текстовая нотация. Так происходит с Business Rules Language, Modelica и AADL (причём два последних языка обсуждаются и как архитектурные в том числе) и даже SysML, который как и любой вариант MOF/UML может быть выражен в текстовом OCL. Этот вопрос необъяснимой любви к графической нотации в архитктурных языках, с которой явно можно сделать меньше, чем с текстовой (то есть можно удобно работать только с маленькими моделями), плохо проработан. Особых исследований, которые бы исследовали, как часто используется та или иная форма языка, я не видел. Но в любом случае это маргинальные формы -- архитектурные языки это "псевдокоды", которые не предполагают прямой обработки каким-то процессором, только размышления людей над ними. Гипотеза, что графическая форма выживает хорошо при драфтовом мышлении, до-мышлении -- speed dating, "приглядкам-смотринам". В принципе, в этом ничего нет плохого, из левой части спектра мышления, близкого к образному могут браться идеи, а мышление может потом проходить ближе к правой части спектра, где работа с текстами и кодами (информатика -- http://ailev.livejournal.com/1008054.html, все эти отекстовки и перекодировки) будет обслуживаться нормальными текстовыми нотациями.
Собственно, всё это не столько тезисы по визуальному мышлению, сколько аннотированные ссылки по визуальному мышлению -- сам материал про визуальное против текстового нужно искать по ссылкам в этом тексте. И это явно не все возможные ссылки. Я писал на эту тему много лет, но не хочу тут делать литературный обзор, всё равно никто не прочтёт даже того, что уже помянуто в тексте. И да, это текст-наезд. Предельно заострённая форма. Чёткий тезис высказан, с ним будет удобно спорить.
UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10212702656855363
И самый сильный аргумент, который похож на правду, был подсказан в комментах: управление конфигурацией и изменениями в больших графических проектах на нулях. А в текстовых как-то revision можно делать. У нас был онтологический редактор, так мы придумали таки как делать ревизию в псевдографике (дерево плюс табличный текст), но это было то ещё приключение, желающие могут поглядеть документацию в https://github.com/TechInvestLab/dot15926. И да, это актуально там, где такт мышления переходит границы дня и границы рабочего места.
По этим тезисам был прочтён доклад https://ailev.livejournal.com/1429949.html, а потом написана книжка "Визуальное мышление. Доклад о том, почему им нельзя обольщаться" -- https://ailev.livejournal.com/1437344.html
2. Поддерживать мышление внутри непонятно как, этим мало кто занимается. Но есть способ поддержать мышление снаружи: каждый раз, когда придумывается новая онтика/онтология, то можно представить какую-то удобную нотацию для неё. Ссылки на многочисленные исследования по нотациям разной степени визуальности для выражения разных предметов размышления и геометрическому процессингу синестетической информации внутри мозга я собрал в тексте про когнитивные архитектуры -- https://ailev.livejournal.com/1322862.html. Но у меня и другие тексты на эту тему в количестве. Вот, например, про диаграммы как средство выражения топологии предметной области: https://ailev.livejournal.com/1069810.html. Всё это для хардкорного мышления, которое ведёт к нобелевским премиям или полётам на Марс. Это не для тусовки на 200 менеджеров, которая пришла договориться о том, что они не будут воевать друг с другом и понять, какие интересы у них есть для совместной деятельности. Все эти фасилитаторские методики с картинками без сложных нотаций и дополнительных усилий по формализации это что-то типа speed dating -- решения принимаются не по итогам speed dating, а после кропотливой работы, где работают уже другие инструменты, другие средства моделирования.
3. Нотации тем более выразительны и удобны для мышления, чем более они абстрагируют/сжимают информацию о внешнем мире (см. мой текст "Жми, господь!", https://ailev.livejournal.com/1414038.html). В пределе это текстовые нотации. Сложное мышление может быть поддержано главным образом текстом: миллионы строк кода на языках программирования подтверждают это, математические книги с формулами подтверждают это. Все остальные картинки поддерживают не столько мышление, сколько бытовую попсу, "околомышление", социализацию. Все балаганы с картинками и фасилитаторами резко заканчиваются, когда начальники уходят, и ответственным за продукт людям нужно породить продукт. Конечно, мышление есть и во время speed dating, когда хочется договориться двоим или двумстам людям. Но мы ж за state-of-the-art мышление, на пределе возможностей человечества, а не про организацию коммуникации большого числа людей. Это отдельный тезис, порождается ли что-то реально сильное в плане мышления даже на ОДИ-играх -- и при помощи каких механизмов это порождается в части визуальной работы, как фиксируется, в чём там сложности и если всё так круто, почему математики всего мира и инженеры всего мира так не работают над своими сложными системами. Про "сложность системы из людей" можно рассказывать, но у любой ракеты есть обеспечивающая её система из людей, которая оказывается совершенно беспомощной, если провалено описание той же ракеты в формальных главным образом текстовых и табличных языках. Получается квартет: люди быстро договариваются с использованием визуальной коммуникации, но потом при отсутствии реального мышления инженеров (не попсового design thinking! а того, как работают настоящие инженеры!) с формальными языками проект становится фейком.
4. Вопрос о нотациях и их помощи мышлению имеет огромную историю, в том числе и в математике с физикой, и в языках программирования, где эти вопросы изучались специально (требовалось обсуждать очень сложные результаты мышления, недоступные для простых смертных -- и были попытки изучить, что работает, а что нет). Они для "визуальщиков"-попсовиков неутешительны. Кроме "струнных диаграмм" (явно помогающих мышлению) и инфографики (которая помогает пропаганде или обучению чему-то простому, но не мышлению ни разу) тут трудно что-то предложить массово работающее. Опыт всяких графических языков моделирования архитектуры приводит к тому, что у них появляется текстовое представление или хотя бы представление в виде базы данных (графовое или табличное), которое потом обрабатывается компьютером. И картинки эти неудобны для редактирования их на компьютере, неудобны для изменения на флипчарте. Всё плохо, но неграмотным людям кажется, что они что-то в этих картинках понимают -- больше, чем поняли бы их букв. Можно это было бы протестировать (и получить тот же результат: что чем сложнее предмет, тем больше текстовых описаний на не-графических DSL), но факт, что простую картинку на бегу люди посмотрят, это психофизиология, она задействует "быстрое мышление" по Канеману, а аналогичный по выразительности текст, взывающий к трате мыслетоплива на "медленное мощное мышление" смотреть не будут. Картиночное обезьянье мышление дешёвое, для простых ситуаций. Тяжёлое текстовое мышление для сложных. Дальше вопрос скрипки Энгельбарта (текстовые нотации нужно учить долго и нудно, чтобы выработать автоматизмы мышления, с ними связанные -- http://ailev.livejournal.com/1158826.html, это явно не большие массы народу) и что мы будем делать с теми, кому попроще (то есть теми, кто хотел бы побольше графического в нашем случае) -- с ними ничего не делать, делать без них: https://ailev.livejournal.com/1385867.html
5. Интересный вопрос, почему архитектурные языки удерживаются в графической области (ArchiMate, SysML и т.д.). Потому что их удобней "продавать" менеджерам? Потому что тамошние модели относительно небольшие? Потому что по факту это не совсем формальные языки? Но при росте сложности (когда хочется, например, проаннотировать архитектурные модели) немедленно появляется параллельная текстовая нотация. Так происходит с Business Rules Language, Modelica и AADL (причём два последних языка обсуждаются и как архитектурные в том числе) и даже SysML, который как и любой вариант MOF/UML может быть выражен в текстовом OCL. Этот вопрос необъяснимой любви к графической нотации в архитктурных языках, с которой явно можно сделать меньше, чем с текстовой (то есть можно удобно работать только с маленькими моделями), плохо проработан. Особых исследований, которые бы исследовали, как часто используется та или иная форма языка, я не видел. Но в любом случае это маргинальные формы -- архитектурные языки это "псевдокоды", которые не предполагают прямой обработки каким-то процессором, только размышления людей над ними. Гипотеза, что графическая форма выживает хорошо при драфтовом мышлении, до-мышлении -- speed dating, "приглядкам-смотринам". В принципе, в этом ничего нет плохого, из левой части спектра мышления, близкого к образному могут браться идеи, а мышление может потом проходить ближе к правой части спектра, где работа с текстами и кодами (информатика -- http://ailev.livejournal.com/1008054.html, все эти отекстовки и перекодировки) будет обслуживаться нормальными текстовыми нотациями.
Собственно, всё это не столько тезисы по визуальному мышлению, сколько аннотированные ссылки по визуальному мышлению -- сам материал про визуальное против текстового нужно искать по ссылкам в этом тексте. И это явно не все возможные ссылки. Я писал на эту тему много лет, но не хочу тут делать литературный обзор, всё равно никто не прочтёт даже того, что уже помянуто в тексте. И да, это текст-наезд. Предельно заострённая форма. Чёткий тезис высказан, с ним будет удобно спорить.
UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10212702656855363
И самый сильный аргумент, который похож на правду, был подсказан в комментах: управление конфигурацией и изменениями в больших графических проектах на нулях. А в текстовых как-то revision можно делать. У нас был онтологический редактор, так мы придумали таки как делать ревизию в псевдографике (дерево плюс табличный текст), но это было то ещё приключение, желающие могут поглядеть документацию в https://github.com/TechInvestLab/dot15926. И да, это актуально там, где такт мышления переходит границы дня и границы рабочего места.
По этим тезисам был прочтён доклад https://ailev.livejournal.com/1429949.html, а потом написана книжка "Визуальное мышление. Доклад о том, почему им нельзя обольщаться" -- https://ailev.livejournal.com/1437344.html