Видеотелепатия (Как компьютеры читают наши сны)
Возможность контроля над мыслями в том или ином виде широко использовалась авторами многочисленных фантастических романов. Но с недавних пор визуализация мысленных образов перестала относиться к сфере фантастики.
В начале 2000-х годов с помощью фМРТ были предприняты первые попытки «обратной ретинотопии» (ретинотопия - это упорядоченная проекция сетчатки на зрительной зоне коры головного мозга). Сначала попытки были довольно робкими: испытуемым показывали изображения и одновременно снимали данные об активности различных областей мозга с помощью фМРТ. Набрав необходимую статистику, исследователи пробовали решить обратную задачу - по карте активности мозга угадать, на что смотрит человек.
На простых картинках, где основную роль играла пространственная ориентация, расположение предметов или их категория, все вполне работало, но до «технической телепатии» было еще очень далеко. Но вот в 2008 году ученые из Института нейронаук Калифорнийского университета в Беркли под руководством профессора психологии Джека Гэлланта попытались проделать такой фокус с фотографиями. Они разделили изучаемую область мозга на небольшие элементы - вокселы (элементы объемного изображения) - и отслеживали их активность в то время, когда испытуемым (в их роли выступили два автора работы) показывали 1750 различных фотографий.
На основе этих данных ученые построили компьютерную модель, которую «обучили», показав 1000 других фотографий и получив на выходе 1000 различных паттернов активации вокселов. Оказалось, что, показывая эти же 1000 фотографий испытуемым и сравнивая снимаемые с их мозга паттерны с предсказанными компьютером, можно с достаточно высокой точностью (до 82%) определить, на какую именно фотографию смотрит человек.
Движущиеся картинки
В 2011 году коллектив исследователей под руководством того же профессора Гэлланта из Калифорнийского университета в Беркли добился значительно более интересных результатов. Показывая испытуемым «тренировочные» отрывки из кинофильмов общей продолжительностью 7200 секунд, ученые изучали активность множества вокселов мозга с помощью фМРТ.
Но здесь они столкнулись с серьезной проблемой: фМРТ реагирует на поглощение кислорода тканями мозга - гемодинамику, которая является значительно более медленным процессом, чем изменение нервных сигналов. Для исследования реакции на неподвижные изображения это не играет особой роли - фотографию можно показывать несколько секунд, а вот с динамичными видеороликами возникают серьезные проблемы. Поэтому ученые создали двухступенчатую модель, которая связывает медленную гемодинамику и быстрые нейронные процессы зрительного восприятия.
Построив первоначальную компьютерную модель «отклика» мозга на различные видео, исследователи обучили ее с помощью 18 млн односекундных видеороликов, случайно выбранных на YouTube. Потом испытуемым показывали «тестовые» фильмы (отличные от «тренировочных»), изучая активность мозга с помощью фМРТ, и компьютер выбирал из этих 18 млн сотню роликов, которые вызывали наиболее близкий паттерн активности, после чего усреднял изображение на этих роликах и выдавал «средний результат». Корреляция (совпадение) между изображением, которое видит человек, и тем, которое сгенерировано компьютером, составила около 30%. Но для первого «чтения мыслей» это очень неплохой результат.
Сон в руку
Но достижение японских исследователей из Лаборатории нейронаук Института телекоммуникационных исследований в Киото, Института науки и технологии в Наре и Национального института информации и коммуникационных технологий в Киото представляется гораздо более значительным. В мае 2013 года они опубликовали в журнале Science работу «Нейронное декодирование зрительных изображений во время сна». Да, ученые научились видеть сны. Точнее, не видеть, а подсматривать!
Записывая с помощью фМРТ сигналы активности мозга, трех испытуемых будили (около 200 раз) на стадиях неглубокого сна и просили описать содержание последнего сновидения. Из отчетов выделяли ключевые категории, которые с помощью лексической базы данных WordNet объединяли в группы семантически близких терминов (синсеты), организованные в иерархические структуры. Данные фМРТ (за девять секунд перед пробуждением) отсортировали по синсетам.
Для тренировки модели распознавания бодрствующим испытуемым показывали изображения из базы ImageNet, соответствующие синсетам, и изучали карту активности мозга в зрительной коре. После этого компьютер оказался способным по активности различных областей мозга предсказывать с вероятностью 60-70%, что именно видит человек во сне. Это, кстати, свидетельствует о том, что человек видит сны с помощью тех же областей зрительной коры, которые используются для обычного зрения в бодрствующем состоянии. Вот только почему мы вообще видим сны, ученые пока сказать не могут.
Посмотри, что внутри
Существует несколько способов «посмотреть», что происходит в мозгу живого человека. Электроэнцефалография (ЭЭГ) использует измерения слабых электрических потенциалов на поверхности кожи головы, а магнитоэнцефалография (МЭГ) регистрирует очень слабые магнитные поля. Эти методы позволяют отслеживать суммарную электрическую активность мозга с высоким временным разрешением (единицы миллисекунд).
Позитронно-эмиссионная томография (ПЭТ) позволяет увидеть активность отдельных областей работающего мозга, отслеживая заранее введенные вещества, содержащие радиоактивные изотопы. Метод функциональной магнитно-резонансной томографии (фМРТ) основан на том, что оксигемоглобин в составе крови, несущей кислород к тканям, по своим магнитным свойствам отличается от уже отдавшего кислород дезоксигемоглобина. С помощью фМРТ можно увидеть активные области мозга, поглощающие кислород. Пространственное разрешение этого метода составляет миллиметры, а временное - порядка долей секунд.
Смотрите также:
Нейроинтерфейс: управление с помощью мысли
Автомобиль будущего: мысленное управление заменяет рулевое
Обезьяна управляет роботизированной рукой одной лишь мыслью
В начале 2000-х годов с помощью фМРТ были предприняты первые попытки «обратной ретинотопии» (ретинотопия - это упорядоченная проекция сетчатки на зрительной зоне коры головного мозга). Сначала попытки были довольно робкими: испытуемым показывали изображения и одновременно снимали данные об активности различных областей мозга с помощью фМРТ. Набрав необходимую статистику, исследователи пробовали решить обратную задачу - по карте активности мозга угадать, на что смотрит человек.
На простых картинках, где основную роль играла пространственная ориентация, расположение предметов или их категория, все вполне работало, но до «технической телепатии» было еще очень далеко. Но вот в 2008 году ученые из Института нейронаук Калифорнийского университета в Беркли под руководством профессора психологии Джека Гэлланта попытались проделать такой фокус с фотографиями. Они разделили изучаемую область мозга на небольшие элементы - вокселы (элементы объемного изображения) - и отслеживали их активность в то время, когда испытуемым (в их роли выступили два автора работы) показывали 1750 различных фотографий.
На основе этих данных ученые построили компьютерную модель, которую «обучили», показав 1000 других фотографий и получив на выходе 1000 различных паттернов активации вокселов. Оказалось, что, показывая эти же 1000 фотографий испытуемым и сравнивая снимаемые с их мозга паттерны с предсказанными компьютером, можно с достаточно высокой точностью (до 82%) определить, на какую именно фотографию смотрит человек.
Движущиеся картинки
В 2011 году коллектив исследователей под руководством того же профессора Гэлланта из Калифорнийского университета в Беркли добился значительно более интересных результатов. Показывая испытуемым «тренировочные» отрывки из кинофильмов общей продолжительностью 7200 секунд, ученые изучали активность множества вокселов мозга с помощью фМРТ.
Но здесь они столкнулись с серьезной проблемой: фМРТ реагирует на поглощение кислорода тканями мозга - гемодинамику, которая является значительно более медленным процессом, чем изменение нервных сигналов. Для исследования реакции на неподвижные изображения это не играет особой роли - фотографию можно показывать несколько секунд, а вот с динамичными видеороликами возникают серьезные проблемы. Поэтому ученые создали двухступенчатую модель, которая связывает медленную гемодинамику и быстрые нейронные процессы зрительного восприятия.
Построив первоначальную компьютерную модель «отклика» мозга на различные видео, исследователи обучили ее с помощью 18 млн односекундных видеороликов, случайно выбранных на YouTube. Потом испытуемым показывали «тестовые» фильмы (отличные от «тренировочных»), изучая активность мозга с помощью фМРТ, и компьютер выбирал из этих 18 млн сотню роликов, которые вызывали наиболее близкий паттерн активности, после чего усреднял изображение на этих роликах и выдавал «средний результат». Корреляция (совпадение) между изображением, которое видит человек, и тем, которое сгенерировано компьютером, составила около 30%. Но для первого «чтения мыслей» это очень неплохой результат.
Сон в руку
Но достижение японских исследователей из Лаборатории нейронаук Института телекоммуникационных исследований в Киото, Института науки и технологии в Наре и Национального института информации и коммуникационных технологий в Киото представляется гораздо более значительным. В мае 2013 года они опубликовали в журнале Science работу «Нейронное декодирование зрительных изображений во время сна». Да, ученые научились видеть сны. Точнее, не видеть, а подсматривать!
Записывая с помощью фМРТ сигналы активности мозга, трех испытуемых будили (около 200 раз) на стадиях неглубокого сна и просили описать содержание последнего сновидения. Из отчетов выделяли ключевые категории, которые с помощью лексической базы данных WordNet объединяли в группы семантически близких терминов (синсеты), организованные в иерархические структуры. Данные фМРТ (за девять секунд перед пробуждением) отсортировали по синсетам.
Для тренировки модели распознавания бодрствующим испытуемым показывали изображения из базы ImageNet, соответствующие синсетам, и изучали карту активности мозга в зрительной коре. После этого компьютер оказался способным по активности различных областей мозга предсказывать с вероятностью 60-70%, что именно видит человек во сне. Это, кстати, свидетельствует о том, что человек видит сны с помощью тех же областей зрительной коры, которые используются для обычного зрения в бодрствующем состоянии. Вот только почему мы вообще видим сны, ученые пока сказать не могут.
Посмотри, что внутри
Существует несколько способов «посмотреть», что происходит в мозгу живого человека. Электроэнцефалография (ЭЭГ) использует измерения слабых электрических потенциалов на поверхности кожи головы, а магнитоэнцефалография (МЭГ) регистрирует очень слабые магнитные поля. Эти методы позволяют отслеживать суммарную электрическую активность мозга с высоким временным разрешением (единицы миллисекунд).
Позитронно-эмиссионная томография (ПЭТ) позволяет увидеть активность отдельных областей работающего мозга, отслеживая заранее введенные вещества, содержащие радиоактивные изотопы. Метод функциональной магнитно-резонансной томографии (фМРТ) основан на том, что оксигемоглобин в составе крови, несущей кислород к тканям, по своим магнитным свойствам отличается от уже отдавшего кислород дезоксигемоглобина. С помощью фМРТ можно увидеть активные области мозга, поглощающие кислород. Пространственное разрешение этого метода составляет миллиметры, а временное - порядка долей секунд.
Смотрите также:
Нейроинтерфейс: управление с помощью мысли
Автомобиль будущего: мысленное управление заменяет рулевое
Обезьяна управляет роботизированной рукой одной лишь мыслью