Кортекс и экзокортекс
Вчера я выступил на "Открытых инновациях" на предмет увеличения возможностей кортекса путём снабжения его экзокортексом. Видео тут -- http://www.forinnovations.ru/ru/programe/ (и там выбрать день третий "Индустрия здоровья", зал "Владимир Зворыкин", круглый стол "загадки и возможности человеческого мозга". Отдельной ссылки прямо на видео, увы, не нашёл. Зато в SD и HD, на русском или английском).
Большинство присутствующих говорили о загадках мозга главным образом в медицинских или спортивных целях: чтобы вылечиться, или сделать протез. Я же подошёл с инженерной стороны: мозг можно инженерно усилить. Экзоскелеты применяются отнюдь не только для реабилитации парализованных. Промышленные экзоскелеты используются, чтобы люди могли без устали носить какие-нибудь стокилограммовые железки. Инструменты являются продолжением тела. А для мозга в этом смысле традиционный инструмент -- карандаш да бумажка, они помогают вынести мышление вовне.
Это только гроссмейстеры могут играть сложные партии «по памяти», а нам, простым смертным, нужна для размышления шахматная доска. Эта доска с фигурами и будет экзокортекс, помогающий кортексу примерно так же, как экзоскелет скелету: снижая нагрузку на целевой орган. Жена всегда говорит моему отроку, который застрял на очередной задаче (он любит изображать из себя гроссмейстера, решать всё в уме): "Рисуй схему! Пиши уравнения!". Он нехотя берёт карандаш в руки, и вместе с карандашом становится вдруг гораздо умнее, чем без карандаша.
Размышляется лучше с карандашом и бумажкой, к кортексу люди давно добавляют экзокортекс, куда выносят трудную часть мышления. Смешно читать в википедийной статье, что exocortex -- это hypothetical artificial external information processing system that would augment a brain's biological high-level cognitive processes (https://en.wikipedia.org/wiki/Exocortex), ибо ручка и бумажка не гипотетичны, а вполне реальны и отлично augment a brain's biological high-level cognitive processes.
В 21 веке типовой экзокортекс сильно поменялся - пассивные карандаш и бумажка заменились активным компьютером, а потом компьютер мутировал в планшет и даже дальше -- смартфон. Экзокортекс лежит в кармане 24 часа в сутки, он разгружает прежде всего память, но выполняет уже и множество других функций. Если вы забудете дома смартфон, ощущение будет, что вы забыли существенную часть собственного мозга - да, мозг без инструментов так же малоэффективен, как рука без инструментов. К хорошему экзокортексу привыкаешь быстро, он как здоровье: пока он есть, его не замечаешь, а когда нет -- то сразу плохо. Хороший экзокортекс и памяти поможет, и решения поможет принять, и обратиться за помощью к другим людям: в выгруженной из мозга мысли и сам экзокортекс, и другие люди получают шанс найти ошибки или наоборот, восхититься и подсказать новые повороты идеи. Так что вы всё больше сращиваетесь со своими экзокортексами, и вопросы инвазивности или неинвазивности этих интерфейсов начинают играть всё меньшую роль: выпавшие зубы мы не гнушаемся имплантировать, ощущение выпавшего мозга нам вряд ли захочется испытывать.
Тем не менее, сегодняшние компьютеры-экзокортексы плохо коммуницируют с нейронными сетями нашего мозга. Человечья тёплая ламповая чуйка не очень-то совместима с насквозь пока ещё формальным компьютером. Твоя моя не понимай ни на каком системном уровне: ни нейроны к фон-неймановскому процессору толком не подключишь, ни естественным языком к какой-нибудь прикладной программе не обратишься. Сложность традиционных компьютерных программ растёт, а понятливость их не увеличивается.
Новая история экзокортекса начнётся тогда, когда инструментальные дополнения мозга будут совместимы по принципам коммуникации (необязательно по принципу работы) с самим мозгом - и наиболее вероятно, что это совмещение будет реализовано через искусственные нейронные сети, дополненные другими алгоритмами обучения (http://research.microsoft.com/apps/video/default.aspx?id=256288&r=1, книжка http://www.amazon.com/dp/0465065708/).
Три года назад люди, обсуждавшие прямую коммуникацию нейронов мозга с каким-то компьютерным интерфейсом, выглядели фантазёрами. Пластичность мозга была понятна, но ригидность компьютерных интерфейсов была понятна не меньше. Сегодня алгоритмы глубокого обучения (они же -- искусственные нейронные сети, но не только) позволяют говорить и о пластичности алгоритмов, алгоритмы тоже оказались обучаемы -- и даже можно обсуждать, на каком уровне эти алгоритмы должны обучиться разговаривать с мозгом: прямой нейронной передачи с инвазивным интерфейсом, или обращения к бессознательному и сознанию (тут я явно даю формулировку, позволяющую заодно переоткрыть принципы нейролингвистического программирования как они понимались Р.Бэндлером и Дж.Гриндером, и даже оценить взаимовлияние двух нейронных сеток -- живой и неживой)! Вот для этого второго способа даже инвазивность интерфейса не нужна, достаточно того же смартфона!
Я не думаю, что искусственные нейронные сети будут просто "тупым" интерфейсом, связывающим человеческие мозги в Brainet (животных потихоньку уже ведь связывают -- крыс http://www.nature.com/articles/srep11869, обезьян -- http://www.nature.com/articles/srep10767, соавтор этих работ Михаил Лебедев тоже участвовал в этом круглом столе). Это не так интересно, быть "вычислительной батарейкой" в "Матрице". Нет, нейронные сети развиваются не в направлении "просто удобного интерфейса к тому, к чему непонятно как делать интерфейс".
Я думаю, что прежде нейронные сети помогут создать полноценных агентов, которые могут принимать какие-то самостоятельные решения, это будет активный и коллективный экзокортекс. Помните фильм "Her" с замечательным диалогом "-- Ты говоришь с кем-то? Прямо сейчас? Люди, ОС, что угодно. -- Да. -- Скольких их? -- 8316" (http://subfilms.ru/sub-titry-k-filmu-ona-her-2013-skachat/). Вот это и есть современный экзокортекс, который дан нам в виде корпоративных информационных систем, вебсайтов социальных сетей и прочих пока безголосых информационных систем. Скоро эти информационные системы аватаризуются (как индийским богам нужны были аватары для пребывания в нашем мире и общения с людьми, так и виртуальным агентам они тоже будут нужны для того же), обретут имя (Siri, Google, Alexa, Cortana -- это только самое начало истории).
Мы думаем, что человек-киборг будет с половиной черепа из металла и глазом из сложной формы объектива, но это не так. CYBernetic ORGanizm вдруг становится CYBernetic ORGanizaton, киборг-1 вдруг стал киборгом-2, личная и внеличная часть экзокортекса плавно переходят одна в другую.
Итак, наша живая нейронная сеть будет расширена смесью нейронных сетей, квантовых вычислений, эволюционных алгоритмов на машинах фон-неймановской архитектуры и ещё бог весть знает чем, и все эти сети будут общаться между собой, используя отнюдь не жёсткие онто-логические (как в современной онто-логии) построения, а вполне эпистемологические, ибо знания все остаются скрытыми, только распределены они будут между людьми и агентами по-другому.
Пикантной особенностью тут служит то, что даже в случае карандаша и бумажки вынесенная мысль может быть использована для координации работ, ровно как сейчас в качестве экзокортекса для таких мыслей используется корпоративная информационная система. Координации семьи. Координации какого-то хобби-кружка. И не спрашивайте, сколько в этих корпорациях, семьях, кружках будет живых людей, а сколько не очень живых агентов-из-экзокортекса. Люди очень адаптивны, привыкнут ко всему. А deep learning алгоритмы тёплую ламповую человечность будут моделировать не хуже, чем холодную транзисторную злобу -- по потребности (можно пообсуждать, чьей потребности. Кто будет контролировать экзокортекс, у которого мордочка ваша, серединка в облаке у провайдера, а хвост где-то у Большого Брата? Но и у обычного сотового телефона всё точно так же, и это никого не смущает! При всей горячести дискуссий про СОРМ и злоупотребления властью).
* * *
Если прокомментировать некоторые другие мысли, которые прозвучали на этом круглом столе, то:
1. Я думаю, что "загадки мозга" будут изучаться так же, как "загадки полёта птички". Сначала нужно сделать железный самолёт и хорошенько его поизучать, а уж потом использовать это знание и отработанные на самолётах технологии для лучшего понимания полёта птички. С мозгом, IMHO, будет так же: изучат biologically plausible нейронные сети (см. собранные мной несколько свежих ссылок на эту тему тут: https://www.facebook.com/groups/nevronet/permalink/558179734348352/), а затем станет в разы понятней, что как и почему происходит в мозге.
2. Исследования сознания получают новое развитие, если мы используем не только attention schema theory http://ailev.livejournal.com/1193568.html, но перейдём к другим моделям языка -- в том числе таким, которые объединяют визуальные, аудиальные, письменные и прочие языки, докручивают идею синестезии (кстати, использованию синестезии был посвящён и доклад Амира Амеди). Это прежде всего идея something (прежде всего word) embeddings (хотя там отнюдь не только с word работают сейчас) -- идея работать в многомерных пространствах значений, где что-то (прежде всего слова) будут просто какими-то векторами/координатами в этом пространстве и, следовательно, возможны точки пространства значений, где нет никаких слов, но можно подозревать наличие значений -- вот: http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/. Много ссылок по work embedding и история вопроса вот тут: http://gavagai.se/blog/2015/09/30/a-brief-history-of-word-embeddings/. Конечно, эта старинка-новинка очень по-разному называется, например тут "мыслевые вектора": http://deeplearning4j.org/thoughtvectors. Сюда же добавляются исследования "памяти" и "внимания" (не совсем в психологическом смысле, но всё же) https://drive.google.com/file/d/0B16RwCMQqrtdNUptOGtDeDhxZ0E/view, а предпоследний слайд там даёт идею синестезии/перевода: перевод видео в текст по тем же принципам как перевод текста в текст. Есть уже неплохие реализации, типа http://kelvinxu.github.io/projects/capgen.html (тут картинки, как оно примерно работает - как видеовнимание переводят в слова, как создают надписи к картинкам: переводят "визуальный язык" в естественный английский). Это близко к исследованиям группы Олега Бахтиярова по языкам, которые должны передавать непередаваемое, но там ход как раз на отказ от формальных символьных представлений и переход к распределённым (distributional), в том числе синестезийным (document embeddings, pictures embeddings, sounds embeddings и т.д.). --
Чисто мемориальная отсылка: вот тут я развивал идеи про разные синестезии, ещё летом 2003г: http://ailev.livejournal.com/88884.html. Ровно все те же мысли, различение семиологического (основанного на каких-то знаках языка) и несемиологического (внеязыкового, на распределённых представлениях) процессинга. Направление работ очень старое, но достижения тут начинают появляться только сейчас, дай бог здоровья геймерам, оплатившим развитие GPU -- вычислений для этих embeddings нужно ой-ой сколько. Ну, и attention schema theory тогда тоже ещё не было. И системным подходом я тогда не слишком-то пользовался.
Но вот прямо сейчас делают железный синестезийный ("мультимодальный") самолётик в deep learning, он как-то начнёт летать, а затем мы сделаем ещё один подход к птичьей тёплой ламповой синестезии, будем разбираться как она летает. Без моделей плохо, а нейронные искусственные сетки совсем плохо отражают работу мозга, ну прям совсем плохо. Но всё-таки лучше, чем какие-то симуляционные модели, основанные на символьных вычислениях.
3. Мне понравилась мысль Владимира Касаткина про необходимость развивать сначала пространственное и ритмическое восприятие-мышление-действие как основу для практически любой потом работы с мозгом. Вот про ритм -- это очень правильное замечание, тактовая частота и человеку нужна, так сказать "вестибулярный аппарат для времени", чтобы не шатало, чтобы не заносило во времени, чтобы не падал во времени. И да, Касаткин демонстрировал один из современных вариантов BrainPort как раз для вестибулярных (пространственных) коррекций -- http://science.howstuffworks.com/brainport.htm. Жаль, что он ничего не сказал про подобные аппараты для ритмических коррекций: что там в мозгу нужно простимулировать, чтобы включить ориентацию положения во времени?
* * *
Это был второй мой доклад на "Открытых инновациях", первый же мой доклад (слайды и кусочек тезисов тут: http://ailev.livejournal.com/1223021.html) был посвящён разворачиванию тезиса о том, как поддерживающий неформальную "человеческую чуйку" коллективный экзокортекс мог бы помогать выявлять и согласовывать интересы (stakeholder concerns) при формировании проекта, на самой мутной стадии жизненного цикла системы и проекта -- когда ни системы, ни проекта ещё нет и они не определены.
Большинство присутствующих говорили о загадках мозга главным образом в медицинских или спортивных целях: чтобы вылечиться, или сделать протез. Я же подошёл с инженерной стороны: мозг можно инженерно усилить. Экзоскелеты применяются отнюдь не только для реабилитации парализованных. Промышленные экзоскелеты используются, чтобы люди могли без устали носить какие-нибудь стокилограммовые железки. Инструменты являются продолжением тела. А для мозга в этом смысле традиционный инструмент -- карандаш да бумажка, они помогают вынести мышление вовне.
Это только гроссмейстеры могут играть сложные партии «по памяти», а нам, простым смертным, нужна для размышления шахматная доска. Эта доска с фигурами и будет экзокортекс, помогающий кортексу примерно так же, как экзоскелет скелету: снижая нагрузку на целевой орган. Жена всегда говорит моему отроку, который застрял на очередной задаче (он любит изображать из себя гроссмейстера, решать всё в уме): "Рисуй схему! Пиши уравнения!". Он нехотя берёт карандаш в руки, и вместе с карандашом становится вдруг гораздо умнее, чем без карандаша.
Размышляется лучше с карандашом и бумажкой, к кортексу люди давно добавляют экзокортекс, куда выносят трудную часть мышления. Смешно читать в википедийной статье, что exocortex -- это hypothetical artificial external information processing system that would augment a brain's biological high-level cognitive processes (https://en.wikipedia.org/wiki/Exocortex), ибо ручка и бумажка не гипотетичны, а вполне реальны и отлично augment a brain's biological high-level cognitive processes.
В 21 веке типовой экзокортекс сильно поменялся - пассивные карандаш и бумажка заменились активным компьютером, а потом компьютер мутировал в планшет и даже дальше -- смартфон. Экзокортекс лежит в кармане 24 часа в сутки, он разгружает прежде всего память, но выполняет уже и множество других функций. Если вы забудете дома смартфон, ощущение будет, что вы забыли существенную часть собственного мозга - да, мозг без инструментов так же малоэффективен, как рука без инструментов. К хорошему экзокортексу привыкаешь быстро, он как здоровье: пока он есть, его не замечаешь, а когда нет -- то сразу плохо. Хороший экзокортекс и памяти поможет, и решения поможет принять, и обратиться за помощью к другим людям: в выгруженной из мозга мысли и сам экзокортекс, и другие люди получают шанс найти ошибки или наоборот, восхититься и подсказать новые повороты идеи. Так что вы всё больше сращиваетесь со своими экзокортексами, и вопросы инвазивности или неинвазивности этих интерфейсов начинают играть всё меньшую роль: выпавшие зубы мы не гнушаемся имплантировать, ощущение выпавшего мозга нам вряд ли захочется испытывать.
Тем не менее, сегодняшние компьютеры-экзокортексы плохо коммуницируют с нейронными сетями нашего мозга. Человечья тёплая ламповая чуйка не очень-то совместима с насквозь пока ещё формальным компьютером. Твоя моя не понимай ни на каком системном уровне: ни нейроны к фон-неймановскому процессору толком не подключишь, ни естественным языком к какой-нибудь прикладной программе не обратишься. Сложность традиционных компьютерных программ растёт, а понятливость их не увеличивается.
Новая история экзокортекса начнётся тогда, когда инструментальные дополнения мозга будут совместимы по принципам коммуникации (необязательно по принципу работы) с самим мозгом - и наиболее вероятно, что это совмещение будет реализовано через искусственные нейронные сети, дополненные другими алгоритмами обучения (http://research.microsoft.com/apps/video/default.aspx?id=256288&r=1, книжка http://www.amazon.com/dp/0465065708/).
Три года назад люди, обсуждавшие прямую коммуникацию нейронов мозга с каким-то компьютерным интерфейсом, выглядели фантазёрами. Пластичность мозга была понятна, но ригидность компьютерных интерфейсов была понятна не меньше. Сегодня алгоритмы глубокого обучения (они же -- искусственные нейронные сети, но не только) позволяют говорить и о пластичности алгоритмов, алгоритмы тоже оказались обучаемы -- и даже можно обсуждать, на каком уровне эти алгоритмы должны обучиться разговаривать с мозгом: прямой нейронной передачи с инвазивным интерфейсом, или обращения к бессознательному и сознанию (тут я явно даю формулировку, позволяющую заодно переоткрыть принципы нейролингвистического программирования как они понимались Р.Бэндлером и Дж.Гриндером, и даже оценить взаимовлияние двух нейронных сеток -- живой и неживой)! Вот для этого второго способа даже инвазивность интерфейса не нужна, достаточно того же смартфона!
Я не думаю, что искусственные нейронные сети будут просто "тупым" интерфейсом, связывающим человеческие мозги в Brainet (животных потихоньку уже ведь связывают -- крыс http://www.nature.com/articles/srep11869, обезьян -- http://www.nature.com/articles/srep10767, соавтор этих работ Михаил Лебедев тоже участвовал в этом круглом столе). Это не так интересно, быть "вычислительной батарейкой" в "Матрице". Нет, нейронные сети развиваются не в направлении "просто удобного интерфейса к тому, к чему непонятно как делать интерфейс".
Я думаю, что прежде нейронные сети помогут создать полноценных агентов, которые могут принимать какие-то самостоятельные решения, это будет активный и коллективный экзокортекс. Помните фильм "Her" с замечательным диалогом "-- Ты говоришь с кем-то? Прямо сейчас? Люди, ОС, что угодно. -- Да. -- Скольких их? -- 8316" (http://subfilms.ru/sub-titry-k-filmu-ona-her-2013-skachat/). Вот это и есть современный экзокортекс, который дан нам в виде корпоративных информационных систем, вебсайтов социальных сетей и прочих пока безголосых информационных систем. Скоро эти информационные системы аватаризуются (как индийским богам нужны были аватары для пребывания в нашем мире и общения с людьми, так и виртуальным агентам они тоже будут нужны для того же), обретут имя (Siri, Google, Alexa, Cortana -- это только самое начало истории).
Мы думаем, что человек-киборг будет с половиной черепа из металла и глазом из сложной формы объектива, но это не так. CYBernetic ORGanizm вдруг становится CYBernetic ORGanizaton, киборг-1 вдруг стал киборгом-2, личная и внеличная часть экзокортекса плавно переходят одна в другую.
Итак, наша живая нейронная сеть будет расширена смесью нейронных сетей, квантовых вычислений, эволюционных алгоритмов на машинах фон-неймановской архитектуры и ещё бог весть знает чем, и все эти сети будут общаться между собой, используя отнюдь не жёсткие онто-логические (как в современной онто-логии) построения, а вполне эпистемологические, ибо знания все остаются скрытыми, только распределены они будут между людьми и агентами по-другому.
Пикантной особенностью тут служит то, что даже в случае карандаша и бумажки вынесенная мысль может быть использована для координации работ, ровно как сейчас в качестве экзокортекса для таких мыслей используется корпоративная информационная система. Координации семьи. Координации какого-то хобби-кружка. И не спрашивайте, сколько в этих корпорациях, семьях, кружках будет живых людей, а сколько не очень живых агентов-из-экзокортекса. Люди очень адаптивны, привыкнут ко всему. А deep learning алгоритмы тёплую ламповую человечность будут моделировать не хуже, чем холодную транзисторную злобу -- по потребности (можно пообсуждать, чьей потребности. Кто будет контролировать экзокортекс, у которого мордочка ваша, серединка в облаке у провайдера, а хвост где-то у Большого Брата? Но и у обычного сотового телефона всё точно так же, и это никого не смущает! При всей горячести дискуссий про СОРМ и злоупотребления властью).
* * *
Если прокомментировать некоторые другие мысли, которые прозвучали на этом круглом столе, то:
1. Я думаю, что "загадки мозга" будут изучаться так же, как "загадки полёта птички". Сначала нужно сделать железный самолёт и хорошенько его поизучать, а уж потом использовать это знание и отработанные на самолётах технологии для лучшего понимания полёта птички. С мозгом, IMHO, будет так же: изучат biologically plausible нейронные сети (см. собранные мной несколько свежих ссылок на эту тему тут: https://www.facebook.com/groups/nevronet/permalink/558179734348352/), а затем станет в разы понятней, что как и почему происходит в мозге.
2. Исследования сознания получают новое развитие, если мы используем не только attention schema theory http://ailev.livejournal.com/1193568.html, но перейдём к другим моделям языка -- в том числе таким, которые объединяют визуальные, аудиальные, письменные и прочие языки, докручивают идею синестезии (кстати, использованию синестезии был посвящён и доклад Амира Амеди). Это прежде всего идея something (прежде всего word) embeddings (хотя там отнюдь не только с word работают сейчас) -- идея работать в многомерных пространствах значений, где что-то (прежде всего слова) будут просто какими-то векторами/координатами в этом пространстве и, следовательно, возможны точки пространства значений, где нет никаких слов, но можно подозревать наличие значений -- вот: http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/. Много ссылок по work embedding и история вопроса вот тут: http://gavagai.se/blog/2015/09/30/a-brief-history-of-word-embeddings/. Конечно, эта старинка-новинка очень по-разному называется, например тут "мыслевые вектора": http://deeplearning4j.org/thoughtvectors. Сюда же добавляются исследования "памяти" и "внимания" (не совсем в психологическом смысле, но всё же) https://drive.google.com/file/d/0B16RwCMQqrtdNUptOGtDeDhxZ0E/view, а предпоследний слайд там даёт идею синестезии/перевода: перевод видео в текст по тем же принципам как перевод текста в текст. Есть уже неплохие реализации, типа http://kelvinxu.github.io/projects/capgen.html (тут картинки, как оно примерно работает - как видеовнимание переводят в слова, как создают надписи к картинкам: переводят "визуальный язык" в естественный английский). Это близко к исследованиям группы Олега Бахтиярова по языкам, которые должны передавать непередаваемое, но там ход как раз на отказ от формальных символьных представлений и переход к распределённым (distributional), в том числе синестезийным (document embeddings, pictures embeddings, sounds embeddings и т.д.). --
Чисто мемориальная отсылка: вот тут я развивал идеи про разные синестезии, ещё летом 2003г: http://ailev.livejournal.com/88884.html. Ровно все те же мысли, различение семиологического (основанного на каких-то знаках языка) и несемиологического (внеязыкового, на распределённых представлениях) процессинга. Направление работ очень старое, но достижения тут начинают появляться только сейчас, дай бог здоровья геймерам, оплатившим развитие GPU -- вычислений для этих embeddings нужно ой-ой сколько. Ну, и attention schema theory тогда тоже ещё не было. И системным подходом я тогда не слишком-то пользовался.
Но вот прямо сейчас делают железный синестезийный ("мультимодальный") самолётик в deep learning, он как-то начнёт летать, а затем мы сделаем ещё один подход к птичьей тёплой ламповой синестезии, будем разбираться как она летает. Без моделей плохо, а нейронные искусственные сетки совсем плохо отражают работу мозга, ну прям совсем плохо. Но всё-таки лучше, чем какие-то симуляционные модели, основанные на символьных вычислениях.
3. Мне понравилась мысль Владимира Касаткина про необходимость развивать сначала пространственное и ритмическое восприятие-мышление-действие как основу для практически любой потом работы с мозгом. Вот про ритм -- это очень правильное замечание, тактовая частота и человеку нужна, так сказать "вестибулярный аппарат для времени", чтобы не шатало, чтобы не заносило во времени, чтобы не падал во времени. И да, Касаткин демонстрировал один из современных вариантов BrainPort как раз для вестибулярных (пространственных) коррекций -- http://science.howstuffworks.com/brainport.htm. Жаль, что он ничего не сказал про подобные аппараты для ритмических коррекций: что там в мозгу нужно простимулировать, чтобы включить ориентацию положения во времени?
* * *
Это был второй мой доклад на "Открытых инновациях", первый же мой доклад (слайды и кусочек тезисов тут: http://ailev.livejournal.com/1223021.html) был посвящён разворачиванию тезиса о том, как поддерживающий неформальную "человеческую чуйку" коллективный экзокортекс мог бы помогать выявлять и согласовывать интересы (stakeholder concerns) при формировании проекта, на самой мутной стадии жизненного цикла системы и проекта -- когда ни системы, ни проекта ещё нет и они не определены.