Дрессировщики роботов, учите навыки паттернования двигательной активности
Оригинал взят у ailev в Роботов теперь не программируют, а дрессируют
Сегодня прочёл почти двухчасовой доклад на тему дрессировки роботов: http://incose-ru.livejournal.com/53902.html (там видео и слайды). На одном из слайдов намеренно привёл "теорию вопроса": книжку Карен Прайор про дрессировку собак. Ибо с роботом сегодня поступают ровно так же: его уже не программируют на выполнение сложных функций, а дают поиграться с окружающим миром, награждая за правильное поведение. Результат -- воспитанный, хорошо выдрессированный робот.
Мы ещё год назад активно обсуждали киберфизические системы, сложности их программирования, сложность представления модели окружающего мира в таких системах. А выяснилось, что роботов учат ездить на велосипеде ровно так же, как медведей: не запихивая в их убогие мозги разнообразные дифуры, а методом кнута и пряника. Медведь не знает дифуров, но едет. Робот тоже не знает дифуров, но после некоторой практики с кнутом и пряником тоже едет. Много рефлексов, мало реконструкции сложной модели окружающего мира на формальном онтологическом или ещё каком языке.
Например, как научить робота двухпальцевым захватом правильно брать игрушки неправильной формы? Как научить его определять место "оптимального захвата" для игрушек произвольной формы -- от водяных пистолетиков до мячиков, от ёлочек до кукол? Программировать такое слишком долго и трудно. Но можно заставить робота хватать уж как придётся, и поощрять за каждую не выскользнувшую из захвата игрушку. Через примерно 50тыс. попыток (сегодняшние роботы тупы, они медленно учатся) наслаждаться тем, что игрушки прекратили выскальзывать! Конечно, это 700 часов дрессировки. Но это не 700 часов труда программиста (и ещё непонятно, сможет ли программист решить такую задачу. Я вот не уверен, что сможет. Точнее, уверен, что не сможет -- ни за 700 часов, ни за 7тыс. часов).
Забавно, что visuomotor learning (зрительно-двигательное обучение) приходится сегодня для инженеров специально переводить. Ибо слово visuomotor было из языка нейрофизиологов, не робототехников. А сейчас статей про visuomotor learning для роботов -- толстый ручеёк. А вслед за статьями текут инвесторские деньги. Посмотрите слайды, там про всё это достаточное количество ссылок. И послушайте видео, я там "на пальцах" всё это разъясняю. Бонус-трек для специалистов -- пятнадцать минут дискуссии в конце заседания про перспективы симбиоза распределённых и символьных представлений.
Вот тут я ещё немного про дрессировку роботов писал (как про это пишет Karphathy): http://ailev.livejournal.com/1228496.html -- только там научно-фантастический рассказ, а тут у меня примеры из реальной жизни.
Сегодня прочёл почти двухчасовой доклад на тему дрессировки роботов: http://incose-ru.livejournal.com/53902.html (там видео и слайды). На одном из слайдов намеренно привёл "теорию вопроса": книжку Карен Прайор про дрессировку собак. Ибо с роботом сегодня поступают ровно так же: его уже не программируют на выполнение сложных функций, а дают поиграться с окружающим миром, награждая за правильное поведение. Результат -- воспитанный, хорошо выдрессированный робот.
Мы ещё год назад активно обсуждали киберфизические системы, сложности их программирования, сложность представления модели окружающего мира в таких системах. А выяснилось, что роботов учат ездить на велосипеде ровно так же, как медведей: не запихивая в их убогие мозги разнообразные дифуры, а методом кнута и пряника. Медведь не знает дифуров, но едет. Робот тоже не знает дифуров, но после некоторой практики с кнутом и пряником тоже едет. Много рефлексов, мало реконструкции сложной модели окружающего мира на формальном онтологическом или ещё каком языке.
Например, как научить робота двухпальцевым захватом правильно брать игрушки неправильной формы? Как научить его определять место "оптимального захвата" для игрушек произвольной формы -- от водяных пистолетиков до мячиков, от ёлочек до кукол? Программировать такое слишком долго и трудно. Но можно заставить робота хватать уж как придётся, и поощрять за каждую не выскользнувшую из захвата игрушку. Через примерно 50тыс. попыток (сегодняшние роботы тупы, они медленно учатся) наслаждаться тем, что игрушки прекратили выскальзывать! Конечно, это 700 часов дрессировки. Но это не 700 часов труда программиста (и ещё непонятно, сможет ли программист решить такую задачу. Я вот не уверен, что сможет. Точнее, уверен, что не сможет -- ни за 700 часов, ни за 7тыс. часов).
Забавно, что visuomotor learning (зрительно-двигательное обучение) приходится сегодня для инженеров специально переводить. Ибо слово visuomotor было из языка нейрофизиологов, не робототехников. А сейчас статей про visuomotor learning для роботов -- толстый ручеёк. А вслед за статьями текут инвесторские деньги. Посмотрите слайды, там про всё это достаточное количество ссылок. И послушайте видео, я там "на пальцах" всё это разъясняю. Бонус-трек для специалистов -- пятнадцать минут дискуссии в конце заседания про перспективы симбиоза распределённых и символьных представлений.
Вот тут я ещё немного про дрессировку роботов писал (как про это пишет Karphathy): http://ailev.livejournal.com/1228496.html -- только там научно-фантастический рассказ, а тут у меня примеры из реальной жизни.