lytdybr
На следующей неделе с вечера четверга 18 апреля еду в Бекасово, на уже десятую рабочую встречу Русского отделения INCOSE -- https://incose-rus.weebly.com/bekasovo-2019.html (и там нужен для доступа VPN -- это даже не Роснадзор, это сам weebly защищается от трафика из России и Украины). Буду там делать доклад по AI в инженерии. Например, как запускают нейроэволюцию графа для принятия архитектурных решений о теле (не мозгах!) робота, https://pdfs.semanticscholar.org/f593/a8ebfce6072d12e61cfd8aa86a6f784da9fe.pdf. Despite the recent successes in robotic locomotion control, the design of robots, i.e., the design of their body structure, still heavily relies on human engineering. Automatic robot design has been a long studied subject, however, progress has been slow due to large combinatorial search space and the difficulty to efficiently evaluate the candidate structures. Note that one needs to both, search over many possible body structures, and choose among them based on how the robot with that structure performs in an environment. The latter means training an optimal controller given a candidate structure, which in itself is costly to obtain. In this paper, we propose Neural Graph Evolution (NGE), which performs evolutionary search in graph space, by iteratively evolving graph structures using simple mutation primitives. Key to our approach is to parameterize the control policies with graph neural networks, which allows us to transfer skills from previously evaluated designs during the graph search. This significantly reduces evaluation cost of new candidates and makes the search process orders of magnitude more efficient than that of past work. О большинстве таких работ мы не узнаем никогда, ибо архитектурой редко занимаются в университетах, а больше в тщательно охраняющих свои коммерческие секреты компаниях. Но тренд на автоматизацию инженерного творчества уже очевиден. Вот и расскажу об этом.
Провёл вчера очередной тренинг по апргейду образования инженера, менеджера, предпринимателя. С удивлением обнаружил там двоих курсантов, которые уже проходили этот тренинг. Они сказали, что повторяют его для лучшего уяснения содержания. Я уже привык, что на мои курсы по системному мышлению и менеджменту приходят по два, а иногда и три раза. Но на этом курсе такое впервые. В этом, я думаю, есть свой резон: я непрерывно обновляю содержание курса, он мной и замыслен для того, чтобы иметь постоянно свежее "оглавление всего". И это сейчас мой самый любимый курс: я использую его для того, чтобы поддерживать самое актуальное состояние всех моих исследований по второму бакалавриату. Последние изменения в слайды я сделал буквально утром перед курсом, так что читал по слайдам, которые уже чуть-чуть отличались от разосланных тремя днями ранее. Сама идея второго бакалавриата, его необходимости и его устройства становится всё более и более понятной с каждой итерацией. На этом тренинге я чётко обозначил: изо всех многочисленных проблем главной считаю отсутствие содержания образования -- нет учебников, курсов, задачников, подчас нет даже наименования дисциплин. Их нужно делать (это задача моя), а пока заниматься самостоятельно по предлагаемым книгам с изложением SoTA (это задача курсантов). Как я написал несколько дней назад в https://ailev.livejournal.com/1469354.html, полную программу обновления фундаментальных знаний и приобретения кругозора при более-менее интенсивной учёбе я оцениваю в 48 тренинговых дней и 2 года учёбы. Примерно про это же по итогам конференции "Прикладное системное мышление" написал сегодня Церен Церенов, он вообще предлагает нам как можно скорее переходить к длинным образовательным программам типа университетских, а не выдавать отдельные курсы россыпью: https://www.facebook.com/tseren.tserenov/posts/2018491081582171. Но для начала эти курсы нужно создать. Их по нужным нам компетенциям, увы, ещё не существует в природе.
Я вот писал, что хороший конкурс для AI будет просто "сдать ЕГЭ" -- этой ерундой не люди должны заниматься, а машины (https://ailev.livejournal.com/1468166.html ). Вот, DeepMind исследовал проблему: пока школьный тест по математике сдаётся из рук вон плохо: https://medium.com/syncedreview/deepmind-ai-flunks-high-school-math-test-2e32635c0e2d. При этом продолжаются "два прорыва в неделю". Вот, например, нынешнее состояние конкурса GLUE (General Language Understanding Evaluation), где требуется достичь человечьих результатов в десятке задач по работе с естественным языком: https://gluebenchmark.com/leaderboard. Эти результаты обновляются довольно часто -- если кликнуть на строчки, там появляются подробности. Три последних результата сейчас -- 21 марта, 25 марта, 1 апреля. Пока 8 дней ничего не происходит, текущий лидер -- Microsoft 365 AI MSR AI с моделью MT-DNN++ aka BigBird, счёт 83.8 против человеческих 87.1 (а первый победитель был с 72.8 -- 1 февраля 2019). Но всё уже понятно, такими темпами человечьи результаты будут получены через месяц-другой. Так что по факту этот конкурс уже исчерпал себя, и организаторы готовят конкурс потруднее, уже этой весной: https://docs.google.com/document/d/1y5Yc5tTumKw-3Rt6Sb_ESh_JUjPu28iTL9Fat-uNb-4/edit. Ругаться, что "машина тупая", через пару лет будут примерно так же, как ругаются сегодня на "тупой персонал" -- но пользоваться будут. Ибо машина будет не тупее "персонала", а стоить будет дешевле. А люди? Займутся чем-нибудь ещё. 90% населения земли как-то занимались сельским хозяйством, а теперь занялись чем-то ещё. Про классический фабричный пролетариат в сравнимых с крестьянством количествах тоже уже давно не слышно. Ну, и с офисным планктоном будет та же история. И да, в развитых странах перейдут на четырёхдневную рабочую неделю. А ещё через несколько лет и на трёхдневную. Если эта "многодневная работа" не развалится раньше под натиском gig economy (https://www.forbes.com/sites/johnfrazer1/2019/02/15/how-the-gig-economy-is-reshaping-careers-for-the-next-generation/ -- According to the CEO of Intuit, Brad Smith: “The gig economy [in the U.S.]…is now estimated to be about 34% of the workforce and expected to be 43% by the year 2020.” That was in 2017). Но это я отвлёкся и продолжаю вести вчерашний тренинг. Продолжим через месяц.
99% споров у меня в ЖЖ (а их немало было на прошлой неделе) происходит от бабахнутых на математике технарей:
-- они не слыхали о вероятностной логике, все рассуждения у них в FOL. Про оценки правдоподобия, сдвижку этой оценки при нахождении разных свидетельств в пользу и против какой-то гипотезы, про учёт априорного знания -- не, не слышали. А ещё они непрерывно требуют "математических определений", верных для любых контекстов, т.е. веруют в метафизику с вечными и общими для всего классами (я уж столько раз об этом писал, например, https://ailev.livejournal.com/1365963.html -- но не читают ведь, и не принимают аргументы во внимание!).
-- споры о терминах, в количестве. Выдаваемые про споры о концептах. Про словарные сообщества, семантические сообщества, модели языка (с вероятностным отнесением смысла к словам и словосочетаниям) -- не, не слышали. Сами-себе-словари, сами себе творители языковой нормы.
Тут я вспоминаю себя пару десятков лет назад, и мне становится стыдно: я ведь ровно таким всегда был! Это ж и есть "хорошее образование", как оно понималось в прошлом веке!
С гуманитариями полегче, но у них через слово на второе всплывает что-нибудь трансцедентное, эзотерическое и вообще мимо логики, а хоть и вероятностной. Невероятностная не-логика, и ведь с таким даже не поспоришь (по определению, по этим правилам ведь выиграть в споре нельзя -- вместо правдоподобия используется только аналогия).
Вот поэтому я и озабочен курсами. С пришедшими из прошлого людьми, хоть они трижды технари или философы, плохо договариваться. В настоящем пришедшие из прошлого -- дикари. Сначала нужно их подучить, дать знание state-of-the-art, а потом уже что-то совместно с ними делать. Но какой дикарь добровольно идёт в школу? Он же и так умеет бегать, прыгать, и метко стрелять из лука! Ещё и вас научить может! А ещё любой дикарь хорошо знает народный эпос, и любит ему учить в интернетах. Это его дикарские понятия о культуре: нести другим людям не state-of-the-art с мыслительного фронтира, а обычаи предков. Особенно мыслительные обычаи, подхваченные в каком-то вузе пару десятков лет назад. И ничего с этой жаждой дикарского миссионерства сделать нельзя. Сам таким был, точно знаю. С огромным удивлением узнавал, что уже в 21 веке с моим "отличным образованием" появились проблемы: оно банально устарело. Так что пришлось попахать, чтобы переобразоваться.
Зашёл в Мосхозторг, впечатлился жидким мылом "Жигулёвское", на котором мелким шрифтом напечатано предупреждение, что внутрь не употреблять (я даже заснял его в инстаграмме -- https://www.instagram.com/ailevenchuk/). Но главная тамошняя находка -- это розовый баллончик "Сияние" для очистки печек и прочей керамики. Он прыскает пенкой, и эта пенка сжирает весь жир с копотью, любой давности. Этих жидкостей и пенок уже было перепробовано много, но эта -- лучшая. Состав? Главным образом NaOH с парочкой ПАВ, что для меня как-то не очень сочетается с розовыми цветами этого баллончика. Ничего сложного или необычного (хотя мы не понимаем, какие именно ПАВ были использованы), но итоговый эффект впечатляет. Название "Сияние" вполне себя оправдывает.
Яндекс.музыка посчитала, что из новенького мне обязательно нужно послушать Ceremony -- https://music.yandex.ru/album/6869596/track/49930741. Ой, какая нынче музыка -- чёрт с ней, с гармонией, мелодией, ритмом, но какие тембры! А из старенького мне напомнили "Хризантемы" от Moscow Grooves Institute и Ольги Рождественской -- https://www.youtube.com/watch?v=8kmDyMc3YOc.
Провёл вчера очередной тренинг по апргейду образования инженера, менеджера, предпринимателя. С удивлением обнаружил там двоих курсантов, которые уже проходили этот тренинг. Они сказали, что повторяют его для лучшего уяснения содержания. Я уже привык, что на мои курсы по системному мышлению и менеджменту приходят по два, а иногда и три раза. Но на этом курсе такое впервые. В этом, я думаю, есть свой резон: я непрерывно обновляю содержание курса, он мной и замыслен для того, чтобы иметь постоянно свежее "оглавление всего". И это сейчас мой самый любимый курс: я использую его для того, чтобы поддерживать самое актуальное состояние всех моих исследований по второму бакалавриату. Последние изменения в слайды я сделал буквально утром перед курсом, так что читал по слайдам, которые уже чуть-чуть отличались от разосланных тремя днями ранее. Сама идея второго бакалавриата, его необходимости и его устройства становится всё более и более понятной с каждой итерацией. На этом тренинге я чётко обозначил: изо всех многочисленных проблем главной считаю отсутствие содержания образования -- нет учебников, курсов, задачников, подчас нет даже наименования дисциплин. Их нужно делать (это задача моя), а пока заниматься самостоятельно по предлагаемым книгам с изложением SoTA (это задача курсантов). Как я написал несколько дней назад в https://ailev.livejournal.com/1469354.html, полную программу обновления фундаментальных знаний и приобретения кругозора при более-менее интенсивной учёбе я оцениваю в 48 тренинговых дней и 2 года учёбы. Примерно про это же по итогам конференции "Прикладное системное мышление" написал сегодня Церен Церенов, он вообще предлагает нам как можно скорее переходить к длинным образовательным программам типа университетских, а не выдавать отдельные курсы россыпью: https://www.facebook.com/tseren.tserenov/posts/2018491081582171. Но для начала эти курсы нужно создать. Их по нужным нам компетенциям, увы, ещё не существует в природе.
Я вот писал, что хороший конкурс для AI будет просто "сдать ЕГЭ" -- этой ерундой не люди должны заниматься, а машины (https://ailev.livejournal.com/1468166.html ). Вот, DeepMind исследовал проблему: пока школьный тест по математике сдаётся из рук вон плохо: https://medium.com/syncedreview/deepmind-ai-flunks-high-school-math-test-2e32635c0e2d. При этом продолжаются "два прорыва в неделю". Вот, например, нынешнее состояние конкурса GLUE (General Language Understanding Evaluation), где требуется достичь человечьих результатов в десятке задач по работе с естественным языком: https://gluebenchmark.com/leaderboard. Эти результаты обновляются довольно часто -- если кликнуть на строчки, там появляются подробности. Три последних результата сейчас -- 21 марта, 25 марта, 1 апреля. Пока 8 дней ничего не происходит, текущий лидер -- Microsoft 365 AI MSR AI с моделью MT-DNN++ aka BigBird, счёт 83.8 против человеческих 87.1 (а первый победитель был с 72.8 -- 1 февраля 2019). Но всё уже понятно, такими темпами человечьи результаты будут получены через месяц-другой. Так что по факту этот конкурс уже исчерпал себя, и организаторы готовят конкурс потруднее, уже этой весной: https://docs.google.com/document/d/1y5Yc5tTumKw-3Rt6Sb_ESh_JUjPu28iTL9Fat-uNb-4/edit. Ругаться, что "машина тупая", через пару лет будут примерно так же, как ругаются сегодня на "тупой персонал" -- но пользоваться будут. Ибо машина будет не тупее "персонала", а стоить будет дешевле. А люди? Займутся чем-нибудь ещё. 90% населения земли как-то занимались сельским хозяйством, а теперь занялись чем-то ещё. Про классический фабричный пролетариат в сравнимых с крестьянством количествах тоже уже давно не слышно. Ну, и с офисным планктоном будет та же история. И да, в развитых странах перейдут на четырёхдневную рабочую неделю. А ещё через несколько лет и на трёхдневную. Если эта "многодневная работа" не развалится раньше под натиском gig economy (https://www.forbes.com/sites/johnfrazer1/2019/02/15/how-the-gig-economy-is-reshaping-careers-for-the-next-generation/ -- According to the CEO of Intuit, Brad Smith: “The gig economy [in the U.S.]…is now estimated to be about 34% of the workforce and expected to be 43% by the year 2020.” That was in 2017). Но это я отвлёкся и продолжаю вести вчерашний тренинг. Продолжим через месяц.
99% споров у меня в ЖЖ (а их немало было на прошлой неделе) происходит от бабахнутых на математике технарей:
-- они не слыхали о вероятностной логике, все рассуждения у них в FOL. Про оценки правдоподобия, сдвижку этой оценки при нахождении разных свидетельств в пользу и против какой-то гипотезы, про учёт априорного знания -- не, не слышали. А ещё они непрерывно требуют "математических определений", верных для любых контекстов, т.е. веруют в метафизику с вечными и общими для всего классами (я уж столько раз об этом писал, например, https://ailev.livejournal.com/1365963.html -- но не читают ведь, и не принимают аргументы во внимание!).
-- споры о терминах, в количестве. Выдаваемые про споры о концептах. Про словарные сообщества, семантические сообщества, модели языка (с вероятностным отнесением смысла к словам и словосочетаниям) -- не, не слышали. Сами-себе-словари, сами себе творители языковой нормы.
Тут я вспоминаю себя пару десятков лет назад, и мне становится стыдно: я ведь ровно таким всегда был! Это ж и есть "хорошее образование", как оно понималось в прошлом веке!
С гуманитариями полегче, но у них через слово на второе всплывает что-нибудь трансцедентное, эзотерическое и вообще мимо логики, а хоть и вероятностной. Невероятностная не-логика, и ведь с таким даже не поспоришь (по определению, по этим правилам ведь выиграть в споре нельзя -- вместо правдоподобия используется только аналогия).
Вот поэтому я и озабочен курсами. С пришедшими из прошлого людьми, хоть они трижды технари или философы, плохо договариваться. В настоящем пришедшие из прошлого -- дикари. Сначала нужно их подучить, дать знание state-of-the-art, а потом уже что-то совместно с ними делать. Но какой дикарь добровольно идёт в школу? Он же и так умеет бегать, прыгать, и метко стрелять из лука! Ещё и вас научить может! А ещё любой дикарь хорошо знает народный эпос, и любит ему учить в интернетах. Это его дикарские понятия о культуре: нести другим людям не state-of-the-art с мыслительного фронтира, а обычаи предков. Особенно мыслительные обычаи, подхваченные в каком-то вузе пару десятков лет назад. И ничего с этой жаждой дикарского миссионерства сделать нельзя. Сам таким был, точно знаю. С огромным удивлением узнавал, что уже в 21 веке с моим "отличным образованием" появились проблемы: оно банально устарело. Так что пришлось попахать, чтобы переобразоваться.
Зашёл в Мосхозторг, впечатлился жидким мылом "Жигулёвское", на котором мелким шрифтом напечатано предупреждение, что внутрь не употреблять (я даже заснял его в инстаграмме -- https://www.instagram.com/ailevenchuk/). Но главная тамошняя находка -- это розовый баллончик "Сияние" для очистки печек и прочей керамики. Он прыскает пенкой, и эта пенка сжирает весь жир с копотью, любой давности. Этих жидкостей и пенок уже было перепробовано много, но эта -- лучшая. Состав? Главным образом NaOH с парочкой ПАВ, что для меня как-то не очень сочетается с розовыми цветами этого баллончика. Ничего сложного или необычного (хотя мы не понимаем, какие именно ПАВ были использованы), но итоговый эффект впечатляет. Название "Сияние" вполне себя оправдывает.
Яндекс.музыка посчитала, что из новенького мне обязательно нужно послушать Ceremony -- https://music.yandex.ru/album/6869596/track/49930741. Ой, какая нынче музыка -- чёрт с ней, с гармонией, мелодией, ритмом, но какие тембры! А из старенького мне напомнили "Хризантемы" от Moscow Grooves Institute и Ольги Рождественской -- https://www.youtube.com/watch?v=8kmDyMc3YOc.