NVIDIA как поставщик инфраструктуры для роботакси-стека
Роботакси (robotaxi), теперь это так называется. Уже не беспилотный автомобиль, не автономное транспортное средство в личном владении, а роботакси (https://en.wikipedia.org/wiki/Robo-Taxi): не вы сами едете на собственном автомобиле, а вас заберут, откуда скажете, и отвезут, куда скажете. За оставшихся 12 лет до 2030 года рынок такси по оценке Goldman Sachs вырастет в восемь раз (https://www.nextbigfuture.com/2017/10/worldwide-ridesharing-at-285-billion-per-year-by-2030-will-be-profitable-when-self-driving.html). И именно на этот рынок с 2021 года нацеливаются роботакси:
Почему так нескоро, почему аж через три года, только с 2021? Вот причины:
-- пока нет регулирования. Как нам рассказывал на GTC Europe старший директор NVIDIA по автопромышленности Danny Shapiro, "мы понимаем, что автономное транспортное средство регуляторы допустят на дороги, если оно будет безопасней управляемого человеком. Но мы не знаем до сих пор аппетиты регуляторов: хотят ли они вдвое бо́льшую безопасность, впятеро, или даже вдесятеро бо́льшую. И поэтому мы не знаем уровня технологического ответа, и не можем хотя бы примерно указать дату, когда будут готовы все необходимые технологии". Первой страной, похоже, тут будет Германия, в которой вот-вот начнётся легализация Audi 8 третьего уровня автономности на скоростях до 60км/час (это уровень, при котором можно читать в пробках, https://en.wikipedia.org/wiki/Autonomous_car -- где они в Европах берут пробки со скоростями до 60км/час?). Так что ожидаем официального третьего уровня уже в следующем году (свежие новости тут: http://www.motortrend.com/news/audi-tech-chief-peter-mertens-talks-autonomy/). В остальных странах всё много хуже. Например, в UK тоже целятся в 2021, к которому планируют в том числе переписать и законодательство о страховке, ибо непонятно кто кому за что будет платить -- https://www.theguardian.com/business/2017/nov/06/government-urged-to-plug-insurance-black-hole-over-self-driving-cars.
-- не готово автомобильное железо. Разработчики Audi 8 уровня 3 говорят: "A8 имеет встроенную избыточность в рулевом управлении, в тормозах, в способности ускоряться и всём остальном. Если это делать в ходе жизненного цикла модели, вы будете переделывать половину автомобиля, и это сверхпроблема. Поэтому мы решили с самого начала, что этот автомобиль будет первым, который готов для уровня 3" (это из интервью по вышеприведённой ссылке на MotorTrend). Современные оценки tipping point электромобилей -- 2020 год (Тони Себа, http://ailev.livejournal.com/1307264.html), так что автомобили с автопилотами 4 и 5 уровней уже будут электромобилями. The Economist недавно оценил, что tipping point для электромобилей может быть уже в 2018 году -- https://cleantechnica.com/2017/11/05/economist-global-tipping-point-electric-car-2018-video/). С "железноинженерной" точки зрения тут важно, что с точки зрения собственно инженерии никаких особых проблем нет: поскольку это не военные, а гражданские разработки, то стоимость и время разработки тут падет год от года при возрастающей сложности результата -- сегодня это примерно полтора года, а с приходом электромобилей ожидается и всего год. И это при том, что электроника и софт составляют сегодня до 40% в стоимости нового автомобиля, даже без учёта автопилота.
-- не готов автомобильный интеллект-стек: ни в части софта, ни в части аппаратуры. Но будет готов к 2021 году, когда выйдут автомобили с уровнем автономности 4 и 5.
Вот этот последний пункт разберём подробней на материалах NVIDIA, неожиданно ставшей чуть ли не монополистом на рынке автономных транспортных средств. Этот разворот к роботакси довольно неожиданный для крупнейшего поставщика игральных видеокарт, даже с учётом переориентации на рынок ускорителей вычислений искусственного интеллекта.
Какие масштабы грядущего автомобильного бизнеса NVIDIA? В готовой к продаже и ожидающей решения регуляторов Audi A8 уровня 3 присутствует 6 процессоров NVIDIA (от суперкомпьютера для вождения до процессора с видеоускорителем для развлекательной электроники автомашины -- хотя насчёт суперкомпьютера всё немного туманно, точных сведений, что там стоит именно PX-2 нет -- см. 4 страницы рассуждений на эту тему в https://seekingalpha.com/article/4087793-first-level-3-sd-car-may-include-nvidias-drive-px). NVIDIA есть за что побороться, авторынок ведь огромен -- и если в один автомобиль уходит шесть чипов, то это вшестеро бОльший кусок пирога.
У NVIDIA заключены стратегические соглашения с большинством крупных автомобильных компаний (от Toyota и Volvo до Mercedes-Benz и BMW). На GTC Europeв начале октября 2017 заявлено, что с технологиями автомобильного интеллект-стека NVIDIA DRIVE работают сейчас 145 стартапов. Основное достоинство работы с NVIDIA DRIVE в том, что автомобильные технологии можно отлаживать уже на сегодняшней аппаратуре, эта аппаратура уже второго поколения, а для остального чёткий roadmap (https://www.nvidia.co.uk/self-driving-cars/drive-px/):
-- DRIVE PX autocruise, уровень 1, это уже проехали
-- DRIVE PX-2 Autoshauffeur, уровень 2, это текущая поставка.
-- DRIVE PX Xavier, архитектура Volta для автопилота уровня 3 (20TOPS на 20Ватт). Xavier would begin in Q1 2018 for select early development partners and Q3/Q4 2018 for the second wave of partners, volume shipments are likely to be in 2019.
-- DRIVE PX Pegasus, следующая после Volta архитектура для роботакси уровня 5 (320TOPS на 500Ватт). Появится примерно через полгода после Xavier (то есть в середине 2018), тут всё будет происходить быстро, конкуренты ведь тоже не дремлют.
На рынке обычно кто первым встал, того и тапки. Пока тапки автомобильных нейросетей у Mobileye, который купила Intel. Так что сейчас это битва NVIDIA и Intel. У NVIDIA были только платы для десктопов и серверов, а автомобильные компьютеры появились только недавно, адекватное потребностям рынка предложение только анонсировано, самих чипов ещё в поставке нет. Текущая стратегия NVIDIA -- предлагать автопроизводителям работать на том компьютерном железе, что уже есть, а завтра просто сделать апгрейд на понятную аппаратуру следующего поколения. Mobileye тоже есть что предложить прямо сейчас, но внятного roadmap пока нет. Вообще, у Intel в планах поддержка множества технологий искусственного интеллекта, самых разных, но чёткого фокуса пока нет. NVIDIA имеет много меньше ресурсов, и чёткий фокус. Это фокус (в том числе и фокус-покус отбора тапок у Mobileye) от системного подхода: предложение NVIDIA не ограничивается чипом ускорения или даже компьютером на основе этого чипа, речь идёт о полном стеке технологий поддержки автономных транспортных средств.
Фрагмент моего учебника про модульные описания, платформы и технологические стеки: https://ailev.livejournal.com/1380087.html, а подробно про NVIDIA как поставщика инфраструктуры для интеллект-стека я разбирал в https://ailev.livejournal.com/1380163.html с добавочкой про собственно электронику в https://ailev.livejournal.com/1382464.html.
Но в данном случае это не абстрактный интеллект-стек, а конкретный автомобильный интеллект-стек, и у него есть имя (NVIDIA DRIVE) и особенности: часть этого стека составная часть роботакси (автомобильный суперкомпьютер DRIVE PX и самые разные софтверные компоненты), а другая часть -- составная часть обучающей компании, серверное железо и софт, хорошо стыкующийся с DRIVE. Автомобильная компания как "обучающая компания" звучит непривычно, но как ещё назвать разработчика, который не столько разово "разрабатывает" и потом выпускает, сколько непрерывно "обучает" свои модели роботакси в ходе всей их эксплуатации? Вот основная схема разработки/сопровождения (это ещё не технологический стек! Это попытка NVIDIA отобразить технологии жизненного цикла разработки):
Суть конкурентного предложения NVIDIA не только быстро тренировать автомобильную нейросеть на своих суперкомпьютерах, но и быстро её тестировать -- verification and validation. HIL и SIL на этой диаграмме означают знакомые всем системным инженерам hardware-in-the-loop и software-in-the-loop, означающие, что относительно маломощный автомобильный суперкомпьютер вместе с его софтом эмулируется на облачных серверных кластерах. Натренированная нейросетка тестируется при этом на виртуальных дорогах в режиме быстрее реального времени. Если бы нужно было проехать все дороги США с твёрдым покрытием, то на 8 серверах DGX и компиляторе нейросетей TensorRT 3 это было бы сделано всего за двое суток. Хотя сейчас тестирование идёт отнюдь не на всех дорогах США (зато и не только на дорогах США), скорость тестирования примерно 100тыс. км/час (сто тысяч километров в час!). В результате большинство ошибок находятся не в реальных ситуациях, а в ходе виртуальных заездов. NVIDIA делает разработчикам автономных транспортных средств (autonomous vehicle, AV) доступным такую разработку-обучение-тестирование "из коробки" уже сегодня, и набирать опыт можно начиная с текущего автомобильного компьютера PX-2.
А вот это уже классический платформенный стек DRIVE:
Особенность подхода NVIDIA в том, что компания пытается сделать весь этот стек самостоятельно, не дожидаясь, пока консервативная автомобильная промышленность воспроизведёт его у себя. Это может быть не слишком качественый стек, но он позволит системно оттестировать предлагаемые NVIDIA решения, накопить опыт, вырваться вперёд конкурентов. Так, сегодняшние операционные системы реального времени QNX и ROS не тянут приложения автомобильного суперкомпьютинга. Поэтому NVIDIA прописывает в стеке автомобильную операционку, и можно ждать каких-то анонсов. Конечно, если кто-то из автопроизводителей выбирает свои собственные "промышленного уровня", а не экспериментальные, как у NVIDIA решения, то это для NVIDIA вполне приемлемо. Автомобильный суперкомпьютер будет куплен у NVIDIA, а софт нет, только и всего. Но к этому моменту будет гарантия, что автомобильный суперкомпьютер действительно работоспособен для реальных приложений, с ним не будет неожиданностей. Если просто сидеть и ждать, пока автопроизводители созреют для покупки больших партий автопилотного железа, можно дождаться его покупки у конкурентов. Тут проще подсуетиться с полным стеком, подтолкнуть автомобилестроителей, дать им набраться опыта -- и оставить за собой те части стека, где опыта у автомобилестроителей не наберётся. У разных фирм не наберётся разного опыта для разных приложений, а сам автомобильный суперкомпьютер вообще должен получиться уникальным и его придётся покупать.
Вот софт DRIVE IX (intelligent experience), встроенный в полный стек DRIVE -- и добавляемые им функции:
Что нужно делать этому софту? А вот что: распознавание людей по лицу, отслеживание направления взгляда и позиции головы, распознавание жестов, работа с естественным языком, распознавание речи и произнесение речи, чтение по губам, понимание происходящего вокруг (external environmental awarennes). See how AI co-pilot technologies read every movement to keep you safe -- https://www.youtube.com/watch?v=h9npvMFI-mc. Это будет эксплуатироваться задолго до появления роботакси -- доступ разработчиков к этим технологиям будет уже в этом квартале. Для многочисленных стартапов, занимающихся "помощниками вождению" будет хорошая база для сравнения.
Если взять сам софт и хард DRIVE AV, то тут нужно сделать огромный скачок от текущего уровня 2 (уже бегающая по дорогам Tesla как раз где-то уровень 2-2.5, но не 3) до желаемого уровня 5. Вот что нужно:
У текущего комплекта компьютерной аппаратуры для выполнения сравнимых требований потребляемая мощность 6КВт, полный багажник. "Мозг" автопилота по объёму и энергопотреблению вполне сейчас сравним с двигателем. Вот как выглядит сегодняшний "автобус-без-водителя" внутри кабины:
А вот как выглядит легковой автомобиль, который по факту из-за "мозга" лишился багажника, это и есть шестикиловаттный (6КВт! Это ещё и печка!) state-of-the-art сегодняшнего дня с PX-2:
А вот что будет -- это пятисоттватный DRIVE PX PEGASUS:
Вот это NVIDIA, конечно, никому не отдаст, и это расщепляется сразу на несколько уровней в автомобильном компьютерном стеке:
-- CUDA (драйвер к аппаратуре, так она видится из прикладного софта)
-- одноплатный суперкомпьютер, размером с плашку автомобильного номерного знака
-- чипы (двух разных архитектур: парочка системы-на-чипе Xavier и парочка чипов ещё безымянной архитектуры ускорения нейронных сетей),
-- разные IP на чипе (например, Volta cores в составе чипа Xavier)
Конечно, роботакси это не единственная автомобильная область, где собиратся закрепиться NVIDIA. Вот, например, гоночный автомобиль для таких как я, не любящих рисковать почём зря -- пилот даёт наказ машине выиграть, и идёт пить кофе, а машина гоняется по трассе сама:
А ещё самые разные грузовики, самые разные автобусы. Через пару-тройку лет мы увидим много удивительного.
И, конечно, у автомобилестроения будут огромные потрясения: автопроизводители перестанут быть основными получателями прибыли. На меня большое впечатление произвёл доклад калифорнийской лаборатории беспилотников Мерседеса, но не тот момент, когда докладчик рассказывал об успешно использованной им байесовской оптимизации нейросетей (чем он очень гордился, хотя в этот момент и потерял практически всю аудиторию), а в тот момент, когда я сообразил, что он хочет повторить Google Assistant, в девичестве Google Now.
"Автомобиль в лице нашей системы глубокого обучения, -- вещал докладчик, будет изучать своего владельца, чтобы предвосхищать его выборы. Так, он будет учитывать текущее местонахождение, прошлые поездки, погоду, время суток, чтобы сделать подсказку водителю при показе наиболее вероятного места поездки". Я не верю, что Мерседес изучит меня лучше, чем телефон. Телефон наблюдает за мной практически круглосуточно, разве что в постель со мной не ложится (и даже внимательно слушает происходящее в постели: вдруг вы скажете "ОК, Гугль" или "Слушай, Яндекс"?! И кто его знает, что он ещё при этом внимательно выслушивает). Скорее всего, я просто буду говорить своему телефону брать под контроль автомобиль -- и все надежды автопроизводителей на торговлю разными сервисами на основе того, что они меня хорошо изучат и предложат что-то эдакое, на этом месте не оправдаются. Сервисы мне будет предлагать мой персональный ассистент (живущий где-то в облаке, и имеющий глаза-уши-интерфейсы в телефоне), а не автопроизводитель. Даже если автопроизводитель сольётся с выпускающей автожелезки фирмой и станет поставщиком услуг такси. Автопроизводителям останется только производить и ремонтировать железки в их неэлектронной части (даже не софт!). Ну, может быть мыть их время от времени, если пришлось прокатиться по грязи в каком-нибудь маленьком городке. А львиную долю прибыли от навороченных на этот бизнес сервисов возьмут себе совсем другие люди -- отнюдь не потомственные автостроители. Впрочем, это рассуждение касается не только автопромышленности.
Ещё интересно, что инфраструктура обучения автомобильных моделей (сбор огромного количества данных, виртуальные модели для обучения и экспериментов, включая моделирование целевого устройства в виртуальной среде) по факту эквивалентна технологии digital twins. Я задал вопрос Marc Hamilton, который вице-президент NVIDIA по Solutions architecture and Engineering, понимают ли они это. Ответ: да, понимают, активно работают с General Electric, и даже один компьютер DGX Workstation ушёл куда-то на фабрику собирать и обсчитывать обильные цифровые ряды, собираемые с какой-то установки -- без AI собирать изобилие данных бессмысленно, всё остальное для digital twins уже есть. А AI сегодня без серверов NVIDIA не работает. Автомобильный директор NVIDIA Danny Shapiro ничего про digital twins (будет ли эта технология как-то развиваться для автомобилей, ибо у NVIDIA тут все козыри на руках) ничего сказать не смог. Правая рука в огромной фирме не очень хорошо знает, что делает левая. Ничего, подождём, когда digital twins "для всех", а потом и "для роботакси" появится в презентации CEO, это случится скорее раньше, чем позже. Digital twins это про стадию эксплуатации, пока же в центре внимания разработка.
Почему так нескоро, почему аж через три года, только с 2021? Вот причины:
-- пока нет регулирования. Как нам рассказывал на GTC Europe старший директор NVIDIA по автопромышленности Danny Shapiro, "мы понимаем, что автономное транспортное средство регуляторы допустят на дороги, если оно будет безопасней управляемого человеком. Но мы не знаем до сих пор аппетиты регуляторов: хотят ли они вдвое бо́льшую безопасность, впятеро, или даже вдесятеро бо́льшую. И поэтому мы не знаем уровня технологического ответа, и не можем хотя бы примерно указать дату, когда будут готовы все необходимые технологии". Первой страной, похоже, тут будет Германия, в которой вот-вот начнётся легализация Audi 8 третьего уровня автономности на скоростях до 60км/час (это уровень, при котором можно читать в пробках, https://en.wikipedia.org/wiki/Autonomous_car -- где они в Европах берут пробки со скоростями до 60км/час?). Так что ожидаем официального третьего уровня уже в следующем году (свежие новости тут: http://www.motortrend.com/news/audi-tech-chief-peter-mertens-talks-autonomy/). В остальных странах всё много хуже. Например, в UK тоже целятся в 2021, к которому планируют в том числе переписать и законодательство о страховке, ибо непонятно кто кому за что будет платить -- https://www.theguardian.com/business/2017/nov/06/government-urged-to-plug-insurance-black-hole-over-self-driving-cars.
-- не готово автомобильное железо. Разработчики Audi 8 уровня 3 говорят: "A8 имеет встроенную избыточность в рулевом управлении, в тормозах, в способности ускоряться и всём остальном. Если это делать в ходе жизненного цикла модели, вы будете переделывать половину автомобиля, и это сверхпроблема. Поэтому мы решили с самого начала, что этот автомобиль будет первым, который готов для уровня 3" (это из интервью по вышеприведённой ссылке на MotorTrend). Современные оценки tipping point электромобилей -- 2020 год (Тони Себа, http://ailev.livejournal.com/1307264.html), так что автомобили с автопилотами 4 и 5 уровней уже будут электромобилями. The Economist недавно оценил, что tipping point для электромобилей может быть уже в 2018 году -- https://cleantechnica.com/2017/11/05/economist-global-tipping-point-electric-car-2018-video/). С "железноинженерной" точки зрения тут важно, что с точки зрения собственно инженерии никаких особых проблем нет: поскольку это не военные, а гражданские разработки, то стоимость и время разработки тут падет год от года при возрастающей сложности результата -- сегодня это примерно полтора года, а с приходом электромобилей ожидается и всего год. И это при том, что электроника и софт составляют сегодня до 40% в стоимости нового автомобиля, даже без учёта автопилота.
-- не готов автомобильный интеллект-стек: ни в части софта, ни в части аппаратуры. Но будет готов к 2021 году, когда выйдут автомобили с уровнем автономности 4 и 5.
Вот этот последний пункт разберём подробней на материалах NVIDIA, неожиданно ставшей чуть ли не монополистом на рынке автономных транспортных средств. Этот разворот к роботакси довольно неожиданный для крупнейшего поставщика игральных видеокарт, даже с учётом переориентации на рынок ускорителей вычислений искусственного интеллекта.
Какие масштабы грядущего автомобильного бизнеса NVIDIA? В готовой к продаже и ожидающей решения регуляторов Audi A8 уровня 3 присутствует 6 процессоров NVIDIA (от суперкомпьютера для вождения до процессора с видеоускорителем для развлекательной электроники автомашины -- хотя насчёт суперкомпьютера всё немного туманно, точных сведений, что там стоит именно PX-2 нет -- см. 4 страницы рассуждений на эту тему в https://seekingalpha.com/article/4087793-first-level-3-sd-car-may-include-nvidias-drive-px). NVIDIA есть за что побороться, авторынок ведь огромен -- и если в один автомобиль уходит шесть чипов, то это вшестеро бОльший кусок пирога.
У NVIDIA заключены стратегические соглашения с большинством крупных автомобильных компаний (от Toyota и Volvo до Mercedes-Benz и BMW). На GTC Europeв начале октября 2017 заявлено, что с технологиями автомобильного интеллект-стека NVIDIA DRIVE работают сейчас 145 стартапов. Основное достоинство работы с NVIDIA DRIVE в том, что автомобильные технологии можно отлаживать уже на сегодняшней аппаратуре, эта аппаратура уже второго поколения, а для остального чёткий roadmap (https://www.nvidia.co.uk/self-driving-cars/drive-px/):
-- DRIVE PX autocruise, уровень 1, это уже проехали
-- DRIVE PX-2 Autoshauffeur, уровень 2, это текущая поставка.
-- DRIVE PX Xavier, архитектура Volta для автопилота уровня 3 (20TOPS на 20Ватт). Xavier would begin in Q1 2018 for select early development partners and Q3/Q4 2018 for the second wave of partners, volume shipments are likely to be in 2019.
-- DRIVE PX Pegasus, следующая после Volta архитектура для роботакси уровня 5 (320TOPS на 500Ватт). Появится примерно через полгода после Xavier (то есть в середине 2018), тут всё будет происходить быстро, конкуренты ведь тоже не дремлют.
На рынке обычно кто первым встал, того и тапки. Пока тапки автомобильных нейросетей у Mobileye, который купила Intel. Так что сейчас это битва NVIDIA и Intel. У NVIDIA были только платы для десктопов и серверов, а автомобильные компьютеры появились только недавно, адекватное потребностям рынка предложение только анонсировано, самих чипов ещё в поставке нет. Текущая стратегия NVIDIA -- предлагать автопроизводителям работать на том компьютерном железе, что уже есть, а завтра просто сделать апгрейд на понятную аппаратуру следующего поколения. Mobileye тоже есть что предложить прямо сейчас, но внятного roadmap пока нет. Вообще, у Intel в планах поддержка множества технологий искусственного интеллекта, самых разных, но чёткого фокуса пока нет. NVIDIA имеет много меньше ресурсов, и чёткий фокус. Это фокус (в том числе и фокус-покус отбора тапок у Mobileye) от системного подхода: предложение NVIDIA не ограничивается чипом ускорения или даже компьютером на основе этого чипа, речь идёт о полном стеке технологий поддержки автономных транспортных средств.
Фрагмент моего учебника про модульные описания, платформы и технологические стеки: https://ailev.livejournal.com/1380087.html, а подробно про NVIDIA как поставщика инфраструктуры для интеллект-стека я разбирал в https://ailev.livejournal.com/1380163.html с добавочкой про собственно электронику в https://ailev.livejournal.com/1382464.html.
Но в данном случае это не абстрактный интеллект-стек, а конкретный автомобильный интеллект-стек, и у него есть имя (NVIDIA DRIVE) и особенности: часть этого стека составная часть роботакси (автомобильный суперкомпьютер DRIVE PX и самые разные софтверные компоненты), а другая часть -- составная часть обучающей компании, серверное железо и софт, хорошо стыкующийся с DRIVE. Автомобильная компания как "обучающая компания" звучит непривычно, но как ещё назвать разработчика, который не столько разово "разрабатывает" и потом выпускает, сколько непрерывно "обучает" свои модели роботакси в ходе всей их эксплуатации? Вот основная схема разработки/сопровождения (это ещё не технологический стек! Это попытка NVIDIA отобразить технологии жизненного цикла разработки):
Суть конкурентного предложения NVIDIA не только быстро тренировать автомобильную нейросеть на своих суперкомпьютерах, но и быстро её тестировать -- verification and validation. HIL и SIL на этой диаграмме означают знакомые всем системным инженерам hardware-in-the-loop и software-in-the-loop, означающие, что относительно маломощный автомобильный суперкомпьютер вместе с его софтом эмулируется на облачных серверных кластерах. Натренированная нейросетка тестируется при этом на виртуальных дорогах в режиме быстрее реального времени. Если бы нужно было проехать все дороги США с твёрдым покрытием, то на 8 серверах DGX и компиляторе нейросетей TensorRT 3 это было бы сделано всего за двое суток. Хотя сейчас тестирование идёт отнюдь не на всех дорогах США (зато и не только на дорогах США), скорость тестирования примерно 100тыс. км/час (сто тысяч километров в час!). В результате большинство ошибок находятся не в реальных ситуациях, а в ходе виртуальных заездов. NVIDIA делает разработчикам автономных транспортных средств (autonomous vehicle, AV) доступным такую разработку-обучение-тестирование "из коробки" уже сегодня, и набирать опыт можно начиная с текущего автомобильного компьютера PX-2.
А вот это уже классический платформенный стек DRIVE:
Особенность подхода NVIDIA в том, что компания пытается сделать весь этот стек самостоятельно, не дожидаясь, пока консервативная автомобильная промышленность воспроизведёт его у себя. Это может быть не слишком качественый стек, но он позволит системно оттестировать предлагаемые NVIDIA решения, накопить опыт, вырваться вперёд конкурентов. Так, сегодняшние операционные системы реального времени QNX и ROS не тянут приложения автомобильного суперкомпьютинга. Поэтому NVIDIA прописывает в стеке автомобильную операционку, и можно ждать каких-то анонсов. Конечно, если кто-то из автопроизводителей выбирает свои собственные "промышленного уровня", а не экспериментальные, как у NVIDIA решения, то это для NVIDIA вполне приемлемо. Автомобильный суперкомпьютер будет куплен у NVIDIA, а софт нет, только и всего. Но к этому моменту будет гарантия, что автомобильный суперкомпьютер действительно работоспособен для реальных приложений, с ним не будет неожиданностей. Если просто сидеть и ждать, пока автопроизводители созреют для покупки больших партий автопилотного железа, можно дождаться его покупки у конкурентов. Тут проще подсуетиться с полным стеком, подтолкнуть автомобилестроителей, дать им набраться опыта -- и оставить за собой те части стека, где опыта у автомобилестроителей не наберётся. У разных фирм не наберётся разного опыта для разных приложений, а сам автомобильный суперкомпьютер вообще должен получиться уникальным и его придётся покупать.
Вот софт DRIVE IX (intelligent experience), встроенный в полный стек DRIVE -- и добавляемые им функции:
Что нужно делать этому софту? А вот что: распознавание людей по лицу, отслеживание направления взгляда и позиции головы, распознавание жестов, работа с естественным языком, распознавание речи и произнесение речи, чтение по губам, понимание происходящего вокруг (external environmental awarennes). See how AI co-pilot technologies read every movement to keep you safe -- https://www.youtube.com/watch?v=h9npvMFI-mc. Это будет эксплуатироваться задолго до появления роботакси -- доступ разработчиков к этим технологиям будет уже в этом квартале. Для многочисленных стартапов, занимающихся "помощниками вождению" будет хорошая база для сравнения.
Если взять сам софт и хард DRIVE AV, то тут нужно сделать огромный скачок от текущего уровня 2 (уже бегающая по дорогам Tesla как раз где-то уровень 2-2.5, но не 3) до желаемого уровня 5. Вот что нужно:
У текущего комплекта компьютерной аппаратуры для выполнения сравнимых требований потребляемая мощность 6КВт, полный багажник. "Мозг" автопилота по объёму и энергопотреблению вполне сейчас сравним с двигателем. Вот как выглядит сегодняшний "автобус-без-водителя" внутри кабины:
А вот как выглядит легковой автомобиль, который по факту из-за "мозга" лишился багажника, это и есть шестикиловаттный (6КВт! Это ещё и печка!) state-of-the-art сегодняшнего дня с PX-2:
А вот что будет -- это пятисоттватный DRIVE PX PEGASUS:
Вот это NVIDIA, конечно, никому не отдаст, и это расщепляется сразу на несколько уровней в автомобильном компьютерном стеке:
-- CUDA (драйвер к аппаратуре, так она видится из прикладного софта)
-- одноплатный суперкомпьютер, размером с плашку автомобильного номерного знака
-- чипы (двух разных архитектур: парочка системы-на-чипе Xavier и парочка чипов ещё безымянной архитектуры ускорения нейронных сетей),
-- разные IP на чипе (например, Volta cores в составе чипа Xavier)
Конечно, роботакси это не единственная автомобильная область, где собиратся закрепиться NVIDIA. Вот, например, гоночный автомобиль для таких как я, не любящих рисковать почём зря -- пилот даёт наказ машине выиграть, и идёт пить кофе, а машина гоняется по трассе сама:
А ещё самые разные грузовики, самые разные автобусы. Через пару-тройку лет мы увидим много удивительного.
И, конечно, у автомобилестроения будут огромные потрясения: автопроизводители перестанут быть основными получателями прибыли. На меня большое впечатление произвёл доклад калифорнийской лаборатории беспилотников Мерседеса, но не тот момент, когда докладчик рассказывал об успешно использованной им байесовской оптимизации нейросетей (чем он очень гордился, хотя в этот момент и потерял практически всю аудиторию), а в тот момент, когда я сообразил, что он хочет повторить Google Assistant, в девичестве Google Now.
"Автомобиль в лице нашей системы глубокого обучения, -- вещал докладчик, будет изучать своего владельца, чтобы предвосхищать его выборы. Так, он будет учитывать текущее местонахождение, прошлые поездки, погоду, время суток, чтобы сделать подсказку водителю при показе наиболее вероятного места поездки". Я не верю, что Мерседес изучит меня лучше, чем телефон. Телефон наблюдает за мной практически круглосуточно, разве что в постель со мной не ложится (и даже внимательно слушает происходящее в постели: вдруг вы скажете "ОК, Гугль" или "Слушай, Яндекс"?! И кто его знает, что он ещё при этом внимательно выслушивает). Скорее всего, я просто буду говорить своему телефону брать под контроль автомобиль -- и все надежды автопроизводителей на торговлю разными сервисами на основе того, что они меня хорошо изучат и предложат что-то эдакое, на этом месте не оправдаются. Сервисы мне будет предлагать мой персональный ассистент (живущий где-то в облаке, и имеющий глаза-уши-интерфейсы в телефоне), а не автопроизводитель. Даже если автопроизводитель сольётся с выпускающей автожелезки фирмой и станет поставщиком услуг такси. Автопроизводителям останется только производить и ремонтировать железки в их неэлектронной части (даже не софт!). Ну, может быть мыть их время от времени, если пришлось прокатиться по грязи в каком-нибудь маленьком городке. А львиную долю прибыли от навороченных на этот бизнес сервисов возьмут себе совсем другие люди -- отнюдь не потомственные автостроители. Впрочем, это рассуждение касается не только автопромышленности.
Ещё интересно, что инфраструктура обучения автомобильных моделей (сбор огромного количества данных, виртуальные модели для обучения и экспериментов, включая моделирование целевого устройства в виртуальной среде) по факту эквивалентна технологии digital twins. Я задал вопрос Marc Hamilton, который вице-президент NVIDIA по Solutions architecture and Engineering, понимают ли они это. Ответ: да, понимают, активно работают с General Electric, и даже один компьютер DGX Workstation ушёл куда-то на фабрику собирать и обсчитывать обильные цифровые ряды, собираемые с какой-то установки -- без AI собирать изобилие данных бессмысленно, всё остальное для digital twins уже есть. А AI сегодня без серверов NVIDIA не работает. Автомобильный директор NVIDIA Danny Shapiro ничего про digital twins (будет ли эта технология как-то развиваться для автомобилей, ибо у NVIDIA тут все козыри на руках) ничего сказать не смог. Правая рука в огромной фирме не очень хорошо знает, что делает левая. Ничего, подождём, когда digital twins "для всех", а потом и "для роботакси" появится в презентации CEO, это случится скорее раньше, чем позже. Digital twins это про стадию эксплуатации, пока же в центре внимания разработка.