Авто с автопилотом яндекс
В Яндексе готовы к запуску беспилотного такси в Москве до зимы. Как беспилотники работают в Иннополисе
Пассажиры очень быстро привыкают к отсутствию водителя
Команда Яндекса напомнила сегодня о своих планах по запуску беспилотного такси в Москве.
Изначальный анонс состоялся в сентябре, и теперь компания подтвердила, что планы всё ещё в силе. В московском районе Ясенево беспилотное такси должно начать тестовую работу осенью 2021 года. Подать заявку на участие всё ещё можно на сайте проекта, если вам уже исполнилось 18 лет.
Заодно пресс-служба Яндекса поделилась интересной статистикой работы беспилотного такси в городе Иннополис в Татарстане. Там такси без водителя работает уже три года. Проведённый властями города опрос показал следующее.
53% опрошенных участников передвигаются на беспилотном такси регулярно — несколько раз в месяц и чаще. Обычно машину вызывают, чтобы добраться на работу или учёбу и обратно, в спортзал и в магазин. 97% опрошенных советуют своим гостям, которые приезжают в Иннополис, попробовать беспилотное такси.
Пассажиры очень быстро привыкают к отсутствию водителя. 88% респондентов заявили, что у них это заняло меньше пары минут. Главными преимуществами беспилотного такси пассажиры назвали безопасность поездок, аккуратность вождения и соблюдение ПДД.
Яндекс отмечает, что одна из причин, по которым в компании три года назад выбрали место запуска беспилотного такси, — это низкая загруженность дорог в Иннополисе. Однако в других городах беспилотные автомобили Яндекса тоже тестировались. По улицам Москвы, Тель-Авива и Энн-Арбора автомобили с автопилотом Яндекса проехали уже почти 15 миллионов километров. Команда Яндекса доработала технологии беспилотного вождения и теперь готова к следующему шагу — запуск такси без водителя на улицах Москвы.
Беспилотник Яндекс Такси
Беспилотное такси на улицах крупнейших городов мира — больше не футуристическая фантазия, а вопрос ближайшего будущего. В России «Яндекс.Такси» беспилотное уже действует в тестовом режиме.
Воспользоваться поездкой на беспилотном автомобиле можно бесплатно.
Как работает технология
Для беспилотных автомобилей была разработана сложная программа-автопилот, которая постоянно совершенствуется. Сегодня беспилотное «Яндекс.Такси» умеет соблюдать все правила дорожного движения. Искусственный интеллект, управляющий автомобилем, может распознавать пешеходов на улицах и заботиться об их безопасности: пропускать и экстренно тормозить, даже если пешеход нарушает внесённые в программу правила. Автопилот видит и объезжает препятствия, появляющиеся перед автомобилем.
Сейчас «Яндекс Такси» беспилотные работают в режиме эксперимента и отработки технологии в городской среде. Поэтому пока беспилотник не выпускают на улицы полностью самостоятельно и бесконтрольно. В его салоне всегда есть инженер-испытатель, бдительно контролирующий работу электронного водителя.
По оценкам западных экспертов, до массового внедрения беспилотных такси в качестве одного из привычных видов городского транспорта остаются считаные годы. По их мнению, раньше, чем в России, эта практика будет внедрена в США, ОАЭ, Китае и Сингапуре.
Первый авто — беспилотная Sonata
Эта технологическая разработка стала результатом сотрудничества «Яндекса» с Hyundai Mobis. Машина-беспилотник была создана на базе полученной в мае модели Hyundai Sonata.
На создание беспилотного прототипа у разработчиков ушло несколько недель. Отечественные специалисты встроили в автомобиль систему беспилотного управления на базе «Яндекса». Заканчивается тестирование модели на полигоне — и первый российский беспилотный автомобиль Sonata готовится к выходу на городские улицы.
Результаты года жизни беспилотника
Экспериментальный этап их внедрения стартовал 1 декабря в Москве и Татарстане, пока лишь на ограниченных территориях парков инноваций. Участники эксперимента по тестированию беспилотников должны получить одобрение ГНЦ РФ ФГУП «НАМИ». Одним из главных условий участия в проекте стало страхование ответственности. Поэтому пока технология доступна только пользователям, достигшим совершеннолетия.
По результатам исследований специалистов международной финансовой группы HSBC, беспилотные сервисы «Яндекс.Такси» могут на равных конкурировать с аналогичными проектами крупных международных компаний, таких как Waymo, которая входит в состав Alphabet Inc. наряду с Google.
«Яндекс.Такси» даже опережает конкурентов в скорости разработок и их внедрения. Проекту компании Waymo уже 10 лет, тогда как беспилотникам «Яндекса» — всего 2. Через год после запуска «Яндекс» уже предложил полностью конкурентоспособный проект.
Применение беспилотных авто, официально легализовано.
Беспилотник на дорогах Сколково
Тестовым полигоном для практического использования самоуправляемого «Яндекс.Такси» стал наукоград Сколково в Новой Москве. На выбор площадки повлияла градостроительная ситуация в Сколково. Его планировка создавалась с нуля по последним инновационным принципам современного градостроительства, поэтому он ближе всего к городам будущего, подходящим для внедрения подобных технологических новшеств.
Кроме того, в Сколково есть все элементы стандартной городской инфраструктуры:
А главное — там есть жители и стандартное городское движение транспорта на улицах.
Сегодня услуга вызова беспилотного такси доступна резидентам Сколково. Чтобы стать участником программы, требуется принять условия электронного соглашения об участии в тестировании беспилотных автомобилей. В тестовом режиме такси работает бесплатно.
Беспилотник свободно перемещается по улицам наукограда. Вызвать его можно через приложение «Яндекс.Такси». Система сама определяет геолокацию пользователя, после чего автомобиль находит его на территории Сколково с помощью навигатора.
Беспилотник на улицах Москвы
В столице воспользоваться беспилотным такси пока нельзя, но сами автомобили-беспилотники обкатывают московские дороги в тестовом режиме. Одна из таких машин проехала по району Хамовники, месту расположения центрального офиса компании «Яндекс».
Поездка намеренно была совершена в сложных дорожных условиях: незадолго до этого в городе прошёл мощный снегопад. Дороги были завалены снегом. Это стрессовая ситуация для водителей и белое пятно в разработках зарубежных фирм. Снег в России бывает чаще, чем в местах их дислокации, и разработчикам это обязательно нужно учитывать.
Снег затрудняет видимость на дороге, создаёт проблемы в чтении дорожной разметки и знаков. Гололёд снижает управляемость автомобиля и увеличивает тормозной путь за счёт изменения сцепления с дорожным покрытием. Зимние тесты беспилотника показали, что он справляется с этими вызовами не хуже профессионального шофёра.
В Татарстане
Площадкой для экспериментального внедрения самоуправляемых такси в Татарстане стал Иннополис — молодой наукоград, находящийся в 35 км от Казани, одна из неофициальных столиц отечественной IT-индустрии. Тестирование новейших технологических разработок в сфере искусственного интеллекта является одной из специализаций Иннополиса.
Как и в Сколково, здесь есть полноценная городская инфраструктура, уличное движение, жилые кварталы, университет, деловой центр, кафе и магазины. Есть и целевая аудитория — работающие в Иннополисе молодые научные работники. Они достаточно разбираются в предмете эксперимента, чтобы дать проекту качественную и профессиональную обратную связь, способную улучшить разработки беспилотных автомобилей.
Первая междугородняя поездка беспилотного автомобиля
В июне 2018 г. автомобиль, управляемый искусственным интеллектом, впервые совершил дальний междугородний рейс между двумя российскими городами — Москвой и Казанью. Маршрут длиной 780 км был пройден за 11 часов.
Основная часть пути проходила по трассе М7 «Волга». 99% пути машину вёл автопилот, управляемый искусственным интеллектом. Инженер-испытатель, следящий за его работой, присутствовал в салоне в качестве наблюдателя.
Тест показал, что технология беспилотного управления способна работать в условиях крупных загородных трасс при разных показателях загруженности, видимости и ширины дорожного полотна. Данные о вождении в таких условиях были собраны программой автопилота и использованы для самообучения системы.
Беспилотник в Лас-Вегас
Демонстрация беспилотного автомобиля в Лас-Вегасе прошла в рамках международной выставки Consumer Electronics Show, проходившей в новогодние праздники. Автомобиль для сборки беспилотника был куплен на месте, в США. Им стала Toyota Prius.
Отечественные специалисты переоборудовали автомобиль под беспилотное управление, установив на него лидары, камеры, радары, вычислительный модуль и систему управления — автопилот.
Обучение системы заняло 2 недели. В программу были введены карта местности и маршрута, данные о дорожной обстановке и специфические американские сигналы и правила. Искусственный интеллект был натренирован действовать в обстановке, отличающейся от привычных отечественных реалий. В демонстрационную задачу входили повороты направо и налево, пешеходные переходы и светофоры. Всё это должно было быть на маршруте.
Поездку удалось сделать полностью беспилотной, без присутствия инженера-испытателя в салоне. Это была уже демонстрация, а не испытания. 15-минутный рейс начинался возле отеля Hard Rock на Paradise Road.
В тестовых заездах мог принять участие любой желающий, но запись на дни выставки была быстро закрыта по причине высокого спроса. Блогеры и журналисты, ставшие пассажирами демонстрационных рейсов, отмечали уверенность вождения «Яндекс»-автомобиля в сравнении с аналогами фирм-конкурентов.
Что случилось. Компания «Яндекс» выпустила новый беспилотный автомобиль четвертого поколения. Он создан вместе с южнокорейской компанией Hyundai Mobis, которая является «дочкой» концерна Hyundai Motors и производит всю электронную начинку автомобиля. Сотрудничество между компаниями началось в марте 2019 года, когда «Яндекс» и Hyundai Mobis подписали соглашение о намерениях, чтобы разработать совместную беспилотную платформу. Первые беспилотные Hyundai Sonata четвертого поколения выехали на улицы Москвы в марте — они были собраны до локдауна, связанного с распространением новой коронавирусной инфекции. Но официально они были представлены только сейчас.
Контекст. Первое поколение беспилотника «Яндекс» представил в начале 2017 года — оно объединило все экспериментальные сборки «Яндекса». Во втором поколении появилась унификация: компания поняла, какие из сенсоров лучше всего подходят. Десять таких машин «Яндекс» выпустил во второй половине 2017 и в 2018 году. Третье поколение беспилотников — 90 машин — появилось в 2019 году.
Первый беспилотник Hyundai Sonata сошел с конвейера в Южной Корее и был доставлен в Москву самолетом в мае 2019 года: «Яндекс» установил на машину сенсоры с одного из беспилотников Toyota Prius второго поколения, а также компьютер, после чего машина поехала. «Это подтвердило тот факт, что мы делаем универсальную технологию, которую можно было устанавливать в серийный автомобиль», — отметили в пресс-службе «Яндекса».
Далее полгода «Яндекс» и Hyundai Mobis работали над тем, чтобы глубже интегрировать систему управления в автомобиль. «Наши инженеры ездили в Корею, а корейские инженеры приезжали в Москву. Hyundai Mobis доработали все внутренние системы — настроили управление скоростью, работу генератора и т. д.», — рассказали в пресс-службе «Яндекса».
До конца 2020 года флот «Яндекса» пополнит сотня таких автомобилей — их общее число достигнет 200. Часть из них будет использоваться в сервисе беспилотных такси в Иннополисе — бесплатно и с человеком на месте водителя, так как законодательство пока ограничивает использование беспилотных автомобилей. Часть также присоединится к тестовому флоту компании в США (Мичиган). Большинство автомобилей останутся в Москве, так как это основной тестовый полигон с разнообразными дорожными сценариями (пробки, неправильно припаркованные машины, пешеходы, которые переходят дорогу в неположенном месте и т. д.).
Детали. «Яндекс» не делит софт на поколения, так как выпускает апдейт к нему практически каждую неделю. Но в каждое следующее поколение автомобиля компания вносит изменения конструкции на основе того опыта, который накапливается за время испытаний беспилотника. Например, в третьем поколении лидары (сенсоры) переехали с крыши в фендеры (покрытие над колесом) на передних крыльях. Первые три поколения беспилотников конструировались на основе Toyota Prius.
В четвертом поколении беспилотного автомобиля «Яндекс» использует новый набор сенсоров (радары, камеры, лидары), которые адаптированы под автомобиль Hyundai Sonata с учетом его габаритов. «У каждого сенсора есть свое преимущество — например, камера плохо «видит» в темноте, а лидару все равно, есть свет или нет. В четвертом поколении поменялось расположение сенсоров, чтобы обзор машины был лучше», — рассказали в пресс-службе «Яндекса».
Например, шесть радаров, которые раньше находились под бампером автомобиля, теперь «переехали» выше — два установлены в боковых фендерах, а четыре — на крыше. Это позволит беспилотнику видеть больше машин впереди и сзади и понимать, куда и с какой скоростью они едут. Помимо шести базовых камер, которые дают круговой обзор, появилось еще три разнофокусных камеры, которые могут лучше «разглядывать» дальний или ближний объект. Положение четырех лидаров осталось прежним — два из них находятся в боковых фендерах, один в решетке радиатора и еще один — на крыше. Лидар на крыше «Яндекс» переместил выше, чтобы беспилотник смог получать больший охват и «видеть» объекты за другими автомобилями. Кроме того, увеличился угол обзора боковых лидаров. «Такое расположение сенсоров выбрано на основе 4 млн км, которые проехали беспилотники «Яндекса», — отметили в компании.
Инвестиции «Яндекса» в беспилотное направление за все время составили 2,2 млрд рублей, из них 1,5 млрд рублей компания потратила в 2019 году, заявлял ранее управляющий директор «Яндекса» Тигран Худавердян.
Goldman Sachs в своем отчете в сентябре 2019 года (есть у Forbes) прогнозировал, что к 2026 году потенциальный объем EBITDA «Яндекса» может увеличиться на 6-60 млрд рублей в зависимости от того, какую долю будет занимать в бизнесе компании направление беспилотников.
Технологии беспилотных автомобилей. Лекция Яндекса
Яндекс продолжает разрабатывать технологии беспилотных автомобилей. Сегодня мы публикуем лекцию одного из руководителей этого проекта — Антона Слесарева. Антон выступил на «Data-ёлке» в конце 2017 года и рассказал об одной из важных компонент стека технологий, необходимых для работы беспилотника.
— Меня зовут Антон Слесарев. Я отвечаю за то, что работает внутри беспилотного автомобиля, и за алгоритмы, которые готовят машины к поездке.
Постараюсь рассказать, какие технологии мы используем. Вот краткая блок-схема того, что вообще бывает в автомобиле. 
Можно считать, что эта схема появилась так: ее рассказали и придумали в 2007 году, когда в США проходил DARPA Urban Challenge, соревнование про то, как автомобиль поедет в городских условиях. Соревновались несколько топовых американских вузов, таких как Карнеги — Меллон, Стэнфорд и MIT. Кажется, Карнеги — Меллон победил. Команды-участники опубликовали отличные подробные отчеты, как они сделали автомобиль и как проехали в городских условиях. С точки зрения компонентов все расписали примерно одно и то же, и эта схема до сих пор актуальна.
У нас есть perception, который отвечает за то, какой мир вокруг нас. Есть карты и локализация, которые отвечают за то, где автомобиль в мире расположен. Обе эти компоненты подаются на вход компоненте motion planning — она принимает решения, куда ехать, какую траекторию строить, принимая во внимание мир вокруг. Наконец, motion planning передает траекторию в компоненту vehicle control, которая выполняет траекторию с учетом физики автомобиля. Vehicle control — это больше про физику.
Сегодня мы сосредоточимся на компоненте perception, поскольку она больше про анализ данных, и на мой взгляд, в ближайшем будущем это самая челленджевая часть на всем фронте работ по беспилотникам. Остальные компоненты тоже безумно важны, но чем лучше мы мир вокруг распознаем, тем проще будет делать все остальное.
Прежде покажу другой подход. Многие слышали, что есть end-to-end-архитектуры и, более специфично, есть так называемый behavior cloning, когда мы пытаемся собрать датасеты того, как водитель ездит, и склонировать его поведение. Есть несколько работ, где описано, как это проще всего делать. Например, используется вариант, когда у нас есть только три камеры, чтобы «агментировать» данные, чтобы мы ехали не по одной и той же траектории. Это все засовывается в единую нейросеть, которая говорит, куда крутить рулем. И это как-то работает, но как показывает текущее состояние дел, сейчас end-to-end еще находится в состоянии исследования.
Мы его тоже пробовали. У нас один человек end-to-end быстро обучил. Мы даже немного испугались, что сейчас уволим всю остальную команду, потому что он за месяц достиг результатов, которые мы три месяца делали большим количеством людей. Но проблема в том, что дальше сдвинуться уже тяжело. Мы научились ездить вокруг одного здания, а ездить вокруг того же здания в противоположную сторону уже гораздо сложнее. До сих пор не существует способа представить все в виде единой нейросети, чтобы это более-менее робастно работало. Поэтому все, что ездит в реальных условиях, обычно работает на классическом подходе, где perception в явном виде строит мир вокруг. 
Как perception работает? Для начала надо понять, какие данные и какая информация стекается на вход автомобиля. В автомобиле множество сенсоров. Самые широко используемые — камеры, радары и лидары.
Радар — это уже продакшен-сенсор, который активно используется в адаптивных круиз-контролях. Это сенсор, который говорит, где находится автомобиль по углу. Он очень хорошо работает на металлических вещах, таких как автомобили. На пешеходах работает хуже. Отличительной особенностью радара является то, что он не только позицию, но еще и скорость выдает. Зная Доплеровский эффект, мы можем узнать радиальную скорость. 
Камеры — понятно, обычная видео-картинка. 
Более интересен лидар. Те, кто делал ремонт дома, знакомы с лазерным дальномером, который вешается на стенку. Внутри секундомер, который считает, за сколько свет туда-обратно слетал, и мы меряем расстояние.
На самом деле там более сложные физические принципы, но суть в том, что тут множество лазерных дальномеров, которые вертикально расположены. Они сканируют пространство, он так крутится. 
Вот картинка, которая получается 32-лучевым лидаром. Очень классный сенсор, на расстоянии нескольких метров человека можно узнать. Работают даже наивные подходы, уровня нашли плоскость — все, что выше это препятствие. Поэтому лидар все очень любят, это ключевая компонента беспилотных автомобилей.
С лидаром несколько проблем. Первая — он достаточно дорого стоит. Вторая — он все время крутится, и рано или поздно открутится. Надежность их оставляет желать лучшего. Обещают лидары без движущихся частей и дешевле, а другие обещают, что сделают все на компьютерном зрении только на камерах. Кто победит — самый интересный вопрос. 
Есть несколько сенсоров, каждый из них генерит какие-то данные. Есть классический пайплайн того, как мы обучаем какие-то алгоритмы машинного обучения. 
Данные надо собрать, залить в какое-то облако, на примере машины, мы собираем с автомобилей данные, заливаем в облака, каким-то образом размечаем, выбираем лучшую модель, придумываем модельку, тюним параметры, переобучаем. Важный нюанс, что это надо обратно на машину засунуть, чтобы это очень быстро работало. 
Данные собрали в облако, хотим их разметить. 
Уже сегодня упомянутая Толока — мой любимый сервис Яндекса, который позволяет кучу данных размечать очень дешево. Можно создать GUI в качестве веб-страницы и раздать на разметку. В случае детектора машинок нам их достаточно выделять прямоугольниками, это делается просто и дешево. 
Потом выбираем какой-нибудь метод машинного обучения. Для ML существует много быстрых методов: SSD, Yolo, их модификации. 
Потом это нужно вставить в автомобиль. Камер много, 360 градусов надо покрывать, должно работать очень быстро, чтобы реагировать. Используются разнообразные техники, Inference движки типа Tensor RT, специализированное железо, Drive PX, FuseNet, несколько алгоритмов используем, единый бэкенд, сверточки прогоняются один раз. Это достаточно распространенная технология.
Object detection работает как-то так:
Тут помимо машин мы детектим еще пешеходов, еще детектим направление. Стрелочка показывает оценку направления только по камере. Сейчас она лажает. Это алгоритм, который работает на большом числе камер в реальном времени на машине. 
Про object detection это решенная задача, многие ее умеют делать, куча алгоритмов, куча соревнований, куча датасетов. Ну, не очень много, но есть. 
С лидарами гораздо сложнее, есть один более-менее релевантный датасет, это KITTI dataset. Приходится размечать с нуля.
Процесс разметки облака точек — достаточно нетривиальная процедура. В Толоке работают обычные люди, и объяснить им, как 3D-проекции работают, как найти машины в облаке, — достаточно нетривиальная задача. Мы потратили какое-то количество усилий, вроде более-менее получилось наладить поток такого рода данных.
Как с этим работать? Облака точек, нейросети лучше всех в детекции, поэтому нужно понять, как облако точек с 3D-координатами вокруг автомобиля подать на вход сети.
Вcе выглядит так, что нужно каким-то образом это представить. Мы экспериментировали с подходом, когда нужно сделать проекцию, вид сверху точек, и разрезать на клеточки. Если в клеточке есть хоть одна точка, то она занята. 
Можно пойти дальше — сделать слайсы по вертикали и, если в кубике по вертикали есть хоть одна точка, записать ее в какую-то характеристику. Например, хорошо работает запись самой верхней точки в кубике. Слайсы подаются на вход нейросетки, это просто аналог картинок, у нас 14 каналов на вход, работаем примерно так же, как с SSD. Еще сюда приходит сигнал с сети, натренированной на детекцию. На входе сети — картинка, это все тренируется end-to-end. На выходе предсказываем 3D-боксы, их классы и позицию. 
Вот результаты месячной давности на KITTI dataset. Тогда multiple view 3D был state of the art. Наш алгоритм был схож по качеству с точки зрения precision, но работал в несколько раз быстрее, и мы могли его задеплоить на реальную машину. Ускорение было достигнуто за счет упрощения представления в основном. 
Нужно снова задеплоить на машинку. Вот пример работы. 
Тут надо осторожно, это train, но на тесте тоже работает, зелеными параллелепипедами отмечены машинки. 
Сегментация — еще один алгоритм, который можно использовать для понимания того, что на картинке расположено. Сегментация говорит, к какому классу принадлежит каждый пиксель. Конкретно на этой картинке есть дорога, разметка. Края дороги выделены зеленым цветом, а автомобили немножко другим, фиолетовым. 
Кто понимает недостатки сегментации с точки зрения того, как это в motion planning скормить? Все сливается. Если рядом припаркованные машины, то у нас одно большое фиолетовое пятно машин, мы не знаем, сколько их там. Поэтому есть другая замечательная постановка задачи — instance segmentation, когда нужно еще разрезать разные сущности на кусочки. И этим мы тоже занимаемся, товарищ на прошлой неделе в топ-5 city scapes по instance segmentation зашел. Хотел на первое место, пока не получается, но такая задача тоже есть. 
Мы стараемся пробовать как можно больше разнообразных подходов, гипотез. Наша задача не в том, чтобы написать лучший в мире object detection. Это нужно, но, в первую очередь, появляются новые сенсоры, новые подходы. Задача — как можно быстрее их пробовать и внедрять в реальных жизненных обстоятельствах. Мы работаем над всем тем, что нам мешается. Медленно размечаем данные — делаем систему, которая размечает их с активным использованием сервиса Толока. Проблема с деплоем на машину — придумываем, как это ускорять единым образом.
Кажется, победит не тот, кто сейчас обладает большим опытом, а тот, кто быстрее бежит вперед. И мы сосредоточены на этом, хотим как можно быстрее все пробовать.
Вот видео, которое мы недавно показывали, проезд в зимних условиях. Это рекламное видео, но тут хорошо видно, примерно как ездят беспилотные автомобили в текущих реалиях (с тех пор появилось ещё одно видео — прим. ред.). Спасибо.