Беспилотный автомобиль своими руками

Как эффективно разработать беспилотный автомобиль или БПЛА с применением технологии цифровых двойников

Требования – основа разработки любых изделий

Автомобили и самолеты – одни из сложнейших технических объектов, созданных человеком. Идея заставить их двигаться и выполнять требуемые операции самостоятельно не нова. В последнее десятилетие она получила дополнительный импульс: с развитием технологий машинного зрения, искусственных нейронных сетей в программном обеспечении беспилотной техники, появилась возможность сделать поистине революционный рывок. Переход от «классических» алгоритмов управления к нейросетевым подходам в комплексе с современными вычислительными мощностями, инфраструктурными возможностями и современными архитектурами беспилотной техники делают ее массовый выход в мир реальным.

Какими бы ни были цели разработки беспилотной техники, исследовательскими или коммерческими, прежде всего требуют ответа вопросы: «Для чего? Для кого?». Делать робота только для того, чтобы показать, что мы это умеем, — задача увлекательная, но это дорогостоящее увлечение должен кто-то оплачивать. У того, кто платит, должна быть понятная мотивация. Заказчик до разработки изделия должен знать, каким оно будет: выполняемые функции, технические характеристики, цена. Без четкой формулировки требований инвестировать «в туман» крайне рискованно.

Требования к беспилотной технике обычно формулируются в проекции на аналогичное «традиционное» изделие. Чтобы быть лучше, беспилотная техника должна безопаснее, лучше, дешевле, эффективнее выполнять аналогичные задачи. В разных видах беспилотной техники выполняются разные из этих условий, но выгода в любом случае должна быть очевидной.

Для автомобиля речь в первую очередь идет о безопасности, стоимости и удобстве использования. При этом, сравнивая, скажем, стоимости беспилотного и «традиционного» автомобиля, можно учитывать косвенные факторы. Сколько стоят два-три часа в день, проведенных за рулем в пробках? В беспилотном варианте в это время можно заняться какими-то своими делами.

В случае с авиационной техникой, где более половины происшествий вызваны ошибками экипажа (человеческий фактор), беспилотность призвана повысить безопасность полетов. Мультикоптеры — воздушные такси – в принципе бессмысленно делать пилотируемыми. Это должны быть легкие, компактные аппараты, в которых всё оптимизировано под перевозку пассажиров, в то время как и вес, и место, занимаемые пилотом, этому явно мешают. Авиационную технику, не предназначенную для перевозки пассажиров, в большинстве случаев также выгоднее делать беспилотной по экономическим причинам. БПЛА, как правило, имеет принципиально меньшую стоимость разработки, изготовления и эксплуатации.

Контроль процесса разработки

Между согласием разработчика на выполнение требований и передачей готового годного изделия заказчику лежит процесс разработки изделия. Каким он должен быть? Есть несколько стратегий.

Первая (самая манящая, но недальновидная): разработчик считает, что он умен и опытен. Поэтому сразу набело «начертит» конструкцию, «напишет» системы управления, сразу отдаст «в изготовление». То есть разработчик не предпринял никаких шагов по контролю требований в процессе разработки в надежде на то, что звезды сложатся удачно. Такой исход теоретически возможен, если разрабатываемое изделие является копией тех, что разработчик производил до этого. Если же оно несет в себе новые элементы, возможность такого благополучного исхода стремительно тает с ростом процента новизны в конструкции. Поскольку в процессе разработки требования не контролировались, на этап испытаний первого прототипа выйдет изделие с неизвестными характеристиками. Результаты его натурных испытаний, скорее всего, окажутся неприятным сюрпризом для разработчика.

Источник

Как создать беспилотный автомобиль у себя в гараже и отказать Илону Маску

Американский хакер Джордж Хоц, более известный как geohot стал знаменитым, когда в 2007 году выпустил первый джейлбрейк для iPhone. Семнадцатилетнему школьнику удалось обойти защиту Apple, а уже спустя три года он стал первым, кто взломал Sony PlayStation 3. В 2014 году Джордж снова показал свой талант, взломав Chrome OS и получив 150000$ призовых за это.

Сейчас он работает над другим крупным проектом — самодельным беспилотным автомобилем. Американец уже успел отвергнуть предложение Tesla Motors о партнерстве с многомиллионным окладом, и делает все самостоятельно. Самое удивительное то, что у него получается, проект уже успел наделать немало шумихи в интернете. После трансформации, седан Acura ILX ездит по шоссе не хуже автомобилей Tesla, и это несмотря на то, что Джордж начал работу над преобразованием автомобиля только в октябре прошлого года.

Для демонстрации своего детища Хоц выбрал шоссе в окрестностях Сан-Франциско. Во время теста помимо хакера в автомобиле находился журналист компании Bloomberg, который впоследствии написал большую статью об изобретении Хоца. Автомобиль превосходно вписался в S-образные повороты на скорости 100 км/ч.

Салон автомобиля выглядит следующим образом.

Работу над автопилотом Хоц начал с того, что подал онлайн-заявку на регистрацию под именем авторизированного сервисного центра Honda. Заявку одобрили, и хакер получил доступ ко всем инструкциям и техническим схемам Acura. Используя эти данные, ему удалось подключиться к автомобильным системам, и интегрировать их с мини-компьютер Intel NUC, парой модулей GPS и маршрутизатором.

В последние годы хакер работал во многих крупных компаниях, включая Google, Space X и Facebook, но ни в какой из них он не мог найти интеллектуального удовлетворения. По словам Хоца, работая в Facebook его пугало, что компания делает с искусственным интеллектом. Лучшие разработчики трудятся над тем, чтобы заставить пользователей проводить больше времени в сети, используя для этого технологии машинного обучения.

В 2012 г. Джордж Хоц увлекся изучением искусственного интеллекта и нейросетей. Как сообщает geohot, он прочитал всю возможную литературу на данную тематику, и знает об этих технологиях буквально все. В 2015 году хакер основал собственную компанию comma.ai, главной целью которой является составить конкуренцию компании Mobileye, которая внесла существенный вклад в разработку автопилотов для Tesla.

По словам самого Хоца, его новый автопилот кардинально отличается от ныне существующих на рынке. Разработанная система не полагается на работу запрограммированных программ, а представляет собой обучаемую нейросеть, которая способна «запоминать» действия водителя. По факту программное обеспечение состоит лишь из 2000 строк кода, но это не мешает беспилотному автомобилю успешно перестраиваться из полосы в полосу, уверенно входить в повороты, а также по мере необходимости разгоняться и тормозить. Автомобиль даже может освобождать небольшую площадь полосы для велосипедиста или мотоциклиста.

Основная проблема заключается в том, что при подобном обучении система может перенять и человеческие ошибки, однако, если работать с несколькими водителями, то человеческий фактор можно свести к нулю. Пока что разработка достаточно сырая и у geohot нет никаких планов её коммерциализации. Но в долгосрочной перспективе, если проект успешно завершится, он хочет продать ее автопроизводителям, тем самым кардинально изменив современную структуру беспилотных автомобилей.

Любительский проект Хоца привлек внимание Илона Маска. Он просто не мог проигнорировать громкие заявления хакера, которыми пестрили все зарубежные СМИ. Как уже писалось ранее, глава компании Tesla Motors предложил работу Хоцу над фирменным автопилотом компании, но тот отказался. «Мне не нужны деньги, мне нужна власть. Не над людьми, а над судьбой технологии. Я просто хочу знать, как это всё работает» — говорит он. Впрочем, спустя некоторое время Маск уже утверждал, что новая система Хоца нисколько его не впечатлила. Достаточно странно, вам не кажется?

Свое утверждение Маск объяснил тем, что в одиночку создать продукт, который бы превосходил Tesla невозможно. Одно дело проехать по известному участку дороги, а другое — выпустить успешный коммерческий продукт. Чтобы исправить все ошибки и наладить управление автомобиля на миллионах километрах разнообразной дороги требуется огромные ресурсы, которых у хакера нет. Также Маск сказал, что заставить корректно работать автопилот в 99% случаев относительно просто, а вот добиться принятия им верных решений в 100% ситуаций, что в принципе от него требуется, намного сложнее.

Сейчас Джордж Хоц работает над совершенствованием своего проекта, так как уверен, что это революция в мире беспилотного транспорта. В ближайшие месяцы планируется выпуск документального фильма о том, как новая система превосходит автопилот Tesla Model S. В будущем geohot планирует адаптировать свою разработку для супермаркетов, чтобы искусственный интеллект смог заменить работу кассиров. Нам лишь остается наблюдать за происходящим и рассуждать, действительно ли разработка хакера сможет в дальнейшем составить конкуренцию автомобилям Tesla и других крупных компаний.

Подписывайтесь на наш нескучный канал в Telegram, чтобы ничего не пропустить.

Источник

Как мы сделали автопилот для сельхозкомбайна на видеоаналитике первыми в мире

Вот и весь комплект, если есть CAN-шина.

Всего пять лет назад не было нормально работающих нейросетей для того же определения препятствий и краёв стеблестоя, поэтому не было и видеоаналитики. Были «слепые» GPS-методы, которые на практике оказались далеко не лучшими и сильно подмочили престиж автоматизации в сельском хозяйстве. Через пять лет, как мы считаем, все комбайны будут автоматизированы именно визуальными автопилотами, чтобы смотреть из кабины и в стороны и контролировать все аспекты уборки урожая.

Мы находимся в том моменте, когда у нас уже есть готовые технологии, они отлично опробованы, дёшевы и имеют годовую практику эксплуатации, и крупные производители комбайнов с интересом на них смотрят. Скорее всего, будет как с автомагнитолами: сначала они ставятся в машины, а потом машины приходят с уже встроенными. Вот и мы сейчас модифицируем старые комбайны, но хотим занять место в экосистеме и ставить комплекс на все новые.

Такой проект мог стартовать у нас, в Бразилии и ещё в паре стран из-за особенностей рынка. Нужна страна с сельским хозяйством, разработчиками внутри, неэффективной уборкой (то есть чёткой болью сэкономить) и новым парком комбайнов. Повезло со всем, включая парк: после СССР всё развалилось, и сейчас мы наблюдаем машины примерно четырёх- пятилетней давности в основных хозяйствах.

В России 350 тысяч комбайнов, и поставляется ещё 35 тысяч в год. Это не рынок автомобилей, конечно, но, сделав правильное решение сейчас, пока туда ещё никто не пришёл, можно получить его весь.

Но давайте расскажу лучше, как именно это работает и как мы модифицируем комбайны в России.

Как проходит рабочий день оператора комбайна с нашим Agro Pilot.

Комбайнёр — оператор или механизатор — приходит в семь утра на поле. Если это не первый день, то машина стоит уже непосредственно посреди сельхозкультуры. Проводятся настройки под следующий участок, прогревание. В девять утра роса сходит с полей, можно начинать. Закончить нужно к темноте, когда влажность снова повысится. В дождь работать нельзя. Примерно за две недели надо успеть собрать всё зерно, пока оно не переспеет и не высыплется на землю: чем дальше, тем больше будут потери. Начинать раньше нельзя: зерно ещё не созрело. Поэтому именно в этот пик нагрузок любой простой, любая ошибка или авария стоят очень дорого.

Смена длится до 14 часов монотонной работы. Оператору нужно:

Короткий итог: человек может или рулить, или следить за качеством уборки. Рулить у него получается плохо, потому что комбайн имеет габарит 12 метров по жатке, и часто остаются большие непрокошенные полосы из-за неидеальных поворотов.

Если снять нагрузку по рулению, то внезапно чудесным образом повышается сбор зерна. В нашей практике прошлого года с одного и того же участка — на 3 % за счёт того, что у оператора есть возможность точнее смотреть за тем, что творится впереди. И ещё примерно на 3–5 % — за счёт удержания захвата без «пупков» и больших непрокошенных частей. Плюс нет аварий.

В общем, это очень нужная вещь, которая давно была бы реализована, если бы имелась техническая возможность.

Техническая возможность появилась

Вот что делает автопилот:

Основная функция нашего оборудования сейчас — не автовождение, а исключение человеческого фактора из работы оператора. Базовый комплект нашего оборудования помогает исключать недозахват жаток и лишние прогоны.

Что в начинке

1. Камера 2 МП на кронштейн зеркала. Мы ориентируемся только по камере: это основной датчик. Больше ничего не требуется.

2. Дисплей в кабине: это интерфейс для оператора. Через него делаются предупреждения и настройки.

3. Блок управления под кабину: там NVIDIA TX2. Там крутится основной стек алгоритмов, обрабатывается видео, и оттуда отдаются команды на CAN-шину.

Блок 340х290х60 мм, 40 ватт.

Модуль для отдачи команд подключается к CAN-шине или другому системному вводу-выводу комбайна. Здесь есть пара засад, в частности, с тем, что не везде такое возможно, и не везде управление гидравликой возможно через этот интерфейс.

В случае комбайна последних пяти лет выпуска это почти всегда всё: коробка с мозгами, камера, дисплей в кабину.

Датчик поворота колёс нужен на тот случай, если комбайн старый или без подготовки, и мы не можем получить эти данные из системной шины. Нам нужны данные для одометрии (скорость движения и угол поворота колёс):

Насос-дозатор в систему гидравлики нужен для непосредственного управления гидравликой нашим ко-пилотом:

Первая засада с CAN-шиной в том, что не всегда есть понятная документация. В теории попадаются и другие варианты получения сигналов из шины, но на практике России это очень редкие случаи. В общем, в лучшем случае есть какое-то системное API и дырка для кабеля. В простом случае мы связываемся с производителем этой дырки и просим прислать описание протокола. Через пару недель переговоров они понимают, кто мы и что нужно, и присылают. Не все это воспринимают просто, но крупные производители нам отчасти рады, потому что знают: в прошлом году мы поставили наши решения в ряд хозяйств и крупных агрокомплексов, чем навели немного шума в СМИ.

И они часто тут же спрашивают, можно ли наши технологии интегрировать в комбайн будущего. Это отдельная история, но в результате первой части у нас есть протокол, и всё хорошо.

На гидравлике тоже были сюрпризы. Хоть в партнёрах есть Danfoss, хоть они и помогли всем, чем возможно, и дали подробные схемы, проверить всё можно, только запустив комбайн. Где-то комплектующие слегка встали на границе, поэтому система для заказчика приехала к уборке урожая (и это только один из случаев). То есть надо было ночью смонтировать это всё, запуститься, проверить и, если хоть что-то не так, снять, чтобы утром комбайн можно было использовать дальше. Приехали к восьми вечера и начали шаманить с гидравликой. Первый монтаж мы закончили в четыре часа ночи. Не знали, заведётся или нет. Если не получится, то надо будет разбирать и вернуть штатное состояние. Завели — работает. Рулит как надо. Это самый крутой hello world в нашей жизни. Я не так себе представлял работу с нейросетями, но куда без этого.

В комплект можно добавить сотовый модем для отправки телеметрии. При этом в комплекте не нужен GPS. Это огромный плюс. Чтобы обычное GPS-вождение нормально работало, нужно заранее составить карту, выставить RTK-станцию для поправок либо купить пакет сигналов и так далее. И ещё нажимать кнопки и менюшки, а механизаторы очень не любят пользовательские интерфейсы. У нас камера-коробка-сели-поехали. Не требуется картировать поле, чтобы нарезать его на загонки. Нужно подъехать к полю. Робот скажет: «О, ура, поле!» И просто поедет.

Почему только камера для вождения

В 2014 году мы взяли научный грант на прототип комплексной системы управления сельскохозяйственным предприятием с использованием ИИ. Погрузились в бизнес сельхозпроизводителей и посмотрели самые очевидные точки автоматизации. Россия — очень рисковое земледелие (один урожай в год, а в Бразилии — пять). Целый год возделываешь поле: дорогой посевной материал (это самое дорогое), потом прыскаешь дорогими химикатами (вторая статья расходов), проводишь цикл работ по подготовке почв, культур. Это целый год с марта по осень. И только осенью у тебя две недели, когда надо собрать урожай. Если что-то идёт не так, то плюс-минус день может быть 10 % потери урожая.

Комбайн не вышел, комбайнёр запил, криво покосил — сломал по дороге. Всё, простой часами и днями.

Именно с распознавания препятствий мы и начали. Сразу напрашивался лидар, но он дорогой, поэтому камера. Раз монокамера — нужно сразу распознавание образов. Потому что нужно не только увидеть, но и понять, что это, какого оно размера, как себя поведёт, чего ждать. Мы либо стоим на месте, либо движемся вперёд, а нужно знать относительное расстояние до объекта и ещё помнить про жатку 7,5 или 9 метров в разные стороны (и это не максимум, часто на ходовых моделях встречается и 12-13 метров). Всё равно на таких размерах можно на развороте случайно смолотить механизатора трактора или заправщика, вышедшего по малой нужде.

Нейросетки отлично справляются. Но всё же, поскольку у нас монокамера, можно обмануть алгоритм моделью комбайна 1:40 в редких случаях (потому что по монокамере в движении тоже можно получить геометрию). Но в поле такие попадаются редко.

В кукурузе (стеблестой три метра) важно искать столбы, к примеру. Раз у нас появилось определение, что тут — культура, а что — препятствие, то дальше можно было отличать, где какая культура находится.

А это уже автопилот второго уровня:

Очень сложно было с самой культурой. На первых итерациях выездов мы приезжали в поле на новую культуру или специфично выглядевшую. Агроном плохо следил, например, не опрыскивали вовремя. Низкорослая культура с сорняками — нейросеть не скушает. Однажды было так, что мы приехали в хозяйство на испытания. А там резко другой климат, и ячмень выглядит совсем не так, как в справочнике агронома. А у нас сегментация не распознает нескошенную и скошенную части корректно. Данных для обучающей выборки было мало, мы же сами их снимали. Весь день до вечера катались с механизатором по полям, снимали новую выборку. Ночью сели в гостинице своим составом размечать эти данные. Поставили на дообучение сеть. На следующий день всё заездило на новом поле.

Вот так можно добрасывать целевую выборку:

Как говорит Эдуард, который это объясняет сельхозхозяйствам, люди сами прекрасно понимают, что уборка — это основная точка автоматизации. Там день год кормит. И они стараются всеми силами исключить человеческие ошибки. В итоге мы договариваемся на «посмотреть». До сезона приезжает сервисная группа наша или дилеров, устанавливают всё. Дальше проводят проверку-калибровку. Или перед уборочным периодом сразу калибруются, день-полтора займёт.

Если интересно, то дальше могу рассказать или про особенности распознавания всего того, что встречается на полях, или про то, как мы чудесно собираем обучающие выборки, потому что готовые отвратительны и не подходят для российских условий. Это ещё связано с тем, что мы первые, кто вообще что-то делает с этой темой по миру, и поэтому каких-то наработанных практик ещё нет.

Источник