Историческое событие: Tesla отказалась от 300 000 строк кода C++ и перевела автопилот FSD на «сквозные нейронные сети»
Tesla начала распространение обновления FSD Beta v12, которое должно представить то, что генеральный директор Илон Маск назвал «сквозными нейронными сетями» (end-to-end neural nets).
Самое большое отличие от предыдущих версий системы автопилота FSD заключается в том, что управление транспортным средством теперь будет осуществляться нейронными сетями, а не кодироваться программистами.
«FSD Beta v12 обновляет стек управления городскими улицами до единой сквозной нейронной сети, обученной на миллионах видеоклипов, заменяя более 300 тысяч строк явного кода C++», — заявили в Tesla.
Это означает, что поведение автомобиля, как и его система компьютерного зрения теперь будут работать под управлением системы искусственного интеллекта, а не определяться заранее прописанным кодом. Когда Tesla впервые представила Full Self-Driving, автопроизводитель заявил, что именно такой подход и будет, но в конечном итоге компании потребовались годы, чтобы перейти к управлению с помощью нейронных сетей.
Многие сторонники Tesla считают, что v12 — это то, что позволит Tesla наконец выполнить свои обещания по беспилотному вождению. До этого данная версия использовалась только во внутреннем испытательном парке Tesla, но теперь наконец-то добралась до клиентов.
Tesla частично открыла исходный код Model S/X 2018.12
Всем известно, что автомобильное программное обеспечение Tesla создано на базе open source проектов, а именно на операционной системе Linux под лицензией GPL. Эта лицензия требует у разработчиков производных программ обязательно публиковать свой исходный код. Иначе это превращается в улицу с односторонним движением, когда разрешено только брать, но не отдавать. Но именно так до недавнего времени поступала Tesla.
В мае 2018 года процесс сдвинулся с мёртвой точки: Tesla опубликовала значительную часть кода софтверного релиза Model S/X 2018.12. Это системный образ платформы Tesla Autopilot, системный код для аппаратного обеспечения и код информационно-развлекательной системы на базе Nvidia Tegra, которая работает в автомобиле.
Фонд Software Freedom Conservancy поздравил компанию с «первым публичным шагом на пути к выполнению условий GPL». Фонд отметил, что редко публично рассказывает о специфике текущих разбирательств с корпорациями, нарушающими условия лицензии. Обычно нарушители просят соблюдать конфиденциальность и не выносить вопрос на публику, чтобы не подвергаться общественному порицанию. Очень редко компания открыто и публично признаёт факты нарушений и публично начинает их исправлять. Так несколько лет назад поступила Samsung, а сейчас — Tesla.
Переговоры с Tesla велись с июня 2013 года, когда появились многочисленные сообщения о нарушении GPL в автомобиле Tesla Model S. Покупателям автомобиля была поставлены автомобили с компьютерной системой, которая работала на Linux и BusyBox. При этом покупатели не получили никаких исходников.
Кроме Tesla, одновременно велись переговоры с поставщиками программного обеспечения для Tesla — Nvidia и Parrot по раскрытию полных соответствующих исходников (complete, corresponding source, CCS) для всех бинарных файлов под GPL, найденных в Tesla Model S. В частности, компании Nvidia принадлежит найденный в автомобиле бинарник 2.15.50.img.bz2, а компании Parrot — бинарник firmware_2.12.126. Первый из них, вероятно, соответствует так называемой платформе Tesla Autopilot 2.
На протяжении этого времени Tesla предоставила Фонду несколько CCS-кандидатов, которые не были ни полными, ни соответствующими бинарникам. Соответственно, специалисты Software Freedom Conservancy помогали советами Tesla, как исправить ситуацию.
По условиям CCS, исходники должны соответствовать двум условиям:
- Из них можно скомпилировать бинарник, в точности совпадающий с бинарником в автомобиле.
- Пользователь должен иметь возможность заменить бинарник в автомобиле на свой.
Важно понимать, что этот этап — приведение исходников в полное соответствие — самый длительный. Может охватить ложная радость, что от отсутствия исходников мы перешли к наличию. Но нет, это ещё далеко не всё. Очень важно соблюдение всех требований GPL.
Однако в мае 2018 года Tesla решила выбрать неожиданный курс — и сама опубликовала на Github исходники, которые не полностью соответствуют CCS. Фонд Software Freedom Conservancy приветствует этот шаг как публичное признание своих нарушений, однако напоминает о необходимости привести всё-таки код в соответствующий вид. С этой целью создан публичный лист рассылки для обсуждения релиза от Tesla. Первое же сообщение в списке — анализ CCS-кандидата, который опубликован на Github и в реальности является седьмым по счёту CCS-кандидатом.
В отчёте говорится, что опубликованные исходники только частично содержат код от Nvidia (отсутствуют исходники файлов 88w8688_uap.ko и 88w8688_uap_mlan.ko из Tesla Model S), а код Parrot полностью отсутствует.
Таким образом, дело сдвинулось с мёртвой точкой. Если Tesla продолжит работу в этом направлении, откроет соответствующий портал свободного ПО, будет выкладывать полные релизы ПО для каждой модели, то тогда любой владелец машины Tesla сможет скачать, скомпилировать и установить на свою машину свежую версию автопилота или другого софта. Вот это будет полное соответствие условиям GPL.
Опубликован исходный код ПО электромобилей Tesla
Компания Tesla использовала в качестве основы программного обеспечения своих автомобилей открытые платформы, такие как Linux и BusyBox, но сама не спешила публиковать исходные коды, как это предусмотрено лицензией GPL. Однако ситуация, наконец, изменилась.
Уже доступна часть, формирующая картину окружающего мира для автопилота, а также ядра ОС для плат автопилота и информационно-развлекательной системы на основе Nvidia Tegra, используемой в Model S и Model X.
Пока опубликованы не все исходники и даже то, что опубликовано — не самые свежие версии, но это только начало. Со временем производитель обещает сделать доступными более новые версии и добавить исходные коды других компонентов.
Tesla показала, как видит нейронная сеть Autopilot 3.0
Скриншот с визуализацией работы системы Tesla Autopilot 3.0.
Согласно информации издания Electrek, Tesla выложила в открытый доступ новые материалы о работе своего отдела искусственного интеллекта и машинного зрения Tesla, работающего под руководством Андрея Карпаты (Andrej Karpathy). Среди опубликованной информации есть небольшой видеоролик, который показывает, как нейронная сеть системы с ИИ Autopilot 3.0 воспринимает дорогу, движение и анализирует многие препятствия. Вдобавок, Tesla набирает новых сотрудников в команду Autopilot (регистрационная форма внизу страницы).
В 2019 году Tesla обновила аппаратное и программное обеспечение системы Autopilot до версии 3.0 и смогла значительно улучшить ее производительность. В компании заявили о 21-кратном увеличении частоты обработки кадров по сравнению с аппаратным обеспечением Tesla Autopilot предыдущего поколения.
В состав системы Autopilot 3.0 входит массив из сорока восьми нейронных сетей, на обучение которых командой разработчиков было потрачено семьдесят тысяч часов в различных симуляторах. Сейчас скорость работы системы Autopilot 3.0 составляет — одна тысяча различных тензоров (предсказаний) на каждом временном отрезке.
На видео ниже приведен пример работы системы Autopilot 3.0. ИИ системы анализирует препятствия (машины на дороге, на парковке, обочине), дорожные условия (например, зафиксировал участок с влажной дорогой), дорожные знаки (знак «стоп» и стоп-линию) и разметку на дороге, включая пешеходные переходы.
Исторически, Tesla сумела привлечь в свою команду Autopilot лучших специалистов по искусственному интеллекту, но успех и громкий статус программы сделали ее начальной точкой отсчета для многих других компаний, разрабатывающих подобные технологии. За последние несколько лет Tesla потеряла многих своих топ-менеджеров и инженеров команды Autopilot, которые перешли на работу в такие компании, как Nvidia, GM Cruise, Google, Lyft и другие. А теперь в компании начался новый набор сотрудников в команду Autopilot.
Компания Tesla ищет программистов, которые:
- могут создавать сверхнадежные загрузчики с поддержкой беспроводных обновлений для систем на Linux;
- пишут код на низкоуровневых языках программирования с эффективным использованием памяти;
- понимают, как работает сжатие и конвейерная обработка вычислений на микроконтроллерах и процессорах с разной аппаратной архитектурой, включая системы типа SoC (System-on-a-Chip).
Кстати, после публикации Tesla о новом наборе сотрудников, Илон Маск заявил в твиттере, что примерно через четыре недели компания устроит «супер забавную ИИ-вечеринку / хакатон в его доме, на которую приглашена вся команда Tesla AI Autopilot и новые ее участники».
В настоящее время разработанный компанией автопилот соответствуют второму уровню по классификации ассоциации SAE (Society of Automotive Engineers). Машина может как удерживать курс, так и ускоряться, при этом используя информацию о ситуации вокруг автомобиля. Для этого, конечно, нужны датчики, сенсоры и в некоторых случаях камеры. Водитель обязан держать руки на руле машины и не снимать их. Машина может тормозить в случае необходимости.
Ранее 2 октября 2019 года стало известно, что Tesla купила стартап DeepScale и восстанавливает поредевшую за лето 2019 года команду разработчиков автопилота.
В апреле 2019 года на Tesla Autonomy Investor Day Андрей Карпаты рассказал, как Tesla обучает автопилот.
- Работа с видео
- Машинное обучение
- Искусственный интеллект
- Транспорт
- IT-компании