Дополненная реальность в интеллектуальной системе управления транспортным средством

Полный текст

Введение В последние годы многие производители автомобильных транспортных систем проявили большой интерес к дополненной реальности (AR), главным образом из-за ее доступности и потенциала для создания инновационных решений. AR - это форма человеко-машинного интерфейса (HMI), в которую виртуальные компоненты вставляются и накладываются на реальный мир, создавая иллюзию «обогащенной» реальности. Это позволяет пользователям получать необходимую им информацию об определенных аспектах или процедурах непосредственно в рабочей среде [1] и потенциально может обогатить сенсорное восприятие человека [2]. Основываясь на определении П. Милгрэмом континуума реальности и виртуальности [3], можно сказать, что AR является неотъемлемой частью смешанной реальности, которая представляет собой слияние реального и виртуального миров. Приложения AR варьируются от предназначенных для промышленности и производства (робототехника, транспорт, здравоохранение, образование) до услуг, используемых в повседневной деятельности (игры, развлечения и т. д.). Существуют обширные исследования, в которых рассматривается влияние дополненной реальности на автомобильную промышленность, а также проблемы и направления развития в этой области [4-9]. AR открывает новые многообещающие возможности практически во всех областях автомобильной промышленности. Например, AR может значительно улучшить пользовательский интерфейс с помощью проекционных дисплеев (head-up display, HUD) - прозрачных устройств, предназначенных для представления различной важной информации в поле зрения водителя в режиме реального времени [10]. AR вносит вклад во многие другие этапы автомобильного производства, такие как техническое обслуживание, ремонт, диагностика, обучение [1] специалистов по производству и потребителей продукции и т. д. Тестирование точечной сварки с использованием пространственной дополненной реальности на основе проектора, визуализация некоторых частей автомобиля с помощью портативных устройств [11] или выполнение процедур технического обслуживания с применением головных дисплеев (HMDS) - вот некоторые примеры использования дополненной реальности. Технология AR внедрена в качестве маркетингового инструмента, чтобы клиенты могли интерактивно настраивать свой автомобиль перед покупкой [12; 13]. Системы виртуальной и дополненной реальности используют информацию, полученную от интеллектуальной системы управления автомобилем. 1. Сенсоры интеллектуальной системы управления автомобилем Интеллектуальные системы управления транспортными средствами базируются на использовании датчиков, данные которых объединяются, создавая виртуальную рабочую среду. Датчики делятся на две категории: внешние и внутренние. Внешние датчики предоставляют информацию об окружающем пространстве транспортного средства, позволяя рассчитать безопасную и эффективную траекторию движения к месту назначения. В первую очередь они включают радар, лидар, ультразвуковые датчики, GPS-контроллер и дневную видеокамеру. Радарные датчики, применяемые в настоящее время в некоторых системах адаптивного круиз-контроля, обеспечивают максимальную четкость определения относительной скорости. Используя эффект Доплера, они могут определять относительную скорость объектов вокруг транспортного средства. Из-за широкого угла обзора радар не может адекватно различить форму и контур небольших объектов. Его наилучшим применением в интеллектуальном транспортном средстве является быстрое определение скорости сближения и обнаружение объектов на большом расстоянии [14]. Лидар обеспечивает более точное виртуальное изображение окружающего мира непосредственно вокруг транспортного средства. Из-за узкого угла луча лазера для покрытия целевой области необходим механический сканер. Это приводит к некоторой задержке по сравнению с радаром, но вместе они обеспечивают плавность изображения окружения транспортного средства. Интеллектуальное транспортное средство может включать в себя несколько лидарных датчиков для повышения качества модели виртуального мира. Ультразвуковые датчики в настоящее время есть в большинстве систем обнаружения. Они обеспечивают точность обнаружения ближних препятствий и могут использоваться для получения виртуального изображения ближних объектов вокруг всего транспортного средства. Это позволяет менять полосу движения и выполнять экстренные маневры без непреднамеренного столкновения с близлежащими объектами. GPS-контроллер (GPS-трекер) обеспечивает определение абсолютного местоположения, навигацию и привязку скорости к координатам объекта. Это позволяет вычислять ускорение и скорость в макромасштабе на основе картографических данных и моделей дорог, а также обеспечивает непрерывную калибровку инерциального измерительного блока (ИДУ) и датчиков скорости. Инфракрасный (ИК) приемопередатчик устанавливается за ветровым стеклом автомобиля, обычно перед зеркалом заднего вида. Он принимает инфракрасные сигналы от ИК-маяков и передает их обратно. Магнитный датчик - это небольшой твердотельный блок, который воспринимает магнитное поле Земли. Обычно он монтируется на крыше транспортного средства, как можно дальше от источников магнитных помех, таких как двигатель. Внутренние датчики включают в себя множество датчиков транспортного средства, которые информируют компьютер транспортного средства о рабочем состоянии различных подсистем. Ключевыми, связанными с интеллектуальным управлением автомобилем, являются датчики скорости вращения колеса, угла поворота рулевого колеса, датчики рыскания и ускорения автомобиля. Датчики скорости вращения колеса и угла поворота рулевого колеса используются совместно для обеспечения обратной связи по замкнутому контуру с контроллером транспортного средства. При задании траектории рулевое колесо будет поворачиваться, и дифференциальный крутящий момент будет приложен к ведущим колесам. Обратная связь с датчиком поможет предотвратить проскальзывание колес и позволит виртуальной модели вычислять абсолютное положение автомобиля. Датчики рыскания и ускорения, объединенные в инерциальный измерительный блок (inertial measurement unit, IMU), обеспечивают исправление ошибок для датчиков скорости вращения колеса и угла поворота рулевого колеса. Данные IMU позволяют использовать обратную связь с замкнутым контуром для коррекции скольжения и предотвращения потери управления. Процессор представляет собой микрокомпьютер, функция которого заключается в приеме входных данных от блока управления и датчиков транспортного средства, декодировании информации, отслеживании местоположения транспортного средства, передаче данных на дисплей для представления водителю и передаче информации во внешние системы. Обычно он монтируется под сиденьем или в багажнике, хотя дальнейшая миниатюризация может привести к тому, что в более поздних системах он будет интегрирован с дисплейным блоком. 2. Интеллектуальная система управления автомобилем Автомобиль с интеллектуальной системой рулевого управления, торможения и регулированием мощностью отдельных колес в режиме реального времени может обеспечить беспрецедентный уровень безопасности и эффективности в различных условиях. Это достигается путем объединения входных сигналов датчиков, определения оптимальных траекторий и поддержания замкнутого контура управления динамикой транспортного средства. Различные датчики обеспечивают входные данные, необходимые компьютеру транспортного средства для построения виртуального изображения окружающего мира. Современные автомобили оснащены точными датчиками скорости для управления автоматической коробкой передач и датчиками скорости вращения колес для включения системы ABS. Интеллектуальные системы управления автомобилем включают в себя ультразвуковые или основанные на видеокамерах резервные системы предупреждения и аналогичные системы обнаружения боковых слепых зон. Действуя независимо, эти датчики прямо или косвенно предоставляют водителю информацию о результатах измерений. Интеллектуальная система управления с технологией Sensor Fusion объединяет вышеуказанные данные с датчиками скорости и расстояния дальнего действия для создания виртуальной модели объектов вокруг транспортного средства [14]. Активное управление перемещением по полосе движения как часть технологии Sensor Fusion позволяет транспортному средству сохранять центральное положение между полосами движения на основе анализа изображений маркеров полосы движения и входных данных от других датчиков транспортного средства. На основе этих входных данных вычисляются оптимальные траектории либо для следования изгибу дороги, либо для избегания опасностей на дороге [15]. Если перед транспортным средством возникает препятствие, датчики обнаружения препятствия сообщают виртуальной модели его размер и местоположение. Затем интеллектуальная система управления транспортным средством решает обратную кинематическую задачу для управления тормозами, двигателями и рулевым колесом транспортного средства. Маневр торможения на высокой скорости требует ввода данных от всех четырех датчиков скорости колеса для определения пробуксовки колес, датчика рыскания для определения изменения положения транспортного средства и акселерометра для вычисления абсолютного ускорения вдоль траектории. Данные поступают непосредственно в виртуальную модель, гарантируя, что все входные сигналы управления транспортным средством соответствуют его текущему положению и ускорению [16]. При управлении водителем-человеком такие алгоритмы обеспечивают контроль устойчивости в случае, если транспортное средство потеряет сцепление с дорогой во время маневрирования. Применение интеллектуальных систем управления направлено на повышение эффективности, производительности и безопасности автомобилей. Такие системы включают в себя: - объединение сенсорных данных - компьютерная модель, которая объединяет входные данные от нескольких дискретных датчиков для получения виртуального изображения окружающей среды; - полностью электрический привод - система привода, которая позволяет полностью контролировать скорость и крутящий момент отдельных колес с помощью отдельных колесных двигателей; - дифференциальный контроль стабильности крутящего момента предоставляет возможность модулировать крутящий момент на каждом ведущем колесе для повышения устойчивости автомобиля, уменьшения проскальзывания колес и улучшения сцепления на неровных или скользких поверхностях; - управление скоростью рыскания - в сочетании с контролем устойчивости функция контроля скорости рыскания сравнивает скорость рыскания автомобиля с ожидаемой скоростью рыскания на основе данных системы рулевого управления и скорости. Этот дифференциал может регулировать мощность двигателя и процесс торможения, чтобы предотвратить потерю управления автомобилем [16; 17]; - датчики положения и перемещения могут решать самые разные задачи: измерять положение и перемещение (угловое, линейное) рабочих органов машин или механизмов, других объектов, а также выполнять функции передачи данных о состоянии транспортного средства дальше в систему, реализуя в качестве звена обратной связи системы слежения в различного рода автоматизированных системах управления. 3. Когнитивные функции интеллектуальных систем управления транспортными средствами Когнитивный искусственный интеллект. Термин «когнитивный» возник в психологии для обозначения познавательной деятельности человека, а затем перешел в область техники и технологии для определения интеллектуальных технических систем, способных к самообучению. Когнитивный искусственный интеллект способен самообучаться или самосовершенствоваться. В рамках искусственного интеллекта разрабатываются искусственные когнитивные системы, накапливающие знания в процессе обучения [18]. Базы данных и базы знаний. Данные - это информация, полученная в результате наблюдений или измерений отдельных характеристик (свойств), характеризующих объекты, процессы и явления в данной области. Знания (с точки зрения представления знаний в интеллектуальных системах) - это связи и закономерности предметной области (принципы, модели, законы), которые были получены в результате практической деятельности и профессионального опыта и позволяют специалистам выявлять и решать проблемы в этой области. Система управления движением интеллектуальных транспортных средств на автомагистралях. Для контроля и управления движением интеллектуальных транспортных средств на автомагистралях используются интеллектуальные встроенные контроллеры дорожной инфраструктуры, светофоры, системы оповещения на светодиодных панелях, детекторы обнаружения транспортных средств, камеры наблюдения. Такие системы можно условно разделить на несколько функциональных групп: - детекторы транспортных средств - собирают информацию о транспортном потоке, включая количество транспортных средств, их скорость, местоположение, а затем отправляют эту информацию на интеллектуальный встроенный компьютер через систему беспроводной передачи; - встроенный компьютер как часть контроллера управления дорожным движением - вычисляет и анализирует данные для определения состояния транспортного потока, затем посылает управляющие сигналы на светофоры и предупреждающие табло, тем самым создавая условия для непрерывного процесса движения и предотвращения заторов на шоссе; - контроллер управления дорожным движением - также может отправлять информацию на средства уведомления водителей о пробках на шоссе и об альтернативных способах объезда заторов. Интеллектуальная система контроля положения транспортного средства. Определение положения объекта, регистрация маршрута и скорости движения осуществляется GPS-контроллером системы. Мониторинг времени движения, парковки и работы оборудования выполняется с помощью специальных датчиков. Данные из бортовой системы объекта передаются на сервер по каналу GPRS, а также архивируются в энергонезависимой памяти бортовой системы (в случае отсутствия канала GPRS). Основные особенности системы: - графическое отображение текущего положения объекта на карте; - графическое отображение на карте маршрута объекта; - контроль пробега; - контроль времени в пути, парковки; - контроль за соблюдением маршрута; - регистрация работы исполнительного оборудования. Система контроля положения транспортного средства предназначена для дистанционного мониторинга интеллектуальных транспортных средств. Она позволяет получать оперативную информацию о местоположении и маршруте автомобиля в режиме реального времени. Кроме того, предоставляется полная информация о состоянии транспортного средства (пробег, время в пути, время стоянки и т. д.). 4. Дополненная реальность в интеллектуальной системе управления транспортными средствами Дополненная реальность обладает огромным потенциалом для повышения эффективности эксплуатации автомобиля - от улучшения качества вождения до предотвращения несчастных случаев и предоставления полезной информации о направлениях движения[85]. Интегральные впечатления. С того момента, как клиент садится в автомобиль, AR, искусственный интеллект, интернет-приложения, программное обеспечение смартфона работают вместе, чтобы улучшить драйв и сделать предстоящее путешествие легким. Навигация и маршрут следования. Благодаря встроенному дисплею HUD на лобовом стекле навигация упрощается, появляется информация об условиях на дороге по ходу движения, что делает поездку проще и безопаснее. Точки интереса (points of interest, POI). Система поиска мест интереса (достопримечательностей) поможет легко найти все: от вариантов парковки до ближайшей заправочной станции на пути к следующему пункту назначения. Система компьютерного зрения. Пешеходы, велосипедисты и другие потенциальные опасности на дороге могут быть непредсказуемыми. AR выделяет объекты, которые с наибольшей вероятностью могут представлять опасность, чтобы водитель мог безопасно избежать аварии. Анализ окружающих объектов. Встроенные датчики передают информацию в режиме реального времени непосредственно в AR, чтобы не только информировать водителя о том, что его окружает, но и предупреждать о внезапных изменениях скорости или полной остановке впередиидущих транспортных средств. Интеллектуальная парковка. Используя пространственное моделирование, HUD отображает парковочные места, в которые может поместиться автомобиль, а также определяет связанные с этим затраты или временные ограничения для места. Автоматическая адаптация. Независимо от того, едете ли вы по туннелю, выезжаете из гаража или двигаетесь при ярком дневном свете, HUD автомобиля адаптируется, чтобы водитель всегда мог четко видеть важную информацию, отображаемую с помощью AR. Уведомления. Принимая телефонный звонок или получая важное сообщение, водитель никогда не должен отрывать взгляд от дороги. Интеграция HUD, микрофона и автомобильных динамиков гарантирует, что водителю больше никогда не придется смотреть на свой телефон во время вождения. 5. Моделирование дополненной реальности в интеллектуальной системе управления автомобилем На основе представлений о функционировании интеллектуальной системы управления автомобильным транспортным средством разработана программа для отображения различной информации от сенсоров автомобиля, моделирующая работу системы дополненной реальности. В основе алгоритма программы лежит процесс объединения изображения, видимого через лобовое стекло автомобиля, и данных, поступающих от сенсоров интеллектуальной системы автомобиля. В верхней части окна программы расположен трекбар («ползунок») для задания уровня яркости изображения данных и поле со списком для выбора прибора, информация от которого отображается на лобовом стекле. В главном окне программы расположены изображения: - лобового стекла; - показаний прибора; - показаний прибора на лобовом стекле (рис. 1). Изображение выглядит как текст, снимок экрана, электроника, дисплей Автоматически созданное описание а Изображение выглядит как текст, снимок экрана, дисплей Автоматически созданное описание б Рис. 1. Главное окно программы: изображение лобового стекла, изображение показаний прибора, изображение показаний прибора на лобовом стекле при разных значениях уровня яркости изображения показаний прибора (датчика скорости) Figure 1. The main window of the program: the image of the windshield, the image of the instrument readings, the image of the instrument readings on the windshield at different values of the brightness level of the image of the instrument readings (speed sensor) Программа создана в программной среде Microsoft Visual Studio, реализована на языке C# по технологии Windows Forms. 6. Результаты В программе имеется возможность регулировать яркость изображения данных, поступающих от сенсоров интеллектуальной системы, имитирующая зависимость изображения данных от яркости освещения лобового стекла. Также реализована функция переключения каналов информации для отображения данных от различных устройств (рис. 2). Основным достоинством разработанной программы является возможность адаптивной настройки параметров изображения в зависимости от условий окружающей среды и особенностей зрительного восприятия водителя транспортного средства. Программа отображения в дополненной реальности данных сенсоров интеллектуальной системы автомобиля позволяет улучшить процесс и качество вождения, способствует концентрации внимания водителя на дорожной ситуации, обеспечивает повышение безопасности дорожного движения, адекватное управление транспортным средством в случае нештатной ситуации. а Изображение выглядит как текст, снимок экрана, электроника, другой Автоматически созданное описание б Изображение выглядит как текст, снимок экрана, электроника, дисплей Автоматически созданное описание в г Рис. 2. Изображение лобового стекла, изображение показаний прибора, изображение показаний прибора на лобовом стекле при разных значениях уровня яркости изображения показаний прибора: парктроника (а, б), лидара (в, г) Figure 2. The image of the windshield, the image of the instrument readings, the image of the instrument readings on the windshield at different values of the brightness level of the image of the instrument readings: parking sensors (а, б), lidar (в, г) Заключение Технологии дополненной реальности применяются в процессе изготовления и эксплуатации транспортных средств. Основой интеллектуальной системы управления автомобилем является комплекс датчиков, контроллеров, микропроцессорных устройств. На основе представлений о функционировании интеллектуальной системы управления автомобильным транспортным средством разработана программа для отображения различной информации от сенсоров автомобиля, моделирующая работу системы дополненной реальности. В основе ее алгоритма лежит процесс объединения изображения, видимого через лобовое стекло автомобиля, и данных, поступающих от элементов интеллектуальной системы автомобиля. Представлены изображения виртуальной реальности, моделирующие различные условия освещения лобового стекла автомобиля, и изображения данных, получаемых от различных сенсорных устройств и систем транспортного средства. Программа отображения в дополненной реальности данных от элементов интеллектуальной системы управления автомобилем позволяет получать актуальную информацию о процессе движения и параметрах окружения транспортного средства, способствует улучшению вождения, повышению безопасности дорожного движения, обеспечивает адекватное управление транспортным средством в различных условиях, в том числе экстремальных.

Об авторах

Лариса Владимировна Круглова

Российский университет дружбы народов

Email: kruglova-lv@rudn.ru
ORCID iD: 0000-0002-8824-1241

кандидат технических наук, доцент департамента механики и процессов управления, Инженерная академия

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Фафа К. Сисей

Российский университет дружбы народов

Автор, ответственный за переписку.
Email: 1032199266@rudn.ru
ORCID iD: 0000-0001-6762-9231

магистрант, департамент механики и процессов управления, Инженерная академия

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Список литературы