Построение маршрутов в дополненной реальности с использованием ГИС-технологий

Полный текст

Введение [***] Основной целью статьи является рассмотрение возможности применения технологии дополненной реальности в геоинформационных системах для отображения и построения маршрутов. Разберем возможности применения в области маршрутизации, а также выделим существующие проблемы. Для построения виртуальных маршрутов используем представленный Apple в 2017 г. фреймворк ARKit [1], а для создания приложений дополненной реальности под операционную систему iOS и определения геолокации - фреймворк CoreLocation, встроенный в SDK iOS [2]. Также применим открытый SDK и API сервиса геолокации HereMaps для предоставления картографической подложки, отображения маршрутов и результатов расчета. 1. Создание сцены дополненной реальности При создании сцены дополненной реальности камера устройства использует реальный мир для создания виртуальных объектов. Это происходит за счет того, что виртуальные объекты, такие как 3D-модели, видео, текстуры или звуковые эффекты, проецируются перед нами на камере устройства, поверх реального мира. Для создания дополненной реальности привлекается ряд аппаратных технических устройств, таких как процессор, дисплей, датчики и устройства ввода/вывода. Всеми этими сенсорами обладают современные мобильные устройства. В составе обработки информации с мобильного устройства iPhone использует встроенный в iOS фреймворк ARKit. В свою очередь ARKit обрабатывает информацию с различных сенсоров устройства [3]. Сенсоры представлены в табл. 1. Сцена дополненной реальности использует систему визуально-инерциальной одометрии. Таблица 1 Состав сенсоров мобильного устройства [Table 1. Data capture by the device] Устройство [Device] Сенсор 1 [Sensor 1] Сенсор 2 [Sensor 2] Сенсор 3 [Sensor 3] Сенсор 4 [Sensor 4] Сенсор 5 [Sensor 5] Сенсор 6 [Sensor 6] iPhone Камера [Camera] Барометр [Barometr] Гироскоп [Gyroscope] Акселерометр [Accelerometr] Магнитометр [Magnetometr] GPS Визуальная одометрия - метод оценки положения и ориентации устройства с помощью анализа последовательности изображений, снятых установленной на нем камерой [4]. Визуально-инерциальная одометрия - технология, использующая видеокамеры в дополнение к инерциальным датчикам и способная обеспечить полное шестистороннее отслеживание свободного движения в визуально различимых средах [5]. Фреймфорк ARKit анализирует камеру телефона и данные о движении для отслеживания окружающего мира. Компьютерное зрение регистрирует заметные особенности в среде и способно поддерживать осведомленность об их расположении в реальном мире вне зависимости от движения устройства iPhone. Система объединяет данные с визуальной и инерциальной подсистемой устройства для определения положения и смещения на сцене [6]. К визуальной подсистеме относятся такие устройства, как камера, а к инерциальной подсистеме - акселерометр, магнитометр и гироскоп [6]. Магнитометры используют информацию с установленных на мобильном устройстве датчиков для измерения напряженности поля [7]. При этом магнитометр мобильного устройства измеряет напряженность поля. Магнитометр позволяет оценить воздействие на устройство магнитного полюса Земли [8]. В основе выборки лучшего позиционирования на сцене лежит фильтр Калмана [9] - алгоритм, который в каждый момент времени после инициализации сцены выбирает наилучшее из показаний двух подсистем, что позволяет корректно определить на сцене текущую позицию и ориентацию пользователя [10]. При создании сцены дополненной реальности есть возможность определения горизонтальных и вертикальных поверхностей, что позволяет рассчитать расстояние от точки инициализации сцены до поверхности Земли для определения высоты при построении маршрутов [9]. Помимо перечисленных устройств и датчиков, ARKit использует показания с приемника глобальной системы позиционирования (GPS), что позволяет определить географические координаты текущего положения пользователя. Данные получает от спутников GNSS. 2. Сопоставление системы координат сцены дополненной реальности и осей географической системы координат Оси X и Z совпадают с направлениями долготы и широты [11], что позволяет установить выравнивание осей дополненной реальности ARKit рис. 1: - направить ось Y параллельно силе тяжести; - ось Z расположить по направлению к востоку; - ось X установить по направлению курса компаса. Рис. 1. Система координат сцены дополненной реальности [Figure 1. System coordinate for AR Scene] Начало координат размещается в исходном месте устройства в момент инициализации сцены в точке (X = 0; Y = 0; Z = 0). 3. Расположение маршрутов на карте и сцене дополненной реальности Для определения позиции объекта на сцене необходимо произвести ряд манипуляций с декартовой и географической системами координат (рис. 3). Декартовая система координат используется для размещения объектов на сцене дополненной реальности [12]. Географическая - для отображения объектов на географической карте. Связь систем представлена на рис. 2. Рис. 2. Системы координат сцены дополненной реальности и карты [Figure 2. System coordinates for AR scene and maps] Координаты на сцене дополненной реальности измеряются в метрах [11]. За счет этого возможно произвести преобразование координат из географической системы в декартову [13]. При этом смещение между начальной точкой и конечной - искомой на сцене дополненной реальности - и будет смещением между географическими координатами, преобразованными в метры. Поскольку координаты определяются как долгота и широта, смещение между этими парами и есть смещение по осям X и Z сцены дополненной реальности соответственно. Рис. 3. Алгоритм построения маршрута в дополненной реальности Figure 3. Algorithm build route at AR После того как будет произведен расчет смещения координат в одной системе и преобразован в другую, необходимо определить центр начала системы координат сцены дополненной реальности. Для этого необходимо выбрать такую точку, в которой в момент инициализации сцены будут известны координаты, полученные с помощью GPS [4]. В момент, когда будет зафиксирована такая точка, появится возможность построения на сцене дополненной реальности точек маршрута, зная только их географические координаты (рис. 4). Формула для определения расстояния между координатами на карте (1): (1) где и - широты; - долготы данных пунктов; d - расстояние между пунктами, измеряемое в радианах длиной дуги большого круга земного шара. Перевод радиан в метры: (2) где d - расстояние между пунктами, измеряемое в радианах длиной дуги большого круга земного шара; R = 6371 км - средний радиус земного шара. Рис. 4. Алгоритм построения маршрута в дополненной реальности [Figure 4. Algorithm build route at AR] Формула для определения смещения в метрах между долготами и широтами и преобразование в координаты сцены дополненной реальности (2): (3) где Pi ~ 3,141592 - математическая константа, выражающая отношение окружности к длине ее диаметра; R = 6371 км - средний радиус земного шара [14]. (4) где Pi ~ 3,141592 - математическая константа, выражающая отношение окружности к длине ее диаметра; R = 6371 км - средний радиус земного шара; lat1 - широта начальной координаты на карте. (5) где lon1 и lon2 - долгота начальной и конечной координаты на карте; deltaLon - приращение по долготе. (6) где lat1 и lat2 - широта начальной и конечной координаты на карте; deltaLat - приращение по широте. Вычисленные значения deltaX и deltaZ являются приращением для осей X и Z соответственно. (7) где objX и objZ - координаты точки на сцене дополненной реальности [15]. Результаты расчетов для тестового маршрута представлены в табл. 2. 4. Проведение эксперимента. Построение маршрута На карте задаем точками сегменты маршрута для создания их в режиме дополненной реальности (рис. 5). Инициализируем сцену дополненной реальности в начале маршрута в точке. На рис. 6 и 7 представлены результаты построения маршрута, а также результаты отслеживания геопозиции пользователя на маршруте для анализа качества полученных точек по GPS. Таблица 2 Вычисленные координаты сцены дополненной реальности [Table 2. Computed coordinate for AR scene] Широта [Latitude] Долгота [Longitude] Смещение по долготе [Offset latitude] Смещение по широте [Offset longitude] Расстояние [Distance] 55.790607665738925 38.43919700016806 - - 0 55.790637186838694 38.43939233127532 12.224978492197607 3.2862737939613993 12.658748279907163 55.79070514309321 38.439813942917496 38.61193410739788 10.851129443203357 40.10780048416137 55.79050494307579 38.43993051296731 45.907578778373896 -11.435034553283009 47.31031547968738 55.79040408403042 38.43997846910398 48.908958064845315 -22.6626121255378 53.90445211015675 55.79029708193492 38.4399654496344 48.09412248750543 -34.574030910073326 59.2319189983349 55.79022642140064 38.439792761745274 37.28629080109022 -42.439925605768074 56.49272652482635 55.790151503070554 38.4397685710474 35.7722935410897 -50.77979596196146 62.114933931060584 55.7900245268851 38.43979900978218 37.67732998495587 -64.9147202697816 75.05679065086598 55.789945304497145 38.439617293316154 26.304436440575017 -73.73371615612359 78.28536143824138 55.789865714112274 38.439289565788734 5.793305212529633 -82.59367727202104 82.79660465819886 55.78986205414613 38.43913933484901 -3.6090374696573067 -83.00110283983018 83.0795568601002 55.789969241354044 38.43904044576228 -9.798102669302764 -71.06907743500359 71.74139931035073 55.79005458812978 38.43897875048687 -13.659358695325283 -61.56831781946964 63.065343396300435 55.790123547746596 38.43878813629289 -25.589124795047287 -53.891768389920344 59.6584529781236 55.79016529680853 38.438644316951255 -34.59019166508795 -49.24428407415834 60.178852226622965 55.790252657035644 38.43858245811466 -38.46168431939108 -39.51938807638185 55.14610910749036 55.790486478018444 38.438482522236406 -44.71626393736429 -13.490555334339737 46.70704742272045 55.7905507838302 38.438809039411126 -24.280883755482574 -6.332065114763968 25.093154898600957 a б Рис. 5. Построение маршрута на карте (а) и отображение точек маршрута на мобильном устройстве (б) [Figure 5. Route in maps (а) and mobile client (б)] Рис. 6. Движение по маршруту, отслеживание геопозиции [Figure 6. Move at route, location service] Рис. 7. Маршрут в дополненной реальности [Figure 7. Route an augmented reality] Заключение Маршрутизация широко используется как для пешеходных маршрутов, так и для автомобильных. Не всегда используя карту можно понять в каком направлении необходимо двигаться. За счет использования дополненной реальности, построенной на геолокационном сервисе, пользователю сразу можно будет начать движение по нужному маршруту Анализ и эксперимент, проведенные при построении маршрутов в дополненной реальности, показали слабые места такого подхода, а именно: определение геопозиции пользователя в момент инициализации сцены и во время движения. Происходит частое отклонение, в результате чего вычисленные смещения прибавляются к неправильным координатам с ошибкой. С целью устранения данной проблемы предлагается рассмотреть возможность корреляции данных с последующей калибровкой сцены.

Об авторах

Александр Викторович Юдин

Российский университет дружбы народов

Автор, ответственный за переписку.
Email: yudin-av@rudn.ru

доцент департамента механики и мехатроники Института космических технологий Инженерной академии РУДН; кандидат физико-математических наук

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Артем Николаевич Стратиенко

Российский университет дружбы народов

Email: yudin-av@rudn.ru

магистр департамента механики и мехатроники Института космических технологий Инженерной академии РУДН

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Мухриддин Мухаммаджон угли Мадумаров

Российский университет дружбы народов

Email: yudin-av@rudn.ru

магистр департамента механики и мехатроники Института космических технологий Инженерной академии РУДН

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Маргарита Александровна Мирненко

Российский университет дружбы народов

Email: yudin-av@rudn.ru

магистр департамента механики и мехатроники Института космических технологий Инженерной академии РУДН

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Список литературы