Detection of unmanned aerial vehicle trajectory using overlapping images

Full Text

Введение Для навигационного обеспечения беспилотных летательных аппаратов (БЛА) в интересах дистанционного зондирования наземных объектов широко применяются интегрированные системы, включающие в себя бортовые инерциальные датчики и приемники спутниковой информации GPS и/или ГЛОНАСС [1-3]. Необходимость использования спутниковых сигналов обусловлена зависимостью точности инерциальных датчиков от длительности их автономной работы, что связано с накоплением ошибок измерений [4- 8]. В частности, в [9] представлены данные экспериментальных исследований точности навигации малоразмерных БЛА, которые свидетельствуют о стремительном росте уровня ошибок инерциальных измерений в случае нештатной потери сигналов от спутников (табл. 1). Для использования БЛА по целевому назначению часто предусматривается их предварительный выход в заданную точку маршрута по кратчайшей горизонтальной прямолинейной траектории. Очевидно, что в условиях потери сигналов от спутников могут возникнуть существенные отклонения БЛА от заданной траектории, снижающие эффективность решения целевых задач. В этой связи актуальна разработка методик детектирования траектории БЛА по дополнительной информации, в частности по регистрируемым в процессе полета изображениям подстилающей поверхности [10-13]. Здесь и далее под детектированием траектории будем понимать проверку наличия ее отклонений от горизонтального маршрута полета в задачах навигационного обеспечения выхода БЛА в заданную точку маршрута полета. Таблица 1 Ошибки при горизонтальном полете БЛА Погрешности в штатном режиме полета Погрешности инерциальных измерений через пять минут после потери сигналов от спутников Углы тангажа и крена, ° 0,1 0,4 Угол рыскания, ° 0,2 3,0 Высота полета БЛА, м 2,0 6,0 Путевая скорость, м\с 0,2 5,0 Координаты, м 6 500 Table 1 Errors during horizontal flight of UAVs Errors in normal flight m ode Errors in inertial measurements five minutes after the loss of satellite signals Pitch and roll angles,° 0.1 0.4 Yaw angle, 0.2 3.0 UAV flight altitude, m 2.0 6.0 Ground speed, m/s 0.2 5.0 Coordinates, m 6 500 1. Анализ известных методов, цель и задачи исследования Суть известных фотограмметрических методов обработки изображений подстилающей поверхности на борту БЛА в интересах их навигации сводится к нахождению их элементов внешнего или взаимного ориентирования [14-16]. Первый подход основан на методе обратной фотограмметрической засечки по одиночным или перекрывающимся изображениям, второй - на свойствах компланарности векторов, соединяющих центры проекций и соответственные пары точек в зоне перекрытия снимков. Однако, поскольку задача детектирования должна решаться непрерывно на всем участке полета БЛА к заданной точке их целевого применения, применение этих методов требует многократного определения параметров ориентации БЛА с использованием достаточно существенных вычислительных затрат. В ряде случаев эти вычислительные ресурсы целесообразно направить на реализацию других задач, особенно на борту малоразмерных БЛА [12]. В этой связи целью исследования является разработка методики, обеспечивающей возможность детектирования траектории горизонтального полета БЛА по перекрывающимся изображениям подстилающей поверхности без определения абсолютных значений их элементов внешнего или взаимного ориентирования. Для этого необходимо решить следующие основные задачи: выполнить математическое описание взаимной ориентации систем координат (СК) БЛА и изображений, получить аналитические соотношения, описывающие функциональную связь изменений параллаксов изображений и отклонений БЛА от заданной горизонтальной траектории, найти оценки степени влияния этих отклонений на уровень изменений параллаксов. Рассмотрим содержание и результаты решения этих задач. 2. Взаимная ориентация беспилотных летательных аппаратов и изображений Будем, как и в [11], считать, что в штатном режиме БЛА принимает и использует сигналы от навигационных спутников, заданная траектория полета представляет собой прямолинейный маршрут r, параллельный плоскости местного горизонта, и в процессе полета производится аэрофотосъемка с заданным процентом перекрытия снимков , (рис. 1). Поскольку площадь регистрируемых территорий в полосе захвата смежных пар горизонтальных снимков ( , ), ( , ) достаточно мала, изменениями рельефа местности в ее в пределах можно пренебречь и считать, что эти снимки получены с одинаковой высоты. Положим также, что в какой-то момент времени = Рис. 1. Заданная траектория БЛА Figure 1. The specified UAV trajectory Рис. 2. Иллюстрация изменения заданной траектории полета БЛА in a specified UAV flight trajectory Figure 2. Illustration of a change Рис. 3. Система координат SXYZ Figure 3. SXYZ coordinate system Рис. 4. Вариации отклонений БЛА Figure 4. Variations of UAV deviations полета БЛА по штатной горизонтальной траектории сигналы от спутников были потеряны, а в моменты = и = + ∆ получена пара перекрывающихся снимков и , причем первый - горизонтальный, а второй - плановый (рис. 2). Введем связанную с осями инерции БЛА СК SXYZ (рис. 3) и определим его угловую ориентацию относительно земной поверхности. В соответствии с российским государственным стандартом[1] угол ν между продольной осью БЛА SX и плоскостью местного горизонта 1 - это угол тангажа, угол крена ω - угол между поперечной осью БЛА SY и плоскостью 1, а угол рыскания τ - угол между проекцией 2 нештатной траектории на плоскость 1 и штатной траекторией . Очевидно, что при отсутствии отклонений текущего маршрута полета БЛА от штатной гори зонтальной траектории (см. рис. 1) углы тангажа и рыскания равны нулю. Положим для определенности, что в этом случае и угол крена равен нулю. Поскольку в момент получения второго снимка пары и в общем случае возможны отклонения траектории по высоте ∆ и/или курсу ∆ полета и/или изменения ориентации БЛА по углам ν, ω и τ (рис. 4). Тогда условимся, что обозначение второго снимка на рис. 4 означает наличие в момент его получения отклонений траектории БЛА по высоте и направлению полета с изменением его ориентации, - по высоте и направлению полета без изменения ориентации, а - отсутствие отклонений, как по высоте и направлению полета, так и изменений ориентации. При этом линейные отклонения ∆ , ∆ от заданной траектории по высоте и направлению полета и углы ориентации ν∗, ∗ базиса съемки связаны соотношениями: ∆ = ∆ tg ν∗⁄cos τ∗; (1) ∆ = ∆ ∗, (2) где ∆ - расстояние между центрами проекции и в плоскости местного горизонта. Положим также, что оси СК снимков , , , параллельны осям СК, связанных с БЛА в моменты их получения. Тогда оси СК горизонтальных снимков будут параллельны осям фотограмметрической СК земной поверхности OXYZ, а углы тангажа ν, крена ω и рыскания τ, определяющие ориентацию БЛА относительно этой СК, являются в то же время углами взаимной ориентации снимков и , и (рис. 5). Рис. 5. Координатное пространство Figure 5. Coordinate space Учитывая изложенное, угловая ориентация БЛА в нештатном режиме будет определяться взаимной ориентацией осей СК и или осей СК и ̅̅ , и описываться известной матрицей направляющих косинусов [11]: = , (3) где: = , cos ν 0 -sin ν = 0 1 0 , sin ν 0 cos ν 1 0 0 = 0 cos ω -sin ω, 0 sin ω cos ω cos τ sin τ 0 = - sin τ cos τ 0. 0 0 1 (4) = cos ν cos τ - sin ν sin ω sin τ, = -cos ν sin τ - sin ν sin ω cos τ, = - sin ν cos ω, = cos ω sin τ, = cos ω cos τ, (5) = - sin ω, = sinν cos τ + cos ν sin ω sin τ, = -sinν sin τ + cos ν sin ω cos τ, = cos ν cos ω. 3. Математическая модель детектирования траектории беспилотных летательных аппаратов Для получения аналитических соотношений, описывающих модель детектирования траектории БЛА, отметим следующее. Для параллаксов перекрывающихся горизонтальных снимков, полученных с одной высоты полета БЛА, можно записать[2], что ш = , = - = const; (6) ш = , = - = 0. Поскольку по условиям задачи справедливы соотношения - = - ; - = - , отличие от нуля разностей продольных и поперечных параллаксов смежных пар снимков является критерием наличия отклонений БЛА от заданной горизонтальной траектории полета [11]. Тогда задача детектирования траектории БЛА сводится к последовательному сравнению продольных и поперечных параллаксов каждой текущей смежной пары регистрируемых снимков. При этом горизонтальные снимки и будут характеризоваться одинаковой высотой съемки H и углами взаимного ориентирования ν∗ = τ∗ = 0, ν = ω = τ = 0, а снимки и - высотой съемки и + ∆ соответственно и углами взаимного ориентирования ν∗ ≠ 0, τ∗ ≠ 0, τ ≠ 0, ω ≠ 0, ν ≠ 0. Условимся также, что смежной со снимками , парой горизонтальных снимков, полученной в моменты <, являются снимки , . С учетом изложенного рассмотрим разности параллаксов ∆ = нш- ш, ∆ = нш- ш сним ков , и , (см. рис. 5). Учитывая, что ш = - = - ̅ , ш = получим - = - , ∆ = ( - ) - ( - ̅ ) = - + ̅ ; ∆ = ( - ) - ( - ) = - + . (7) Для учета отклонений центра проекции от по высоте и направлению полета БЛА воспользуемся известными соотношениями[3], которые в соответствии с принятыми обозначениями будут иметь следующий вид: ̅ = ̅̅ + ∆ + ∆ ; (8) = + ∆ + ∆ , (9) где ∆ , ∆ , ∆ , ∆ - поправки в координаты ̅ и ; ∆ = 0. С учетом (8) - (9), известных соотношений связи плоских координат ( , ), ( , ) точек наклонного и горизонтального снимков, полученных из одного центра проекции, выражения (7) примут следующий вид: ∆ = -+ ∆ ; (10) ∆ = - -∆ + ∆ , где: = + - , = + - , = + - , - фокусное расстояние фотокамеры. Аппроксимируем выражения (5) на основе разложений в ряд по формулам sin = , cos = 1 - , tg = и подставим полученные результаты в (10). Выполнив далее преобразования, аналогичные представленным в работе[4], и учитывая известные в теории фотограмметрии соот- ∆ ношения ∆ = , , ∆ = ш ∗ и выражение , окончательно имеем Система уравнений (11) описывает изменения параллаксов перекрывающихся изображений при возникновении отклонений БЛА от заданной траектории горизонтального полета и его ориентации. Модель (11) позволяет детектировать траекторию БЛА на основе сравнения априорных оценок и текущих значений разностей параллаксов смежных пар перекрывающихся снимков. При этом плоские координаты соответственных точек снимков и параллаксы в (11) должны быть выражены в миллиметрах, а углы - в радианах. 4. Экспериментальные исследования Для исследования влияния степени отклонений БЛА от заданной траектории и изменений его ориентации на уровень разностей параллаксов была сформирована пара макетных перекрывающихся снимков , (рис. 6) и в зоне их перекрытия заданы координаты двух соответственных точек и в СК снимка . При этом полагалось, что ошибки измерения отсутствуют. Рис. 6. Макетные снимки , Figure 6. Layout images , Параметры съемки камерой Nicon P700 [17] представлены в табл. 2, а полученные на основе модели (11) оценки влияния отклонений БЛА от заданной траектории и изменений его ориентации на уровень разностей параллаксов - в табл. 3. Проведенный анализ полученных данных позволяет отметить следующее. Величина разности параллаксов смежных пар снимков определяется величиной изменений траектории БЛА по высоте и направлению полета, его разворотов по углам тангажа, крена и рыскания и зависит от положения соответственных точек в зоне их перекрытия. Характер изменений разности параллаксов имеет квазилинейный характер, поскольку квадратичные и перекрестные члены в модели (11) существенно меньше линейных слагаемых. Полученные результаты исследования позволяют по известным параметрам камеры и съемки выполнить априорную оценку пороговой величины изменений параллаксов, соответствующей допустимому уровню отклонений БЛА от заданной горизонтальной траектории. При этом под допустимым понимается такой уровень, который не приводит к снижению эффективности выполнения поставленной целевой задачи. Например, если положить допустимыми изменения угловой ориентации на 0,5 град., а линейные отклонения - два метра, то уровень разности продольных параллаксов при положительной и отрицательной ординате точки не должен превышать соответственно 8 и 20 пикселей, а поперечных - 40 пикселей в обоих случаях. Таким образом, выполняя измерения в процессе полета разностей параллаксов смежных пар снимков вместо измерений самих параметров ориентации БЛА, можно упростить контроль траектории БЛА в условиях потери сигналов от навигационных спутников. Таблица 2 Параметры съемки Фотоприемная структура Принятые экспериментальные данные Размеры: 8 мм на 6 мм Число элементов ПЗС: 3648×2736 Размер элемента ПЗС: 2,2 ∙ 10 мм Фокусное расстояние: 2,4 мм Высота съемки: = 285 м Расстояние между центрами проекций и ̅ : ∆ = 95 м Степень перекрытия снимков , : 50% Формат снимков , : -4 мм ≤ , ̅ ≤ 4 мм мм Параллаксы в штатном режиме съемки: ш = 4 мм; ш = 0 Table 2 Shooting Parameters Photodetector structure Accepted experimental data Dimensions: 8 mm×6 mm Number of CCD elements: 3648×2736 The size of the CCD element: 2,2 ∙ 10 mm Focal length: 2,4 mm Shooting height: = 285 m Distance between projection centers и ̅ : ∆ = 95 m Degree of overlap of images , : 50% Snapshot format , : -4 mm ≤ , ̅ ≤ 4 mm mm Parallaxes in normal shooting mode: ш = 4 mm; ш = 0 Таблица 3 / Table 3 Результаты исследования / Research results Разность параллаксов, мм / Parallax difference, mm Ориентация БЛА = = , град / UAV orientation = = , ° 0 , 5 Линейные отклонения ∆ = ∆ , м / Linear deviations ∆ = ∆ , m 0 4 8 0 4 8 0 4 8 Точка ( = -2 мм; = 1,5 мм) / Point ( = -2 mm; = 1,5 mm) ∆ 0 0,029 0,056 0,158 0,129 0,101 0,318 0,29 0,261 ∆ 0 0,021 0,042 0,004 0,194 0,383 0,101 0,198 0,388 Точка ( = -2 мм; = -1,5 мм) / Point ( = -2 mm; = -1,5 mm) ∆ 0 0,029 0,056 0,279 0,251 0,222 0,542 0,513 0,485 ∆ 0 0,021 0,042 0,111 0,258 0,406 0,217 0,365 0,512 Заключение 1. Разработана модель, устанавливающая функциональную связь между разностями продольного и поперечного параллаксов смежных пар перекрывающихся снимков и величиной линейных отклонений БЛА от заданной траектории горизонтального полета и изменений его угловой ориентации. 2. Полученные аналитические соотношения позволяют выполнить априорную оценку пороговой величины изменений параллаксов, соответствующей допустимому уровню отклонений БЛА от заданной горизонтальной траектории, и в условиях потери сигналов от навигационных спутников обеспечивают возможность автоматического детектирования траектории БЛА без непосредственного измерения параметров полета.

About the authors

Vladimir G. Andronov

Southwest State University

Author for correspondence.
Email: vladia58@mail.ru
ORCID iD: 0000-0003-2578-0026

D.Sc., Senior Researcher, Head of the Department of Space Instrumentation and Communication Systems

Kursk, Russian Federation

Andrey A. Chuev

Southwest State University

Email: chuev-aa@inbox.ru
ORCID iD: 0000-0002-2980-0533

Lecturer, Department of Space Instrumentation and Communication Systems

Kursk, Russian Federation

Nikita S. Dubrovsky

Southwest State University

Email: dubrovsky69@icloud.com
ORCID iD: 0000-0003-1261-1928

Student, Faculty of Law

Kursk, Russian Federation

References

Supplementary files