Экспериментальная многокритериальная оценка архитектур сверточных нейронных сетей для задачи раннего обнаружения лесных пожаров по данным БПЛА

Полный текст

Введение Лесные пожары относятся к числу наиболее разрушительных природных явлений, наносящих значительный ущерб экосистемам, инфраструктуре и экономике. В последние десятилетия, в условиях изменения климата, наблюдается рост частоты и площади возгораний во многих регионах мира - от Европы и Северной Америки до стран Азиатско-Тихоокеанского региона [1-4]. Эффективность мер по локализации и тушению пожаров напрямую зависит от своевременности обнаружения очагов - задержка даже на несколько минут может привести к необратимым последствиям. Традиционные методы мониторинга - наземные датчики и спутниковые системы - обладают рядом ограничений: высокой стоимостью, низким пространственным разрешением, ограниченной зоной покрытия и задержкой передачи данных [5; 6]. В этих условиях всё большее значение приобретают беспилотные летательные аппараты (БПЛА), способные оперативно получать высококачественные RGBT-изображения в реальном времени. Однако эффективность таких систем определяется точностью классификации кадров: ложные срабатывания перегружают каналы связи, а пропущенные очаги снижают надежность всей системы [7-10]. Особое внимание уделяется внедрению компактных и энергоэффективных моделей сверточных нейронных сетей (CNN), способных работать на борту БПЛА. Это позволяет осуществлять предварительную фильтрацию изображений «на лету», передавая на наземный сервер наиболее информативные данные, что критично при работе в удаленных районах с ограниченной связью [11]. Цель исследования - сравнительный анализ четырех современных CNN-архитектур с точки зрения точности, стабильности, скорости инференса и вычислительной сложности. Оценка проводилась на датасете FireMan UAV RGBT - уникальном источнике мультимодальных данных, специально созданных для задач воздушного мониторинга [12]. Его использование обусловлено как практической релевантностью, так и научной новизной. Данный набор редко встречается в публикациях. Научная новизна работы заключается в применении комплексной многокритериальной оценки на основе метода TOPSIS, бутстрэп-анализа и чувствительного анализа весов. В отличие от большинства исследований, где модели сравниваются по одной метрике (например, accuracy), здесь учитывался баланс между качеством, устойчивостью и производительностью, что позволяет выявить архитектуру, оптимальную для внедрения в реальные бортовые системы. Материалы и методы Датасет, который использовался в исследовании, содержит синхронизированные пары изображений в видимом (RGB) и инфракрасном (IR) диапазонах, полученные с БПЛА во время контролируемых палов в 2022-2023 гг. Потоки RGB и IR синхронизированы по времени и пиксель-к-пикселю по полю зрения, что обеспечивает точное совпадение сцен в обоих каналах. Все изображения представлены в формате JPG с разрешением 948×754 пикселей и глубиной цвета 24 бита. Перед обучением инфракрасные изображения подвергались нормализации интенсивности и масштабированию до входного размера сети с сохранением относительных температурных градиентов. Изображения аннотированы вручную и полуавтоматически, каждая пара изображений (RGB+IR) снабжена бинарной меткой, указывающей наличие или отсутствие пожара в кадре. Данные охватывают различные сценарии лесных и техногенных возгораний, а также фоны без признаков огня, что делает набор подходящим для задач классификации изображений. Для обеспечения воспроизводимости и объективности экспериментов выборка была разделена на две непересекающиеся подвыборки: - обучение + валидация - 81 % всех изображений; - тестирование - 19 % всех изображений. Внутри тестовой выборки пары изображений распределены по классам Fire и No_Fire в соотношении 80,7 к 19,3 % соответственно. В обучающей и валидационной подвыборках наблюдается схожее, но более выраженное смещение - 95 к 5 % в пользу класса Fire. Такая диспропорция обусловлена структурой исходного датасета, где кадры сгруппированы по 14 синхронизированным RGB-IR видеопоследовательностям. Различная продолжительность видеороликов и неравномерное развитие пожаров приводят к неодинаковому количеству кадров, относящихся к каждому классу [14]. Выявленный дисбаланс классов создает ряд ограничений при обучении моделей классификации. Преобладание изображений с пожарами может привести к смещению модели в сторону доминирующего класса, снижая точность предсказаний для изображений без огня. Кроме того, различие в соотношении классов между обучающей и тестовой выборками усложняет объективную оценку качества моделей и их обобщающей способности. Для минимизации влияния дисбаланса классов обучающая выборка была сбалансирована путем увеличения числа изображений недопредставленного класса с использованием методов аугментации, при этом целью балансировки не являлось полное выравнивание классов. В результате обработки соотношение изображений в обучающей и валидационной выборках было приведено к пропорции, близкой к распределению в тестовой выборке и составило 77 % кадров класса Fire и 23 % кадров класса No_Fire. Дополнительно в процессе обучения использовались весовые коэффициенты классов, обратно пропорциональные их представленности в обучающей выборке, которые были включены в функцию потерь. Такое сочетание балансировки данных и взвешенной функции потерь обеспечивало выравнивание вклада классов в оптимизацию модели и снижало смещение модели в сторону доминирующих классов. Контроль переоптимизма осуществлялся за счет разбиения данных на непересекающиеся фолды с сохранением целостности видеопоследовательностей, при котором кадры одной и той же видеопоследовательности не пересекались между обучающей, валидационной и тестовой выборками. Дополнительно проводилось сопоставление метрик качества, рассчитанных на валидационной и тестовой выборках, что позволяло оценить устойчивость модели и корректность ее обобщающей способности. Для экспериментов выбраны четыре предобученные архитектуры сверточных нейронных сетей, реализованные в библиотеке TensorFlow Keras Applications: ResNet50, MobileNetV2, MobileNetV3 Large и EfficientNet B0. Архитек тура ResNet50 выбрана в качестве классической глубокой модели с большим числом параметров, что позволяет использовать ее в качестве эталонной для контроля качества и устойчивости классификации. Остальные архитектуры относятся к классу облегченных моделей, оптимизированных для работы в усло виях ограниченных вычислительных ресурсов, что соответствует целевой задаче внедрения на борту беспилотных летательных аппаратов [13]. Во всех случаях применялся подход трансферного обучения, при котором использовались предварительно обученные на наборе ImageNet веса. Такой выбор обусловлен ограниченным объемом выборки и необходимостью ускорения сходимости обучения, что снижает риск переобучения и обеспечивает более стабильную генерализацию моделей при последующем дообучении на специализированных данных. Разработанная архитектура - мультимодальная сверточная сеть с двумя параллельными потоками для RGB- и IR-изображений. Каждый поток использует собственный предобученный backbone (например, ResNet50) с глобальным усреднением признаков и нормализацией. На этапе позднего объединения признаки конкатенируются и передаются через двухслойный полносвязный классификатор: первый слой с 256 нейронами, ReLU, BatchNorm и Dropout 0,5; второй - 64 нейрона, ReLU и Dropout 0,3; выходной слой с сигмоидой для вероятности пожара. Такая конструкция обеспечивает баланс между числом параметров и информативностью признаков. Концептуальная схема показана на рис. 1. В исследовании проведен анализ эффективности четырех архитектур сверточных нейронных сетей при решении задачи бинарной классификации изображений, полученных с беспилотных летательных аппаратов в RGB- и IR-диапазонах. Каждая архитектура адаптирована для мультимодальной постановки, в которой изображения из двух спектральных каналов обрабатываются независимо, а затем их признаки объединяются для повышения устойчивости к внешним условиям съемки. Подобная стратегия обеспечивает комплексное использование визуальной и тепловой информации, что особенно важно для задач раннего обнаружения возгораний в условиях низкой освещенности и задымления [15]. Для оценки качества моделей применяется трехкратная групповая кросс-валидация (3 fold GroupKFold), при которой все кадры, принадлежащие одной видеопоследовательности, рассматриваются как единая группа и не разделяются между обучающей и валидационной выборками. Такой подход предотвращает утечку данных между фолдами и обеспечивает объективную оценку способности моделей к обобщению. Каждая архитектура обучается в 15 независимых запусках, выполняемых с различными начальными условиями и случайными разбиениями данных. Это позволяет снизить влияние случайных факторов, таких как распределение кадров по фолдам или начальные веса модели. В результате формируется 45 независимых обученных моделей для каждой архитектуры (3 фолда × 15 прогонов), что обеспечивает статистически устойчивую выборку результатов. Рис. 1. Общая структура архитектуры мультимодальной классификации Источник: составлено С.С. Загородним. После обучения и валидации каждая модель тестировалась на независимой подвыборке; для каждой архитектуры было получено 45 репрезентативных результатов, что позволило оценить средние значения и дисперсии метрик качества и вычислительной эффективности, а также провести строгое статистическое сравнение между моделями. Обучение выполнялось с оптимизатором Adam (начальная скорость обучения 1×10⁻⁴) с адаптивным снижением learning rate (ReduceLROnPlateau - в 2 раза при отсутствии улучшения val_loss в течение трех эпох, минимум 1×10⁻⁶). Для предотвращения переобучения применялась ранняя остановка (EarlyStopping - при отсутствии улучшений val_loss в течение шести эпох, с восстановлением лучших весов). Максимальное число эпох - 40, batch size -32, размер входных изображений - 224×224 пикселей. Учитывая дисбаланс классов (77 % пожаров, 23 % без), использовалась фокальная функция потерь (γ = 2,0, α = 0,25), усиливающая вклад сложных примеров (слабые возгорания, дым, отражения), и дополнительно - веса классов для сбалансированного обучения. Для повышения обобщающей способности модели обучающие данные перемешивались перед каждой эпохой, что предотвращает запоминание последовательностей примеров и способствует более устойчивому обновлению весов. Процесс обучения и валидации сопровождался мониторингом следующих метрик: - Accuracy - доля правильно классифицированных изображений; - Precision - точность определения класса «пожар»; - Recall - полнота обнаружения пожаров; - AUC - площадь под ROC-кривой, отражающая общую способность модели различать два класса. Данные метрики использовались для комплексной оценки эффективности обучения. После завершения обучения каждая из 45 моделей каждой архитектуры была протестирована на отложенной тестовой выборке, не использовавшейся в процессе обучения и валидации. Для анализа сохранялись значения всех метрик качества и ресурсной эффективности. Для каждой архитектуры формировалась выборка из 45 результатов по каждой метрике. На первом этапе проводилась проверка нормальности распределений метрик с помощью критерия Шапиро - Уилка. Так как распределение данных оказалось ненормальным, для выявления статистически значимых различий между архитектурами применялся непараметрический критерий Краскела - Уоллиса. Для детального анализа различий между парами моделей использовался тест Данна с поправкой Бонферрони, что позволяло контролировать накопленную вероятность ошибки первого рода при множественных сравнениях. Статистическая обработка выполнялась в среде Python с использованием библиотек SciPy и scikit-posthocs. Для комплексного ранжирования моделей применялся метод многокритериального анализа TOPSIS с использованием библиотеки scikit-criteria. Все метрики предварительно нормализовывались методом Min-Max, показатели, где минимальные значения предпочтительны (например, время инференса), инвертировались. Из анализа исключались избыточно коррелирующие или мало вариабельные показатели. Веса критериев определялись на основе комбинации статистической значимости и экспертной оценки их влияния на практическое применение моделей. Для проверки устойчивости ранжирования проводился бутстрэп-анализ и чувствительный анализ весов критериев. Такой многоэтапный подход обеспечивает объективную оценку архитектур как по качеству классификации, так и по вычислительным характеристикам, позволяя определить архитектуры, наиболее подходящие для практического использования в условиях ограниченных ресурсов БПЛА и мобильных систем. Результаты Проверка нормальности распределений метрик по критерию Шапиро - Уилка показала, что подавляющее большинство выборок, включая все метрики для ResNet50, MobileNetV2 и EfficientNet B0, существенно отклоняется от нормального распределения. Это обусловлено стохастичностью нейросетевого обучения, вариативностью инициализации весов и вычислительной среды. В связи с этим для анализа были выбраны непараметрические методы: критерий Краскела - Уоллиса для межгруппового сравнения и тест Данна с поправкой Бонферрони для парных различий, что обеспечило устойчивость результатов при наличии ненормальности и выбросов. Анализ выявил статистически значимые различия (p < 0,05) между архитектурами по большинству показателей вычислительной эффективности, что указывает на их неодинаковую оптимизацию и пригодность для ресурсоограниченных систем. При этом по метрикам общего качества классификации - Accuracy, Precision, F1 score, MCC и Balanced Accuracy - различия оказались незначимыми (p > 0,05), что говорит о сопоставимой точности и сбалансированности всех моделей в задаче классификации. Результаты критерия Краскела - Уоллиса демонстрируют значимые различия в метриках чувствительности (Recall), качества ранжирования (AUC, AP) и ресурсной эффективности при сходном уровне общей точности классификации между моделями (рис. 2). Это подчеркивает необходимость комплексной оценки моделей с учетом не только показателей качества классификации, но и параметров вычислительной производительности, особенно при применении в системах реального времени. На заключительном этапе статистического анализа с применением теста Данна с поправкой Бонферрони было установлено, что пары архитектур - ResNet50, MobileNetV2, MobileNetV3 Large и EfficientNet B0 - демонстрируют статистически значимые различия по метрикам качества классификации и вычислительной эффективности (p < 0,05), что подтверждает их неоднородность. В частности, между MobileNetV2 и MobileNetV3 Large, а также MobileNetV3 Large и EfficientNet B0 различия оказались незначимыми, что логично для моделей, оптимизированных под ограниченные ресурсы. В отличие от них ResNet50 как эталонная модель с большим числом параметров существенно отличается от всех остальных. Для комплексного ранжирования архитектур был применен метод TOPSIS, устойчивый к выбросам и не требующий предположений о распределении данных. Перед анализом все метрики были нормализованы методом Min-Max в диапазон [0, 1], а для показателей, где меньшие значения предпочтительны (например, Training Time), выполнена инверсия. Корреляционный анализ выявил почти полную зависимость между FLOPs, Params и Model Size (r = 0,999), поэтому последние две метрики исключены. Финальный набор для TOPSIS включил: Recall, Precision, Average Precision, FLOPs, Average FPS и Training Time, в данном случае обеспечивался баланс между качеством и эффективностью. Рис. 2. Диаграмма результатов теста Краскела - Уоллиса Источник: составлено И.К. Беловой. Для выполнения метода TOPSIS было необходимо определить веса критериев, отражающие их относительную значимость (рис. 3). Распределение весовых коэффициентов показателей обосновано результатами статистического анализа, выполненного с использованием критерия Краскела - Уоллиса и последующих парных сравнений. При формировании структуры весов соблюдался принцип равного баланса между метриками качества и метриками ресурсной эффективности (0,5:0,5), что обеспечило эквивалентное влияние обеих групп критериев на итоговую интегральную оценку в рамках метода TOPSIS. Среди метрик качества наибольший вес (0,30) присвоен показателю Recall, который продемонстрировал статистически значимые различия между архитектурами и имеет ключевое значение для решаемой задачи обнаружения возгораний, где приоритетом является минимизация пропусков событий. Среди метрик ресурсной эффективности наибольший вес (0,30) был присвоен Average FPS, поскольку данный показатель продемонстрировал статистически значимые различия между архитектурами и имеет критическое значение для систем, функционирующих на борту беспилотных летательных аппаратов, где важна высокая скорость обработки видеопотока. Таким образом, предложенная система весов обеспечивает рациональное соотношение между качественными и ресурсными характеристиками моделей, отражая как статистическую значимость различий между архитектурами, так и их практическую релевантность применительно к задаче обнаружения возгораний в реальном времени. Рис. 3. Диаграмма распределения весов метрик для многокритериального ранжирования архитектур моделей методом TOPSIS Источник: составлено И.К. Беловой. После формирования весов и агрегации метрик по каждой архитектуре моделей был проведен многокритериальный анализ методом TOPSIS, позволяющим определить степень приближенности каждой модели к идеальному решению. Наивысшее значение интегрального показателя TOPSIS получено для MobileNetV2 (0,87). Это свидетельствует о наиболее сбалансированном сочетании качества детекции и эффективности использования вычислительных ресурсов. MobileNetV3 Large (0,72), продемонстрировала меньшую степень оптимальности, но также высокое качество предсказаний. Модели EfficientNet B0 (0,43) и ResNet50 (0,35) имеют меньшую сбалансированность и ограниченную применимость в условиях, требующих высокой скорости обработки и ограниченных вычислительных мощностей. Для оценки надежности и устойчивости полученных результатов был проведен бутстрэп-анализ (bootstrap resampling), основанный на 1 000 повторных выборках исходных данных. Метод позволяет построить доверительные интервалы для итоговых значений TOPSIS оценок и определить степень вариабельности оценок (рис. 4). Модель MobileNetV2 демонстрирует наибольшее среднее значение TOPSIS = 0,869 при узком 95%-м доверительном интервале [0, 813; 0, 923], что указывает на стабильность ее доминирования. MobileNetV3 Large также характер изуется достаточно узким интервалом и воспроизводимостью результата. Модели EfficientNet B0 и ResNet50 демонстрируют более низкие средние значения и не пересекаются по интервалам с лидирующими архитектурами, что подтверждает статистическую устойчивость выявленной иерар хии. Рис. 4. Диаграмма средних значений TOPSIS архитектур моделей Источник: составлено И.К. Беловой. Для дополнительной проверки устойчивости полученных выводов проведен чувствительный анализ весов (sensitivity analysis). Его цель заключалась в оценке влияния изменений весовых коэффициентов метрик на итоговое ранжирование архитектур. В рамках анализа выполнялось многократное (1 000 итераций) повторение TOPSIS-анализа с варьированием весов в пределах ±20 % от исходных значений, при условии сохранения приоритета метрик качества над показателями ресурсной эффективности (качество ≥ ресурсная эффективность). Результаты показали абсолютную устойчивость модели MobileNetV2 в 100 % итераций, тогда как MobileNetV3 Large стабильно находилась на 2-м месте. Таким образом, чувствительный анализ подтверждает, что результаты TOPSIS-анализа обладают высокой степенью устойчивости даже при существенных изменениях структуры приоритетов между критериями. Это означа ет, что доминирование MobileNetV2 не является следствием выбора конкретной конфигурации весов, а отражает ее объективное преимущество по совокупности показателей качества и ресурсной эффективности. Совместное применение TOPSIS, бутстрэп- и чувствительного анализа позволило не только выявить оптимальную архитектуру, но и убедиться в надежности, статистической значимости и воспроизводимости полученных результа тов, что обеспечивает высокий уровень доверия к итоговым выводам исследования. Заключение В ходе исследования проведена комплексная оценка четырех архитектур сверточных нейронных сетей: MobileNetV2, MobileNetV3 Large, EfficientNet B0 и ResNet50 - применительно к задаче бинарной классификации изображений лесных пожаров, полученных с беспилотных летательных аппаратов. Для многокритериальной оценки эффективности моделей использовались показатели точности и ресурсной эффективности, методы TOPSIS, бутстрэп- анализа и чувствительного анализа весов критериев. Метод TOPSIS позволил выявить наиболее сбалансированную архитектуру с учетом как качественных, так и ресурсных характеристик. Наибольший интегральный показатель был получен для MobileNetV2 (0,87). Эта архитектура продемонстрировала оптимальное сочетание высокой чувствительности к возгораниям (Recall) и скорости обработки видеопотока (Average FPS), что критически важно для систем мониторинга пожаров на борту БПЛА. MobileNetV3 Large заняла второе место (0,72), тогда как EfficientNet B0 и ResNet50 показали более низкую сбалансированность и ограниченную применимость для задач с высокими требованиями к скорости обработки. Таким образом, совместное применение TOPSIS, бутстрэп и чувствительного анализа позволило: - выявить MobileNetV2 как наиболее сбалансированную архитектуру для задачи раннего обнаружения пожаров с БПЛА; - подтвердить ее статистическую устойчивость и воспроизводимость; - обосновать выбор архитектуры не только по точности, но и по произво-дительности, что критично для реальных систем. Работа вносит вклад в развитие методологии оценки CNN-архитектур для мультимодальных задач, предлагая комплексный подход, сочетающий статистическую валидацию, многокритериальный анализ и устойчивость к изменениям условий. Результаты могут быть использованы при проектировании бортовых систем мониторинга пожаров, где требуется баланс между качеством, скоростью и энергоэффективностью.

Об авторах

Серафим Сергеевич Загородний

Российский университет дружбы народов

Автор, ответственный за переписку.
Email: zagorodniy.serafim@mail.ru
ORCID iD: 0009-0009-7500-7307
SPIN-код: 8839-5769

аспирант

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Ирина Константиновна Белова

МГТУ им. Н.Э. Баумана

Email: belova.ik@bmstu.ru
ORCID iD: 0009-0000-6337-5342
SPIN-код: 3560-5659

кандидат физико-математических наук, Калужский филиал

Российская Федерация, 248002, Калужская область, г.о. Город Калуга, г. Калуга, ул. Университетский Городок, зд. 1

Светлана Николаевна Никулина

Российский университет дружбы народов

Email: nikulina-sn@rudn.ru
ORCID iD: 0009-0001-5958-5168

кандидат технических наук, доцент

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Список литературы

Дополнительные файлы