Senior Lecturer of the Department of Mechanics and Control Processes, Academy of Engineering
старший преподаватель кафедры механики и процессов управления, инженерная академия
Master student of the Department of Mechanics and Control Processes, Academy of Engineering
магистрант кафедры механики и процессов управления, инженерная академия
Master student of the Department of Mechanics and Control Processes, Academy of Engineering
магистрант кафедры механики и процессов управления, инженерная академия
Master student of the Department of Architecture, Restoration and Design, Academy of Engineering
магистрант кафедры архитектура, реставрация и дизайн, инженерная академия
This study investigated the feasibility of applying machine learning methods, specifically generative models, for semantic editing of satellite imagery. The research focused on an architecture based on diffusion models capable of generating desirable objects directly on satellite images. However, significant shortcomings were identified in the standard model with regard to realism and relevance to the surrounding context, given the specific nature of the chosen subject area, namely the generation of realistic images of oil and gas infrastructure objects (such as pipelines). To address this limitation, fine-tuning of the neural network was performed. The objective of the fine-tuning was to enhance the quality of visualizing pipeline-related design solutions. A methodological approach for creating training dataset was proposed and described in detail. Based on actual pipeline routes, spatially referenced vector layers were created in QGIS, and a set of satellite image tiles with precise pipeline boundary annotations was generated. The results of the experimental fine-tuning demonstrated a significant improvement in the quality of generated images depicting oil and gas infrastructure objects in satellite imagery compared to the original, non-adapted model. The developed fine-tuned model enables highly realistic pipeline generation, effectively integrating them into the existing landscape within the image. Visual comparison of results before and after fine-tuning confirms the elimination of artifacts and the achievement of the required level of detail. This work demonstrates the effectiveness of the approach involving the creation of specific datasets and fine-tuning for solving specialized visualization tasks in remote sensing.
В рамках исследования была изучена возможность применения методов машинного обучения, в частности генеративных моделей, для семантического редактирования космических снимков. Основное внимание уделено актуальной архитектуре на основе диффузионных моделей, способной генерировать целевые объекты непосредственно на спутниковых изображениях. Однако ввиду специфики выбранной предметной области - генерации реалистичных изображений объектов нефтегазовой инфраструктуры (таких как трубопроводы) были обнаружены существенные недостатки стандартной модели в части реализма и соответствия окружающему контексту. Для решения данной проблемы проводилось дообучение нейронной сети. Цель дообучения - улучшение качества визуализации проектных решений, связанных с трубопроводами. Предложен и детально описан методический подход к формированию специализированного обучающего набора данных. На основе реальных трасс трубопроводов в QGIS созданы пространственно привязанные векторные слои; сгенерирован набор тайлов космических снимков с точными аннотациями границ труб. Результаты экспериментального дообучения модели продемонстрировали значимое улучшение качества генерируемых изображений объектов нефтегазовой инфраструктуры на космических снимках по сравнению с показателями исходной, неадаптированной модели. Разработанная дообученная модель обеспечивает высокореалистичную генерацию трубопроводов, корректно интегрируя их в существующий ландшафт на снимке. Визуальное сравнение результатов до и после дообучения подтверждает устранение артефактов и достижение необходимого уровня детализации. Работа подтверждает эффективность подхода с формированием предметно-ориентированных датасетов и дообучением для решения специфических задач визуализации в ДЗЗ.