Совершенствование процедур государственного политического управления в сфере демографии и миграции с помощью мультиагентного Deep Reinforcement Learning на примере алгоритма MADDPG

Полный текст

Введение Демографические и миграционные процессы без учета явлений второго- третьего порядка несут в себе риски нестабильности за счет структурных диспропорций [1]. Классический подход [2] предполагает, что политические потрясения происходят в странах с большим количеством молодежи. Но ошибочно предполагать, что в отсутствии «молодежного бугра» [3], являвшегося причиной революций «арабской весны» [4], и показателе демографического воспроизводства населения в пределах 1,4-1,5 не образуются предпосылки к кризисам: сокращение населения приводит к уменьшению экономического потенциала и «дележу» оставшегося. Аналог «молодежного бугра» имеет место в Северо- Кавказском ФО [5], а также в странах Центральной Азии, являвшихся долгое время донорами миграции [6]. Численность элиты может расти[62] и в условиях экономического спада и сокращения населения. Результат - ее «перепроизводство» [7], кризисы - если не находятся направления для экспансии по аналогии с эпохами Крестовых походов, Великих географических открытий[63]. Верхний сегмент среднего класса слабо подвержен мерам стимулирования. Средний сегмент среднего класса чувствителен к государственной поддержке до определенных пределов. Нижний сегмент среднего класса - очень чувствителен, меры государственной поддержки способны улучшить ситуацию, равно как и для сегмента ниже среднего класса. В отношении групп хронической бедности, прекариата [8] и маргинальных слоев зависимость требует изучения. Для реализации демографической политики государство применяет меры как экономические (материнский капитал, льготная семенная ипотека), так и нематериальные - продвижение идей натализма [9] в контексте традиционных ценностей [10], в т.ч. запрет на пропаганду «антинаталистких» идеологий, предполагая, что они оказывают воздействие на матримониальные стратегии молодежи [11]. К настоящему времени меры прямого стимулирования стали малоэффективными: программа льготной ипотеки - причина роста цен на недвижимость, в результате которого средняя площадь новых квартир сократилась в среднем на одну комнату[64]. Квартира без ипотеки недоступна для среднего и нижнего среднего сегментов. Верхний сегмент общества, который может платить ипотеку и получает льготы, покупает инвестици онные квартиры, поддерживая высокие цены. В результате цена на квартиру (на примере Москвы) с февраля 2000 г. (19 743 р.) до февраля 2025 г. (274 856 р.) возросла в 14,66 раз[65], опережая инфляцию. Увеличение цен (ухудшение доступности жилья) и уменьшение площади отрицательно влияют на деторождение. Вторая проблема - дорогое «социальное воспроизводство» для среднего класса, не только в плане финансов, но и времени родителей, затрачиваемого на поддержание социального статуса и последующую передачу его детям. Поэтому методы наталистской пропаганды не работают: «Более обеспеченные семейные пары теряют больше по сравнению с менее обеспеченными супругами, поскольку их время ценится дороже»[66]. Третья проблема - неуправляемые миграционные процессы: «новые граждане» слабо интегрируются в социум, предпочитая анклавы (будущие гетто), монополизируя отдельные отрасли экономики. Но вследствие принципа равенства граждан перед законом они используют жилищные сертификаты и иные льготы в большей мере, чем «старые граждане». В России формируется два «молодежных горба» - в средах элиты и «новых граждан». Средний класс, цементирующий общество, сокращается как в относительных показателях, так и абсолютных, будучи зажатым с нескольких сторон. В случае сценария «архаизации» вследствие разрастания «экономических анклавов» с одной стороны, и жесткой консервативной, традиционалистской государственной политики, возникает риск конфликтов как на национально- религиозной почве, так и по социально- экономическим основаниям. Альтернативой сценарию «архаизации» является эффективное управление, динамическое маневрирование социальными льготами, стимулирующими мерами, культурной политикой, миграционными процессами. Данный подход предполагает трансляцию опыта одних территорий для других и гибкую координацию из федерального центра, выступающего в роли «критика». Внедрение подобной методики связано с теоретическим подходом к политической системе как сложной ансамблевой модели управления и принятия политических решений [12]. Настройка ее гиперпараметров или «апгрейд» существенно улучшает производительность и метрики качества. Для реализации государственной политики необходимо использование способного к самообучению искусственного интеллекта (ИИ). Научная новизна исследования заключается в применении метода Multi- Agent Deep Deterministic Policy Gradient (MADDPG), используемого для киберфизических систем и управления «роем» БПЛА, для нужд государственного управления. Цель исследования - построить модель взаимодействия агентов- управляющих региональным развитием по набору показателей, проиллюстрировать возможность использования ИИ-инструментов для обеспечения демографического роста, стабилизации затрат ресурсов и миграционных процессов. Материалы и методы исследования Сложные процессы требуют применения методов глубокого обучения с подкреплением. Алгоритм используется для многоагентных динамических сред, позволяет агентам учиться взаимодействовать друг с другом: каждый обучается оптимальной стратегии, основываясь на собственных наблюдениях и действиях других, что делает метод адаптивным и гибким. Основная проблема обучения с подкреплением у моделей типа DQN (Deep Q-Learning, [13]) - «нестатистичность» среды, градиент политики страдает от увеличения дисперсии с ростом числа агентов. Обученный один раз алгоритм трудно масштабировать (в Российской Федерации - 89 регионов). Созданная для отдельных регионов модель или наработанная политика непригодны для остальных. Алгоритм MADDPG [14] применяется в управлении беспилотными [15] и военными системами [16], эффективен для смешанных кооперативно- конкурентных сред [17], является одним из прообразов перспективного «коллективного искусственного интеллекта» [18; 19]. MADDPG расширяет метод Deep Deterministic Policy Gradients (DDPG) для кооперативной или конкурентной работы в сложных средах. MADDPG[67] учитывает политику действий других агентов и способен успешно обучаться политикам, требующим сложной координации между ИИ-агентами. Вводится режим тренировки с использованием ансамбля политик для каждого агента для создания устойчивых многоагентных сообществ. Метод предполагает централизованное планирование и децентрализованное выполнение: у каждого агента есть прямой доступ к локальным наблюдениям, во время обучения все агенты управляются центральным модулем, во время тестирования он деактивируется, а агенты со своими политиками и локальными данными остаются. MADDPG включает минимакс- стратегию, которая регулирует политику каждого агента, чтобы он действовал оптимально даже в самом худшем случае. Для управления важна возможность реализации мультиагентного сотруд ничестества и кооперации, постановки общих целей, обмена информацией, кооперации и синхронизации действий, что гораздо эффективнее обычных методов глубокого обучения с подкреплением в условиях сложных сред [20]. Результаты исследования Для эксперимента использован фреймворк машинного обучения для языка Python с открытым исходным кодом PyTorch, создана динамическая модель среды без детализации на отдельные социально- экономические показатели: население зависит от привлекательности реализуемых в городах политик; экономический рост связан с населением и текущей политикой; ресурсы истощаются пропорционально экономической активности. Функция вознаграждения агентов включает: награду за поддержание баланса населения, экономического роста, устойчивости ресурсов, согласованности действий с соседями. Агенты учатся балансировать между привлечением населения и сохранением ресурсов; формируются кластеры регионов с согласованными политиками: система приходит к состоянию динамического равновесия с умеренными колебаниями показателей, обусловленными случайными факторами. Сгенерировано 7 профилей регионов (число может быть любым). Обучение осуществлялось в течение 100 эпох на 200 шагов в каждой, так как задача требует поддержания баланса вдолгосрок. Псевдослучайные показатели на старте зафиксированы, и результаты эксперимента могут быть воспроизведены. В коде[68] представлены: модель среды, включающая создание рандомных профилей регионов (с численностью населения от 0,5 до 1,5), механизм расчета миграционных потоков, факторы экономического роста и потребления ресурсов, функция награды. Создана архитектура актор- критик, предполагающая децентрализованную политику для каждого агента, принимающего решения и централизованную функцию ценности для критика. Реализован класс MADDPG, имеющий функцию добавления хаотических эффектов, создание агентов по числу регионов. После 20 эпизода ИИ-система обучилась (суммарная награда примерно равна 100) и смогла поддерживать это состояние на протяжении оставшихся эпох. На графике (рис. а) приведена функция награды и относительно стабильное «плато» обучения после 20-го эпизода. Результаты эксперимента показали общий прирост населения (рис. б), при этом поддерживался устойчивый рост экономики, баланс миграционных процессов и не допускалось исчерпание ресурсов. а б Динамика обучения ИИ-агентов (а), состояния регионов по численности населения на начало и окончание эксперимента (б) Источник: выполнено А.В. Дождиковым в среде Python c помощью фреймворка для работы с нейросетями PyTorch при реализации класса MADDPG. Заключение Базовым ограничением эксперимента выступает время обучения и производительность оборудования, включая графические ускорители. Стратегия преодоления ограничений предусматривает распараллеливание обучения, либо изменение архитектуры, например, 2-3-этапное обучение: сначала обучается несколько «агентов инноваций», далее к ним добавляются необ ученные, с которыми первые делятся опытом. Второй вариант предполагает разделение регионов на группы подобия по социально- экономическим признакам с помощью стандартных методов кластеризации c обучением представителей и последующим распространением опыта. ИИ-агент управления регионом, основываясь на собственном опыте и опыте соседей, сможет: предсказать миграционные тренды, разработать инициативы для улучшения демографических показателей; моделировать сценарии, направленные на улучшение условий жизни; адаптировать стратегию миграции; оптимизировать снабжение ресурсами и сектор услуг; гибко реагировать на изменения спроса на услуги и планировать развитие инфраструктуры; организовывать взаимодействие с другими ИИ, обмениваясь данными и опытом. Метод MADDPG предоставляет инструментарий для управления социальными процессами. Интеграция многоагентных систем в управление позволяет государственным ведомствам более гибко и эффективно реагировать на изменения в демографии и миграции, подобный класс методов может стать ключевым элементом в управлении, создавая устойчивые и адаптивные системы. Реализация модели «актор- критик» в MADDPG соответствует структуре государственного управления в Российской Федерации: «критик» - федеральный центр, «акторы» - агенты управления в округах и регионах, что создает возможность «апгрейда» процедур управления и принятия решений.

Об авторах

Антон Валентинович Дождиков

Институт социально-политических исследований ФНИСЦ РАН

Автор, ответственный за переписку.
Email: antondnn@yandex.ru
ORCID iD: 0000-0002-1069-1648
SPIN-код: 2208-1891

кандидат политических наук, старший научный сотрудник, кафедра ЮНЕСКО

Россия, 119333, Москва, ул. Фотиевой, д. 6, корп. 1

Список литературы

Дополнительные файлы