Концепция интеграции искусственного интеллекта в правовую систему

Обложка

Цитировать

Полный текст

Аннотация

Цифровая эпоха определяет актуальность статьи, когда жизнь человека неразрывно связана с цифровыми технологиями, одной из которых является искусственный интеллект. Правовое регулирование разработки и использования искусственного интеллекта оказывает комплексное воздействие на правовую систему российского общества. В связи с этим проблема интеграции искусственного интеллекта в правовую систему характеризуется высокой научно-практической значимостью и отвечает стратегическим потребностям правовой политики Российской Федерации. Цель статьи - сформулировать основные элементы концепции интеграции искусственного интеллекта в правовую систему. Методы исследования: формально-юридический, аналогия, экстраполяция, культурно-исторический, моделирование, прогнозирование. Результаты исследования. Наиболее оптимальным вариантом развития отечественной правовой системы в условиях цифрового общества является гуманистический подход, в рамках которого искусственный интеллект естественным образом и незаметно встраивается в окружающую человеческую среду в качестве «умного» интеллекта, выполняющего функции «умного» регулирования. Следует с разумной осторожностью и предсказуемостью вводить в действие правовое регулирование воплощенного (роботизированного) и роевого (коллективного) искусственного интеллекта на уровне технических стандартов и контролируемых правовых экспериментов, предварительно проводя максимально широкую этическую экспертизу. Выводы. При формировании концепции интеграции искусственного интеллекта в правовую систему основными элементами концепции должны выступить три принципиальных идеи: правовой преемственности доктринального юридического знания, дифференциации правовых режимов и учета культурно-цивилизационного кода, психологии и менталитета того общества, в котором разрабатывается и внедряется такое правовое регулирование.

Полный текст

Введение В современной юридической литературе опубликовано достаточно много работ, посвященных тематике искусственного интеллекта: Е.А. Войниканис, Г.А. Гаджиева, А.А. Карцхия, П.М. Морхата, А.В. Незнамова, И.В. Понкина, А.В. Поповой, А.И. Редькиной, В.И. Шершульского, О.А. Ястребова и др. В этих работах анализируются правовые проблемы развития искусственного интеллекта, вызовы и риски его повсеместного функционирования для человеческого общества. Констатируются большие перспективы использования искусственного интеллекта: увеличение продолжительности жизни и свободного духовного поиска человека, расширение границ познания мира с помощью технологий искусственного интеллекта, проникновение в основы мироздания и др. оптимистические сценарии. Наряду с продекларированной эффективностью искусственного интеллекта в создании улучшенного жизненного пространства людей реализация этих технологий порождает сомнения в кажущейся их гуманизации. Прежде всего, мир человека фрагментируется и замещается виртуальными или гибридными формами. Экономика и государственное управление ускоренными темпами перемещаются в цифровую среду. Цифровые регуляторы начинают претендовать на роль универсальных, модифицируя и подавляя действие традиционных правовых, моральных и иных регуляторов. Жизнь населения целых стран и регионов оказывается под угрозой не только из-за тотального контроля «цифры» за частной и публичной сферой, но и наличия реальных поводов применения автономного смертоносного оружия при решении глобальных и региональных военно-политических конфликтов. Наконец, будущее традиционных трудовых отношений является неопределенным вследствие бурно развивающейся автоматизации производства, влекущей неоднозначные социально-экономические последствия, особенно исчезновение традиционных видов занятости и рост масштабной безработицы. В настоящей статье, исходя из гуманистических перспектив развития общества, ставится цель предложить основные элементы концепции интеграции искусственного интеллекта в правовую систему. Такие элементы уже предлагаются в монографических и диссертационных исследованиях, которые выходят в свет, но пока еще не многочисленны. Отметим, что под интеграцией искусственного интеллекта нами понимается социально справедливое правовое регулирование общественных отношений с использованием искусственного интеллекта, связанное с комплексным экспертным сопровождением и преодолением обусловленных им рисков, а также с минимизацией негативных последствий его внедрения в жизнь общества. В настоящее время началось активное обсуждение Стратегии развития искусственного интеллекта на период до 2030 г., утвержденной Указом Президента РФ от 10.10.2019 № 490 (далее - Стратегия), и Концепции развития регулирования отношений в сфере технологий искусственного интеллекта и робототехники до 2024 г., утвержденной распоряжением Правительства РФ от 19.08.2020 № 2129-Р (далее - Концепция). Следует подчеркнуть, что эти документы, несмотря на их безусловно важное значение, имеют рамочный и программный характер, нуждаются в существенной нормативной конкретизации, которая может быть достигнута за счет как формирования принципиально новой правовой реальности, так и развития потенциала общепринятых юридических конструкций: специальное регулирование, юридическая фикция, аналогия, субсидиарное правоприменение, субъект права, лицо, юридическая ответственность и пр. В этой связи автор не стремится дать оценку вариантов решения этих вопросов в Европейском союзе, США, Южной Корее, Японии, Германии и других передовых государствах, анализ которых уже проведен во многих отечественных правовых исследованиях. Вместо этого представляется более целесообразным сосредоточить внимание именно на основных элементах концепции интеграции искусственного интеллекта в правовую систему. В результате технологии искусственного интеллекта, сохранив истоки происхождения в интеллекте естественном и человеческом, должны стать неотъемлемой частью современного технико-технологического уклада и органическим дополнением правовой системы общества. Искусственный интеллект и развитие правовой доктрины Ключевым фактором осмысления места и роли искусственного интеллекта в правовом регулировании является правовая доктрина. Юридическая наука предлагает в современный период две кардинальных стратегии поиска правового смысла искусственного интеллекта: революционную и эволюционную. Революционная стратегия означает кардинальный слом существующих научно-теоретических моделей. Приводятся доводы о невозможности адаптации действующих нормативно-правовых схем и принятой научной терминологии под темпы развития цифровизации (Mamychev & Miroshnichenko, 2019:132). Предлагаются проекты и планы по формированию нового типа общественных отношений и новой цифровой реальности (Panchenko & Romashov, 2018:107). Психологических механизм такой стратегии включает в себя констатацию приближения точки технологической «сингулярности», аксиологический пессимизм, подмену правовой реальности правовой футурологией. Эволюционная стратегия предлагает оптимистический план формирования доверенной, безопасной и комфортной среды сосуществования человека и искусственного интеллекта (подраздел 4 раздела 1 Концепции). Прогнозирование должно являться разумным и достаточным для государственного управления развитием правовой системы в условиях применения искусственного интеллекта (вместо футурологии права). Однако главное в том, что для интеграции искусственного интеллекта в эту правовую систему основой должны быть традиционные понятия и институты права, устоявшиеся доктринальные подходы и методы решения проблем (Yastrebov, 2018:325). Интеграция искусственного интеллекта здесь производится как расширение сферы действия этих правовых явлений и понятий, уточнение и интерпретация их юридического содержания в судебной практике, классификация и сопоставление, обобщение и объяснение новых характеристик искусственного интеллекта с позиции преемственности существующего юридического знания. Из современных философских и общенаучных дискуссий хрестоматийно известно, что единого понятия интеллекта не существует. Правильным представляется мнение, встречающееся в зарубежной литературе, что можно выделять три типа естественного природного интеллекта: вербальный, сенсомоторный и когнитивный (Estep, 2006:223). По их «лекалам» создаются различные системы искусственного интеллекта: говорящие андроиды, боты, робототехника и др. Отсюда искусственный интеллект - это нечто, не вытекающее из законов природы, не связанное с действием биосоциальной эволюции, конструированное человеком для каких-либо прикладных целей и помещенное в техническую оболочку. Исходя из сказанного, многое из того, что есть в интеллекте естественном человеческом, может быть запрограммировано в интеллекте искусственном, но только в той мере, в какой человек способен осознать границы собственных научных знаний и достигнуть предела их формализации. С этим коррелирует прозвучавшее в последних научных публикациях мнение, что технологизация понятия искусственного интеллекта в правоведении бесперспективна и бесполезна, так как ничего для права дать не может. Необходимо либо юридизировать признаки этого технического определения искусственного интеллекта, либо подобрать для него соответствующий специальный правовой термин (Spitsyn & Tarasov, 2020:106). Данное мнение вполне обоснованно и направлено на защиту от посягательств на фундаментальные установки антропоцентристской парадигмы в праве. Однако необходимо признать, что в современном цифровом мире человек, вещи и объекты уже не обособлены друг от друга, а техника стала неразрывной частью бытия человека. Поэтому отказ от включения в правовое определение искусственного интеллекта технологических признаков означает отказ от той части антропоцентристской установки, которая этими технологиями предопределена. Технические нормы всегда правом допускались, а основная задача юридической науки - найти правильное соотношение технических и правовых норм, а также определить правовые пределы действия технологий искусственного интеллекта. По этому пути идет и ГОСТ Р 43.0.8-2017, определяющий искусственный интеллект как моделируемую (искусственно воспроизводимую) интеллектуальную деятельность мышления человека. При этом человек рассматривается как технический оператор информационных процессов при участии машины, которая может дополнять собственные когнитивные ресурсы человека путем машинной активизации (гибридный интеллект) или машинной имитации мыслительной деятельности человека (искусственный интеллект). Правовая доктрина должна ответить на фундаментальный вопрос цифровой эпохи о правосубъектности искусственного интеллекта. Мы признаем право на существование разных подходов к проблеме и отмечаем следующее. На наш взгляд, правосубъектность искусственного интеллекта - это понятие умозрительное, поскольку подлинным носителем правосубъектности остается человек, а искусственный интеллект - технологией. Если допускать появление у систем искусственного интеллекта правосубъектности, то можно говорить лишь условно о вторичной и производной (искусственной) правосубъектности таких систем. Человек может, как передать искусственному интеллекту часть своей правосубъектности, так и прекратить ее действие, использовав только потенциал этой технологии. Пункт 49 Стратегии и подраздел 9 раздела 2 Концепции предлагают принимать в законодательном порядке нормы о допущении лишь «точечного» делегирования принятия решений искусственным интеллектом в специально оговоренных случаях при соблюдении конституционных прав граждан, обороны и безопасности государства. Объективная целесообразность такого делегирования в настоящее время не ясна и в целом является дискуссионной, поскольку в любой сфере жизнедеятельности современного человека можно найти опасность ограничения конституционных прав личности. Во всяком случае, судебные, прокурорские и следственные функции, по нашему мнению, не должны передаваться искусственному интеллекту. Передаваться могут нотариальные и адвокатские функции, но с соблюдением условий. Они касаются случаев неправильного консультирования при оказании юридической помощи, ошибок в базах данных, повлекших неверную интерпретацию законов, представленную клиенту-гражданину. Полагаем, что во всех подобных ситуациях ответственность за принятое решение несет все равно не искусственный интеллект, а человек, наделивший его частичной правосубъектностью. Кто же будет этот человек: руководитель органа власти, государственный служащий или другой субъект, этот вопрос формально находится в пределах законодательной дискреции и порождает этические проблемы ввиду того, что решение не полностью подконтрольно человеку. Концептуальной основой для развития этого тезиса служит давно сложившийся в публичном праве институт делегирования полномочий, а в частном (особенно в гражданском) праве - институт представительства. Сделки и юридически значимые действия, совершенные представителем от имени и в интересах представляемого, порождают права и обязанности непосредственно у представляемого лица. При отсутствии или превышении полномочий требуется прямое письменное одобрение сделки представляемым. Если он не одобряет сделку, ответственность несет неуправомоченное лицо (ст. 182, 183 ГК РФ). Однако в публичном праве это влечет безусловную отмену решений и актов неуполномоченного органа (должностного лица). В случае же с искусственным интеллектом такой безусловной ответственности быть не может, а равно автоматически отменить его решение будет нельзя, так как он выступает в качестве неживой (неодушевленной) технологии. Поэтому следует, вероятно, модифицировать институты действий в чужих интересах и издания управленческих актов по вопросу их совершения искусственным интеллектом. Решения, принятые искусственным интеллектом, должны считаться предварительными или проектами соответствующих решений. Человек же должен либо одобрить решение искусственного интеллекта, наделив его окончательной юридической силой, либо мотивированно отказать в одобрении. Именно такой подход будет отвечать правовому существу отношений с использованием искусственного интеллекта как технологии, подконтрольной человеку. Несколько слов о предложении рассматривать искусственный интеллект как квазисубъект права, «электронное лицо» (Popova, 2020:121). Данный вопрос может решаться только в комплексе с тематикой правосубъектности человека. Выработанные правовой мыслью человечества конструкции физического и юридического лица должны оставаться, думается, незыблемыми. В случае использования метафоры «электронного лица» следует четко понимать, что это лишь проекция физического либо юридического лица в виртуальной цифровой среде с делегированной ей искусственной правосубъектностью. Она вводится условно для ускорения и стандартизации ведения общественно значимой деятельности. Виртуальные компании, цифровые личности и т. п. конструкции выступают замещающей представительской формой ведения хозяйственной деятельности человека с помощью цифровых технологий для максимизации полезности и эффективности бизнеса. В данном случае цифровые инструменты выражают лишь один из уровней современной правовой онтологии. Именно так они и должны восприниматься в правовой доктрине. Искусственный интеллект в контексте различных правовых режимов Доктринальное обоснование концепции интеграции искусственного интеллекта в правовую систему должно учитывать построение категориального ряда правового регулирования. В процессе анализа перспектив развития общественных отношений, связанных с клонированием человека, Ф.В. Фетюков предложил плодотворный подход, учитывающий тип (порядок) правового регулирования (Fetyukov, 2020:890). При регламентации общественных отношений, связанных с правовым положением искусственного интеллекта, на наш взгляд, можно использовать точно такой же подход, но он требует более тонкой настройки и подробной дифференциации. В первую очередь, об искусственном интеллекте нельзя говорить однозначно лишь в рамках общего дозволения или общего запрета (Alekseev, 1989:132-183), так как не учитывается потенциал дозволительно-предписывающего режима (Cherdantsev, 2002:345), актуального для закрепления публичных полномочий государственных органов, регулирующих сферу использования искусственного интеллекта. Действительно, высокая рискогенность этой сферы для жизненно важных интересов личности, общества и государства определяет необходимость разрешать им лишь то, что прямо предписано законом (п.п. 48-51 Стратегии). Принимая во внимание, что типы и режимы правового регулирования - это категории однопорядковые, попробуем видоизменить терминологию, определив режимы правовых дозволений, правовых ограничений и правовых запретов. Во вторую очередь, существуют разные типы искусственного интеллекта в зависимости от многокритериального подхода: программное исполнение (императивная или декларативная парадигма), характер контекстуальной среды (открытой или закрытой), возможность аппаратной или физической реализации в материальном мире и др. Среди этих типов мы выделяем главным образом программно-алгоритмический, воплощенный и роевый (коллективный) искусственный интеллект. Для каждого из них могут действовать разные правовые режимы. Причем алгоритмическая составляющая имеется во всех перечисленных типах искусственного интеллекта, но отличается моделью исполнения. Поэтому она и определяет особенности действия тех или иных правовых режимов. Режим правовых дозволений создает благоприятные условия для достижения социально полезного результата деятельности. В цифровых технологиях он применяется в простейших классических и «закрытых» алгоритмах, где всегда разработчик определяет цель, для которой он же заранее устанавливает строгую последовательность шагов по ее достижению (императивная парадигма программирования). Таковы, например, интеллектуальный анализ и обработка данных в процессе мониторинга законодательства и правоприменительной практики. В Методике осуществления мониторинга правоприменения в Российской Федерации, утвержденной постановлением Правительства РФ от 19.08.2011 № 694, сформулирован пошаговый алгоритм использования различных критериев его осуществления. Однако перечень этих критериев не исчерпывающий, а они могут быть запрограммированы в дальнейшем, как путем доработки программы, так и через использование искусственного интеллекта. Очевидно, что автоматизированные схемы выполнения этих операций, облекаемые в форму правовых дозволений со стороны человека, подконтрольны ему, в силу чего они не наносят какого-либо ущерба и приносят только пользу. Режим правовых дозволений с возможностью отдельных прямо названных в законе ограничений может быть использован для разработки и применения интеллектуальных систем «умного дома» или «умного офиса». В американской доктрине этот феномен называется «сенсорными сетями» (sensor networks), в европейской доктрине - «окружающий интеллект» (ambient intelligence). В отечественном словоупотреблении нашелся своеобразный терминологический оттенок, отличающийся от американского и европейского: «умный» интеллект, «умное» регулирование. По вопросу систем «умного» интеллекта, демонстрирующих определенную степень автономности по отношению к человеку и его традиционной среде обитания, нужно пояснить, что эти системы определяются как небольшие, легкие и недорогие наборы сенсорных устройств (девайсов), соединенных в распределенные беспроводные сети и организующих коммуникацию с человеком и окружающей его средой. Их задача уловить текущий контекст, в котором оказался пользователь, а иногда - и предсказать будущий контекст, а также автономно выполнить ряд технических операций, создав человеку комфортные условия для проживания, развлечения и отдыха (регулирование освещенности, включение/отключение коммунальных приборов, планирование домашних дел и проч.). Положительная роль «умных» систем состоит в обнаружении событий и распознавании контекста некоторых типовых действий человека, поддержании легкого и простого доступа ко всей функциональности, настройке на образно-эмоциональную сферу человека, адаптации и зависимости от изменяющегося контекста пользователя, автономности (Fu et al., 2018:115). Для совершенствования правового регулирования «умных» интеллектуальных систем могут использоваться действующие правовые нормы, требующие некоторого уточнения. Так, в частности, необходимо внести дополнение в перечень технически сложных товаров, утвержденный постановлением Правительства РФ от 10.11.2011 № 924 (в ред. от 27.03.2019). В перечень должна быть включена формулировка «интеллектуальные системы, взаимодействующие с физической средой без явного обращения к потребителю с целью управления установленными приборами или оказания ему помощи в повседневной деятельности». В то же время нужно признавать, что применение «умных» интеллектуальных систем не гарантирует, что в работе этих систем не возникнет технических и программных сбоев, ошибочных проектных и инженерных решений. Например, это включение газового оборудования в непредусмотренное время или при неуказанных обстоятельствах, повлекшее причинение вреда жизни, здоровью и имуществу потребителя и др. Однако в данном случае вопрос о правовых последствиях законом решен. В соответствии с п. 4 ст. 14 Закона РФ «О защите прав потребителей» от 07.02.1992 № 2300-1 (в ред. от 08.12.2020) ответственность за такой вред, причиненный в связи с использованием материалов, оборудования, инструментов и иных средств, необходимых для производства товаров (выполнения работ, оказания услуг), несет изготовитель, продавец или исполнитель. Ответственность наступает независимо от того, позволял уровень научных и технических знаний выявить их особые свойства или нет. Следовательно, искусственный интеллект органично вписывается в конструкцию этой статьи как «иное средство, используемое для оказания услуг». Приведем еще один пример. К правовому регулированию беспилотных транспортных средств с полной уверенностью можно применять традиционный институт источника повышенной опасности (ст. 1079 ГК РФ). Собственник или иной законный владелец автономного транспортного средства несет ответственность за причиненный им вред. Относительно обсуждаемой в юридической литературе ответственности разработчиков, программистов, инженеров, производителей, то она со всей очевидностью будет иметь регрессный характер в зависимости от степени их вины по иску собственника или законного владельца. Будут уточнены конструкции «выбытие из обладания», «эксплуатация» автономного транспортного средства и др.; введены новые конструкции «программирование беспилотного транспортного средства», «построение маршрута беспилотного транспортного средства», «начало движения», «окончание движения» и т. п. Однако основа правового регулирования ответственности остается традиционной. Режим правовых ограничений создает неблагоприятные условия для выполнения социально значимых задач защиты прав человека, охраны законности, правопорядка, общественной и государственной безопасности. На наш взгляд, если классический программно-алгоритмический интеллект в целом безобиден, поэтому подпадает под режим правовых дозволений, то такой феномен, как воплощенный искусственный интеллект, повышает риски и ставит перед человеком новые вызовы в развитии права, законодательства, правовой системы. Это связано с тем, что воплощенный искусственный интеллект представляет собой пересмотр «бестелесной» (идеально-математической) формы алгоритмического программирования на ранних стадиях развития информатики и введение в этот процесс морфологии тела, движения и пластичности. Так появляются роботы и антропоморфные «передвижные» устройства. Их важное отличие от классического искусственного интеллекта в наличии сенсорных («считывающих» с окружающей среды) датчиков и возможности на основании поступившей им сенсорной информации самостоятельного физического перемещения в пространстве для выполнения поставленной перед ними задачи, т. е. это познание, неразрывно связанное с действием, «воплощенное» познание. Если относительно классического алгоритмического искусственного интеллекта в силу его «бесформенности» и дематериализации вопрос о так называмой правосубъектности искусственного интеллекта не возникал и не имел смысла, то вопрос о наличии такой правосубъектности у систем воплощенного искусственного интеллекта теоретически может быть поставлен. Это определено несколькими факторами. Во-первых, фундаментальным принципом воплощенного искусственного интеллекта является его способность структурировать собственное входное сенсорное пространство через выявление статистических зависимостей (отношений) между чувствительными рецепторами, измеряемых с помощью количественных информационных методов. Это позволяет в опережающем порядке оптимизировать управление нейронными и когнитивными процессами и «отбирать» из окружающей среды только релевантные данные, как и перцептивный опыт обобщается в человеческом познании. Из этого вытекает, что статистическая структура сенсорных входов является важнейшим компонентом обучения и развития подобной системы (Sporns аnd Pegors, 2004:74,75). Во-вторых, отображение геометрической модели окружающего пространства и разбивка (кластеризация) его на определенные участки осуществляются с помощью всепроникающего компьютерного зрения робота, выделяющего путь движения и возникающие препятствия с целью избежать их. Данная модель поведения, сопоставимая с функцией пространственной ориентации человека, явно не закодирована, а является результатом динамической обратной связи между роботом и окружением, использования механизмов визуального самонаведения (Hafner, 2004:180). В-третьих, работа с неопределенностью/неполнотой знаний о подлинном мире является серьезной проблемой для робототехники в реальной, неограниченной и неконтролируемой среде. Робот (воплощенный искусственный интеллект) сталкивается в данном случае с трудностями когнитивного рассуждения во многих сложных и неизвестных для него средах. Возможным выходом из этой проблемы могут являться вероятностные оценки действительности, подобные человеческим ценностным оценкам. Они сочетают в себе априорные знания и модели с умозаключением не в стандартном цифровом диапазоне от 0 до 1, а о степени вероятности события: 0, 0,1, 0,2 …1, что является более доступным для понимания процессом и снижает сложность восприятия среды (Bellot et al., 2004:186). В-четвертых, сенсорные структуры, пространственная ориентация, вероятностные оценки, возможно, позволяют сформировать внутреннюю модель мира, принадлежащую системе воплощенного искусственного интеллекта. Однако сложность в том, что эта модель реальности интерпретируется им через модель собственного тела. Получается, что сенсорная информация регулирует картину реальности и постоянное введение ее уточненной версии в программу робота (перезапись), несомненно, приводит к улучшению машинного обучения и в перспективе ставит вопрос о появлении так называемого «машинного» сознания (Holland, 2004:37). Вместе с тем оптимизм суждений зарубежных ученых относительно судьбы воплощенного искусственного интеллекта на примере отдельных локальных успехов является преждевременным. Представленные технологические решения показывают в целом все-таки имитационный, искусственно смоделированный образ сложного механизма устройства и функционирования человеческого сознания. Наряду с воплощенным искусственным интеллектом режим правовых ограничений должен распространяться на «открытые», т. е. самообучающиеся, самопрограммируемые и самосовершенствующиеся алгоритмы. Здесь разработчик формулирует лишь цель, а пути и средства ее достижения определяются алгоритмом (декларативная парадигма программирования). Например, поиск текстов юридических документов в справочно-правовых системах через набор ключевых слов (инструкции пользователю) может дополняться всплывающей подсказкой (элементами искусственного интеллекта), основанной на анализе опыта предыдущих запросов пользователя или других лиц. Однако для этого машина должна, что называется, обучиться и развить данные способности. Отсюда возникает существенная трудность, связанная с возможной потерей полного или частичного контроля человека и проблемой гласности принятия решения такими автономными/полуавтономными системами искусственного интеллекта. И по мере повышения степени автономности вероятность осуществления полного человеческого контроля за их действиями будет только снижаться, что требует адекватного правового регулирования. Варианты решения этой проблемы таковы. Во-первых, программирование с ограничениями, предусматривающее невозможность действия искусственного интеллекта в противоречии с целями и задачами человека. Ограничение может быть установлено на выбранные средства достижения цели, многоцелевые проекты, объем аппаратной мощности и т. п. Законодательное закрепление этой обязанности под угрозой санкций только усилит роль таких технологических ограничений. Во-вторых, запрограммированное самоуничтожение искусственной интеллектуальной системы, которое применяется в военных целях для предотвращения использования экспортированной военной техники против собственного же государства путем создания кода «свой-чужой». При этом самоуничтожение как гражданская технология может осуществляться в случае невозможности реализовать программируемые ограничения в актуальной среде, преодоления этих ограничений (снятие защиты самой системой, вирусный взлом и т. д.) и иных случаях. Законодательное закрепление самоуничтожения может быть обусловлено отсутствием нарушений прав и законных интересов других лиц, публичных интересов (ч. 3 ст. 55 Конституции РФ). В-третьих, «красная кнопка», т. е. программная функция, позволяющая разработчику (на уровне кода) или пользователю (на уровне программного интерфейса) самостоятельно принять решение о прекращении деятельности системы искусственного интеллекта, если ее функционирование причиняет или создает реальную угрозу причинения вреда правам, свободам человека и гражданина, общественным и государственным интересам. Очевидно, что такое право разработчика или пользователя должно быть предусмотрено законом, а также по понятным причинам оно не может быть ограничено или исключено условиями договора. В-четвертых, модель «черного ящика», исходящая из презумпции, что полностью аргументировать и объяснить решение, принятое автономным или полуавтономным искусственным интеллектом, вряд ли возможно. При этом необходимо, по меньшей мере, фиксировать процесс принятия решения, набор совершенных при этом действий (в виде своеобразного лог-файла или журнала учета операций), а далее предпринять усилия на экспертном уровне по обоснованию принятого решения. Вместе с тем, такая модель оставляет сомнения в ее социальной и юридической эффективности в силу гипотетического характера. Тем более следует, вероятно, скептически отнестись к высказанным в литературе суждениям о законодательном закреплении права человека на получение информации о причинах и основаниях принятого в отношении него юридического решения «открытой» системой искусственного интеллекта (Kuteynikov et al., 2020:147). При недостаточном уровне научно-технических знаний о машинном обучении подобных алгоритмов, закрепление такого субъективного права является фикцией, не будет обладать признаками исполнимости. В-пятых, создание двойных экспертных систем с функциями материнского контроля за дочерним агентом. Дочерняя интеллектуальная система постоянно перемещается в окружающей информационной среде и корректирует динамику своего поведения на основе данных среды. Материнская же система осуществляет функции контроля на расстоянии за автономным блоком с помощью широкополосной беспроводной связи. Цель таких двойных систем в предотвращении проектирования опытных образцов или внесения изменений в базу их знаний, которые неприемлемы и нарушают социальные нормы (Stefanuk et al., 2020:460). Роевый (коллективный) искусственный интеллект представляет собой сообщество искусственных интеллектов, в том числе роботов, которые локально взаимодействуют с соседними интеллектуальными системами на основе определенных принципов, и из совместных усилий всех рождается коллективное согласованное поведение сообщества, обладающее качеством целостности (эмерджентности). Эта технология получила распространение из биологических подходов, изучавших поведение муравьиных колоний, пчелиных роев, косяков рыб и стай птиц. Отсюда такие характеристики роевого искусственного интеллекта, как автономность, самоорганизация (децентрализация), адаптивность, устойчивость и масштабируемость (Farooq & Di Caro, 2008:101). Главная трудность в программировании роевого интеллекта - найти оптимальные траектории взаимодействия таких искусственных членов сообщества, сбалансированные с отдельно взятой средой, чтобы из простых индивидуальных правил взаимодействия могло быть получено желаемое коллективное поведение: надежное и гибкое (Trianni et al., 2008:164). Использование принципов роевого искусственного интеллекта влечет неоднозначные последствия для общества и человека. В пункте 30 Стратегии достижение полной алгоритмической имитации индивидуальных и коллективных биологических организмов («пчелиный рой» и «муравейник») заявлено как один из приоритетов государственной научно-технической политики в контексте возможной реализации идеи универсального (сильного) искусственного интеллекта. Однако данный тезис выглядит спорным и в данный момент недостаточно обоснованным. Мы предлагаем всерьез задуматься: нужен ли современному человеку так называемый «сильный» искусственный интеллект? Чем больше предоставляется свободы и обучается искусственный интеллект, тем более высока вероятность полного его выхода из-под контроля человека. Конкурировать с коллективными сообществами искусственного интеллекта, обрабатывающими с высочайшей скоростью и точностью большие массивы правовой информации, человеку становится все сложнее. Не связан ли тогда процесс поиска его технологических моделей с добровольным отказом человечества от лидерства в современном мире и, в частности, с превращением права во второстепенное «программное» приложение к цифровым кодам? Правовые риски использования роевого искусственного интеллекта крайне высоки, чем даже в случае применения воплощенного подхода. В инженерных и технических исследованиях наблюдается тенденция централизовать идею коллективного роя, выделить в нем лидера глобального проекта, владельца главного «рецепта», иерархически замкнуть структуру управления. Так, например, модель качественного когнитивного агента включает в себя, по мнению ряда авторов, модель представления знаний, поведенческое планирование, подсистему взаимодействия агентов и общую систему управления компонентами (Kulinich, 2018:102, 103). Предложен алгоритм управления верхнего уровня, переключающий управление между базовыми алгоритмами обучения с подкреплением, случайного блуждания и планирования на основе правил, что позволяет отдельному роботу целенаправленно (но без человека!) решать различные задачи в заданной для него среде и при изменяющихся условиях среды (Rovbo, 2019:44). В сложившихся обстоятельствах считаем, что право должно в режиме ограничений и запретов предусмотреть гарантии от неконтролируемого использования роевых интеллектуальных систем. Если мы руководствуемся общепризнанными нормами и принципами международного права, роевые технологии дронов и т. п. устройств в военных целях должны, очевидно, запрещаться. Но разработка и опытная эксплуатация таких систем в гражданских целях должна осуществляться в закрытых средах под контролем специалистов. Например, это может ограничиваться локальными рамками предприятия (роботизированное производство бытовой техники) или общего учебного полигона в процессе приобретения цифровых компетенций обучающимися лицами (Bokova, 2020:286). Отсюда соответствующее правовое регулирование роевого искусственного интеллекта может осуществляться сегодня как в рамках экспериментальных правовых режимов, так и подготавливаться к введению в российский гражданский оборот через технические стандарты и регламенты. Искусственный интеллект и национальный правопорядок Проблема искусственного интеллекта в цифровую эпоху характеризуется для человечества универсальным значением. Человеческий и искусственный интеллект различаются среди множества критериев по вопросу ценностей, так как в философии принято считать, что ценности - это феномен исключительно человеческой, социальной и культурной природы. Правильно отмечено, что ценностные основы права не могут быть полностью «скопированы» искусственным интеллектом в силу не совпадающей сущностной основы: творческая деятельность человека; алгоритмы и операции машины (Rafalyuk, 2020:860). Мы называем искусственный интеллект «дружественным», если он способен воспроизводить наши ценности, которые мы сами для себя создали в обществе. Однако обучение искусственного интеллекта человеческим ценностям - это задача почти неразрешимая в нынешних условиях развития нейронаук и кибернетических наук. Она коренным образом отличается, например, от его обучения правилам навигации в определенном пространстве. Отсюда ценности можно лишь «вложить» в роботов как программы и загрузить в их базу данных в качестве «знаний», что предъявляет высокие этические требования к создателям этих программ. Если же мы научим искусственный интеллект самостоятельно формулировать цели и классифицировать в соответствии с этими целями полезную (важную) информацию, т. е. добывать знания, мы признаем, что он может формулировать собственные цели и задачи, которые могут не согласовываться с нашими целями и задачами. В этом случае от «дружественного» до «враждебного» искусственного интеллекта - один шаг. Каждый правопорядок в цифровую эпоху сохраняет свою специфику в зависимости от национально-культурной идентичности. На отношение к искусственному интеллекту влияют философско-мировоззренческие установки населения и ученых, традиции, психология, религиозные нормы и другие факторы, поэтому нужно принимать во внимание особенности того общества, в котором обсуждается и моделируется эта проблема. Границы же между различными правовыми системами часто проходят и заключены в фундаментальных ценностных установках. Можно выделить два крупных аксиологических исследовательских направления развития искусственного интеллекта и робототехники в национальных правопорядках. Одно из них, более характерное для западных и европейских правопорядков, называется киборгизацией человека, представляет собой расширение возможностей человеческого тела за счет внедрения в него программируемых технологических компонентов. Сюда относятся «мозговые чипы» И. Маска, медицинские импланты, продукты биомедицинских технологий, инженерной генетики. Общая проблема этого направления состоит в трудностях разграничения лечебных и экспериментальных (рисковых) технологий, граница между которыми подвижна и нуждается в тщательном этико-юридическом обсуждении. Второе направление, распространенное в странах Юго-Восточной Азии, именуется антропоморфизацией роботов, где совершенствуются механизмы и технологии искусственного интеллекта за счет биологических симуляционных инноваций. В гуманоидных роботах как представителях этого подхода заложена свойственная для восточных культур идея «оживления» вещей, наделения техники и технологий «душой» и «интеллектом» (Seredkina, 2010:138-141). Для российского правопорядка ближе этот второй путь. Хотя, как отмечено выше, позитивный лечебный биоинжиниринг также имеет спрос в российском обществе, а данная сфера общественных отношений давно ждет детального правового регулирования. При выборе любого направления отметим, что главным критерием необходимости и полезности искусственного интеллекта является повышение качества жизни и социального благополучия человека (Rybakov, 2020:31). Развитие искусственного интеллекта трансформирует традиционные представления о процессе отечественного правотворчества, включая его в общий тренд цифровизации государственного управления. Тем не менее, мы весьма критически относимся к идеям прямого регулирования общественных отношений с помощью самоизменяющихся цифровых кодов, «машиночитаемого» права, цифровых микродиректив и т. п. Основная проблема, поднимаемая такими идеями, состоит в принципе подобия между правом как регулятором общественных отношений и кодами как регуляторами технических процессов. В частности, это подобие усматривается из их общей алгоритмической основы; утверждается, что право - это в известной степени тоже алгоритм (Zenin et al., 2020:99). Полный изоморфизм между правом и кодами невозможен по причине генезиса этих явлений на разных уровнях материи: механическом (техническом) и социальном. Естественный человеческий язык доступен для понимания всем как средство коммуникации и познания смысла правовых предписаний. Смена человеческой языковой парадигмы права на унифицированный международный цифровой юридический язык может привести к элитарности такого языка и его специфических производителей - программистов. Простому гражданину понять кодовые последовательности символов будет трудно или невозможно. В то же время именно для простого человека существует право, как средство социального управления. Тем более, для данного нового языка остаются злободневными такие же проблемы обеспечения безопасности и конфиденциальности персональных данных от вирусных атак, технических сбоев и т. д. Особенно это заметно при некорректной распаковке кода и «зависании» техники, когда мы все равно обращаемся к системному администратору. Получается, что «кто владеет кодами, тот владеет правом». В этой формулировке предлагается новая парадигма права? Более реалистичным и надежным представляется вариант разработки и принятия закона в традиционном «бумажном» и человеческом формате, однако механизм его исполнения вполне может быть частично «оцифрован». Нужно улучшать программное обеспечение и оптимизировать информационно-коммуникационные технологии, сопровождающие правотворческие процедуры. По этим основаниям можно полностью согласиться с М.Л. Давыдовой, что так называемое «умное» регулирование в законодательном процессе есть не что иное, как аналог наиболее рационального, эффективного и целесообразного человеческого правотворчества (Davydova, 2020:27). Актуальным является вопрос о распознавании многословных и сложных выражений при «оцифровке» законодательных текстов через популярные технологии векторного представления слов (Loukachevitch & Parkhomenko, 2018:112). Современные справочно-правовые базы данных часто содержат прямые перекрестные указатели на взаимосвязанные юридические документы, но в практике учета востребовано выявление неявных связей между ними. Это облегчает процедуру толкования законов и связано с построением и описанием помеченных наборов данных для маркировки корпуса юридических текстов и извлечения отношений между ними (Devyatkin et al., 2020:229). Потребностями времени определяется необходимость организации и обработки в законодательном процессе больших данных, в том числе персональных данных граждан, которые чаще всего являются слабо структурированными (Djukova et al., 2019:116), либо вообще неструктурированными (Nevzorova & Nevzorov, 2019:130). Результатом этой аналитической деятельности в Российской Федерации должны стать размеченные и структурированные наборы данных, которые загружаются и хранятся на общедоступных национальных цифровых платформах (п. 37 Стратегии). Вследствие этого масштабное введение в коммерческий оборот персональных данных граждан для ускорения цифрового экономического развития (Magomedova et al., 2020:1017-1020) кажется наименее предпочтительным. Российское общество, наверное, к этому пока еще не готово. Наконец, внедрение искусственного интеллекта в правосудие, являющееся сегодня популярной темой, предполагает разрешение фундаментальной этической проблемы: может ли робот быть моральным агентом? Реализация концепции законного и справедливого суда роботом определяет важность четкого и ясного понимания им таких этических категорий, как: свобода воли, ответственность, социальная роль, нравственный концепт, разграничение «правильного» и «неправильного». Да и сами по себе основные этические категории являются дискуссионными на протяжении столетий. Робот-судья должен уметь испытывать эмоции и сопереживать людям, а также обладать навыками социальной коммуникации. К тому же ряд ключевых вопросов правосудия упирается в понятие «Я», т. е. наличие у робота-судьи самосознания (Karpov, 2020:62). Все-таки имеющийся технологический задел по данным проблемам весьма маленький. Поэтому полагать, что робот сможет достойно заменить человека в осуществлении деятельности с таким высоким призванием, еще нет достаточных оснований. Заключение Таким образом, основными элементами концепции интеграции искусственного интеллекта в правовую систему можно назвать следующие: 1) сохранение и дальнейшая эволюция традиционной основы правового регулирования в виде «бумажных» законов, практики их применения, общепризнанного понятийно-категориального аппарата юридической науки и обеспечение преемственности правового развития; 2) установление особенностей правовых режимов в зависимости от типа искусственного интеллекта; 3) критическое осмысление и адаптивное включение в правопорядок зарубежного опыта правового регулирования искусственного интеллекта с учетом отечественных ценностных подходов. Водоразделом между проектами гуманистической цифровизации и цифровой дегуманизации общества служит в числе прочих вопросов проблема общего (сильного) искусственного интеллекта. Однако в сообществе ученых в настоящее время нет единых устоявшихся представлений о том, какую когнитивную архитектуру он должен иметь, как классифицировать его модели, на каких механизмах и принципах работы он может строиться. Следовательно, до тех пор, пока речь идет о слабом (узкоспециализированном) искусственном интеллекте, какие-либо перспективы цифрового «рабства» человека со стороны машины вряд ли оправданны и являются, скорее всего, преувеличением. Однако именно разумный и ответственный подход человека к интеграции искусственного интеллекта в правовую систему позволит воплотить в жизнь лозунг: «цифра» для человека, а не человек для «цифры».

×

Об авторах

Юлия Александровна Гаврилова

Волгоградский государственный университет

Автор, ответственный за переписку.
Email: gavrilova_ua@volsu.ru
ORCID iD: 0000-0002-8055-4710

кандидат юридических наук, доцент, доцент кафедры теории и истории права и государства, Институт права

Российская Федерация, 400062, г. Волгоград, Университетский пр-т, д. 100

Список литературы

  1. Алексеев С.С. Общие дозволения и общие запреты в советском праве. М.: Юрид. лит., 1989. 288 c
  2. Bellot, D., Siegwart, R., Bessière, P., Tapus, A., Coué, C. & Diard, J. (2004) Bayesian Modeling and Reasoning for Real World Robotics: Basics and Examples. In: Iida F., Pfeifer R., Steels L. & Kuniyoshi Y. (eds.). Embodied Artificial Intelligence. Lecture Notes in Computer Science. T 3139. Springer, Berlin, Heidelberg. pp. 186-201. doi: 10.1007/978-3-540-27833-7_14
  3. Бокова Л.Н. Правовой режим создания безопасной цифровой образовательной среды // Вестник Российского университета дружбы народов. Серия: Юридические науки. 2020. Т. 24. № 2. С. 274-292. doi: 10.22363/2313-2337-2020-24-2-274-292
  4. Черданцев А.Ф. Теория государства и права: учебник для вузов. М.: Юрайт-М, 2002. 432 с.
  5. Давыдова М.Л. «Умное регулирование» как основа совершенствования современного правотворчества // Журнал российского права. 2020. № 11. С. 14-29. Doi: 10.12737/ jrl.2020.130
  6. Devyatkin, D., Sofronova, A. & Yadrintsev, V. (2020) Revealing Implicit Relations in Russian Legal Texts. In: Kuznetsov S.O., Panov A.I. & Yakovlev K.S. (eds.). Artificial Intelligence. RCAI 2020. Lecture Notes in Computer Science. Vol. 12412. Springer, Cham. pp. 228-239. doi: 10.1007/978-3-030-59535-7_16
  7. Djukova, E.V., Masliakov, G.O. & Prokofyev, P.A. (2019) Logical Classification of Partially Ordered Data. In: Kuznetsov S.O. & Panov A.I. (eds.). Artificial Intelligence. RCAI 2019. Communications in Computer and Information Science. Vol. 1093. Springer, Cham. pp. 115-126. doi: 10.1007/978-3-030-30763-9_10
  8. Estep, M. (2006) Self-Organizing Natural Intelligence. Issues of Knowing, Meaning, and Complexity. Springer, Dordrecht
  9. Farooq, M. & Di Caro, G.A. (2008) Routing Protocols for Next-Generation Networks Inspired by Collective Behaviors of Insect Societies: An Overview. In: Blum C., Merkle D. (eds.). Swarm Intelligence. Natural Computing Series. Springer, Berlin, Heidelberg. pp. 101-160. doi: 10.1007/978-3-540-74089-6_4
  10. Фетюков Ф.В. Законодательство о клонировании человека: мировой опыт и правовая модель для современной России // Вестник Российского университета дружбы народов. Серия: Юридические науки. 2020. Т. 24. № 4. С. 881-900. doi: 10.22363/2313-2337-2020-24-4-881-900
  11. Fu, B., Mettel, M.R., Kirchbuchner, F., Braun, A. & Kuijper, A. (2018) Surface Acoustic Arrays to Analyze Human Activities in Smart Environments. In: Kameas A. & Stathis K. (eds.). Ambient Intelligence. AmI 2018. Lecture Notes in Computer Science. Vol. 11249. Springer, Cham, 115-130. doi: 10.1007/978-3-030-03062-9_10
  12. Hafner, V.V. (2004) Agent-Environment Interaction in Visual Homing. In: Iida F., Pfeifer R., Steels L. & Kuniyoshi Y. (eds.). Embodied Artificial Intelligence. Lecture Notes in Computer Science. Vol. 3139. Springer, Berlin, Heidelberg. pp. 180-185. doi: 10.1007/978-3-540-27833-7_13
  13. Holland, O. (2004) The Future of Embodied Artificial Intelligence: Machine Consciousness? In: Iida F., Pfeifer R., Steels L. & Kuniyoshi Y. (eds.). Embodied Artificial Intelligence. Lecture Notes in Computer Science. Vol. 3139. Springer, Berlin, Heidelberg. pp. 37-53. doi: 10.1007/978-3-540-27833-7_3
  14. Karpov, V.E. (2020) Can a Robot Be a Moral Agent? In: Kuznetsov S.O., Panov A.I. & Yakovlev K.S. (eds.). Artificial Intelligence. RCAI 2020. Lecture Notes in Computer Science. Vol. 12412. Springer, Cham. pp. 61-70. doi: 10.1007/978-3-030-59535-7_5
  15. Kulinich, A. (2018) Architecture of a Qualitative Cognitive Agent. In: Kuznetsov S., Osipov G., Stefanuk V. (eds.). Artificial Intelligence. RCAI 2018. Communications in Computer and Information Science. Vol. 934. Springer, Cham. pp. 102-111. doi: 10.1007/978-3-030-00617-4_10
  16. Кутейников Д.Л., Ижаев О.А., Зенин С.С., Лебедев В.А. Алгоритмическая прозрачность и подотчетность: правовые подходы к разрешению проблемы «черного ящика» // Lex russica. 2020. Т. 73. № 6. С. 139-148. doi: 10.17803/1729-5920.2020.163.6.139-148
  17. Loukachevitch, N. & Parkhomenko, E. (2018) Recognition of Multiword Expressions Using Word Embeddings. In: Kuznetsov S., Osipov G. & Stefanuk V. (eds.). Artificial Intelligence. RCAI 2018. Communications in Computer and Information Science. Vol. 934. Springer, Cham. pp. 112-124. doi: 10.1007/978-3-030-00617-4_11
  18. Магомедова О.С., Коваль А.А., Левашенко А.Д. Торговля данными: разные подходы, одна реальность // Вестник Российского университета дружбы народов. Серия: Юридические науки. 2020. Т. 24. № 4. С.1005-1023. doi: 10.22363/2313-2337-2020-24-4-1005-1023
  19. Мамычев А.Ю., Мирошниченко О.И. Моделируя будущее права: проблемы и противоречия правовой политики в сфере нормативного регулирования систем искусственного интеллекта и роботизированных технологий // Правовая политика и правовая жизнь. 2019. № 2. С. 125-133
  20. Nevzorova, O. & Nevzorov, V. (2019) Ontology-Driven Processing of Unstructured Text. In: Kuznetsov S.O., Panov A.I. (eds). Artificial Intelligence. RCAI 2019. Communications in Computer and Information Science. Vol. 1093. Springer, Cham. pp. 129-142. doi: 10.1007/978-3-030-30763-9_11
  21. Панченко В.Ю., Ромашов Р.А. Цифровое государство (digital state) - концептуальное основание глобального мирового порядка // Государство и право. 2018. № 7. С. 99-109. doi: 10.31857/S013207690000235-0
  22. Попова А.В. Правовые аспекты онтологии искусственного интеллекта // Государство и право. 2020. № 11. С. 115-127. doi: 10.31857/S102694520012531-5
  23. Рафалюк Е.Е. Право будущего: поиск новых истин или сохранение традиционных ценностей? / пер. с рус. на англ. Николаева А.И. // Вестник Российского университета дружбы народов. Серия: Юридические науки. 2020. Т. 24. № 4. С. 843-863. doi: 10.22363/2313-2337-2020-24-4-843-863
  24. Rovbo, M. (2019) Hierarchical Control Architecture for a Learning Robot Based on Heterogenic Behaviors. In: Kuznetsov S.O. & Panov A.I. (eds.). Artificial Intelligence. RCAI 2019. Communications in Computer and Information Science. Vol. 1093. Springer, Cham. pp. 44-55. doi: 10.1007/978-3-030-30763-9_4
  25. Рыбаков О.Ю. Качество жизни, благополучие человека, ценность права в условиях цифровой реальности // Человек, общество, право в условиях цифровой реальности. Сборник статей. М.: Русайнс, 2021. С. 15-31
  26. Середкина Е.В. Анализ программ киборгизации и антропоморфизации в контексте философии «хай-тек» // Вестник Пермского государственного технического университета. Культура, история, философия, право. 2010. № 3. С. 137-146
  27. Спицин И.Н., Тарасов И.Н. Использование искусственного интеллекта при отправлении правосудия: теоретические аспекты правовой регламентации (постановка проблемы) // Актуальные проблемы российского права. 2020. Т. 15. № 8. С. 96-107. doi: 10.17803/1994-1471.2020.117.8.096-107
  28. Sporns, O. & Pegors, T.K. (2004) Information-Theoretical Aspects of Embodied Artificial Intelligence. In: Iida F., Pfeifer R., Steels L., Kuniyoshi Y. (eds.). Embodied Artificial Intelligence. Lecture Notes in Computer Science. T. 3139. Springer, Berlin, Heidelberg. pp. 74-85. doi: 10.1007/978-3-540-27833-7_5
  29. Stefanuk, V.L., Zhozhikashvily, A.V. & Savinitch, L.V. (2020) Intelligent Systems with Restricted Autonomy. In: Kuznetsov S.O., Panov A.I. & Yakovlev K.S. (eds.). Artificial Intelligence. RCAI 2020. Lecture Notes in Computer Science. Vol. 12412. Springer, Cham. pp. 460-471. doi: 10.1007/978-3-030-59535-7_34
  30. Trianni, V., Nolfi, S. & Dorigo, M. (2008) Evolution, Self-organization and Swarm Robotics. In: Blum C. & Merkle D. (eds.). Swarm Intelligence. Natural Computing Series. Springer, Berlin, Heidelberg. pp. 163-191. doi: 10.1007/978-3-540-74089-6_5
  31. Ястребов О.А. Искусственный интеллект в правовом пространстве // Вестник Российского университета дружбы народов. Серия: Юридические науки. 2018. Т. 22. № 3. С. 315-328. doi: 10.22363/2313-2337-2018-22-3-315-328
  32. Зенин С.С., Кутейников Д.Л., Ижаев О.А., Япрынцев И.М. Правотворчество в условиях алгоритмизации права // Lex russica. 2020. Т. 73. № 7. С. 97-104. doi: 10.17803/1729-5920.2020.164.7.097-104

© Гаврилова Ю.А., 2021

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах