Minimax adaptive filtering algorithm nonlinear systems with Volterra series of the second order

Full Text

Введение В настоящей работе исследована проблема фильтрации нелинейных систем на основе минимаксного адаптивного алгоритма нелинейных систем рядами Вольтерра 2-го порядка при условии, что автокорреляционные функции полезного сигнала и помехи известны с некоторыми погрешностями. Для решения задачи идентификации нелинейных объектов разработано довольно много подходов и методов [1-10]. На современном этапе возросли требования к точностным характеристикам применяемых алгоритмов идентификации. В связи с этим модифицируются классические подходы к решению задачи идентификации нелинейных систем с целью повышения их точности и уменьшения ограничений применения [11], а также универсальные поисковые методы, которые требуют минимальной априорной информации об идентифицируемой системе, но сложны в реализации. Считаем также, что взаимокорреляционная функция полезного сигнала и помехи равна нулю, причем случайные функции полезного сигнала и помехи стационарны в узком смысле [12], стационарно связаны и имеют нулевые математические ожидания. Критерием качества считается максимальная среднеквадратическая ошибка фильтрации. Необходимо решить задачу минимаксной фильтрующей структуры в виде последовательности Вольтерра, когда случайный сигнал на входе системы задан с гауссовым белым шумом. Спектральные интенсивности погрешностей «шумовых добавок» сигнала и помехи пропорциональны величинам погрешностей, с которыми определены автокорреляционные функции сигнала и помехи. Показывается, что минимаксный фильтр Вольтерра 2-го порядка (ФВ2) эквивалентен параллельной реализации минимаксного линейного фильтра и квадратичного фильтра. Аналогичная реализация фильтра y (n) = h + 0 N - 1 å j= 0 a(j)x(n - j)+ ФВ2 была показана в работах [1; 2] для критерия N - 1N - 1 качества по среднеквадратической ошибки фильтрации (СКОФ). В минимаксной постановке проблемы фильтрации рядами Вольтерра 2-го поряд- + å å j = 0 k = 0 b( j, k)x(n - j)x(n - k), (1) ка решаются впервые, когда наблюдается эффективность за счет устойчивой фильтрации с увеличением интенсивности «добавок» белого шума, поскольку верхние оценки в ограничениях для где {a ( j )} и {b ( j, k )} называются линейным и квадратичным весом соответственно, а N указывает длину фильтра (предполагается симметричность квадратичных весов фильтра, то есть асимптотического остатка СКОФ (АОСКОФ) для b ( j, k ) = b (k , j ). Будем предполагать, что слулинейного и квадратичного фильтров обратно пропорциональны максимальному собственному числу для автокорреляционной матрицы входного сигнала с белым шумом при наличии помехи чайный сигнал x(n) представляет аддитивную смесь полезного сигнала s(n) и помехи ξ(n). и его квадрату соответственно. Целью данной работы является изучение сходимости фильтра x(n) = s(n) + ξ(n), (2) Вольтерра второго порядка по адаптивному методу наименьших квадратов (LMS). Анализируется фильтр Вольтерра с постоянным размером шага µ при изменяющейся во времени настройке и количественная оценка установившегося избыточного среднего квадрата ошибки (RMSE), где причем s(n) и ξ(n) - это случайные стационарные в узком смысле [12] и стационарно связанные процессы с нулевым математическим ожиданием с дискретным параметром n, а их корреляционные функции известны с некоторыми погрешностями δRs и δRξ соответственно вклад неправильной регулировки градиента и R% (n, n') = R (n, n') + δR (n, n'); ошибки отслеживания хорошо охарактеризованы в зависимости от максимального собственного числа наиболее неблагоприятной автокорреляционной матрицы входного сигнала. На первом этапе мы представляем количественную оценку избыточного среднего квадрата ошибки фильтрации и на втором этапе выводится оптимальное значение размера шага обучения сходимости фильтра. Подобные задачи часто встречаются в радиотехнических приложениях при оценке амплитуды детерминированного сигнала при колебаниях его формы и неточных коррекциях шума, то есть когда корреляционную функцию, которая лежит внутри заданного выпукло-ограниченного семейства, определить едва ли возможно. Другой пример - это оценивание регрессионных параметров детерминированного сигнала при неточно известной корреляционной функции, как основного сигнала, так и шума. s s s ξ ξ ξ R% (n,n' ) = R (n,n' ) + δR (n,n' ), где Rs(n, n') и Rξ(n, n') - предполагаемые значения (например, некоторые оценки корреляционных функций). Везде далее считается, что взаимо корреляционная функция сигнала x(n) и помехи ξ(n) тождественно равна нулю, полагаем также, что Rs(n, n'), δRs(n, n'), Rx(n, n'), δRx(n, n') есть симметрические функции (в классе обобщенных функций) от перестановок аргументов. Эти функции можно рассматривать как ядра симметричных операторов Rs, R̃s, δRs, Rξ, R̃ξ, δRξ в гильбертовом пространстве. Предполагается, что ξ(n) белый гауссовский шум. Считается, что относительно погрешностей δRx и δRξ известно лишь, что они ограничены по операторной норме 1. Постановка задачи || δRs ||£ D s , || δRξ ||£ D ξ , Возьмем фильтр Вольтерра 2-го порядка, который состоит из параллельной комбинации линейного и квадратичного фильтров [1; 2]: где операторная норма || . || понимается как максимальное собственное число симметричного оператора. Нужно найти веса фильтра A и B, которые минимизируют максимальную среднюю квадра- X ( n ) = [ x ( n ), x ( n - 1),..., x ( n - N + 1)]T , тичную ошибку фильтрации (СКОФ) между s(n) и выходом фильтра y(n), то есть A = [ a (0 ),..., a (n - N + 1)]T , æ b(0, 0) . . . b(0, N - 1) ö e( A, B , Rs + δRs , Rξ + δRξ ) = B = ç . . . ÷ ç ÷ ç ÷ = E[| s(n) - y (n) |2 ]; (3) è b(N - 1, 0) . . . b(N - 1, N - 1) ø eмакс ( A, B) = C учетом разложения всей СКОФ e(A, B, Rs + δRs, Rξ + δRξ) на линейную СКОФ1 и квадратичную СКОФ2, получаем представление ли- = max e( A, B, R + δR , R + δR ), (4) нейного и квадратичного операторов ФВ2 с ми- ||δR ||£D ,||δR ||£D s s ξ ξ s s ξ ξ нимальной СКОФ в виде [13] 2. Алгоритм реализации Вольтерра 2-го порядка A = R-1 , 0 x R sx В определении минимума СКОФ фильтра 1 -1 -1 (7) Вольтерра 2-го порядка является требование 0 = 2 x sx x , бездрейфового фильтра. С учетом бездрейфового выхода фильтра, другими словами, должно быть E[y(n)] = 0, так как основной сигнал имеет нулевое математическое ожидание. Тогда получается следующее соотношение для ФВ2 [2]: B R T R где кросскорреляционные и бикросскорреляционные элементы матричных функций Rsx и Tsx соответственно определены следующим образом N 1 y(n) = å a( j)x(n - j) + j=0 r ( j) = E[s(n) x(n sx j)], N-1 N-1 + å å b( j,k)[x(n- j)x(n-k)-rx( j-k)], (5) tsx ( j, k ) = E[s(n) x(n j) x(n - k )]. (8) где j=0k=0 rx ( j) = E[x(n)x(n - j)] Из (5) и (6) видно, что линейный оператор оптимального ФВ2 - это то же самое, что и оптимальный минимаксный линейный фильтр. Следовательно, можно сконструировать ФВ2 просто обозначает автокорреляционную функцию x(n), E - символ математического ожидания. Выражение (5) для ФВ2 можно представить в эквивалентном матричном виде посредством добавления квадратичного фильтра созданному оптимальному минимаксному линейному фильтру без его изменения, то есть в качестве линейного фильтра в смысле критерия (4) можно использовать минимаксный фильтр A*, y(n) = A T X (n) + tr{B[ X (n) X T (n) - R x ]}, (6) который минимизирует максимальную СКОФ из (4) (в заданном классе линейных фильтров) по всем наименее благоприятным значениям где trA обозначает след квадратной матрицы { }j=1, N R R корреляционных операторов * и * s ξ A = akj k=1,N , то есть сумму ее диагональных элементов: e (A*) = min max e (A, R + δR , R + δR ) = макс A ||δR ||£Δ ,||δR ||£Δ s s ξ ξ trA = N å akk , s s ξ ξ = max e ( A, R% , R% ) = k =1 min s ξ R* ,R* а Rx обозначает размером N×N автокорреляци- A s ξ * * * * онную матрицу функции x(n), чей (j, k)-й эле- = maxmine (A, Rs , Rξ ) = mine (A, Rs , Rξ ). (9) R* ,R* A A мент равен rx(j - k). s ξ Причем наименее благоприятные значения корреляционных операторов будут равны ента адаптации бучения в обратно пропорциональной зависимости этому максимальному собственному числу, в силу выбора наименее не- R* = R + Δ I , R* = R + Δ I , (10) благоприятных зашумленных корреляционных s s s ξ ξ ξ матриц сигнала и помехи соответственно для минимаксного линейного фильтра. Пусть велигде I - единичный оператор; ∆s и ∆ξ интенсивности «добавок» белого шума. Поясним смысл термина интенсивность «добавок» белого шума. Поскольку ошибка в значина дисперсии по критерию наихудшей среднеквадратической ошибки для реализации ФВ2 ограничена величиной ξopt [13, формула (12)]: нии корреляционной функции флуктуаций или ξ = r (0) - T ( *) 1R 1 1 o( )tr[R ( *) 1 ], (12) - - случайного сигнала компенсируется прибавлеopt s R R sx 2 x T x R T x нием добавки в виде белого шума со спектральной интенсивностью соответственно ∆ξ или ∆s, возрастающей при росте погрешности δRξ или где sx x s x s δRs, то сумма Rξ + ∆ξI или Rs + ∆sI равносильна добавлению к флуктуациям или случайному сигналу дополнительного белого шума. Опера- R* =R +Δ I ; x x x r (0) = E[s 2 (n)]; s торная форма представления (10) аналогична R R = * A; T R R = 2 *B *, матричному корреляционному представлению, в котором единичная матрица I соответствует sx x sx x x в операторном виде единичному оператору в виде дельта функции Дирака, а матрицы ∆ξI и ∆sI являются корреляционными матрицами добавок белого шума соответственно спектральной интенсивности ∆ξ и ∆s, а ядра симметричных операторов Rξ и Rs и представляют соответствующие корреляционные матрицы. Как известно [14], минимаксный фильтр в этом случае примет вид где ∆x соответствует интенсивности суммарных «добавок» белого шума во входном сигнале x(n). Метод наименьших квадратов для линейных и квадратичных весов адаптивного фильтра ФВ2 соответственно A(n) и B(n) может быть представлен как стохастический вариант метода наискорейшего спуска (LMS) в следующем виде [13] A(n + 1) = A(n) - 2μAe(n) X (n); A* = R* ( R* + R* )-1 , (11) B(n + 1) = B(n) - 2μBe(n) X (n) X T (n). (13) s s ξ а его максимальная СКОФ записывается в виде e ( *) = trR*( R* + R*)-1 R*. Константы обучения μA и μB определяют устойчивость и сходимость адаптивного фильтра, e(n) = y(n) - s(n). Заметим, что линейные и квадратичные оптимальные весовые коэффицимакс A s s ξ ξ енты ФВ2 изменяются в этом случае по следу- Таким образом, можно сконструировать ФВ2 просто посредством добавления квадратичного ющей зависимости 2. n A n A n фильтра параллельно созданному минимаксному фильтру без его изменения и потери существенной точности. 0 ( +1) = 0 ( +1) = 0 ( )+δ 0 ( )+δ 0 ( ); 0 ( ), Следовательно, за счет введения «шумовых добавок» к основному сигналу и помехе мы можем достичь значительного выигрыша для асимптотического остатка среднеквадратической ошибки АОСКОФ, вследствие увеличения максимального собственного числа автокорреляционной матрицы, что эквивалентно уменьшению коэффици- 3. n B n B n (14) где δA0(n) = A0(n) - A0 и δB0(n) = B0(n) - B0 - суть отклонения A0(n) и B0(n) от их оптимальных значений. Как показано в [13; 15], в адаптивной реализации ФВ2 флуктуации операторов линейного и квадратичного фильтров добавляют некоторую дополнительную СКОФ в выходное значение фильтра даже при устойчивом положении адаптационного процесса, то есть асимптотическая СКОФ адаптивного ФВ2 в общем случае больше, чем СКОФ оптимального ФВ2. Для оценки остатка СКОФ запишем СКОФ адаптивного ФВ2 в виде полнительной информации о возмущениях в корреляционной матрице Rx основного сигнала и корреляционной матрице Rξ, в частности для случая совместно гауссовских случайных процессов x(n) и s(n) [17] имеем Tsx = 0 и выражение для выигрыша η по минимаксной ξ(n) = ξopt o ξ A (n) + ξB (n), среднеквадратической ошибке по отношению к среднеквадратической ошибке для фильтра, погде избыточные среднеквадратические остатки ξA(n) и ξB(n) в адаптивной реализации ФВ2 имеют вид строенного по предлагаемым значениям Rs и Rx, принимает вид в матричной форме аналогичный виду в операторной форме [14, формула (5)] ξ (n) = E[tr{δ T (n)R δB(n)}]; tr(Δ R -Δ R )2(R +R )-2(R +R +Δ I +Δ I)-1 (16) B B x η = 1 + s s ξ ξ s ξ s ξ x ξ . ξ (n) = E[tr{δ T (n)R δA(n)}]. tr(Rs +ΔsI)(Rs +Rξ +ΔsI +ΔξI)-1(Rξ +ΔξI ) A A x Чем больше ∆s или ∆ξ, тем больше эффек- Асимптотические оценки СКОФ для линейного минимаксного и квадратичного фильтров реализации ФВ2 могут быть оценены сверху через оценку величины rs(0) следующим образом [13; 15] тивность минимаксного фильтра, а значит и фильтра Вольтерра 2-го порядка (ФВ2). В частности при ∆ξI >> Rξ, ∆s = 0 оценка выигрыша η будет линейно зависимой от величины шумовой добавки ∆ξ и будет равна trR2 (Rs +Rξ )-2 s ξ A £ 4μAξopt Nr (0); η @ 1 + Dξ ξ . trRξ (17) ξ В £ 3μBξ opt N 2r s (0). (15) Аналогично этому случаю можно рассмотреть другой крайний случай при ∆sI >> Rs, ∆ξ = 0 Шаги обучения μA и μB для линейного мии получить оценку для выигрыша η в виде нимаксного A и квадратичного фильтров B соотtrR2 (R +R )-2 ветственно выбираются из условий s s ξ η @ 1 + Ds trRs . (18) 0£ μA £ λ-1 ; 0 £ μB £ λ-2 , max max R где λmax - максимальное собственное число матрицы * , которое больше максимального собx ственного числа λmax матрицы Rx на величину ∆x Можно показать также, что при медленном изменении параметров модели адаптации обучения ФВ2 оптимальное значение шага обучения будет равно согласно теореме Вейля [16, теорема (4.3.1)]. Из оценок представления для АОСКОФ в (12) видно, что за счет увеличения максималь- μopt = μA = μB = R ного собственного числа матрицы * x можно N (σ2 +σ2 ) повысить устойчивость и сходимость алгоритма = NSA NSB , 2 2 2 2 2 (19) и получить выигрыш η по среднеквадратическим ошибкам, который показывает наличие до- Jmin [4Nσx +2tr(Rx )+ N (σx ) ] где σ2 = E[ x2 (n)]; x Jmin = cov(e(n)); e(n) = y(n) - s(n); 2 1 T o NSA = cov(ΔA0 (n)) = N E[tr (ΔA0 ΔA 0 )]; 2 1 T o NSB = cov(ΔB0 (n)) = N E[tr (ΔB0 ΔB0 )], то есть как это следует из (18) эффективность полученного оптимального фильтра Вольтерра 2-го порядка (ФВ2) по шагу адаптации обучения График зависимости оптимального размера шага обучения μopt от величины Jmin от различных значений интенсивностей «шумовой добавки»: пунктирный график - ∆x = 10; сплошной график - ∆x = 5 SNR = 25 дБ; N A 2 = 2 SB = × -6 также находится в обратной пропорциональной зависимости при значительном увеличении уровня шумовых добавок в возмущениях в корреляционной матрице Rx основного сигнала. σ σ 2,5 10 ; σx = 0,0017 NS A graph of the dependence of the optimal size of the learning step μopt on the magnitude Jmin of the various values of the intensities of the “noise additive:” dotted graph - ∆x = 10; solid graph - ∆x = 5 SNR = 25 dB; 2 = 2 = × -6 3. Пример эффективности фильтра Вольтерра 2-го порядка с одновременной реализацией линейного минимаксного фильтра Чтобы проиллюстрировать эффективность алгоритма, было проведено компьютерное моделирование. Линейный минимаксный фильтр как эквивалентная замена линейному фильтру использовался для оценки системы Вольтерра второго порядка с гауссовым входом x(n), то есть во входном сигнале x(n) присутствует аддитивный гауссовский белый шум и выходом y(n) в нестационарной и шумной среде на модельном примере: y(k ) = x(k ) - 0, 5x(k - 1) + x2 (k ) + +0,1x2 (k - 1) - 0, 4x(k ) x(k - 1) + n(k ). В выходном сигнале y(n) через n(k) обозначен белый шум известной интенсивности. На рисунке показан график зависимости оптимального размера шага обучения μopt от величины Jmin от различных значений интенсивностей «шумовой добавки» ∆x в помехе входного сиг- σ σ 2.5 10 ; σx = 0.0017 NSA NSB Из построения графика зависимости оптимального размера шага обучения μopt от величины Jmin от различных значений интенсивностей «шумовой добавки» ∆x в помехе входного сигнала x(n) видно, что с увеличением уровня интенсивностей ∆x величина оптимального шага обучения монотонно убывает и достигает оптимального постоянного уровня на второй кривой обучения, что согласуется с теоретическими выводами, сделанными выше в контексте статьи по оптимальному поведению шага адаптации в зависимости от уровня изменения интенсивностей шумовых добавок в дополнительном увеличении уровня помехи входного сигнала. Заключение Таким образом, задача по определению линейного и квадратичного операторов фильтра Вольтерра 2-го порядка с минимаксной средней квадратичной ошибкой для идентификации нелинейных стационарных систем решена и реализована в алгоритмическом виде. Показана эффективность адаптивного устойчивого фильтра нала x(n) при постоянных ковариациях σ 2 и NSA Вольтерра 2-го порядка для совместно гауссовских случайных процессов полезного и наблюда- σ 2 NSB девиаций параметров весовых коэффициемого сигналов в условиях неточно известного ентов A(n) и B(n) и постоянном отношении сигнала к шуму SNR в наблюдении выходного сигнала y(n) равном 25 дБ. сигнала в шуме и с неточно известными корреляционными свойствами. Дальнейшей задачей будет являться усовершенствование этого метода и применение фильтра Вольтерра для идентификации многомерных динамических нелинейных систем управления с интервальными параметрами, в задачах оценивания регрессионных интервальных параметров полезного сигнала.

About the authors

Igor G. Sidorov

Moscow Polytechnic University

Author for correspondence.
Email: igor8i2016@yandex.ru
ORCID iD: 0000-0003-4691-4855

Candidate of Technical Sciences, Associate Professor of the Department of Applied Informatics

38 Bolshaya Semyonovskaya St, Moscow, 125993, Russian Federation

References

Supplementary files