Интеллектуальные методы обработки

Полный текст

Введение В современном информационном обществе процессы обработки данных и анализа информации становятся все более важными и актуальными. В этом контексте большое значение приобретают интеллектуальные методы обработки данных, такие как вейвлет-преобразование и стохастические методы. Эти методы позволяют эффективно обрабатывать и анализировать разнообразные данные, что имеет прямое отношение ко многим областям науки и практической деятельности. Одной из важнейших задач, стоящих перед современной наукой, является разработка эффективных методов обработки и анализа больших объемов данных. С развитием информационных технологий объемы данных постоянно растут, и возникает необходимость в создании инновационных подходов для их анализа. Вейвлет-преобразование и стохастические методы представляют собой мощные инструменты, способные эффективно работать с разнообразными типами данных и выявлять в них скрытые закономерности и структуры. Сочетание вейвлет-преобразования, стохастических методов и ключевых научных и практических задач заключается в их способности проводить анализ данных на различных уровнях детализации. Это позволяет выявлять как сложные закономерности, так и мелкие особенности, которые могут быть упущены при использовании традиционных методов анализа, что делает данные методы востребованными в различных областях науки, начиная от обработки сигналов и изображений до анализа биомедицинских данных. В данном исследовании представлены анализ ключевых методов вейвлет-преобразования и стохастических методов, их взаимосвязь, а также значимость их применения в различных областях науки и практики. Приведены практические примеры их применения для демонстрации важности и результативности этих методов. 1. Методы Вейвлет-преобразование является одним из наиболее широко применяемых методов обработки данных. Данный метод основан на идеологии разложения сигнала на набор элементарных вейвлет-функций разных размеров и частот. Этот метод позволяет обнаруживать и анализировать частотные компоненты сигнала с различной разрешающей способностью. Он нашел применение во многих областях, включая медицину, финансы, обработку изображений и звука [1]. Стохастические методы, или методы статистического анализа, представляют собой важный класс интеллектуальных методов обработки данных. Они основаны на применении статистических моделей для описания и анализа данных. Эти методы позволяют изучать случайные процессы, выявлять зависимости и прогнозировать будущие значения данных. Они широко используются в финансовых анализах, прогнозировании экономических показателей, анализе временных рядов и других областях [2]. 2. Моделирование Начнем с вейвлет-преобразования. Это метод анализа сигналов, который базируется на использовании специальных функций, называемых вейвлетами. Вейвлеты представляют собой функции, которые могут быть адаптированы к различным масштабам и сдвигам сигнала для обнаружения его локальных особенностей [3]. Одним из популярных типов вейвлетов является вейвлет-функция Мексиканская шляпа (Mexican Hat), получившая название из-за своего внешнего вида, который напоминает шляпу с широкими полями и узкой вершиной Вейвлет. Мексиканская шляпа широко применяется в обработке сигналов и изображений, особенно в задачах детекции краев и шумоподавления. Ее форма позволяет эффективно обнаруживать резкие перепады и края в сигнале. Еще одним распространенным типом вейвлета является вейвлет Морле (Morlet). Вейвлет Морле является комплексным вейвлетом, который сочетает модуляцию гармонической функции с гауссовым огибающим. Это делает его особо полезным для анализа сигналов, содержащих периодические компоненты, такие как временные ряды или электроэнцефалограммы (ЭЭГ). Вейвлет Морле обладает хорошим временным и частотным разрешением, что делает его предпочтительным вариантом для анализа сигналов, включая оконный анализ и долгосрочную спектральную оценку. Вейвлет-преобразование с вейвлетами, такими как Мексиканская шляпа или Морле, позволяет анализировать сигналы на разных временных и частотных масштабах. Это дает возможность обнаруживать локальные особенности сигнала, такие как перепады, края, преходы между состояниями, а также выявлять периодические компоненты. Вейвлет-преобразование нашло применение во многих областях, включая обработку изображений, аудио-анализ, биомедицинскую диагностику и многое другое [4]. Для дальнейшей работы потребовалось загрузить файл формата EDF. Это реальная запись пациента, полученная с помощью системы Nihon Kohden и преобразованная в EDF-формат. Запись взята с сайта профессионального инженера по электронике с опытом работы в области проектирования медицинских устройств для ЭЭГ и ЭКГ[4]. Запись содержит 37 униполярных сигналов. На рис. 1 выведено изображение этих сигналов. Рис. 1. Изображение многоканальной записи ЭЭГ, содержащейся в EDFфайле И с т о ч н и к: выполнено В.В. Толмановой на языке программирования Python Figure 1. An image of a multichannel EEG recording contained in an EDF file S o u r c e: made by V.V. Tolmanova in Python programming language На данном изображении вверху видно перечисление всех каналов. В данном случае число отчетов по временному ряду равно 363 620. Выбрав интервал чтения с 1500 до 200.000, задав время, количество сигналов и взяв пятый канал, смотрим, как выглядит наш график (рис. 2). Преобразование Фурье используется для представления сигнала в частотной области. 1е - 5 Оно разлагает сигнал на синусоидальные компоненты разных частот, а также дает информацию о том, какие частоты присутствуют в сигнале, но не дает информацию о временной или пространственной структуре сигнала. Это подходит для анализа периодических или стационарных сигналов. На рис. 3 представлен график, полученный с помощью преобразования Фурье. Рис. 2. График сигнала во времени И с т о ч н и к: выполнено В.В. Толмановой на языке программирования Python Figure 2. Graph of the signal in time S o u r c e: made by V.V. Tolmanova in Python programming language Рис. 3. Результат преобразования Фурье И с т о ч н и к: выполнено В.В. Толмановой на языке программирования Python Figure 3. The result of the Fourier transform S o u r c e: made by V.V. Tolmanova in Python programming language Построение спектра плотности мощности. Спектр плотности мощности - это графическое представление распределения мощности сигнала по его частотам. Он позволяет наглядно увидеть, какие частоты вносят наибольший вклад в общую мощность сигнала. Чтобы вычислить спектр плотности мощности, обычно используют методы, основанные на преобразовании Фурье. Построен график, показывающий, какого ритма на данной записи ЭЭГ больше всего. Для этого необходимо было посчитать энергию для каждого ритма, что является важной задачей для изучения активности мозга и характеристик его состояния. Каждый ритм соответствует определенному диапазону частот и имеет свои особенности [5; 6]. Ранее применено преобразование Фурье к сигналу ЭЭГ, чтобы перевести его в частотную область, что позволило разложить сигнал на частотные компоненты [7]. Теперь можно оценить энергию каждого ритма, используя различные методы, например вычисление спектральной плотности мощности (рис. 4). Рис. 4. Построение энергии в различных частотных диапазонах И с т о ч н и к : выполнено В.В. Толмановой на языке программирования Python Figure 4. Construction of energy in various frequency ranges S o u r c e : made by V.V. Tolmanova in Python programming language Прописан перечень вейвлетов, установлено максимальное значение сдвига и построено вейвлет-преобразование относительно масштаба материнского вейвлета [8]. Вейвлет-преобразование - это метод анализа сигнала, основанный на использовании вейвлетов. Вейвлеты представляют собой функции, которые описывают как локальные, так и глобальные особенности сигнала. Масштабирование материнского вейвлета является важным аспектом вейвлет-преобразования. Материнский вейвлет - это основная функция, которая используется для рассмотрения различных масштабов сигнала. Масштабирование материнского вейвлета позволяет адаптировать его к различным частотным компонентам сигнала. При построении вейвлет-преобразования используется масштабирование материнского вейвлета относительно его ширины. Это позволяет изменять размер вейвлета, чтобы лучше анализировать различные частоты сигнала. Масштабирование может происходить путем увеличения или уменьшения масштаба вейвлета [8]. Масштабирование вейвлета дает возможность получить информацию о частотных свойствах сигнала на разных масштабах. При анализе сигнала с использованием вейвлет-преобразования можно обнаружить регионы с высокой или низкой энергией на разных частотах и масштабах, что полезно для исследования различных особенностей сигнала [10]. Вейвлет-преобразование с масштабированием материнского вейвлета позволяет анализировать сигналы на разных уровнях детализации, что делает его мощным инструментом для обработки и анализа сигналов во многих областях, таких как обработка изображений, аудиоанализ и т.д. (рис. 5) [11]. Рис. 5. Масштаб в вейвлет(преобразовании И с т о ч н и к : выполнено В.В. Толмановой на языке программирования Python Figure 5. Scale to wavelet transform S o u r c e : made by V.V. Tolmanova in Python programming language Рис. 6. Вейвлет(преобразование И с т о ч н и к: выполнено В.В. Толмановой на языке программирования Python Figure 6. The wavelet transform S o u r c e: made by V.V. Tolmanova in Python programming language Получен график, который строит связку частоты и масштаба. С помощью полученного графика можно сразу увидеть на какой частоте и в какое время возникает всплеск активности (рис. 6) [12]. Классические методы обработки сигналов [13]. Это набор алгоритмов и техник, которые были разработаны перед появлением современных методов на основе машинного обучения и искусственного интеллекта. Эти методы широко применялись в обработке сигналов на протяжении десятилетий и остаются значимыми до сих пор. Примерами классических методов обработки сигналов являются фильтрация, корреляция, спектральный анализ и стохастический анализ [14]. Фильтрация - процесс обработки сигнала для удаления нежелательных шумовых компонент, усиления сигнала или преобразования его спектральной характеристики. Это может быть достигнуто с помощью различных фильтров, таких как низкочастотный фильтр, высокочастотный фильтр, полосовой фильтр и фильтр с откликом на импульс. Корреляция - метод анализа сигналов для определения степени связи между двумя сигналами или для обнаружения паттернов и периодичностей в сигналах. Корреляция может быть использована, например, для обнаружения синхронизации сигналов, распознавания образов или коммуникаций. Спектральный анализ - метод анализа спектральных характеристик сигнала, таких как частотыи амплитуды. Он позволяет определить спектральные свойства сигнала, такие как гармонические компоненты, пики или шумовые искажения. Спектральный анализ может быть достигнут, например, с помощью преобразования Фурье или вейвлет-преобразования. Стохастический анализ - метод анализа сигналов, основанный на статистических свойствах. Он позволяет моделировать и анализировать случайные сигналы или сигналы, которые можно представить в виде случайного процесса. Стохастический анализ используется в различных областях, включая статистику, теорию информации, обработку сигналов и машинное обучение [15]. Применение стохастического анализа в обработке сигналов может включать моделирование случайных шумовых искажений, анализ случайных сигналов, таких как электроэнцефалограммы (ЭЭГ), или предсказание будущих значений сигнала на основе предыдущих наблюдений. Стохастический анализ также может включать использование вероятностных моделей для описания и предсказания поведения сигналов в случайных условиях [16]. Используя тот же файл EDF, изобразим наш сигнал с помощью графика (рис. 7). Рис. 7. Изображение сигнала И с т о ч н и к : выполнено В.В. Толмановой, программа Python Figure 7. Signal image S o u r c e : made by V.V. Tolmanova in Python programming language Рис. 8. Результаты расчетов И с т о ч н и к : выполнено В.В. Толмановой на языке программирования Python Figure 8. Calculation results S o u r c e : made by V.V. Tolmanova in the Python program Рис. 9. Изображение среднего значения на графике И с т о ч н и к : выполнено В.В. Толмановой на языке программирования Python Figure 9. Shows the average value on the graph S o u r c e : made by V.V. Tolmanova in Python programming language Рассчитано математическое ожидание и среднеквадратическое отклонение (рис. 8). Математическое ожидание на графике. Внесем некоторые уточнения: красной (сплошной) линией на графике изображена средняя линия, серым цветом среднеквадратическое отклонение (рис. 9). Автокорреляция. Ранее давалось определение понятия «корреляция», однако в данном случае будем использовать именно автокорреляцию. Эти два понятия связаны с измерением степени взаимосвязи между двумя или более переменными. Разница между ними заключается в том, что корреляция используется для измерения связи между двумя разными переменными, в то время как автокорреляция используется для измерения связи между различными значениями одной и той же переменной в разные моменты времени. Корреляция - это статистическая мера, показывающая степень линейной связи между двумя переменными. Она позволяет определить, насколько одна переменная изменяется при изменении другой. Коэффициент корреляции может принимать значения от -1 до 1. Значение 1 означает положительную линейную связь, значение -1 - отрицательную линейную связь, а значение 0 - отсутствие линейной связи. Автокорреляция, с другой стороны, изучает связь между различными значениями одной и той же переменной в разные моменты времени. Она служит для определения наличия систематических зависимостей значениями переменной в прошлом и настоящем. Отрицательная автокорреляция, равная 1, свидетельствует о том, что связь между сигналами линейная. Автокорреляция, равная 0, свидетельствует о том, что взаимосвязи нет. Отрицательная автокорреляция свидетельствует о том, что связь обратно пропорциональная. Другими словами, автокорреляция показывает линейную взаимосвязь. Таким образом, корреляция изучает связь между двумя переменными, в то время как автокорреляция изучает связь между различными значениями одной переменной в разные моменты времени. На рис. 10 показан график автокорреляции. Скользящее среднее. Это метод анализа временных рядов, который используется для сглаживанияданных и выявления трендов. Он представляет собой вычисление среднего значения с определенным окном или интервалом, которое «скользит» по временному ряду. Рис. 10. Автокорреляция И с т о ч н и к: выполнено В.В. Толмановой на языке программирования Python Figure 10. Autocorrelation S o u r c e: made by V.V. Tolmanova in Python programming language Процесс вычисления скользящего среднего начинается с выбора размера окна, которое определяет количество наблюдений, участвующих в расчете среднего значения. Затем окно передвигается по временному ряду, применяя операцию среднего значения к каждому поднабору данных, охватываемому окном. Скользящее среднее имеет несколько применений. Во-первых, оно помогает сгладить шумы и выбросы в данных, позволяя сосредоточиться на общих трендах и паттернах. Вовторых, оно может использоваться для обнаружения и анализа долгосрочных и краткосрочных трендов в данных. Скользящее среднее также может быть полезным для прогнозирования будущих значений на основе прошлых данных. Существуют различные виды скользящего среднего, включая простое скользящее среднее (Simple Moving Average), взвешенное скользящее среднее (Weighted Moving Average) и экспоненциальное скользящее среднее (Exponential Moving Average). Каждое из них имеет свои преимущества и подходит для различных ситуаций. В целом скользящее среднее является мощным инструментом для анализа временных рядов и предоставляет понятную и плавную версию данных, облегчая выявление трендов и паттернов. Для заданных параметров скользящее среднее представлено на рис. 11. Рис. 11. График сигнала скользящего среднего И с т о ч н и к: выполнено В.В. Толмановой на языке программирования Python Figure 11.The graph of signal and moving average S o u r c e: made by V.V. Tolmanova in Python programming language Показатель Хёрста. Основан на теории долговременной памяти, которая утверждает, что временные ряды могут выражать структурную зависимость в различных временных масштабах. Получил свое название в честь инженера Гарольда Хёрста. Впервые это понятие использовалось в гидрологии в практических целях для определения размеров плотины на реке Нил в условиях непредсказуемых дождей и засух, наблюдаемых в течение длительного времени. Ключевая идея показателя Хёрста заключается в изучении масштабирующих свойств временного ряда. Он анализирует, как изменения во временном ряде распространяются на разных уровнях детализации. С помощью этого анализа можно оценить наличие корреляции или самоподобия временного ряда. Для вычисления показателя Хёрста используется методика, называемая анализом размаха-резкости. Первоначально временной ряд разбивается на различные временные масштабы. Затем для каждого масштаба оценивается изменчивость ряда. Это делается с помощью вычисления разности между выборками на текущем масштабе и их средним значением, а затем нахождения среднеквадратичного отклонения полученных разностей. В результате получается набор значений, которые представляют изменчивость временного ряда на различных масштабах [17]. Затем показатель Хёрста вычисляется путем логарифмирования значения изменчивости и логарифмирования соответствующего масштаба. Затем производится линейная регрессия полученных логарифмических данных и показатель Хёрста определяется как наклон прямой, полученной в результате регрессии. Значение показателя Хёрста можно интерпретировать следующим образом: - значение меньше 0,5 указывает на то, что уровень подобия, то есть хаотичность, увеличивается; - значение 0,5 указывает на то, что мы имеем дело с броуновским движением; - значение больше 0,5 указывает на то, что присутствует тренд, то есть зависимость от предыдущих значений. Таким образом, показатель Хёрста позволяет оценить степень зависимости во временном ряде и предсказать его долгосрочные тренды. Это очень полезный инструмент для прогно зирования и анализа временных рядов в разпоказано среднее квадратическое отклонение; личных областях исследований. Следуя вышесиним цветом - сама зависимость (рис. 12). перечисленным шагам, сделана попытка высчиНа этой же зависимости выделено пять участтать показатель Хёрста. Для этого сначала поков. Для каждого из этих участков высчитано строен график «Среднее значение (математичематематическое ожидание и среднеквадрати ское ожидание)». ческое отклонение. Из этого графика стано- На графике сплошная прямая линия - вится понятно, что в зависимости от участка это математическое ожидание; серым цветом среднее значение меняется (рис. 13). Рис. 12. Среднее значение (математическое ожидание) И с т о ч н и к: выполнено В.В. Толмановой на языке программирования Python Figure 12. The average value (mathematical expectation) S o u r c e: made by V.V. Tolmanova in Python programming language Рис. 13. Среднее значение (математическое ожидание) на каждом из 5 участков И с т о ч н и к : выполнено В.В. Толмановой на языке программирования Python Figure 13. The average value (mathematical expectation) for each of the 5 plots S o u r c e : made by V.V. Tolmanova in Python programming language Рис. 14. Очищенный от среднего значения ряд И с т о ч н и к: выполнено В.В. Толмановой на языке программирования Python Figure 14. Cleared from the average value of the series S o u r c e: made by V.V. Tolmanova in Python programming language Далее получен очищенный от среднего значения ряд. Для этого выполнены следующие действия: взят сигнал у, от него отнимается средняя величина, в результате чего получен сигнал с нулевым математическим ожиданием. Дальше сложено каждое следующее значение с предыдущим. Смотрим, какой получится очищенный от среднего значения ряд, если будет складываться каждое значение (рис. 14). Далее построен график среднеквадратического отклонения в зависимости от значения порядкового номера измерения. Принцип подсчета аналогичен предыдущему: сначала считается среднеквадратичное отклонение для одного числа; далее берется второе значение и считается среднеквадратическое отклонение для ряда, состоящего из первого и второго значений и так далее (рис. 15). 1e - 6 Рис. 15. Среднеквадратическое отклонение от очищенного от среднего значения ряда И с т о ч н и к: выполнено В.В. Толмановой на языке программирования Python Figure 15. The standard deviation from the cleared average value of the series S o u r c e: made by V.V. Tolmanova in Python programming language В результате получилось два временных ряда. Перейдем к расчету следующей величины. Размах является важной характеристикой временного ряда, используемой для оценки его степени изменчивости на разных временных масштабах. Размах определяет разность между максимальным и минимальным значениями ряда в заданном интервале. При анализе размаха для показателя Хёрста временной ряд разбивается на разные масштабы, то есть на различные временные интервалы. Затем для каждого интервала вычисляется размах путем нахождения разности между максимальным и минимальным значениями ряда в данном интервале. Полученные значения размаха представляют собой меру изменчивости ряда на соответствующем масштабе [18]. Анализ размаха на различных масштабах позволяет выявить наличие или отсутствие структурной зависимости в ряду на разных временных уровнях. В контексте показателя Хёрста размах используется для определения масштабирующих свойств временного ряда и оценки его самоподобия. Чтобы вычислить размах в рамках показателя Хёрста, предварительно необходимо разделить временной ряд на интервалы разной длины. Затем для каждого интервала находятся минимальное и максимальное значения ряда. Разность между максимальным и минимальным значениями для каждого интервала и является размахом на соответствующем масштабе. Анализ размаха ряда на разных масштабах позволяет увидеть, как изменения в ряде распространяются на различных уровнях детализации и выявить наличие корреляции или самоподобия в ряде. Показатель Хёрста используется для систематического изучения этих масштабирующих свойств временного ряда и может быть полезным инструментом для прогнозирования и анализа различных видов данных (рис. 16). Теперь берется размах и делится на среднеквадратическое отклонение. Полученные значения изображены в логарифмическом масштабе и получено следующее (рис. 17). На данном графике оранжевая линия - показатель Хёрста. Под графиком высчитано его значение (Н = 0,966). Значение показателя Хёрста можно интерпретировать следующим образом: - значение меньше 0,5 указывает на отрицательную корреляцию или антипериодичность ряда; - значение 0,5 указывает на случайность или отсутствие корреляции в ряде; - значение больше 0,5 указывает на положительную корреляцию или периодичность ряда. Рис. 16. Размах от очищенного от среднего значения ряда И с т о ч н и к: выполнено В.В. Толмановой на языке программирования Python Figure 16. The span of the row cleared from the average value S o u r c e: made by V.V. Tolmanova in Python programming language Рис. 17. Показатель Хёрста И с т о ч н и к: выполнено В.В. Толмановой на языке программирования Python Figure 17. Hearst indicator S o u r c e: made by V.V. Tolmanova in Python programming language Применение этих интеллектуальных методов обработки данных способствует получению более точных результатов в анализе и прогнозировании данных. Они помогают выявлять скрытые закономерности, определять важные компоненты сигнала, улучшать качество данных и облегчать принятие решений на основе полученных результатов [19]. Заключение Исследовано два интеллектуальных метода обработки данных: вейвлет-преобразование и стохастические методы, которые представляют собой эффективные методы, применяемые для анализа сигналов и временных рядов, а также для обработки различных типов данных. Вейвлет-преобразование - это метод анализа сигналов, который основан на декомпозиции их на сумму базисных функций, называемых вейвлетами, и предоставляет информацию о частотных составляющих сигнала в зависимости от времени. Этот метод позволяет извлекать значимые частотные компоненты сигнала и определять их временные положения. Вейвлет-преобразование широко применяется в области обработки изображений, сжатия данных, обнаружения аномалий и других задач. Стохастические методы, в свою очередь, базируются на статистическом анализе данных и моделировании случайных процессов. Они позволяют моделировать и прогнозировать временные ряды с использованием вероятностных моделей. Стохастические методы широко применяются в финансовой аналитике, прогнозировании рынка, управлении рисками и других областях, где важно моделирование случайных явлений. Однако следует отметить, что выбор подходящего метода обработки данных зависит от конкретной задачи и характеристик данных. В некоторых случаях может быть полезно комбинировать различные методы для достижения оптимальных результатов. Таким образом, интеллектуальные методы обработки данных, такие как вейвлет-преобразование и стохастические методы, представляют собой эффективные средства для анализа и прогнозирования различных типов данных. Их использование может повысить эффективность и точность анализа, что является важным в условиях современных информационных технологий и огромного объема данных.

Об авторах

Вероника Вячеславовна Толманова

Российский университет дружбы народов

Email: 1042210065@pfur.ru
ORCID iD: 0000-0001-9433-7859

аспирант кафедры механики и процессов управления, инженерная академия

Москва, Россия

Денис Анатольевич Андриков

Российский университет дружбы народов

Автор, ответственный за переписку.
Email: andrikovdenis@mail.ru
ORCID iD: 0000-0003-0359-0897
SPIN-код: 8247-7310

кандидат технических наук, доцент департамента механики и процессов управления, инженерная академия

Москва, Россия

Список литературы

Дополнительные файлы