Методика аппроксимации эмпирических данных.

Эмпирические данные, как правило, задаются числовыми рядами значений двух величин: независимой (y_k) и зависимой (x_k) , каждая из которых в общем случае кроме определенной регулярной (детерминированной) составляющей может содержать и случайные составляющие самой различной природы, обусловленные как статистической природой изучаемых процессов, так и внешними факторами процессов измерений и преобразования данных (шумы, помехи, дестабилизирующие факторы и ошибки измерений). Независимая переменная x_k обычно полагается детерминированной, а, следовательно, ее случайная составляющая "переносится" на зависимую переменную y_k. Полагается также, что значения случайной составляющей зависимой переменной (как собственные, так и "суммарные") распределены по некоторому вероятностному закону (например – нормальному).

При выполнении аппроксимации данных априорно предполагается существование определенной детерминированной связи y(x) между регулярными составляющими этих двух числовых рядов на статистически значимом уровне, достаточном для ее выявления на уровне случайных составляющих. Задача выявления такой закономерности относится к числу неопределенных и неоднозначных, результат которой существенно зависит от трех основных и весьма субъективных факторов:

Ø выбора меры близости зависимой переменной к искомой функции и метода построения приближения (параметров математической модели);

Ø выбора подходящего класса функции аппроксимации (степенной, тригонометрической и пр.), отвечающего физической природе моделируемого процесса;

Ø метода оптимизации порядка модельной функции или числа членов ряда аппроксимирующего выражения.

Отсюда следует, что оптимальная аппроксимация может быть обеспечена только достаточно гибкими интерактивными алгоритмами на основе многоэтапных итерационных процессов с возможностью коррекции на каждом этапе.

Мера приближения. Наиболее распространен критерий наилучшего приближения в виде минимума степенной разности между значениями переменной y_k и аппроксимирующей функцией j(x_k):

[y_k - j(x_k)]^S ® min, (14.6.1)

где S > 0 - положительное число.

Квадратичная мера реализуется при S = 2 в методе наименьших квадратов (МНК) и обеспечивает максимальное правдоподобие функции приближения при нормальном распределении случайной составляющей зависимой переменной y_k. Несмещенной оценкой меры приближения в МНК является дисперсия остатков:

D = {[y_k - j(x_k)]²}/(k-m), (14.6.2)

где m – количество параметров в функции приближения, (k-m) – число степеней свободы. Однако эмпирические данные могут содержать выбросы и грубые ошибки, которые вызывают смещения вычисляемых параметров. Их влияние обычно исключается цензурированием данных: вычислением гистограммы разностей y_k-j(x_k) после определения первого приближения функции аппроксимации и исключением "хвостовых" элементов гистограммы (до 2.5% от количества данных, или резко выделяющихся элементов данных на основании оценок вероятностей с использованием r- или t- распределений).

Мера наименьших модулей (метод Лагранжа) реализуется при S = 1 и применяется при распределениях случайных составляющих зависимой переменной по законам, близким к закону Лапласа (двустороннее экспоненциальное распределение). Такая мера соответствует площади между графиками эмпирических данных и функции аппроксимации, и, по сравнению с квадратической, является более устойчивой, в том числе при наличии случайных составляющих с большими амплитудами (длинные "хвосты" разностных гистограмм). Оценки по модулю получили название "робастных" (robust – устойчивый).

Свойства квадратичной меры и меры наименьших модулей в определенной степени сочетаются при S = 3/2.

Минимаксная мера (мера Чебышева – минимизация максимального расхождения функции аппроксимации с данными) обеспечивает наилучшее приближение при равномерном распределении значений случайной составляющей, но не является устойчивой при наличии больших расхождений данных с функцией аппроксимации.

Аппроксимирующая функция, в принципе, может быть математической функцией любого типа, линейной комбинацией различных функций или функциональным рядом из степенных, тригонометрических и любых других функций. В основу ее построения желательно закладывать априорные (теоретические) предположения о сущности изучаемого явления, хотя бы по таким свойствам, как область определения переменных и производных, асимптоты, минимумы и максимумы.

При полном отсутствии априорной информации о распределении случайной составляющей данных, на начальном этапе обычно используется квадратичная мера приближения, при этом существенное значение имеет количество задаваемых параметров функции аппроксимации, особенно при малом количестве данных. Как следует из (14.6.2), при прочих равных условиях целесообразно использовать функции с минимальным количеством задаваемых параметров, что обеспечивает большее число степеней свободы и, соответственно, меньшие значения дисперсии остатков.

Наибольшее распространение в практике аппроксимации при отсутствии теоретических аспектов изучаемых явлений получили функциональные ряды, для которых определяющее значение имеет порядок аппроксимирующей функции (модели).

Порядок модели ограничивает число членов функционального ряда аппроксимирующей функции определенным оптимальным количеством членов ряда, которое обеспечивает обоснованное расхождение с фактическими данными и минимизирующее отклонение от искомой регулярной составляющей данных.

Очевидно, что для функциональных рядов порядок модели (степень ряда для степенных рядов) определяет значение меры приближения. При повышении порядка модели (в пределе до бесконечности) минимум функции (14.6.1) стремится к нулю. Однако это означает, что при повышении порядка модели в функцию аппроксимации входит не только регулярная составляющая данных, но все большая и большая доля случайных составляющих, в пределе до полного соответствия функции j_k исходным данным y_k. Но повышение степени приближения к исходным данным при наличии в них случайных составляющих с какого-то определенного момента (порядка модели) не только не будет приближать функцию аппроксимации к регулярным составляющим данных, а наоборот – увеличивать расхождение. С этой точки зрения термин "меры приближения" (14.6.1) было бы целесообразнее заменить термином "мера аппроксимации" данных, а под мерой приближения понимать значение меры аппроксимации, при которой обеспечивается максимальная степень приближения функции аппроксимации к регулярной составляющей данных (минимум дисперсии разности функций аппроксимации и регулярной составляющей).

При разделении данных на значения регулярных составляющих s_k и случайных s_k, для квадратичной меры можно записать:

[y_k-j(x_k)]² =[s_k+s_k-j(x_k)]² =[s_k-j(x_k)]² +2[s_k-j(x_k)]s_k +s_k².

При нулевом значении математического ожидания случайных величин s_k значение второй суммы стремится к нулю, при этом для оптимальной аппроксимирующей функции:

[s_k-j(x_k)]² ® min, (14.6.3)

[y_k-j(x_k)]² ®s_k². (14.6.4)

В пределе, при идеальной аппроксимации, выражение (14.6.3) стремится к нулю, а выражение (14.6.4) эквивалентно соотношению дисперсий:

{[y_k - j(x_k)]²}/(k-m) »s_k²/k. (14.6.5)

Отсюда следует, что при прочих равных условиях наилучшим является приближение, у которого мера приближения близка к дисперсии шума. Для "белых" шумов оценку их дисперсии в экспериментальных данных можно выполнять в спектральной области, если частота Найквиста данных минимум в 2 раза выше предельных частот регулярной составляющей.

При отсутствии информации о дисперсии шумов оптимальный порядок модели может определяться методом последовательных уточнений с последовательным нарастанием порядка модели и сравнением по критерию Фишера значимости различия дисперсии остатков каждого нового порядка с предыдущим порядком. При увеличении порядка модели (начиная с 1-го) значимость различия дисперсий сначала является довольно высокой, постепенно уменьшается, и в области оптимальных порядков становится малозначимой. Это объясняется тем, что в этой области при небольших уменьшениях значения числителя выражения (14.6.2) одновременно, за счет увеличения порядка, сокращается число степеней свободы. После прохождения оптимальной зоны значения дисперсий остатков снова начинают увеличиваться с увеличением значимости различий.

Рис. 14.6.1.

Оптимальный порядок модели при нормальном распределении шума может устанавливаться и непосредственно по минимуму дисперсии остатков. Это можно наглядно видеть на примере, приведенном на рис. 14.6.1.

Одномерная полиномиальная аппроксимация данных в векторе Y полиномом с произвольной степенью n и с произвольными координатами отсчетов в векторе Х в Mathcad выполняется функциями:

Ø regress(X,Y,n) – вычисляет вектор S для функции interp(…), в составе которого находятся коэффициенты c_i полинома n-й степени;

Ø interp(S,X,Y,x) – возвращает значения функции аппроксимации по координатам х.

Функция interp(…) реализует вычисления по формуле:

f(x) = c₀ + c₁·x¹ + c₂·x² + … + c_n·xⁿ ≡ c_i·xⁱ.

Значения коэффициентов c_i могут быть извлечены из вектора S функцией

Ø submatrix(S, 3, length(S), 0, 0).

Оценка качества приближения. Для оценки качества математической модели эмпирической зависимости используется коэффициент детерминации (Adjusted R²):

Adjusted R² = Dj/D_y = 1 – D_o/D_y,

где: Dj - дисперсия функции приближения, D_y – дисперсия данных, D_o – дисперсия остатков. Чем выше качество аппроксимации, тем ближе к 1 значение коэффициента детерминации.

литература

Макс Ж. Методы и техника обработки сигналов при физических измерениях: В 2-х томах. - М.: Мир, 1983.

Дьяконов В.П. Вейвлеты. От теории к практике. – М.: СОЛОН-Р, 2002. – 448 с.

Корн Г., Корн Е. Справочник по математике для научных работников и инженеров. – М.: Наука, 1984.

Овечкина Е.В. (НТИ УГТУ-УПИ), Поршнев С.В. (УГТУ-УПИ). Разработка методов оптимальной аппроксимации эмпирических зависимостей. (Статья в электронном журнале).

Айфичер Э., Джервис Б. Цифровая обработка сигналов. Практический подход. / М., "Вильямс", 2004, 992 с.