Метод наименьших квадратов в случае интегральной и дискретной нормы Гаусса
1. Постановка задачи
При решении многих задач физики и других прикладных наук возникает необходимость вместо функции 
, рассматривать функцию 
, представляющую функцию 
как можно «хорошо».
Например: может быть, в частности, и непрерывной функцией на 
, а 
соответствующая - алгебраическим или тригонометрическим многочленом, который «достаточно хорошо» приближает функцию .
Например: всякую функцию из 
можно представить приближённо соответствующим многочленом степени 
с помощью формулы Тейлора:
Возможно вы искали - Курсовая работа: Метод ортогонализации и метод сопряженных градиентов
(1)
т.е.
; 
(2)
где 
, 
- многочлен степени , приближающий функцию , 
- остаточный член. Ясно, что
(3)
Похожий материал - Контрольная работа: Метод простых итераций с попеременно чередующимся шагом
т.е. - характеризует абсолютную погрешность приближения функции многочленом в точке 
.
Известно также, что можно приблизить с помощью тригонометрического многочлена – отрезка ряда Фурье.
В утверждение, что функция хорошо приближает функцию на компакте , может быть вложен разный смысл. Например:
а) можно потребовать, чтобы приближающая функция совпадала с в 
точках промежутка , т.е. выполнялись условия 
, для 
.
Если - многочлен степени , то рассматриваемый процесс приближения называется параболическим интерполированием или процессом построения интерполяционного многочлена (частным примером является многочлен Лагранжа, т.е. 
);
Очень интересно - Курсовая работа: Метод Рунге-Кутты четвертого порядка с автоматическим выбором шага интегрирования решения задачи Коши
б) функцию можно выбрать так, чтобы норма 
- отклонения невязки – достигала минимального значения, причём норма может быть определена по-разному, и разным нормам соответствуют различные степени приближения.
В функциональном пространстве Гильберта 
, норме невязки имеет вид (интегральная норма Гаусса):
(4)
часто, в качестве нормы рассматривают Чебышевскую норму (Т – первая буква фамилии Чебышева на немецком языке):
(5)
Вам будет интересно - Контрольная работа: Метод скінчених різниць в обчислювальній математиці
При использовании нормы (5) говорят о равномерном приближении функции , функцией .
Подробная теория Т-приближений была развита в работах немецкого математика Л. Коллатца.
На практике, для оценки характера приближения, часто применяют метод наименьших квадратов, при котором невязка вычисляется по дискретной норме Гаусса:
(6)
Ясно, что метод наименьших квадратов (6) – является дискретным аналогом функции Гаусса (4).
Похожий материал - Курсовая работа: Метод экспертных оценок в анализе качества обучающего процесса в ИП "Стратегия"
Принципиальную возможность приближения любой непрерывной функции 
многочленом даёт теорема Вейерштрасса: Если , тогда 
, 
- многочлен, что 
имеет место неравенство:
(7)
2. Метод наименьших квадратов в случае приближения функции
Мы ранее рассматривали задачу аппроксимации результатов неточного эксперимента линейной функцией 
. Сейчас рассмотрим общий случай, когда функция приближается некоторой системой линейно независимых функций 
.