Апроксимация систем линейных уравнений по методу наименьших квадратов.

ВВЕДЕНИЕ Наиболее распространенным методом аппроксимации экспериментальных данных является метод наименьших квадратов. Метод позволяет использовать аппроксимирующие функции произвольного вида и относится к группе глобальных методов. Простейшим вариантом метода наименьших квадратов является аппроксимация прямой линией (полиномом первой степени). Этот вариант метода наименьших квадратов носит также название линейной регрессии. Критерием близости в методе наименьших квадратов является требование минимальности суммы квадратов отклонений от аппроксимирующей функции до экспериментальных точек. Таким образом, не требуется, чтобы аппроксимирующая функция проходила через все заданные точки, что особенно важно при аппроксимации данных, заведомо содержащих погрешности. Важной особенностью метода является то, что аппроксимирующая функция может быть произвольной. Ее вид определяется особенностями решаемой задачи, например, физическими соображениями, если проводится аппроксимация результатов физического эксперимента. Наиболее часто встречаются аппроксимация прямой линией (линейная регрессия), аппроксимация полиномом (полиномиальная регрессия), аппроксимация линейной комбинацией произвольных функций. Кроме того, часто бывает возможно путем замены переменных свести задачу к линейной (провести линеаризацию). СКАЛЯРНЫЕ ПРОИЗВЕДЕНИЯ И ТРАНСПОНИРОВАНИЕ Скалярное произведение двух векторов и y есть число . Будем допускать возможность, что скалярные произведения не равны нулю, т. е. что углы не яв¬ляются прямыми, и интересоваться соотношением между скаляр¬ным произведением и углом. Предположим, что задана точка в -мерном пространстве и мы хотим найти расстояние от этой точки до прямой, порожденной вектором , т. е. мы ищем на этой прямой точку , ближайшую к . Тогда прямая, соединяющая точки и , перпендикулярна к исходному вектору . Проекции в -мерном пространстве. Этот факт позволяет нам найти ближайшую точку и вычислить расстояние от нее до . Несмотря на то что исходные векторы и не были ортогональны, для решения задачи автоматически привлекается ортогональность. Ситуация будет аналогичной, если вместо прямой, определен¬ной вектором , задана плоскость или вообще любое подпро¬странство пространства . Задача вновь сводится к отысканию точки в этом подпространстве, которая является ближайшей к , и эта точка вновь оказывается проекцией точки на подпрост¬ранство . Если мы опустим перпендикуляр из точки на , то будет точкой пересечения этого перпендикуляра с подпро¬странством S. Геометрически это соответствует решению задачи о расстояниях между точками и подпространствами. Однако остаются и некоторые вопросы, а именно: 1) Имеет ли эта задача практическое значение? 2) Существует ли аналитическая формула для определения точки , если подпространство задается определенным базисом (или просто набором векторов, порождающих его)? 3) Существует ли устойчивый (с вычислительной точки зре¬ния) способ вычисления точки при помощи этой формулы?

Содержание
ВВЕДЕНИЕ 3
СКАЛЯРНЫЕ ПРОИЗВЕДЕНИЯ И ТРАНСПОНИРОВАНИЕ 4
СКАЛЯРНЫЕ ПРОИЗВЕДЕНИЯ И НЕРАВЕНСТВО ШВАРЦА 6
ТРАНСПОНИРОВАНИЕ МАТРИЦЫ 8
ПРОЕКЦИИ НА ПОДПРОСТРАНСТВА И АППРОКСИМАЦИИ ПО МЕТОДУ НАИМЕНЬШИХ КВАДРАТОВ 9
Упражнение 3.2.1. 10
Упражнение 3.2.2. 11
МНОГОМЕРНЫЕ ЗАДАЧИ О НАИМЕНЬШИХ КВАДРАТАХ 12
МАТРИЦЫ ПРОЕКТИРОВАНИЯ 15
ПОДГОНКА ДАННЫХ МЕТОДОМ НАИМЕНЬШИХ КВАДРАТОВ 17
ЗАКЛЮЧЕНИЕ 21
Список использованной литературы 22

Список использованной литературы
1. Г. Стренг, «Линейная алгебра и её применения», М. «Мир» - 1980 г.
2. О.О. Замков, А.В. Толстопятенко, Р.Н. Черемных Взвешенный метод наименьших квадратов Взвешенный метод наименьших квадратов Математические методы в экономике. М.: Дис, 1997.
3. Анна Эрлих Технический анализ товарных и финансовых рынков. М.: ИНФРА, 1996.
4. Я.Б. Шор Статистические методы анализа и контроля качества и надёжности. М.: Советское радио, 1962.
5. В.С. Пугачёв Теория вероятностей и математическая статистика. М.: Наука, 1979. 394 с.
6. Грабовецкий Б.Е. Экономическое прогнозирование и планирование: К.: Центр учебной литературы, 2003. 188 с.
7. Ерина А.М., Кальян З.О. Теория статистики: Практикум. К.: КНЕУ, 1997. с. 187190.
8. Гусаров В.М. Теория статистики: Учебн. пособие для вузов. М., 1998. с. 143155.