Метод наименьших квадратов Метод итераций Метод Ньютона (касательных) Метод трапеций и средних прямоугольников Метод дихотомии Метод золотого сечения.

1.6. Метод золотого сечения.
Итак, минимум локализован точками или же , причем

Для дальнейшего анализа потребуем, чтобы точка лежала ближе к , нежели к . В интервале строится новая точка

и вычисляется соответствующее значение функции .
если
, то минимум локализован точками . Для того, чтобы в новом отрезке точка лежала ближе к , чем к , следует переобозначить

если
, то минимум локализован точками . В этом случае следует переобозначить

Для того, чтобы метод работал оптимально, необходимо, чтобы точка нового отрезка делила его в том же отношении, что и исходный отрезок. Несложно убедиться, что этому требованию удовлетворяет

и, значит, точка делит отрезок в золотом сечении, что и дало названию методу.
После шага метода золотого сечения известен отрезок локализации минимума, длина которого в раза меньше исходного. Этот метод дает, таким образом, линейную сходимость, и является аналогом метода дихотомии.

СОДЕРЖАНИЕ

І . Теоретическая часть 3
1.1. Метод наименьших квадратов 3
1.2. Метод итераций 5
1.3. Метод Ньютона (касательных) 6
1.4. Метод трапеций и средних прямоугольников 8
1.5. Метод дихотомии 9
1.6. Метод золотого сечения 10
ІІ. Практическая часть 12
Листинг программы 21
Список литературы 28













І. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ.
1.1. Метод наименьших квадратов
Линейная регрессия (теоретическое линейное уравнение регрессии) представляет собой линейную функцию между условным математическим ожиданием зависимой переменной Y и одной объ¬ясняющей переменной X ( значения независимой перемен¬ной в i-ом наблюдении, ).
. (1.1)
Для отражения того факта, что каждое индивидуальное значение отклоняется от соответствующего условного мате¬матического ожидания, необходимо ввести в последнее соотношение случайное слагаемое .
(1.1)
Это соотношение называется теоретической линейной регрессионной моделью, и теоретическими парамет¬рами (теоретическими коэффициентами) регрессии, слу¬чайным отклонением.
Следовательно, индивидуальные значения представляют¬ся в виде суммы двух компонент систематической и случайной , причина появления которой достаточно под¬робно рассмотрена ранее. В общем виде теоретическую линейную регрессионную модель будем представлять в виде:
. (1.2)
Для определения значений теоретических коэффициентов регрессии необходимо знать и использовать все значения пере¬менных X и Y генеральной совокупности, что практически не¬возможно.
Таким образом, задачи линейного регрессионного анализа состоят в том, чтобы по имеющимся статистическим данным для переменных X и Y:
а) получить наилучшие оценки неизвестных параметров и ;
б) проверить статистические гипотезы о параметрах модели;
в) проверить, достаточно ли хорошо модель согласуется со статистическими данными (адекватность модели данным на¬блюдений).
Следовательно, по выборке ограниченного объема мы смо¬жем построить так называемое эмпирическое уравнение рег¬рессии
(1.3)
где оценка условного математического ожидания ; и оценки неизвестных параметров и , называе¬мые эмпирическими коэффициентами регрессии. Следователь¬но, в конкретном случае:
(1.4)
где отклонение оценка теоретического случайного откло¬нения .

Параметры уравнения и находят методом наименьших квадратов (метод решения систем уравнений, при котором в качестве решения принимается точка минимума суммы квадратов отклонений), то есть в основу этого метода положено требование минимальности сумм квадратов отклонений эмпирических данных от выравненных :
. (1.5)
Эта функция является квадратичной функцией двух параметров и . Условием существования минимума функции двух переменных является равенство нулю ее частных производных:

Разделив оба уравнения системы на n, получим:
,
где (1.6)
1.2. Метод итерации.
Дана непрерывная функция f(x), которая содержит единственный корень на отрезке [a,b], где b>a. Определить корень с точностью ε.
Суть метода
Дано f(x)=0 (1)
Заменим уравнение (1) равносильным уравнением
x=φ(x) (2)
Выберем грубое, приближенное значение x0 , принадлежащее[a,b], подставим его в правую часть уравнения (2), получим:
x1= φ(x0) (3)
далее подставим х1 в правую часть уравнения (3) получим:
x2= φ(x1) (4)
x3= φ(x2) (5)
Проделаем данный процесс n раз получим xn=φ(xn-1)
Если эта последовательность является сходящейся т.е. существует предел
x* =lim xn , то данный алгоритм позволяет определить искомый корень.
Выражение (5) запишем как
x*= φ(x*) (6)
Выражение (6) является решением выражения (2), теперь необходимо рассмотреть в каких случаях последовательность х1хn является сходящейся.
Условием сходимости является если во всех токах x принадлежит [a,b] выполняется условие:

Приведем блок схему алгоритма метода итерации:
























1.3. Метод Ньютона (касательных).
В рамках метода Ньютона предполагается, что функция дифференцируема. Согласно этому методу строится линейная аппроксимация функции в начальной точке, а точка, в которой аппроксимирующая линейная функция обращается в нуль, принимается в качестве следующего приближения.

Итерационый процесс схождения к корню реализуется формулой:

Вычисления продолжаются пока соблюдается условие

В зависимости от выбора начальной точки и вида функции алгоритм по методу Ньютона может как сходиться к корню уравнения, так и расходиться.

Блок схема алгоритма метода Ньютона:
























1.4. Метод трапеций и средних прямоугольников.
Известно, что определенный интеграл функции типа численно представляет собой площадь криволинейной трапеции ограниченной кривыми x=0, y=a, y=b и y= (Рис. 1). Есть два метода вычисления этой площади или определенного интеграла метод трапеций (Рис. 2) и метод средних прямоугольников (Рис. 3).

Рис. 1. Криволинейная трапеция.

Рис. 2. Метод трапеций.

Рис. 3. Метод средних прямоугольников.

По методам трапеций и средних прямоугольников соответственно интеграл равен сумме площадей прямоугольных трапеций, где основание трапеции какая-либо малая величина (точность), и сумма площадей прямоугольников, где основание прямоугольника какая-либо малая величина (точность), а высота определяется по точке пересечения верхнего основания прямоугольника, которое график функции должен пересекать в середине. Соответственно получаем формулы площадей
для метода трапеций:
,
для метода средних прямоугольников:
.

1. Банди Б. \методы оптимизации. М.: Радио и связь, 1988. 128 с.
2. Мельникова О.И., Бонюшкина А.Ю. Начала программирования на языке Qbasic: Учебное пособие = М.: Издательство ЭКОМ, 2000 304 с., ил.
3. Бирюков С.И. Оптимизация. Элементы теории. Численные методы: Учеб. пособие. М. : МЗ-Пресс, 2003. 248с. : рис. (Серия "Естественные науки). Библиогр.: с. 245-246.
4. Волков Е.А. Численные методы: Учеб. пособие. 3.изд., испр. СПб. ; М. ; Краснодар : Лань, 2004. 248с. : рис., табл. (Учебники для вузов). Библиогр.: с. 244.
5. Аттетков А.В., Галкин С.В., Зарубин В.С. Методы оптимизации: Учебник для студ. высших техн. учеб. заведений / В. С. Зарубин (ред.), А.П. Крищенко (ред.). М. : Издательство МГТУ им. Н.Э.Баумана, 2001. 439с. : рис., табл. (Серия "Математика в техническом университете"; Вып.14). Библиогр.: с. 428-432.
6. Лебедев В.И. Функциональный анализ и вычислительная математика. 4. изд., испр. и доп. М. : Физматлит, 2000. 295с. : рис. Бібліогр.: с.285-287.