Метод градиентного спуска
Существует несколько различных способов выбора ak. В данной работе рассматривается разновидность метода с дроблением шага. Для этого задается начальное приближение (x0,y0) и начальное значение a0 (например, x0=y0=0, 0=1). Вычисление x1, y1 и всех последующих xk+1,yk+1 производится по формуле (5.1). При этом если окажется, что f (xk+1,yk+1)>f (xk, yk), то величина ak уменьшается в два раза… Читать ещё >
Метод градиентного спуска (реферат, курсовая, диплом, контрольная)
Цель работы
Ознакомление с методами поиска экстремума нелинейной выпуклой функции нескольких переменных и решение таких задач с помощью ЭВМ.
Описание метода
Задача состоит в отыскании минимума функции двух переменных f (x, y) (следует отметить, что если необходимо найти максимум некоторой функции F (x, y), то эта задача сводится к поиску минимума функции f (x, y)=F (x, y)).
Большинство численных методов состоит в отыскании некоторой последовательности (x0,y0), (x1,y1),.,(xk, yk), которая при k®R (или при k®kM) сходится к точке минимума (x*, y*). Если при этом выполняется f (x0,y0)>f (x1,y1)>.>f (xk, yk), то есть значения функции монотонно убывают при увеличении k, то такой метод называется методом спуска.
Известно, что вектор градиента функции.
направлен в сторону наибольшего возрастания функции f (x, y). Поэтому в качестве направления движения можно принять противоположное градиенту направление (антиградиент), т. е. координаты точек пересчитываются по формулам.
;
Выбор величины ak, с которой связана длина k-го шага, в общем случае является сложной задачей. Если ak мало, то движение будет слишком медленным и потребует значительного объема вычислений. Если ak велико, то существует возможность перескочить точку минимума и выйти на противоположный склон функции. При этом возможно нарушение требования монотонного убывания последовательности f (xk, yk) и появляется опасность зацикливания, то есть колебания последовательности (xk, yk) в некоторой окрестности точки минимума (x*, y*) без приближения к ней.
Существует несколько различных способов выбора ak. В данной работе рассматривается разновидность метода с дроблением шага. Для этого задается начальное приближение (x0,y0) и начальное значение a0 (например, x0=y0=0, 0=1). Вычисление x1, y1 и всех последующих xk+1,yk+1 производится по формуле (5.1). При этом если окажется, что f (xk+1,yk+1)>f (xk, yk), то величина ak уменьшается в два раза и вычисление xk+1,yk+1 повторяется от точки (xk, yk) с новым значением ak. Если же значение функции убывает, то величина ak=ak1.
