Метод градиентного спуска

Вспомним, что такое градиент функции нескольких переменных, и каков его смысл.

Градиентом grad /(*) в точке I называется вектор, координаты которого равны значениям частных производных первого порядка данной функции в этой точке.

Антиградиентом называется вектор, противоположный градиенту.

Градиент функции задаёт в данной точке направление наискорейшего роста функции, антиградиент - наискорейшего убывания функции.

Пусть f(x)- выпуклая функция, дифференцируемая в функция и требуется найти её точку минимума х*. Выбрав произвольное начальное приближение , построим последовательность

(3)

а-параметрический шаг, достаточно малый для того, чтобы выполнялось условие

(4)

В качестве условия окончания вычислений, используют близость к нулю qrad f(x^(k)), т.е. выполнение неравенств

(5)

или

после чего полагают

Если при некотором k условие нарушается, то шаг а_к в

, к = 0,1;..., уменьшают (дробят) в заданное число раз до выполнения условия и продолжают вычисления.