Метод наискорейшего спуска для квадратичных функций

Метод наискорейшего спуска

Метод наискорейшего спуска отличается от метода градиентного спуска способом отыскания величины a_k :

, где

Такой метод отыскания a_k обеспечивает максимально возможное уменьшение функции f(x) вдоль направления ее антиградиента ( -f ^’(x^(k)) ) в точке x^(k), при постановке задачи на отыскание минимума целевой функции.

Если необходимо найти максимум целевой функции, то

Таким образом, для нахождения значения a_k на каждом шаге метода решается задача одномерной оптимизации.

Определение: Рассмотрим целевую функцию f(Х), заданную в пространстве R_n. Функцию f(Х), X=( ) назовемквадратичной, если ее можно представить в следующем виде . Матричная форма записи квадратичной функции будет представлена в следующем виде:

f(X)=Q*X+R=