Обговорення модифікацій методу Ньютона
Можна показати, що описані варіанти методу збігаються при довільній початковій точці , причому швидкість збіжності буде або надлінійна, або квадратична, в залежності від вимог, яким задовольняє функція f.
Зменшити трудомісткість методу можна обчислюючи матрицю не на кожному кроці або в (5), а один раз через кожні s кроків:
,
,
(8)
де [k/s] – ціла частина числа k/s, тобто найбільше ціле число, яке менше або дорівнює k/s.
Підбираючи емпіричним шляхом потрібне s, іноді вдається отримати за допомогою цього методу непогані результати. Проте кардинального рішення проблеми зменшення трудомісткості методу Ньютона описаний метод не надає.
Більш перспективним в цьому сенсі виявляється інший підхід, за якого будується апроксимація матриці на основі інформації про значення градієнтів
Такі методи називаються квазіньютоновськими.