Gradientinis nusileidimas
Straipsnis iš Vikipedijos, laisvosios enciklopedijos.
Gradientinis nusileidimas - optimizavimo metodas, besiremiantis tuo, kad skaliarinio lauko gradientas visada rodo greičiausio lauko augimo kryptį, o antigradientas - greičiausio mažėjimo kryptį.
Naudojant gradientinio nusileidimo metodą kartojamas žingsnis, nusakomas formule
Čia xn - ankstesnė parametro, pagal kurį optimizuojama, reikšmė, xn + 1 - nauja šio parametro reikšmė, F() - tikslo funkcija, o γn - žingsnio dydis, kuris gali būti arba pastovus, arba keičiamas kiekviename žingsnyje.