Гессиан функции

Материал из Википедии — свободной энциклопедии

Гессиан функции — симметрическая квадратичная форма описывющая поведение функции во втором порядке.

Для функции $f$ дважды дифференцируемой в точке $x\in \R^n$

$H(x) = \sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j$

или

$H(z) = \sum_{i=1}^n \sum_{j=1}^n a_{ij} z_i \overline{z}_j$

где $a_{ij}=\partial^2 f/\partial x_i \partial x_j$ (или $a_{ij}=\partial^2 f/\partial z_i \partial \overline{z}_j$ ) и $f (p)$ задана на $n$ -мерном действительном пространстве $\mathbf{R}^n$ (или комплексном пространстве $\mathbf{C}^n$ ) с координатами $x_1,\ldots,x_n$ (или $z_1,\ldots,z_n$ ). В обоих случаях гессиан — квадратичная форма, заданная на касательном пространстве, не меняющаяся при линейных преобразованиях переменных.

[править] Матрица Гессе

Матрица этой квадратичной формы образована вторыми частными производными функции. Если все производные существуют, то

$H(f) = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1\,\partial x_n} \\ \\ \frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2\,\partial x_n} \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \frac{\partial^2 f}{\partial x_n\,\partial x_1} & \frac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix}$

Определитель этой матрицы называется определитель Гессе или также Гессианом.

Матрицы Гессе используются в задачах оптимизации в методе Ньютона. Полное вычисление матрицы Гессе может быть затруднительно, поэтому были разработаны квази-ньютоновы алгоритмы, основанные на приближенных выражениях для матрицы Гессе. Наиболее известный такой алгоритм — BFGS (англ.).

[править] Симметрия Гессиана

Смешанные производные функции f — это элементы матрицы Гессе, стоящие не на главной диагонали. Если они непрерывны, то порядок дифференцирования не важен (теорема Клеро), например

$\frac {\partial}{\partial x} \left( \frac { \partial f }{ \partial y} \right) = \frac {\partial}{\partial y} \left( \frac { \partial f }{ \partial x} \right)$

Это можно также записать как

$f_{xy} = f_{yx} \,$

Формально, если вторые частные производные f — непрерывные в области D функции, то матрица Гессе симметрична на D.

[править] Критические точки функции

Если градиент $f$ (её векторная производная) равен нулю в некоторой точке $x$ , то эта точка называется критической. Достаточные условиея существования экстремума в этой точке является знакоопределённость Гессиана f, а именно:

если Гессиан положительно определён и не вырожден, то $x$ — точка локального минимума функции $f$ ;
если Гессиан отрицательно определён и не вырожден, то $x$ — точка локального максимума функции $f$ ;
если Гессиан принимает как положительные, так и отрицательные значения, то x — седловая точка функции f;

[править] Вариации и обобщения

Если f-векторнозначная функция, то есть

$f = (f_1, f_2, \dots, f_n),$

то её вторые частные производные образуют не матрицу, а тензор ранга 3.

[править] История

Понятие введено Гессе (1844) который использовал другое название. Термин «Гессиан» был введён Сильвестром.

[править] См. также

Якобиан

[править] Ссылки

Кудрявцев Л.Д «Краткий курс математического анализа. Т.2. Дифференциальное и интегральное исчиления функций многих переменных. Гармонический анализ», ФИЗМАТЛИТ, 2002, — 424 с. — ISBN 5-9221-0185-4