Nierówność Rao-Craméra
Z Wikipedii
Twierdzenie Rao-Craméra (zwane również nierównością Rao-Craméra lub nierównościa informacyjną) podaje jaki jest minimalny możliwy średnio-kwadratowy błąd estymatora (nie ma estymatorów, które miałyby mniejszy średni błąd kwadratowy).
W swojej najprostszej postaci nierówność stwierdza, że wariancja estymatora nieobciążonego jest nie mniejsza niż odwrotność informacji Fishera.
Następujące sformułowania nierówności wymienione są od najprostszej do bardziej ogólnej wersji. Wszystkie sformułowania wymagaja pewnych warunków regularności spełnianych przez wiele "porządnych" rozkładow prawdopodobieństwa. Warunki te wymienione są poniżej.
Spis treści |
[edytuj] Parametr skalarny, przypadek nieobciążony
Załóżmy że, θ jest nieznanym deterministycznym parameterem, który jest estymowany przy pomocy obserwacji x z rozkładu prawdopodobieństwa o gęstości f(x;θ). Wariancja dowolnego nieobciążonego estymatora parametru θ jest wtedy ograniczona z dołu przez odwrotność informacji Fishera I(θ):
- .
Przypomnijmy że informacja Fishera I(θ) jest dana przez
Wtedy efektywność estymatora nieobciążonego jest zdefiniowana jako
czyli minimalna możliwa wariancja estymatora nieobciążonego podzielona przez rzeczywistą wariancje. Zatem na mocy twierdzenia mamy że
[edytuj] Parametr skalarny, przypadek ogólny
Bardziej ogólna postać ograniczenia może być otrzymana przez rozważanie nieobciążonego estymatora T(X) funkcji ψ(θ) parametru θ. Nieobiążoność rozumiemy w tym przypadku jako: E{T(X)} = ψ(θ). Ograniczenie przyjmuje postać
gdzie ψ'(θ) jest pochodną ψ(θ), i I(θ) jest informacją Fishera zdefiniowaną powyżej.
Podobnie możemy otrzymać ograniczenie wariancji estymatora obciążonego z danym obciażeniem. Rozważmy estymator z obciążeniem , i niech ψ(θ) = b(θ) + θ. Na mocy powyższego wyniku, dowolny nieobciążony estymator o wartości oczekiwanej ψ(θ) ma wariancję większą lub rowną (ψ'(θ))2 / I(θ). Zatem dowolny esymator o obciążeniu danym funkcją b(θ) spełnia
Oczywiście, nieobciążona wersja ograniczenia jest szczególnym przypadkiem z b(θ) = 0.
[edytuj] Przypadek wielowymiarowy
Aby rozszerzyć nierowność Rao-Cramera na przypadek wielowymiarowy, zdefiniujmy wektor parametrów
z funkcją gęstości prawdopodobieństwa spełniającą dwa warunki regularności ponizej.
Macierz informacji Fishera jest macierzą dla której element Im,k jest zdefiniowany jako
Niech będzie estymatorem dowolnej funkcji wektorowej parametrów, , i oznaczmy jego wektor wartości oczekiwanej przez . Wtedy nierówność Rao-Craméra stwierdza że macierz kowariancji dla spełnia
gdzie
- nierówność macierzy oznacza że macierz A − B jest nieujemnie określona,
- jest macierza dla której ijth element jest dany przez .
Jeśli nieobciążonym estymatorem (to znaczy, ), wtedy nierówność Rao-Craméra sprowadza się do
[edytuj] Warunki regularności
Następujące dwa słabe warunki regularności gęstości prawdopodobieństwa f(x;θ) i estimatora T(X) są konieczne:
- Informacja Fishera jest zawsze zdefiniowana; równoważnie x takie że f(x;θ) > 0,
-
- istnieje i jest skończone.
- Operacje calkowania po x i rózniczkowania ze względu na θ są przemienne; to znaczy,
-
- wszędzie gdzie prawa strona jest skończona.