Çokdeğişirli normal dağılım

Vikipedi, özgür ansiklopedi

Çokdeğişirli normal
Olasılık yoğunluk fonksiyonu
Yığmalı dağılım fonksiyonu
Parametreler	$\mu = [\mu_1, \dots, \mu_N]^T$ konum parametresi (reel vektör) $Σ$ kovaryans matrisi (pozitif-kesin reel $N\times N$ matris)
Destek	$x \in\mathbb{R}^N\!$
Olasılık yoğunluk fonksiyonu (OYF)	$f_X(x_1, \dots, x_N)=\frac {1} {(2\pi)^{N/2} \left\|\Sigma\right\|^{1/2}}$ $\exp\left( -\frac{1}{2}( x - \mu)^\top \Sigma^{-1} (x - \mu)\right)$
Yığmalı dağılım fonksiyonu (YDF)
Ortalama	$μ$
Medyan	$μ$
Mod	$μ$
Varyans	$Σ$ (kovaryans matrisi)
Çarpıklık	0
Fazladan basıklık	0
Entropi	$\ln\left(\sqrt{(2\,\pi\,e)^N \left\| \Sigma \right\|}\right)\!$
Moment üreten fonksiyon (mf)	$M_X(t)= \exp\left( \mu^\top t + \frac{1}{2} t^\top \Sigma t\right)$
Karakteristik fonksiyon	$\phi_X(t;\mu,\Sigma)=\exp\left( i \mu^\top t - \frac{1}{2} t^\top \Sigma t\right)$

Olasılık kuramı ve istatistik bilim kollarında, çokdeğişirli normal dağılım veya çokdeğişirli Gauss-tipi dağılım, tek değişirli bir dağılım olan normal dağılımın (veya Gauss-tipi dağılımın) çoklu değişirli hallere genelleştirilmesidir.

[değiştir] Genel hal

[değiştir] Yığmalı dağılım fonksiyonu

Genel bir tanımla, $F (X)$ olarak ifade edilen yığmalı dağılım fonksiyonu, bir rassal vektörun, $x$ vektörüne eşit veya bu vektör değerlerden daha az olduğu zaman karşıtı olarak bulunan bütün olasılıkların toplamini ifade eden bir fonksiyondur. Çokdeğişirli normal dağılım için bir cebirsel kapalı eşitlik şeklinde bir $F$ ifadesi bulunmamaktadır. Ancak bu fonksiyonun sayısal değerlerini tahmin etmek için birkaç algoritma bulunmaktadır. Bu algoritma kullanışına bir örnek için verilen referenslarda MVNDST adlı algoritmaya bakınız. (^[1] veya ^[2] ).

[değiştir] Bir karşıt örneğin

İki rassal değişken olan X ve Y tek tek normal dağılım gösterseler bile bu iki rassal değişkenin bileşik olarak (X, Y) bir çoklunormal dağılım göstereceği anlamına gelmez. Buna basit bir örnekte eğer |X| > 1 ise Y=X olması ve eğer |X| < 1 ise Y = −X olmasıdır. Bu gerçek ikiden fazla sayıda rassal değişken içinde doğrudur.

Buna benzer bir karşıt örnegin için normal olarak dağılımlı olup ve korrelasyon olmaması bağımsızlık ifade etmez maddesine bakınız.

[değiştir] Normal dağılım gösterme ve bağımsızlık

Eğer X ve Y rassal değişkenleri tek tek normal dağılım gösterirlerse ve birbirlerinden istatistiksel olarak bağımsızlarsa, o halde bu iki rassal değişken bileşiği (yani rassal vektörü) ikideğişirli normal dağılım gösterir veya diğer bir ifade ile ortaklaşa normal dağılımlılardır. Ancak ortaklaşa normal dağılım gösteren her iki rassal değişkenin birbirinden bağımsız olduğu gerçek değildir.

[değiştir] İki değişirli hal

İki boyutlu singuler olmayan halde, ikideğişirli normal dağılım için (ortalamalar (0,0)da ise) [[olasılık yoğunluk fonksiyonu] şöyle tanımlanır:

$f(x,y) = \frac{1}{2 \pi \sigma_x \sigma_y \sqrt{1-\rho^2}} \exp \left( -\frac{1}{2 (1-\rho^2)} \left( \frac{x^2}{\sigma_x^2} + \frac{y^2}{\sigma_y^2} - \frac{2 \rho x y}{ (\sigma_x \sigma_y)} \right) \right)$

Burada $ρ$ terimi $X$ ve $Y$ arasındaki korelasyonu gösterir ve şu ifade kovaryans matrisi olur:

$\Sigma = \begin{bmatrix} \sigma_x^2 & \rho \sigma_x \sigma_y \\ \rho \sigma_x \sigma_y & \sigma_y^2 \end{bmatrix}$ .

[değiştir] Afin dönüşümü

[değiştir] Geometrik açıklama

Bir singuler olmayan çokdeğişirli normal dağılım için aynı yoğunluk gösteren kontur eğrileri elipsoitlerdir; yani ortalamada merkezleşmiş çok-boyutlu-kürelerin doğrusal dönüşümleridir. ^[3]. Bu elipsoitlerin esas eksenlerinin yönleri kovaryans matrisinin özvektörleri (eigenvector) olarak verilmiştir. Esas eksenlerin orantılı uzunluklarının karesi bunlara karşit olan özdeğerler (eigenvalues) olurlar. Bu halde şu ifade ortaya çıkar:

$X\ \sim N(\mu, \Sigma) \iff X\ \sim \mu+U\Lambda^{1/2}N(0, I) \iff X\ \sim \mu+UN(0, \Lambda).$

Bunun yanında, U bir rotasyon matrisi olarak seçilebilir; çünkü bu eksenin tersini alınca $N (0,Λ)$ hiç etkilenmemektedir; buna karşıt olarak bir matris sütûnunun tersi alınırsa unun determinantının işaretleri değişir. $N (μ,Σ)$ ile özetlenen dağılım böylelikle $N (0, I)$ ifadesinin $Λ 1 / 2$ ile ölçeğinin değiştirilmesi, u ile rotasyon yapılması ve $μ$ ile çevrilmesi ile ortaya çıkar.

Bunun aksine bakılırsa, $μ$ ve tam ranklı U matrisi ve pozitif çapraz girdiler olan $Λ i$ değerleri için yapılan herhangi bir seçim, bir singuler olmayan çokdeğişirli normal dağılım ortaya çıkartır. Eğer herhangi bir $Λ i$ sıfıra eşitse ve u kare matris ise, bunun sonucunda ortaya çıkan $U Λ U T$ kovaryans matrisi bir singuler matris olur. Geometrik olarak bunun açıklaması her kontur elipsoitin sonsuz olarak inceleşmesi ve n-boyutlu bir uzayda 0 bir hacim kapsamasıdır, çünkü en aşağı bir tane esas eksenin uzunluğu sıfır olmaktadır.

[değiştir] Korelasyonlar ve bağımsızlık

Genel olarak, rassal değişkenler birirleriyle çok yüksek derecede bağımlı olabilirler ama hiç korelasyon göstermiyebilirler. Ama, eğer bir rassal vektör çokdeğişirli normal dağılım gösterirse,o halde aralarında hiç korelasyon göstermeyen iki veya daha fazla sayıda vektör parçası istatistiksel olarak birbirinden bağımsızdır. Bundan da şu sonuc çıkartılabilir: eğer vektörün herhangi iki veya daha fazla parçası ikişer ikişer bağımsızlık gösteriyorsa, bu parçalar birbirinden bağımsızdırlar.

Fakat ayrı ayrı olarak ve marjinal olarak, iki rassal değişken normal dağılım gösterirlerse ve aralarında hiç korelasyon bulunmazsa, o halde bu iki değişkenler birbirinden bağımsızdır. Normal dağılım gösteren iki rassal değişken, ortaklaşa normal dağılım göstermiyebilirler; yani bir parçası oldukları vektör bir çokdeğişkenli normal dağılım göstermiyebilir.İki korelasyon göstermeyen ama normal dağılım gösteren fakat bağımsız olmayan rassal değişken için örneğin normal dağılım gösterip hiç korelasyon göstermemek bağımsız olmak demek değildir maddesine bakınız.

[değiştir] Daha yüksek momentler

Genel olarak X için kinci derecede momentler şöyle tanımlanmaktadır:

$\mu _{1,\dots,N}(X)\ \stackrel{\mathrm{def}}{=}\ \mu _{r_{1},\dots,r_{N}}(X)\ \stackrel{\mathrm{def}}{=}\ E\left[ \prod\limits_{j=1}^{N}X_j^{r_{j}}\right]$

Burada $r_{1}+r_{2}+\cdots+r_{N}=k.$

Merkezsel $k$ inci derecede momentler şöyle verilir:

(a)Eger $k$ tek ise $\mu _{1,\dots,N}(X-\mu )=0$ olur. (b)Eger $k$ cift ise ve $k = 2λ$ , o halde

$\mu _{1,\dots,2\lambda }(X-\mu )=\sum \left( \sigma _{ij}\sigma _{kl}\cdots\sigma _{XZ}\right)$

Burada toplam $\left\{ 1,\dots,2\lambda\right\}$ setinin $λ$ (sıralanmamış) çiftler üzerine tahsis edilmelerinin hepsi birlikte alınmasıdır. Bu işlem sonucunda toplam içinde $(2λ - 1)! / (2 λ - 1 (λ - 1)!)$ sayıda terim bulunur, Her bir terim $λ$ tane kovaryansın çarpımıdır.

Özellikle, 4-üncü derecedeki momentler şöyle verilirler:

$E\left[ X_{i}^{4}\right] = 3( \sigma _{ii}) ^{2}$

$E\left[ X_{i}^{3}X_{j}\right] = 3\sigma _{ii}\sigma _{ij}$

$E\left[ X_{i}^{2}X_{j}^{2}\right] = \sigma _{ii}\sigma _{jj}+2\left( \sigma _{ij}\right) ^{2}$

$E\left[ X_{i}^{2}X_{j}X_{k}\right] = \sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}$

$E\left[ X_{i}X_{j}X_{k}X_{n}\right] = \sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.$

Dört değişken halindeki dördüncü derece moment içinde üç tane terim bulunur.

Altıncı-derecede moment içinde (3 × 5 =) 15 terim; sekizinci derecede momentler arasında (3 × 5 × 7) = 105 terim bulunur. Altıncı-derecedeki moment için ifade şöyle genişletilebilir:

$\begin{align} & {} E[X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}] \\ &{} = E[X_{1}X_{2}]E[X_{3}X_{4}]E[X_{5}X_{6}]+E[X_{1}X_{2}]E[X_{3}X_{5}]E[X_{4}X_{6}]+E[X_{1}X_{2}]E[X_{3}X_{6}]E[X_{4}X_{5}] \\ &{} + E[X_{1}X_{3}]E[X_{2}X_{4}]E[X_{5}X_{6}]+E[X_{1}X_{3}]E[X_{2}X_{5}]E[X_{4}X_{6}]+E[X_{1}X_{3}]E[X_{2}X_{6}]E[X_{4}X_{5}] \\ &+ E[X_{1}X_{4}]E[X_{2}X_{3}]E[X_{5}X_{6}]+E[X_{1}X_{4}]E[X_{2}X_{5}]E[X_{3}X_{6}]+E[X_{1}X_{4}]E[X_{2}X_{6}]E[X_{3}X_{5}] \\ & + E[X_{1}X_{5}]E[X_{2}X_{3}]E[X_{4}X_{6}]+E[X_{1}X_{5}]E[X_{2}X_{4}]E[X_{3}X_{6}]+E[X_{1}X_{5}]E[X_{2}X_{6}]E[X_{3}X_{4}] \\ &+E[X_{1}X_{6}]E[X_{2}X_{3}]E[X_{4}X_{5}]+E[X_{1}X_{6}]E[X_{2}X_{4}]E[X_{3}X_{5}]+E[X_{1}X_{6}]E[X_{2}X_{5}]E[X_{3}X_{4}]. \end{align}$

[değiştir] Koşullu dağılımlar

Eğer $μ$ ve $Σ$ şu şekilde kısımlara ayrılırlarsa:

$\mu = \begin{bmatrix} \mu_1 \\ \mu_2 \end{bmatrix} \quad$ Büyüklüğü şu olur; $\begin{bmatrix} q \times 1 \\ (N-q) \times 1 \end{bmatrix}$

$\Sigma = \begin{bmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{bmatrix} \quad$ Büyüklüğü şu olur: $\begin{bmatrix} q \times q & q \times (N-q) \\ (N-q) \times q & (N-q) \times (N-q) \end{bmatrix}$

Bu halde $x 2 = a$ ifadesiyle koşullu olan $x 1$ şöyle özetlenen çokdeğişirli normal dağılım gösterir:

$(X_1|X_2=a) \sim N(\bar{\mu}, \overline{\Sigma})$

Burada

$\bar{\mu} = \mu_1 + \Sigma_{12} \Sigma_{22}^{-1} \left( a - \mu_2 \right)$

olur ve covaryans matrisi şöyle verilir:

$\overline{\Sigma} = \Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}.$

Bu matris ${\mathbf\Sigma}$ içinde ${\mathbf\Sigma_{22}}$ ifadesinin Schur tamamlayıcısı olur.

Bundan dikkati çekmesi gereken şu sonuçlar çıkartılır: $x 2$ değerinin $a$ olduğunu bilmek varyansı değiştirir. Daha şaşırtıcı olarak, ortalama değeri $\Sigma_{12} \Sigma_{22}^{-1} \left(a - \mu_2 \right)$ ile kayma gösterir. Eğer $a$ bilinmese idi, $x 1$ nin gösterecegi dağılım $N_q \left(\mu_1, \Sigma_{11} \right)$ olurdu.

$\Sigma_{12} \Sigma_{22}^{-1}$ matrisi regresyon katsayıları olarak da bilinirler.

[değiştir] Fisher'in enformasyon matrisi

Bir normal dagilim icin Fisher'in enformasyon matrisi bir ozel sekil alir. $X ˜ N (μ(θ),Σ(θ))$ icin Fisher'in enformasyon matrisinin $(m, n)$ elemani su olur:

$\mathcal{I}_{m,n} = \frac{\partial \mu}{\partial \theta_m} \Sigma^{-1} \frac{\partial \mu^\top}{\partial \theta_n} + \frac{1}{2} \mathrm{tr} \left( \Sigma^{-1} \frac{\partial \Sigma}{\partial \theta_m} \Sigma^{-1} \frac{\partial \Sigma}{\partial \theta_n} \right)$

Burada

$\frac{\partial \mu}{\partial \theta_m} = \begin{bmatrix} \frac{\partial \mu_1}{\partial \theta_m} & \frac{\partial \mu_2}{\partial \theta_m} & \cdots & \frac{\partial \mu_N}{\partial \theta_m} & \end{bmatrix}$
$\frac{\partial \mu^\top}{\partial \theta_m} = \left( \frac{\partial \mu}{\partial \theta_m} \right)^\top = \begin{bmatrix} \frac{\partial \mu_1}{\partial \theta_m} \\ \\ \frac{\partial \mu_2}{\partial \theta_m} \\ \\ \vdots \\ \\ \frac{\partial \mu_N}{\partial \theta_m} \\ \\ \end{bmatrix}$
$\frac{\partial \Sigma}{\partial \theta_m} = \begin{bmatrix} \frac{\partial \Sigma_{1,1}}{\partial \theta_m} & \frac{\partial \Sigma_{1,2}}{\partial \theta_m} & \cdots & \frac{\partial \Sigma_{1,N}}{\partial \theta_m} \\ \\ \frac{\partial \Sigma_{2,1}}{\partial \theta_m} & \frac{\partial \Sigma_{2,2}}{\partial \theta_m} & \cdots & \frac{\partial \Sigma_{2,N}}{\partial \theta_m} \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \frac{\partial \Sigma_{N,1}}{\partial \theta_m} & \frac{\partial \Sigma_{N,2}}{\partial \theta_m} & \cdots & \frac{\partial \Sigma_{N,N}}{\partial \theta_m} \end{bmatrix}$

$tr$ trace fonksiyonu olur.

[değiştir] Kullback-Leibler ayrılımı

$N 0 N (μ 0,Σ 0)$ den $N 1 N (μ 1,Σ 1)$ dağılımına Kullback-Leibler ayrılımı şöyle verilir:

$D_\text{KL}(N0 \| N1) = { 1 \over 2 } \left( \log_e \left( { \det \Sigma_1 \over \det \Sigma_0 } \right) + \mathrm{tr} \left( \Sigma_1^{-1} \Sigma_0 \right) + \left( \mu_1 - \mu_0\right)^\top \Sigma_1^{-1} ( \mu_1 - \mu_0 ) - N \right).$

[değiştir] Parametrelerin kestrimi

Cokdegisirli normal dagilimin kovaryansinin maksimum olabilirlik kestiriminin elde edilmesi sasirtici sekilde duzenli ve zekice yapilmistir. Kovaryans matrislerin kestirimi maddesine bakin. Bir N-boyutlu cokludegisirli normal dagilimin olasilik yogunluk fonksiyonu soyle verilir:

$f(x)=(2 \pi)^{-N/2} \det(\Sigma)^{-1/2} \exp\left(-{1 \over 2} (x-\mu)^T \Sigma^{-1} (x-\mu)\right)$

ve kovaryans matrisinin maksimum olabilirlik kestirimi soylr yazilir:

$\widehat\Sigma = {1 \over n}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T$

Bu basit olarak bir n buyuklugunde bir orneklem icin orneklem kovaryans matrisidir. Bu bir yanli kestirim olup beklenen degeri

$E[\widehat\Sigma] = {n-1 \over n}\Sigma.$

Oliur. Bir yansiz orneklem kovaryansi kestirmi sudur:

$\widehat\Sigma = {1 \over n-1}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T.$

[değiştir] Entropi

Çokdeğişirli normal dağılım için diferansiyel entropi ifadesi şöyle verilir:^[4]

$h\left(f\right)= -\int_{-\infty}^{\infty} \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}f(x)\ln f(x)\,dx$

$=\frac12 \left(N+N\ln\left(2\pi\right)+\ln\left| \Sigma \right|\right)\!$

$=\frac{1}{2}\ln\{(2\pi e)^N \left| \Sigma \right|\}$

Burada $\left| \Sigma \right|$ covaryans matrisi olan $Σ$ nın determani olur:

[değiştir] Çokdeğişirli normallik sınamaları

Çokdeğişirli normallik sınamaları bir verilmiş veri seti için bir teorik çokdeğişirli normal dağılıma benzerlik olup olmadığını sınamak için hazırlanmıştır. Bu sınamalarda sıfır hipotez veri setinin çokdeğişirli normal dağılıma benzerlik gösterdiğidir. Eğer sınama ile bulunan p-değeri yeter derece küçük ise (yani genellikle 0,05 veya 0,01den daha küçük ise), sıfır hipotez rededilir ve verinin çokludeğişirli normal dağılım göstermediği kabul edilir. Bu çokludeğişirli normallik sınamaları arasında popüler olan Cox-Small sınamasıdır: ^[5]. Smith ve Jain'in Friedman-Rafsky testini adaptasyonu için şu referansa bakın: ^[6]

[değiştir] Dağılımdan değerlerin bulunması

$μ$ ortalama vektörü ve (simetrik ve pozitif kesin olması gereken) kovaryans matrisi $Σ$ olan bir $N$ -boyutlu çokdeğişirli normal dağılımdan bir rasgele vektör $X$ çekmek için çok kullanılan bir yöntem şöyle uygulanır:

$Σ$ icin (matris kare kökü olan) Çoleski dekompozisyonu hesap edilir. Yani $A\,A^T = \Sigma$ koşuluna uyan tek bir alt ucgensel matris olan $A$ bulunur.
Örneğin Box-Müller dönüşümü ile üretilip elde edilebilen $N$ tane biribirine bağımsiz normal dağılım gösteren değişebilir parçalarından olusan bir vektör $Z=(z_1,\dots,z_N)^T$ bulunur.
$X$ , $μ + A Z$ ifadesine eşit olarak bulunur.

[değiştir] Referanslar

^ [1] (FORTRAN yazılımlı kodu kapsar.)
^ [2] ( MATLAB yazılımlı koduda kapsar )
^ template:cite web kullanımında hata: Parametreler url ve başlık tanımlanmalı.
^ Gokhale, DV; NA Ahmed, BC Res, NJ Piscataway (May 1989). "Entropy Expressions and Their Estimators for Multivariate Distributions". Information Theory, IEEE Transactions on 35 (3): 688-692.
^ Cox, D. R.; N. J. H. Small (Ağustos 1978). "Testing multivariate normality (Çokdeğişirli normallik testi)". Biometrika 65 (2): 263–272.
^ Smith, Stephen P.; Anil K. Jain (Eylul 1988). "A test to determine the multivariate normality of a dataset (Bir veri setinin çokdeğişirli normallik gösterip göstermediği için bir sınama)". IEEE Transactions on Pattern Analysis and Machine Intelligence 10 (5): 757–761. DOI:10.1109/34.6789.

[değiştir] Kaynak

İngilizce Vikipedi'deki Nisan 2008 tarihli Multivariate normal distribution maddesi

g • d
	Tek değişirli	Çok değişirli
Aralıklı:	Benford · Bernoulli · Binom · Boltzmann · Kategorik · Bileşik Poisson · Aralıklı faz tipi · Bozulmuş Gauss-Kuzmin · Geometrik · Hipergeometrik · Logaritmalı · Negatif binom · Parabolik fraktal · Poisson · Rademacher · Skellam · Aralıklı tekdüze · Yule-Simon · Zeta · Zipf · Zipf-Mandelbrot	Ewens · Multinom · Çok değişirli Polya
Sürekli:	Beta · Beta prime · Caucy · Ki-kare · Dirac delta fonksiyonu · Cox tipi · Erlang · Üstel · Üstel güç · F · Fermi-Dirac · Fisher'in z · Fisher-Tippett · Gamma · Genelleştirilmiş uçsal değer · Genelleştirilmiş hiperbolik · Genelleştirilmiş ters Gauss-tipi · Yarı-logistik · Hotelling'in T-kare · Hiperbolik sekant · Hiper-üstel · Hipo-üstel · Ters ki-kare · Ölçeklenmiş ters ki-kare · Ters Gauss-tipi · Ters gamma · Ölçeklenmiş ters gamma · Kumaraswami · Landau · Laplace · Lévy · Lévy çarpık alfa-durağan · logistik · Log-normal · Maxwell-Boltzmann · Maxwell hızı · Nakagami · Normal (Gauss tipi) · Normal-gamma · Normal ters Gauss-tipi · Pareto · Pearson · Faz-tipi · Kutupsal · Yükseltilmiş kosinus · Rayleigh · Relativistik Breit-Wigner · Rice · Rosin–Rammler · Kaydırılmış Gompertz · Student'in t · sürekli tekdüze Üçgensel · Kesilmiş normal · Tweedie · 1.tip Gumbel · 2.tip Gumbel · Varyans-Gamma · Voigt · Von Mises · Weibull · Wigner yarımdaire · Wilks'in lambda	Dirichlet · Genelleştirilmiş Dirichlet · Ters-Wishart · Kent · Matris normal · Çokdeğişirli normal · Çokdeğişirli Student · Von Mises-Fisher · Wigner benzeri · Wishart
Çeşitli:	Çiftmodlu · Kantor · Koşullu · Denge · Üstel ailesi · Sonsuz bölünebilirlilik (olasılık) · Konum-ölçeği ailesi · Marjinal · Maksimum entropi · Sonrasal · Öncel · Olasılık-benzeri · Örneklem · Singüler · Tekmodlu

Sayfa kategorileri: Olasılık ve istatistik | Sürekli olasılık dağılımları

See also ebooksgratis.com: no banners, no cookies, totally FREE.