Bayes teoremi
Vikipedi, özgür ansiklopedi
Bu sayfa, başka dilde bir Vikipedi'den çevrilmektedir. Siz de yardım etmek istiyorsanız ya da çeviri yarıda kalmışsa, çalışmaya katılan kişilerle iletişime geçip, sayfanın durumunu onlara sorabilirsiniz. Sayfanın geçmişine baktığınızda, sayfa üzerinde çalışma yapanları görebilirsiniz. |
Bayes teoremi olasılık kuramı içinde incelenen önemli bir konudur. Bu teorem bir rassal değişken için olasılık dağılımı içinde koşullu olasılık]lar ile marjinal olasılıklar arasındaki ilişkiyi gösterir. Bu şekli ile Bayes teoremi her türlü istatistikçi için kabul edilir bir ilişkiyi açıklar. Bu kavram için Bayes kuralı veya Bayes kanunu adları da kullanılır. Ancak bazı istatistikçiler için Bayes teoremi özel olarak değişik bir önem de taşır. Felsefi temelde olasılık değerlerinin nesnesel bir özellik değil, gözlemcinin meydana çıkardığı subjektif bir değer olarak kabul eden subjektivist olasılık düşünürlerine göre Bayes teoremi, yeni kanıtlar ışığında olasılık değeri hakkındaki subjektif inanışların güncelleştirilip değiştirilmesini sağlayan bir temel gereçtir; yani sonsal bir yaklaşımın temeli olur.
Olasılık teorisi içinde incelenen bir 'olay olarak B olayına koşullu bir A olayı (yani B olayının bilindiği halde A olayı) için olasılık değeri, A olayına koşullu olarak B olayı (yani A olayı bilindiği haldeki B olayı) için olasılık değerinden farklıdır. Ancak bu iki birbirine ters koşulluluk arasında çok belirli bir ilişki vardır ve bu ilişkiye (ilk açıklayan istatistikçi İngiliz Thomas Bayes (1702–1761) adına atfen) Bayes Teoremi denilmektedir.
Bir formel teorem olarak Bayes teoremi olasılık kavramını inceleyen her türlü değişik felsefi temel fikire bağlı olan her türlü istatisikçi tarafından kabul edilir. Ancak olasılığı objektif bir değer olarak gören ve relatif çokluluk olarak tayin eden çoklulukçu (en:frequentist) ekolüne bağlı olan istatistikçiler ile sübjektivist (veya Bayes tipi) ekoline bağlı olan istatistikçiler arasında bu teoremin pratikte bu teoremin nasıl kullanılabileceği hakkında büyük bir fikir ayrılığı bulunmaktadır. Çoklulukcu ekolüne dahil olanlar olasılık değerlerini rastgele olaylarda meydana çıkma çokluluğuna göre veya anakütlenin altsetlerinin tam anakütleye orantısı olarak saptanması gerekeğini kabul etmektedirler. Bunlara göre yeni kanıtlar karşısında olasılık değerinin değişme imkanı yoktur. Bu nedenle çoklulukcu ekolü için Bayes teoremi sadece koşulluluklar arasında ilişkiyi gösterir ve bunun pratikte kullanılma gücü küçüktür. Halbuki sübjektivist ekolüne göre olasılık gözlemcinin sübjektif belirsizlik ifadesidir. Bu nedenle olasılık değeri sübjektif olup yeni kanıtlar geldikçe değiştirilebileceğine inanmakta ve böylece Bayes teoremini istatistik bir incelemenin temel taşı saymaktadırlar.
Konu başlıkları |
[değiştir] Bayes teoreminin ifade edilmesi
Bayes teoremi bir stokastik sürec sırasında ortaya çıkan bir rastgele olay A ile bir diğer rastgele olay B (eğer B için kaybolmamış olasılık varsa) için koşullu olasılıkları ve marjinal olasılıkları arasındaki ilişkidir, yani
Bayes teoremi formülü içinde bulunan her bir terime özel isimler verilmektedir:
- P(A) terimine A için önsel olasılık veya marjinal olasılık adı verilir. Bu önseldir, çünkü B olayı hakkında önceden herhangi bir bilgiyi içermemektedir.
- P(A|B) terimi verilmiş B için Anın koşullu olasılığı adını alır.
- P(B|A) terimi verilmiş A için Bnin koşullu olasılığı adını taşır.
- P(B) terimi B olayı için 'önsel' olasılıktır veya Bnin marjinal olasılığıdır ve matematiksel rolü normalize eden bir sabittir.
Bu şekildeki Bayes teoremini, fazla matematiksel olmadan, sezgiye dayanarak şöyle açıklayabiliriz: Bayes teoremi eğer B gözlemlenmis ise, A gözlemi hakkındaki inançların ne şekilde güncelleştirilebileceğini ortaya çıkartır.
[değiştir] Bayes teoreminin olabilirlilik terimleri ile ifadesi
Bayes teoremi olabilirlilik terimleri ile de şöyle ifade edilebilir:
Burada L(A|b) terimi verilmiş sabit b için Anin olabilirliğidir ve L(A|B)/P(B) orantısına bazan standardize edilmis olabilirlilik veya normalize edilmiş olabilirlilik adı da verilir. Böylece
ilişkisini kullanarak Bayes teoremi ortaya çıkartılır. Bu sonucu sözcüklerle şöyle de yazabiliriz:
Daha uygun sözcüklerle
-
- Sonsal olasılık önsel olasılık ile olabilirlilik çarpımına orantılıdır.
[değiştir] Koşullu olasılıklar kullanılarak matematiksel isbat
Bu teoremi isbat etmek icin koşullu olasılık tanımından başlanır. B olayı bilinirse A olayının olasılığı şöyle verilir:
Aynı şekilde A olayı verilmiş ise B olayının olasılığı şudur:
Bu iki denklem yeniden düzenlenip birbirlerine birleştirilirse,
ifadesi bulunur. Bu lemma bazan olasılıklar için çarpım kuralı olarak anılmaktadır. Her iki taraf da P(B) (eğer sıfır değilse) ile bolunurse, ortaya çıkan şu ifade Bayes teoremidir:
[değiştir] Bayes teoreminin değişik şekilleri
Bayes teoremi çok kere daha ek kavramlar eklenerek, sanki daha süslü olarak, ifade de edilir. Bunun için önce şu ifade kullanılır:
Burada AC (çok kere A olmayan olarak ifade edilen) A olayının tamamlayıcısı olur. Bu Bayes teoremi formulüne konulunca Bayes teoremi için yeni alternatif bir formül elde edilir:
Daha genel olarak, {Ai} olay uzayının bir bölüntüsünü oluşturduğu göz önüne alınca, bu bölüntü içinde bulunan herhangi bir Ai için şu ifade elde edilir:
Toplam olasılık yasası maddesine de bakınız.
[değiştir] Bahis oranı ve olabilirlilik orantısı şeklinde Bayes teoremi
Bayes teoremi çok daha düzgünce bir olabilirlik orantısı olan λ ile bahis oranı olan O terimleri ile şöyle ifade edilir:
Burada
B verilimişse A olayının bahis oranı;
A kendi bahis oranı ve
olabilirlik orantısı olur.
[değiştir] Olasılık yoğunluk fonksiyonları ile Bayes teoremi
Bayes teoreminin sürekli olasılık dağılımlarına uygun olan bir şekli de vardır. Olasılık yoğunluk fonksiyonları tıpatıp olasılık olmadıkları için bu şeklin isbatı biraz daha karmaşıktır. Bu şekilde Bayes theoremi bir limit işlemin geliştirilmesi sonucu ile ortaya çıkarlar. [1].
Buna benzer olan bir diğer ifade de toplam olasılık yasası için şöyle ortaya çıkartılabilir:
Aynı genel aralıklı hâl gibi bu formülde bulunan parçalara da özel isimler verilmiştir:
- f(x, y) X ve Y için bileşik dağılımdır;
- f(x|y) Y=y verilmiş iken X in sonsal dağılımıdır;
- f(y|x) = L(x|y) (x in bir fonksiyonu olarak) Y=y verilmiş ise Xin olabilirlilik fonksiyonudur;
- f(x) Xin marjinal dağılımı ve ve Xin önsel dağılımı olur;
- f(y) Yin marjinal dağılımı olur.
Dikkat edilirse burada biraz alışılmış notasyon karışıklığı kavramına kendimizi kaptırdık. Burada her bir terim icin f notasyonu kullanıldı ama gerçekte bunlarin hepsi değişik birer fonksiyonlardir. Burada verilen hali ile fonksiyonların birbirinden değişik olduklar ancak içlerinde bulunan terimlerin farklı olmaları ile anlaşılabilmektedir.
[değiştir] Soyut Bayes teoremi
Olasılık uzayında verilmiş olan iki mutlak sürekli olasılık ölçümleri P˜Q ve bir sigma-cebiri olsun. Bu halde -ölçülmeli rassal değişken X için soyut Bayes teorem şöyle ifade edilir:
- .
Bu formulasyon şekli Kalman filtreleme tekniğinde Zekai denklemleri bulmak için kullanılır. Bu şekil ayrıca finansman matematiği içinde numeraire değişmesi tekniklerinde uygulanır.
[değiştir] Bayes teoreminin kapsamının genişletilmesi
Ikiden daha fazla degisken kapsayan problemler icin de Bayes teoremine benzer teoremler olusturulabilir. Ornegin
Bu Bayes teoreminin ve kosullu olasilik tanimlamasinin uzerine birkac islem yaparak ortaya cikarilabilir:
Bu calismalar icin uygulanacak genel strateji ortak olasilik icin parcalama ile calismaya baslayip ilgimizi cekmek istemedigimiz degiskenleri entregrasyon ile marginalize etmektir. Uygulanan parcalam sekline gore, bazi entegrallerin 1e esit olup parcalama ifadesinden dusmeleri sagmanma imkani bulunabilir; eger bu ozellik ve imkan kullanilabilirse gereken hesaplamalar cok onemli sekilde azaltilabilir. Ornegin, bir Bayes tipi sebeke icin verilen spesifikasyon dolayisiyla, (geri kalan degiskenler verilmis olurlarsa) herhangi bir degisken icin kosullu olasilik, birkac degiskenli ortak dagilimin faktorize edilmesi ile belirlenir ve bu nedenle sonucun ozellikle basit bir form almasi saglanmis olur. (Markov battaniyesi maddesine bakiniz.)
[değiştir] Örneğinler
[değiştir] Örneğin #1: Koşullu olasılıklar
İki tabak dolusu biskui düşünülsün; tabak #1 içinde 10 tane çikolatalı biskui ve 30 tane sade biskui bulunduğu kabul edilsin. Tabak #2 içinde ise her iki tip biskuiden 20şer tane olduğu bilinsin. Evin küçük çocuğu bir tabaği rastgele seçip bu tabaktan rastgele bir biskui seçip alsın. Çocuğun bir tabağı diğerine ve bir tip biskuiyi diğerine tercih etmekte olduğuna dair elimizde hiçbir gösterge bulunmamaktadır. Çocuğun seçtiği biskuinin sade olduğu görülsün. Çocuğun bu sade biskuiyi tabak #1 den seçmiş olmasının olasığının ne olacağı problemi burada incelenmektedir.
Sezgi ile, tabak #1de sade biskui sayısının çikolatali buskui sayısına gore daha fazla olduğu göz önüne alınırsarak incelenen olasılığın %50den daha fazla olacağı hemen algılanır. Bu soruya cevap Bayes teoremi kullanarak kesin olarak verilebilir. Önce soruyu değiştirip Bayes teoremi uygulanabilecek şekle sokmak gerekmektedir: Çocuğun bir sade biskui seçmiş olduğu bilinmektedir; o halde bu koşulla birlikte tabak #1den seçim yapması olasığı ne olacaktır?
Böylece Bayes teoremi formülüne uymak için A olayı çocugun tabak #1den seçim yapması; B olayı ise çocugun bir sade biskui seçmesi olsun. İstenilen olasılık böylece Pr(A|B) olacaktır ve bunu hesaplamak için şu olasılıkların bulunması gerekir:
- Pr(A) veya hiçbir diğer bilgi olmadan çocuğun tabak #1 den seçim yapması olasığı;
İki tabak arasında tercih olmayıp seçimin eşit olasığı olduğu kabul edilmektedir.
- Pr(B) veya hiçbir diğer bilgi olmadan çocuğun bir sade biskui seçmesi olasığı: Diğer bir ifade ile, bu çocuğun her bir tabaktan bir sade biskui seçme olasığıdır. Bu olasılık, önce her iki tabaktan ayrı ayrı olarak secilen bir tabaktan bir sade biskui seçme olasıği ile bu tabağı seçme olasığının birbirine çarpılması ve sonra bu iki çarpımın toplanması suretiyle elde edilir. Tabaklarda olan sade biskuinin sayısının toplama orantısından bilinmektedir ki tabak #1den bir sade biskui seçme olasılığı (30/40=) 0,75; tabak #2den sade biskui seçme olasılığı (20/40=) 0,5 olur. Her iki tabaktan seçme olasılığı ise her tabak ayn sekilde uygulama gördüğü için 0,50 olur. Böylece bu problemin tümü için bir sade biskui seçme olasılığı 0.75×0.5 + 0.5×0.5 = 0.625 olarak bulunur.
- Pr(B|A), veya çocuğun tabak #1den seçim yaptığı bilirken bir sade biskui seçmesi.: Bu 0,75 olarak bilinmektedir çünkü tabak #1deki toplam 40 biskuiden 30u sade biskuidir.
Şimdi bu aciklanan tüm olasılık değerleri Bayes teoremi formüne konulabilir:
Böylece çocuğun tabak #1den seçim yaptığı bilindiğine göre bir sade biskui seçimi yapmasının olasılığı %60dir ve sezgimize göre seçtiğimiz %50den daha büyüktür.
[değiştir] Ortaya çıkma tabloları ve orantısal çokluklar
Kosşullu olasılıkları hesaplarken her bir bağımsız değişken için her mümkün sonucun ortaya cikma sayısını veya her sonucun relatif çoklulukunu gösteren basit bir tablo hazırlamak konuyu daha iyi anlamaya yardımcı olabilir. Biskuvi örneği için bu yöntemin kullanışını gösteren tablolar şöyle verilmiştir:
Her tabakta bulunan değişik tip biskui sayısı | Her tabakta bulunan değişik tip biskui oranları | |||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
Sağdaki tablo, sol taraftaki tablo içindeki her bir hücre elemanını toplam biskui sayısı (yani 80) ile bölerek elde edilmiştir.
[değiştir] Örneğin #2: Yeni ilaç sınamaları
[değiştir] Örneğin #3: Bayes tipi sonuç çıkartıcı analiz
[değiştir] Örneğin #4: Monty Hall problemi
Bir TV oyun programında üç tane (kirmizi, yesil ve mavi boyali) kapali kapi gosterilmekte ve bu kapilardan birinin arkasinda bir armagan bulunmaktadir. Kirmizi kapiyi sectigimizi dusunelim; ama bu kapi program sunucunun bir faaliyet goistermesini bitirmeden acilmamaktadir. Program sunucusu hangi kapi arkasinda armagan bulundugunu bilmektedir; ama ona verilen direktife gore ne arkasinda armagan bulunan kapiyi ne de sectigimiz kapiyi acabilir. Yesil kapiyi acar ve arkasinda bir armagan bulunmadigini gosterir ve su soruyu yarismaciya sorar: "Ilk tercihiniz olan kirmizi kapi hakkinda fikrinizi değistirmek ister misiniz?" Incelenecek sorun armaganin mavi veya kirmizi kapilar arkasinda bulunma olasiliklari nedir?
Yarismanin ana sonuclari olan degisik renkli kapilar arkasinda armagan bulunmasini soyle ifade edelim Ak, Ay ve Am. Ilk olarak her bir kapi arkasinda armagan bulunmasi birbirine esit olasigi oldugu kaabul edilir yani oilur. Yine dusunelim kirmizi kapiyi yarismaci secmis durumdadir. "Sunucunun yesil kapiyi acmasi olayina B olayi adini verelim. Arkasinda armagan bulunan kapiyi bilmeseydi bu olay icin olasilik %50 olacaktir.
- Eger gercekte armagan kirmizi kapi arkasinda ise, sunucu ya yesil ya da mavi kapiyi acmakta serbest olacaktir. Bu halde P(B | Ak) = 1 / 2
- Eger gercekte armagan yesil kapi arkasinda ise, sunucu mavi kapiyi acacaktir. Yani P(B | Ay) = 0.
- Eger gercekte armagan mavi kapi arkasinda ise, sunucu yesil kapiyi acacaktir. Yani P(B | Am) = 1.
Boylece
Dikkatle incelenirse bunun P(B) degerine bagli oldugu gorulecektir. Bir an armaganin kirmizi kapi arkasinda oldugunu farzedelim; o halde sunucunun yesil kapiyi acma olasigi cok yuksek olacaktir - diyelim %90. Bundan dolayi, eger sunucu baska kapi acmaya zorlanmadikca, yesil kapiyi acmayi tercih edecektir. Boylece, B olayi olasigi 1/3 * 1 + 1/3 * 0 + 1/3 * 9/10 = 19/30 olur.
Bu nedenle sunucunun yesil kapiyi acmasi bizi cok az bilgi vermektedir - zaten bu secime yapamaga zorundadir. Pr(Am) olasigi 1/2in cok az ustundedir.
Buna karsilik, armaganin kirmizi kapi arkasinda oldugunu farzedersek; o halde sunucunun yesil kapi acma olasigi cok kucuk olacaktir - diyelim %10. Bu demektir ki ozellikle zorlanmadikca sunucu nerede ise hic bir halde yesil kapiyi acmiyacaktir.
O halde B olasigi 1/3 * 1 + 1/3 * 0 + 1/3 * 1/10 = 11/30 olur
Bu halde, gercekte sunucunun yesil kapiyi acmasi bize cok onemli bilgi vermektedir. Aramagan nerede ise hic suphesiz mavi kapi arkasinda bulunmaktadir. Eger mavi kapi arkasinda degilse sunucu cok muhtemelen mavi kapiyi acacakti.
[değiştir] Birkaç tarihsel açıklama
[değiştir] İçsel kaynaklar
- Bayes tipi sonuç çıkartıcı analiz
- Bayes tipi şebeke
- Bayes tipi spam filtreleme
- Thomas Bayes
- Bogofiltresi
- Eşlenik önsel
- Empirik Bayes tipi yöntem
- Monty Hall problemi
- Occam'in usturası
- Savcının hatalı mantığı
- Raven paradoksu
- Sıralı Bayes tipi kestirim
- İstatistikte fikir değiştirilmesi
- Sıralı bayes tipi filtreleme
- Borel'in paradoksu
- Naif Bayes tipi sınıflayıcı
[değiştir] Referanslar
- ^ A.Papoulis (1984), Probability, Random Variables, and Stochastic Processes, 2nci edisyon. New York: McGraw-Hill. Kısım 7.3
[değiştir] Yazının değişik versiyonları
- Thomas Bayes (1763), "An Essay towards solving a Problem in the Doctrine of Chances. By the late Rev. Mr. Bayes, F. R. S. communicated by Mr. Price, in a letter to John Canton, A. M. F. R. S.", Philosophical Transactions, Giving Some Account of the Present Undertakings, Studies and Labours of the Ingenious in Many Considerable Parts of the World 53:370–418.
- Thomas Bayes (1763/1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes' Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:296–315. (Bayes'in eserinin modern notasyona değiştirilmiş şekli)
- Thomas Bayes "An essay towards solving a Problem in the Doctrine of Chances". (Bayes'in eserinin orijinal notasyonlu şekli)
[değiştir] Yorumlar
- G. A. Barnard (1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes' Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:293–295. (Biyografik açıklamalar)
- Daniel Covarrubias. "An Essay Towards Solving a Problem in the Doctrine of Chances". (Bayes'in eseri üzerinde bir anahatlar taslağı ve açıklamalar)
- Stephen M. Stigler (1982). "Thomas Bayes' Bayesian Inference," Journal of the Royal Statistical Society, Series A, 145:250–258. (Stigler, Bayes'in eserinin değişik bir şekilde yorumlanmasını önermektedir. Okunması tavsiye edilir. )
- Isaac Todhunter (1865). A History of the Mathematical Theory of Probability from the time of Pascal to that of Laplace, Macmillan. Reprinted 1949, 1956 by Chelsea and 2001 by Thoemmes.