MEH535 Örüntü Tanıma Olasılık

13.03.2014
MEH535 Örüntü Tanıma
1.A. Olasılık ve Rassal Değişkenler
Doç.Dr. M. Kemal GÜLLÜ
Elektronik ve Haberleşme Mühendisliği Bölümü
web: http://akademikpersonel.kocaeli.edu.tr/kemalg/
E-posta: kemalg@kocaeli.edu.tr
Olasılık - Temel Kavramlar
• Olasılık (Probability): Bir rassal deney (random
experiment) gerçekleştiğinde (örn; para atma) oluşan
olayın (yazı/tura) ne sıklıkla gerçekleştiğinin ifadesi
• Örnek Uzayı (Sample Space): Bir rassal deneyin olası
çıktı kümesi (yazı ve tura)
2
1
13.03.2014
Olasılık - Temel Kavramlar
• Aksiyomlar:
1.
2.
3.
S
Ak
Ai
Aj
3
Olasılık - Temel Kavramlar
• Özellikler:
1.
2.
3.
4.
5.
6.
7.
4
2
13.03.2014
Olasılık - Temel Kavramlar
• Koşullu Olasılık (Conditional Prob.): B olayının oluşması
biliniyorken, A olayının olasılığıdır:
• “B koşuluna bağlı A olasılığı” ya da “verilen B için A’nın olma
olasılığı” olarak ifade edilebilir
5
Olasılık - Temel Kavramlar
• Toplam Olasılık Teoremi (Total Prob. Theorem): B1, B2,…, BN S
örnek uzayında birbirini dışlayan (mutually exclusive) olaylar
olsun
6
3
13.03.2014
Olasılık - Temel Kavramlar
• Bayes Teoremi: B1, B2,…, BN S örnek uzayının birer parçası
olsun
• Koşullu olasılık tanımı ve toplam olasılık teoremini kullanarak:
Olabilirlik (likelihood)
Önsel (prior)
Evidence (delil)
• İstatistiksel örüntü tanımanın temelini oluşturur
• Bayes Kuralı (Bayes Rule) olarak da bilinir
7
Olasılık - Temel Kavramlar
• Örnek: Hasta kişinin ilaç kullanma olasılığı
– İlaç kullanma olasılığı: P(ilaç)=0.005 (P(tedavi yok)=0.095)
– İlaç alanların hasta olma olasılığı: P(hasta|ilaç)=0.99
(P(hasta|tedavi yok)=0.01)
• Amaç: hasta olup da ilaç kullanma sonsal olasılığını bulmak:
P(ilaç|hasta) = P(hasta|ilaç)P(ilaç)/P(hasta) = ?
P(hasta) = P(hasta|ilaç)P(ilaç) + P(hasta|tedavi yok)P(tedavi yok)
= 0.99x0.005 + 0.01x0.095 = 0.0149
P(ilaç|hasta) = 0.99x0.005/0.0149 = 0.3322
8
4
13.03.2014
Olasılık - Temel Kavramlar
• Bayesçi Çıkarım:
9
Olasılık - Temel Kavramlar
• Bayes Teoremi ve Örüntü Tanıma:
ωj: j. sınıf, x: öznitelik vektörü
• Sınıflandırmada karar kuralı “P[ωj |x] olasılık değeri en yüksek
ωj sınıfını seç” şeklindedir
: ωj sınıfının önsel olasılığı (prior prob.)
: x gözlemine bağlı ωj sınıfının sonsal olasılığı (posterior prob.)
: ωj sınıfı için x gözleminin koşullu olasılığı (likelihood)
: normalizasyon sabiti (evidence), kararı etkilemez!
10
5
13.03.2014
Rassal Değişkenler - Temel Kavramlar
• Rassal Değişkenler (Random Variables): Rassal deney ile
çalışırken, deneyin çıktılarının ölçümü ya da sayısal özellikleri
ile ilgilenilir. Örn;
– Bir sınıftaki öğrencilerin boyları ya da kiloları
– Doktor sırası bekleyen hastaların bekleme süreleri
– 1 saat içerisinde bir mağazaya giren kişi sayısı
• Rassal değişken X ile gösterilir ve bir rassal deneyin örnek
uzayıdaki çıktısını (ζ), X(ζ) ile reel sayıya atayan fonksiyondur
11
Rassal Değişkenler - Temel Kavramlar
• Rassal değişkenler ayrık ve sürekli olarak iki sınıfa
ayrılmaktadır
– Ayrık: X(ζ) sonucu tamsayı:
• Para atma deneyinde art arda yapılan 5 atışta tura gelme sayısı
• 1 saat içerisinde bir mağazaya giren kişi sayısı
– Sürekli: X(ζ) sonucu sürekli aralıkta:
• Bir sınıftaki öğrencilerin boyları ya da kiloları
• Atılan topun çıkabildiği yükseklik
12
6
13.03.2014
Rassal Değişkenler - Temel Kavramlar
• Birikimli Dağılım Fonksiyonu (Cumulative Distribution Func.):
X rassal değişkeninin cdf’i FX (x) ile gösterilir:
• Özellikler:
13
Rassal Değişkenler - Temel Kavramlar
• Olasılık Yoğunluk Fonksiyonu (Probability Density Func.):
X sürekli rassal değişkeninin pdf’i fX (x) ile gösterilir:
• Ayrık rassal değişkenler için pdf’in eşdeğeri olasılık kütle
fonksiyonu (probability mass function) dur ve pmf:
14
7
13.03.2014
Rassal Değişkenler - Temel Kavramlar
• Özellikler:
15
Rassal Değişkenler - Temel Kavramlar
• pdf ve olasılık:
Bir kişinin ağırlığının 200 lb olma olasılığı 0.62
Bir kişinin ağırlığının 124.8 lb olma olasılığı 0.43
• Olasılık tek bir noktada sıfır ya da sıfıra çok yakın olmalıyd
– pdf olasılık yoğunluğunu tanımlar, olasılığı değil!
– pdf’den olasılığı hesaplamak için belli bir aralıkta integral alınmalı.
– Dolayısıyla olasılık için şu soruyu sormalıyız: bir kişinin ağırlığının
124.8 ± 2 lb aralığında olma olasılığı nedir?
16
8
13.03.2014
Rassal Değişkenler - Temel Kavramlar
• Rassal Değişkenlerin İstatistiksel Karakterizasyonu:
cdf ve pdf’in yanında rassal değişkenler aşağıdaki ölçütler ile
de karakterize edilirler:
• Beklendik değer (expectation):
• Değişinti (variance):
• N. moment:
17
Özel Rassal Değişkenler
• Bernoulli Dağılımı:
–
–
–
–
Çıktısının “başarılı” ya da “başarısız” olduğu denemedir.
Örn; para atma deneyi, hastalık bulaşma, sınav geçme olasılığı…
X rassal değişkeni başarılı/başarısız durumları için 0/1 değerini gösterir
p, denemenin başarılı olma olasılığıdır
– Eğer X Bernoulli dağılımlı ise beklendik değer ve değişinti:
18
9
13.03.2014
Özel Rassal Değişkenler
• İki Terimli (Binomial) Dağılım:
– N eşdeğer ve bağımsız Bernoulli denemesi yapıldığı
taktirde başarılı olma sayısı, iki terimli dağılıma sahip X
rassal değişkenidir
– N denemede i adet başarı olma olasılığı:
– Örn; N=10 kez para atma deneyinde 3 yazı gelme olasılığı
– Eğer X iki terimli dağılımlı ise beklendik değer ve değişinti:
19
Özel Rassal Değişkenler
• N=3 için:
P(F2|F1)
P(F1)=1-p
F3
P(FFF)=(1-p)3
P(S3|F2,F1)
S3
P(FFS)=p(1-p)2
P(F3|S2,F1)
F3
P(FSF)=p(1-p)2
F2
F1
P(S2|F1)
P(F3|F2,F1)
P{X=0} = (1-p)3
S2
P(S3|S2,F1)
P(F3|F2,S1)
P(F2|S1)
P(S1)=p
P(FSS)=p2(1-p)
F3
P(SFF)=p(1-p)2
F2
S1
P(S2|S1)
S3
P{X=1} = 3p(1-p)2
P{X=2} = 3p2(1-p)
P{X=3} = p3
P(S3|F2,S1)
S3
P(SFS)= p2(1-p)
P(F3|S2,S1)
F3
P(SSF)= p2(1-p)
P(S3|S2,S1)
S3
P(SSS)= p3
S2
20
10
13.03.2014
Özel Rassal Değişkenler
• p=0.3 alındığında dağılım:
P{X=0} = (1-p)3
P{X=1} = 3p(1-p)2
P{X=2} = 3p2(1-p)
0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
P{X=3} = p3
0.441
0.343
0.189
0.027
0
1
2
3
İki terimli dağılım p = 0.3
21
Özel Rassal Değişkenler
• Çok Terimli (Multinomial) Dağılım:
– K adet birbirini dışlayan çıktıya sahip deneyin N eşdeğer ve
bağımsız denemesi yapıldığı taktirde:
– N deneme sonucundaki olası durumların dağılımıdır
– Her denemede başarı K olası çıktıdan biridir
– Farklı çıktılara ait sayıların toplamı
– X1’in N1 kez,…, Xk’nın Nk kez gelme ortak dağılımı:
– Örn; art arda N=10 kez zar atma (6 ayrı çıktı) deneyinde
P(1,2,1,1,1,4) olasılığı
22
11
13.03.2014
Özel Rassal Değişkenler
• Örnek: Bir şehirdeki üç başkan adayından A %20, B %30 ve C
%50 oy almaktadır.
• Seçilen 6 seçmenin A’ya 1, B’ye 2, C’ye 3 oy atma olasılığı
nedir?
Pr(A=1,B=2,C=3) = 6!(0.2)1(0.3)2(0.5)3/1!2!3!
= 0.135
23
Özel Rassal Değişkenler
• Poisson Dağılımı:
– X rassal değişkeni, belli bir aralıktaki olay sayısı
– λ: ortalama olay sayısı
X=r olma olasılığı Poisson dağılımı ile gösterilir:
24
12
13.03.2014
Özel Rassal Değişkenler
• Örnek: Bir otoyolda bir noktadan saatte ortalama 180 araç
geçiş yapmaktadır.
– Trafik yoğunlaştığında dakikada 5 veya daha fazla araç
geçme olasılığı?
X: dakikada geçen araç sayısı
λ=3: dakikada geçen ortalama araç sayısı
25
Özel Rassal Değişkenler
• Düzgün (Uniform) Dağılım:
– X rassal değişkeni [a,b] aralığında düzgün dağılımlıdır
– Dağılımın ortalama ve değişintisi:
26
13
13.03.2014
Özel Rassal Değişkenler
• Normal Dağılım (Gaussian Distribution):
– N(µ,σ2) ile gösterilir
– Ortalama (µ) ve değişinti (σ2) parametreleri tanımı için
yeterlidir
– N(0,1) durumunda dağılım birim normal olarak adlandırılır
– Normalizasyon:
27
Rassal Değişkenler - Temel Kavramlar
• Rassal Vektör: Rassal değişkenin genişletilmiş şeklidir.
• S örnek uzayındaki her ζ çıktısına bir gerçek vektör atayan
fonksiyon X vektör rassal değişkenidir.
• cdf ve pdf kavramları artık ortak cdf ve ortak pdf olarak ifade
edilir.
28
14
13.03.2014
Rassal Değişkenler - Temel Kavramlar
• Bir rassal vektör ortak cdf ve ortak pdf ile tamamen
karakterize edilebilirken, alternatif olarak aşağıdaki ölçütler ile
de tanımlanabilir:
• Ortalama vektörü:
• Ortak değişinti (Kovaryans) matrisi:
29
Rassal Değişkenler - Temel Kavramlar
• Ortak değişinti matrisi her bir öznitelik çiftinin birlikte değişim
eğilimini vermektedir.
• Özellikler:
–
–
–
–
–
–
Eğer xi ve xk benzer artış eğiliminde ise cik>0 dır
xk artarken xi azalış eğiliminde ise cik<0 dır
xi ve xk ilintisiz ise cik=0 dır
σi, xi nin standart sapması ise, |cij|≤ σi σj dir
cii = σi2 = Var(xi)
cik = ρikσi σk , ρik: ilinti katsayısı
30
15
13.03.2014
Rassal Değişkenler - Temel Kavramlar
• Ortak değişinti matrisi:
S: özilinti matrisi (autocorrelation matrix)
• Alternatif gösterim:
• Γ özniteliklerin ölçek bilgilerini, R ise öznitelikler arasındaki
ilintiyi barındırmaktadır (ilinti matrisi – correlation matrix).
31
Rassal Değişkenler - Temel Kavramlar
• İlintisiz ve Bağımsız (Uncorrelated vs Independent) RD’ler:
– xi ve xk rassal değişkenleri eğer E[xixk]=E[xi]E[xk] ise ilintisizdir
– Bağımsızlık için P[xixk]=P[xi]P[xk] şartı aranmalıdır
– Sonuçta iki rassal değişken bağımsız iken aynı zamanda ilintisiz olurken
(bağımsız→ilintisiz); ilintisiz iken bağımlı (ilintisiz→bağımsız/bağımlı)
olabilmektedir
bağımsız
X-> N(0, σ2)
Y-> X2
Y, X’e bağımlı üretilmiştir
Ancak;
Cov(X,Y) = E(XY) – E(X)E(Y)
= E[X3] – 0
= 0
Yani X ve Y ilintisizdir
İlintisiz fakat bağımlı!
32
16
13.03.2014
Rassal Değişkenler - Temel Kavramlar
• Çok Boyutlu Gauss Dağılımı:
– Tek Boyutta – N(µ,σ2):
– Çok boyutta N(µ,Σ):
– Örn; d=2 boyutta:
33
Rassal Değişkenler - Temel Kavramlar
• Gauss dağılımı neden popüler?
–
–
–
–
Dağılımı karakterize etmek için (µ,Σ) parametreleri yeterli
xi ve xk ilintisiz ise (cik=0) aynı zamanda bağımsızdır
Marjinal ve koşullu yoğunluklar da Gauss tipindedir
X = [X1, X2, …, XN] ortak Gauss tipinde ve A NxN boyutlu
tersi alınabilir bir matris ise Y = AX de Gauss tipindedir
(doğrusal dönüşüm)
– Merkezi limit teoremi
34
17
13.03.2014
Rassal Değişkenler - Temel Kavramlar
• Merkezi limit teoremi:
– µ ortalama ve σ2 değişintili dağılım kullanılarak elde edilen
örnek dağılımların ortalama ve değişintisi N örnek sayısı
arttıkça µ ve σ2 değerlerine yakınsar
– Dağılımın tipi ne olursa olsun örnek dağılımı N büyüdükçe
Gauss Dağılımına yaklaşır!
– Örn; her bir örnekte 500 deney varken N=1,4,7,10 örnek
sayısı için:
35
18