3.Ders (10 Ekim 2012) Regresyon Kavramı

3.Ders (10 Ekim 2012)
Regresyon Kavramı, Regresyon Modelleri, Lineer Modeller
Sözlük ve Ansiklopedilerde Regresyon Kavramı
Đstatistikte Regresyon Kavramı
Tarihçesi: Đstatistiksel anlamda regresyon sözcüğü ilk olarak 1875 yılında Francis Galton
tarafından “regression to mediocrity” deyiminde kullanılmıştır.
regression to mediocrity
orta hale gerileme, orta hale çekme,…
Galton, çocukların boy uzunlukları (y) ile bunların babalarının boy uzunlukları (x) arasındaki
bağıntının,
y− y
x−x
=r
sy
sx
biçiminde olduğunu ve bu denkleme dayanarak “kısa boylu babaların çocukları kısa boylu
olma eğilimindedir ama babaları gibi kısa değildirler” , keza “uzunlu boylu babaların
çocukları uzun boylu olma eğilimindedir ama babaları gibi uzun değildirler” gerçeğini
“regression to mediocrity” deyimi ile ifade etmiştir. Korelasyon katsayısının ( −1 ≤ r ≤ 1 )
değerleri göz önüne alındığında, denklemin sağ tarafındaki bir birim artışı sağlayan bir x
değeri, denklemin solunda kendi artışını r oranında gösterecektir. Çocuğun boyu y
ortalamasına doğru çekilecektir. Buna regresyon etkisi denmektedir. Önümüzdeki derslerde
göreceğimiz gibi, ilgimiz regresyon etkisinden ziyade,
y = y −r
y= y−
sy
sx
sxy
sx2
x +r
x+
sy
sx
s xy
sx2
x
x
y = a + bx
gibi denklemlerde (regresyon denklemleri) ve bu denklemler yardımıyla, x değerine karşılık
y hakkında sonuç çıkarımda olacaktır (harfler ve biçimleri epeyce farklı olacak).
Regresyon yöntemi, ilk olarak astronomide kullanılmıştır. Legendre 1805 yılında En
Küçük Kareler Yöntemini geliştirmiş ve Gauss 1809 yılında, gözlem hataları normal
olduğunda bu yöntemin en küçük varyanslı yansız tahmin ediciler verdiğini göstermiştir.
Ayrıca, En Küçük Kareler Yöntemini Legendre’den birkaç yıl önce bulduğunu da ifade
etmiştir.
Koşullu Beklenen Değer Olarak Regresyon Kavramı
Uygulama
Hatırlatma (ödevden): Đki Değişkenli Normal Dağılımda Koşullu Beklenen Değerler
Đki değişkenli normal dağılıma sahip X , Y rasgele değişkenlerinin ortak olasılık yoğunluk
fonksiyonu,
f X ,Y ( x, y ) =
ve
1
2π ( det ∑
)
12
 1
 x − µ X 
exp  − ( x − µ X , y − µY ) ∑ −1 

 y − µY  
 2
,
−∞ < x < ∞
−∞ < y < ∞
E ( X ) = µ X , E (Y ) = µY
σ XX
∑ = σ

YX
σ XY 
σ YY 
,
Var ( X ) = σ X2 = σ XX , Var (Y ) = σ Y2 = σ YY , Cov ( X , Y ) = σ XY ,
dır.
X ile Y ‘nin marjinal dağılımları,
X ∼ N ( µ X , σ X2 )
Y ∼ N ( µY , σ Y2 )
koşullu dağılımlar,
Y/ X = x ∼ N ( µY −
σ XY
σ σ
( x − µ X ),σ YY − XY YX )
σ XX
σ XX
σ YY (1− ρ X2 ,Y )
X /Y = y ∼ N ( µ X −
σ XY
σ σ
( y − µY ), σ XX − XY YX )
σ YY
σ YY
σ XX (1− ρ X2 ,Y )
koşullu beklenen değerler (regresyon fonksiyonları) ve koşullu varyanslar,
E(Y/ X=x) = µY −
σXY
(x − µX )
σXX
E ( X /Y = y ) = µ X −
dır.
σ XY
( y − µY )
σ YY
Var (Y/ X = x ) = σ YY −
,
,
σ XY σ YX
= σ YY (1 − ρ X2 ,Y )
σ XX
Var ( X /Y = y ) = σ XX −
σ XY σ YX
= σ XX (1 − ρ X2 ,Y )
σ YY
>> mu = [15 5];
>> SIGMA = [25 8; 8 4];
>> x=0:.3:30;y=0:.1:10;
>> for i=1:101 ; for j=1:101; xy=[x(i) y(j)] ; fxy(i,j)=mvnpdf(xy,mu,SIGMA) ; end;end
>> [xx yy]=meshgrid(x,y)
>> mesh(x,y,fxy)
0.03
0.025
0.02
0.015
10
0.01
5
0.005
0
0
5
10
15
20
25
0
30