6. Ders Bu derste gerekli olacak bazı ön bilgileri hatırlatalım: * Karesel ve lineer formların türevleri Çok değişkenli fonksiyonların kısmi türevlerini göz önüne alalım. f : Rn → R x → f ( x ) = f ( x1, x2 ,..., xn ) olmak üzere, ∂ f ∂ x 1 ∂ f ∂f = ∂ x2 ∂x ⋮ ∂ f ∂ xn fonksiyonuna, f ‘nin x vektörüne göre türevi denir. Bu türev esasında f ‘nin kısmi türevlerinin (gradiyent) vektörüdür. ∂2 f ∂2 f = ( ) ∂ xi ∂x j n × n ∂ x2 olarak tanımlı matris fonksiyonuna f ‘nin Hessian matrisi denir. Örnek: f ( x ) = f ( x1, x2 , x3 ) = 6 x12 − 2 x1x2 + 2 x32 , − ∞ < xi < ∞ i = 1, 2 , 3 fonksiyonu için kısmi türevler, ∂f ( x ) = 12 x1 − 2 x2 ∂x1 ∂f ( x ) = −2 x1 ∂x2 ∂f ( x ) = 4 x3 ∂x3 olup, ∂ f ( x) ∂ x1 12 x1 − 2 x2 ∂ f ( x) ∂ f ( x) = = −2 x1 ∂x ∂ x2 4 x 3 ∂ f ( x) ∂ x3 dır. 12 , ∂2f ∂2f = ( )3×3 = −2 2 ∂ xi∂ x j ∂x 0 −2 0 0 0 0 4 * a: n × 1 sabitlerin bir vektörü olmak üzere, ∂ ( a ′ x ) ∂ ( x ′a ) ∂ 2 (a ′ x) = =a , =0 ∂x ∂x ∂ x2 dır. 1 Örnek: a = 2 −3 , x1 x = x2 x3 , a ' x = x1 + 2 x2 − 3x3 , ∂ ( a ' x) ∂ x1 1 ∂ ( a ' x) ∂ ( a ' x) = =2=a x ∂x ∂ 2 − 3 ∂ ( a ' x) ∂ x3 * A: n × n tipinde simetrik bir matris olmak üzere ∂( x' A x ) ∂2 ( x' A x) = 2 Ax, = 2A ∂x ∂x2 dır. Örnek: f ( x1 , x 2 , x3 ) = x12 + 2 x 22 − 2 x1 x 2 + x1 x3 − 4 x 2 x3 karesel formu matris gösterimi ile 1 1 −1 2 A = −1 2 −2 1 −2 0 2 olmak üzere, 1 1 −1 2 x1 f ( x) = x′Ax = [ x1 x2 x3 ] −1 2 −2 x2 = x12 + 2 x22 − 2 x1x2 + x1x3 − 4 x2 x3 1 x −2 0 3 2 biçiminde yazılıp x e göre türevi alınırsa, 1 −1 1/ 2 x1 2 x1 − 2 x2 + x3 ∂ f ( x) = 2 A x = 2 −1 2 −2 x2 = −2 x1 + 4 x2 − 4 x3 ∂ x 1/ 2 −2 0 x3 x1 − 4 x2 elde edilir. 2 x1 − 2 x2 + x3 ∂ f ( x) = −2 x1 + 4 x2 − 4 x3 ∂ x x1 − 4 x2 vektörü, f fonksiyonunun kısmi türevlerinin vektörüdür. 2 ∂2f ∂2f =( )3×3 = −2 2 ∂ xi∂ x j ∂x 1 −2 1 4 −4 −4 0 olmak üzere bu, f fonksiyonunun ikinci mertebeden kismi türevlerinin matrisidir. Örnek: olsun. Y : n × 1 bir vektör X : n × p tipinde bir matris ve β: p ×1 tipinde bir vektör f (β) = Y − X β 2 = (Y − X β ) ′ ( Y − X β ) ifadesinin β ya göre türevi, f ( β ) = ( Y − X β ) ′ (Y − X β ) = ( Y ′ − β′ X ′ )( Y − X β ) = Y ′ Y − Y ′ X β − β′ X ′ Y + β′ X ′X β Y ′ X β ve β′ X ′ Y , 1 × 1 boyutlu olduklarından, Y ′ X β = ( Y ′ X β ) ′ = β′ X ′ Y olmak üzere, ve f ( β ) = Y ′ Y − 2 β′ X ′ Y + β′ X ′X β ∂f (β) = −2 X ′Y + 2 X ′X β ∂β dır. Bu türevi sıfıra eşitlersek, X ′X β = X ′Y denklemi elde edilir. Bu denklemin çözümü olan β vektörleri f (β) fonksiyonunun ekstremum noktalarıdır. ∂ 2 f (β ) ∂β2 = 2 X ′X olup, X ′X matrisi pozitif tanımlı olduğundan X ′X βˆ = X ′Y olacak şekilde β̂ çözümü için f ( βˆ ) minimum değerini almaktadır, yani min(Y − X β )′(Y − X β ) = (Y − X βˆ )′(Y − X βˆ ) β dır. Karesel formların beklenen değerleri Y : n × 1 boyutlu ve A : n × n simetrik bir matris olmak üzere bir rasgele vektör olmak üzere, ′ E (Y AY ) = tr [ACov(Y )] + E (Y )′ AE (Y ) ve Cov(Y ) = σ 2 I ve E (Y ) = 0 ise E (Y ′ AY ) = σ 2 tr ( A) dır. Bağımsızlık (normal dağılımlı rasgele vektörlerin lineer ve karesel formları) * Y ∼ N ( µ , Σ n×n ) , rank (Σ) = n olmak üzere, AY ile Y ′ BY bağumsız ⇔ A Σ B = 0 dır. * Y ∼ N ( µ , Σ n×n ) , rank (Σ) = n olmak üzere, Y ′ BY ile Y ′CY bağımsız ⇔ BΣC = 0 dır. Çoklu Lineer Regresyon Modelleri (Çok Açıklayıcı Değişkenli Lineer Regresyon Modelleri) Konuya geçmeden önce Basit Doğrusal Regresyon Modeli ile ilgili bir örneği göz önüne alalım. Örnek: Belli bir tür elmadaki meyve suyu miktarını, elmanın ağırlığına bağlı olarak incelemeyi düşünelim. Gerçekte, bir elmadaki meyve suyu miktarı sadece elmanın ağırlığına bağlı değildir, ama ağırlık ile meyve suyu arasında bir bağıntının varlığını kabul edip gözlemlerin bunu doğrulayıp doğrulamadığını, gözlemlerden çıkıp bir bağıntının bulunmasını ve bunların neticesinde ağırlığa bağlı olarak meyve suyu miktarını belirlemeyi (tahmin etmeyi) düşünebiliriz. Bu örnekteki açıklayıcı değişken olan elmanın ağırlığı ve açıklanan (bağımlı) değişken olan elmadaki meyve suyu miktarı birer rasgele değişkendir. Ağırlığı X , meyve suyu miktarını Y ile gösterirsek X ile Y ‘nin bir ortak dağılımı söz konusu olacaktır. E (Y / X = x ) = g ( x ) ifadesine Y nin X üzerindeki regresyon fonksiyonu (regresyon bağıntısı, regresyon denklemi) dendiğini ve X ile Y ‘nin ortak dağılımı normal olduğunda, E (Y / X = x ) = β0 + β1x biçiminde olduğunu hatırlatalım. ( X , Y ) ‘nin dağılımından n birimlik örneklem, ( X1, Y1), ( X 2 , Y2 ),..., ( X n , Yn ) olmak üzere, Yi = β 0 + β1xi + ε i , i = 1, 2,..., n , ε i ∼ N (0,σ 2 ), ε i 'ler bağımsız veya matris gösterimi ile Y1 1 x1 ε1 Y 1 x ε β0 2 Y = 2 , X = , β = , ε = 2 ⋮ ⋮ ⋮ ⋮ β1 Yn 1 xn ε n Y = X β + ε , ε ∼ N (0, σ 2 I ) yazabiliriz. Elmanın ağırlığı ( X ) ile elmadaki meyve suyu miktarı Y ‘nin ortak dağılımı normal olmayabilir. Bu durumda da, E (Y / X = x ) = β0 + β1x ve Yi = β 0 + β 1 xi + ε i , i = 1,2,..., n , E(ε i ) = 0 , Var (ε i ) = σ 2 , ε i 'ler bağımsız/ilişkisiz biçiminde bir Basit Doğrusal Regreson Modeli söz konusu olabilir. Amacımız, seçilen bir elma için X ‘in gözlenen değerine bağlı olarak Y ‘nin değerini tahmin etmek veya X = x olan elmaların koşullu ortalamasını (beklenen değerini) tahmin etmek olabilir. Çok Açıklayıcı Değişkenli Lineer Regresyon Modeli kavramını bir örnek ile açıklamaya çalışalım. Örnek: Belli bir mısır türünün verimini incelemeyi düşünelim. Verim, toprak ve hava ile ilgili birçok tabiat şartı yanında sulama, gübreleme, toprağı işleme gibi bazı etkenlere bağlıdır. Çok karmaşık olan gerçek dünyadaki ilişkilerden bazılarını ihmal ederek, verim ( Y ) için toplam yağış miktarına ( X1 kg / m2 ) , sıcaklık ortalamasına ( X 2 oC , bitkinin yetişmesi boyunca her gün bir defa ölçülen sıcaklıkların ortalaması), gübre miktarına ( X 3 kg / m 2 ) , bir metrekaredeki bitki sayısına ( X 4 ) bağlı olarak, E (Y / X 1 = x1 , X 2 = x2 , X 3 = x3 , X 4 = x4 ) = β 0 + β1 x1 + β 2 x2 + β3 x3 + β 4 x4 gibi bir regresyon fonksiyonu ve gözlemler için, Yi = β 0 + β1x1i + β 2 x2i + β3 x3i + β 4 x4i + ε i , i = 1, 2,..., n gibi bir modelin geçerli olduğunu düşünebiliriz. Y1 1 Y 1 2 Y= , X= ⋮ ⋮ Yn 1 x11 x21 x31 x12 ⋮ x1n x22 ⋮ x2 n x32 ⋮ x3n β0 x41 ε1 β 1 ε x42 , β = β2 , ε = 2 ⋮ ⋮ β3 x4 n ε n β 4 gösterimleri altında, bu model Y = Xβ + ε biçiminde yazılabilir. Gerçek dünyadaki olguların modellenmesi sırasında Y , X, β ‘nın modellenen olguya bağlı olarak kendine göre anlamları vardır. Bazı modellerde bağımlı değişken ( Y ) milli gelir, açıklayıcı değişkenler sanayi yatırımı ( X 1 ), sanayi destekleme kredisi ( X 2 ), tarım yatırımı ( X 3 ), tarım destekleme kredisi ( X 4 ), kamu harcamaları ( X 5 ) gibi değişkenler olabilir. Örneğin, ağırlık için açıklayıcı değişken olarak boy uzunluğu, kol uzunluğu, omuz çevresi, kalça çevresi gibi değişkenler göz önüne alınabilir. Y gerçek dünyada bir olgu ile ilgili bir özellik üzerinde yapılan n tane gözlemin oluşturduğu vektör ( n × 1 mertebeli vektör, rasgele vektör); X : n × p (n > p) açıklayıcı değişkenler ile ilgili gözlenen ya da tasarlanan matris (sabit sayıların matrisi); β : p ×1 bilinmeyen parametrelerin vektörü; ε : n×1 gözlenemeyen hata vektörü (rasgele vektör) olmak üzere, bunlar arasında, Y = Xβ + ε , E (ε ) = 0 , Cov(ε ) = Σ biçiminde varsayılan bağıntıya lineer model denir. Lineer Regresyon Modellerinde, E (Y / X 1 = x1, X 2 = x2 ,..., X p = xk ) = β 0 + β1x1 + β 2 x2 + ... + β k xk gibi bir regresyon bağıntısının varlığı öncelik taşımaktadır. Y = X β + ε lineer modelinde X β ‘ya modelin deterministik veya sistematik kısmı, Y ve ε ‘a da modelin stokastik kısmı denir. X matrisine tasarım matrisi, açıklayıcı değişkenlerin gözlem matrisi, bağımlı değişkenlerin gözlem matrisi gibi isimler verilmektedir. X matrisinin birinci sütunu bir’lerden oluştuğunda β parametre vektörünün birinci bileşeni β0 ile gösterilmekte ve sabit terim (intercept) ismini taşımaktadır. Lineer Regresyon Modelleri veya genel olarak Lineer Modeller pek çok özel hallere sahiptir. Bunlar, ε ‘nun dağılımına, Σ kovaryans matrisine, X in yapısına ve rankına bağlıdır. olduğunu kabul edeceğiz, yani Aksi belirtilmedikçe, rank ( X) = p modelimizdeki X matrisi tam sütun ranklı olacaktır. ε ‘nun dağılımı hakkında aşağıdaki üç durumu göz önüne alacağız: 1.Durum : ε ∼ N (0, σ 2I) 2.Durum: ε bilinmeyen bir dağılıma sahiptir ve E (ε ) = 0 , Cov(ε ) = σ 2I dır. Bu durumu ε ∼ (0, σ 2I) biçiminde göstereceğiz. 3. Durum: Cov(ε ) = σ 2 V , V bilinen pozitif tanımlı bir matris. Birinci durumda herbir εi , 0 ortalamalı bilinmeyen σ2 varyanslı normal dağılıma sahiptir ve ε i (i = 1,2,..., n) ‘ler bağımsızdır. Đkinci durumda, herbir εi nin beklenen değeri sıfır, εi ler ilişkisiz (uncorrelated) ve εi ler bilinmeyen aynı σ2 varyansına sahiptirler. Parametre Tahmini Bu derste, Y = X β + ε Lineer Modelinde, 1.Durum : ε ∼ N (0, σ 2I) 2.Durum : ε ∼ (0, σ 2I) 3.Durum : Cov(ε ) = σ 2 V , V : bilinen bir matris için parametre tahmini problemi ele alınacaktır. 1.Durum: Y = X β + ε , ε ∼ N (0, σ 2I ) Bu durumda, Y ∼ N ( X β , σ 2I) olmak üzere, σ2 ve β nın en çok olabilirlik (maximum likelihood) tahmin edicilerini bulalım. Olabilirlik fonksiyonu, L (β, σ ; Y ) = 2 1 − 1 2 e 2σ n 2 n/ 2 ( 2π ) (σ ) ( Y − X β ) ′ (Y − X β ) ve logaritması, n n 1 ln L (β , σ2 ; Y ) = − ln( 2 π ) − ln( σ2 ) − 2 (Y − X β)′ (Y − X β) 2 2 2σ n n 1 = − ln( 2 π ) − ln( σ 2 ) − ( Y ′ Y − 2Y ′ X β + β ′ X ′X β ) 2 2 2 2σ dır. Parametre kümesi, β1 β2 β 2 Θ = : β = , −∞ < βi < ∞ , i = 1, 2,..., p , σ > 0 σ 2 ⋮ β p üzerinde L(β, σ2 ) veya ln L (β, σ2 ) fonksiyonunu maksimum yapan β ve σ2 ‘yi bulmak için, ∂ 1 (ln L (β, σ2 ; Y )) = − 2 ( −2 X ′Y + 2 X ′X β) ∂β 2σ ∂ n 1 (ln L (β, σ2 ; Y )) = − 2 + (Y − X β)′ (Y − X β) 2 ∂σ 2σ 2 ( σ2 )2 birinci türevlerin sıfıra eşitlenmesiyle, 1 ( X ′Y − X ′X β ) = 0 σ 2 1 n (Y − X β )′(Y − X β ) = 0 − 2 + 2 2 2 σ 2( σ ) R| X ′X β = X ′Y S| σ2 = (Y − X β)′(Y − X β) n T denklem sisteminin normal denklemler ismini taşıyan, X ′X β = X ′Y denkleminden, βɶ = ( X ′X )−1 X ′Y (rank ( X n× p ) = p ) ve ikinci denklemden, σɶ 2 = (Y − X βɶ )′(Y − X βɶ ) n elde edilir. βɶ ve σɶ ’ye β ve σ2 ’nin en çok olabilirlik tahmin edicileri denir. 2 Tahmin Edicilerin Özellikleri Yansızlık: ∀ β ∈ R p×1 için, E ( βɶ ) = E (( X ′X ) −1 X ′Y ) = ( X ′X ) −1 X ′E (Y ) = ( X ′X ) −1 X ′E ( X β + ε ) = XX + β = β = ( X ′X ) −1 X ′X β =β olmak üzere βɶ , β nın yansız tahmin edicisidir. E (σɶ ) = E[ 2 ′ Y ( I − X ( X ′X )−1 X ′ ) Y ]= 1 ′ E[Y ( I − X ( X ′X ) −1 X ′ ) Y ] n n 1 = tr ( I − X ( X ′X ) −1 X ′ ) σ 2 I + ( X β )′ ( I − X ( X ′X ) −1 X ′ ) ( X β ) n 1 = tr[σ 2 ( I − X ( X ′X )−1 X ′ )] + 0 n 1 2 n− p 2 = σ ( n − p) = σ n n olmak üzere σɶ 2 , σ2 için yansız bir tahmin edici değildir. { } ′ Y ( I − X ( X ′X ) −1 X ′ ) Y n 2 σˆ = σɶ = n− p n− p 2 için, E (σˆ 2 ) = E ( n n σɶ 2 ) = E (σɶ 2 ) = σ 2 , ∀σ 2 > 0 n− p n− p olduğundan σˆ 2 tahmin edicisi yansızdır. σˆ 2 tahmin edicisine yansızlık için düzeltilmiş en çok olabilirlik tahmin edicisi denir. βɶ ‘yı da β̂ ile gösterelim. Bu gösterimler altında En Çok Olabilirlik Tahmin Edicileri, βˆ = ( X ′X ) −1 X ′Y σˆ 2 = Y '( I − X ( X ′X ) −1 X ′)Y n− p (yanlılığı düzeltilmiş) dır. Yeterlilik β̂ ve σˆ 2 istatistiklerinin yeterli istatistik olduklarını göstermek için Y nin olasılık yoğunluk fonksiyonunun, sadece βˆ , σˆ 2 , β , σ 2 ‘yi içeren bir fonksiyon ile sadece Y yi içeren bir fonksiyonun çarpımı olarak yazılabileceğini göstermeye çalışalım. f (Y ; β , σ2 ) = 1 − 1 2 e 2σ n 2 n/ 2 ( 2π ) (σ ) (Y − X β )′ (Y − X β ) ve (Y − X β )′(Y − X β ) = (Y − X βˆ + X βˆ − X β )′(Y − X βˆ + X βˆ − X β ) = (Y − X βˆ )′(Y − X βˆ ) + ( βˆ − β )′ X ′X ( β − βˆ ) = (n − p )σˆ 2 + ( βˆ − β )′ X ′X ( β − βˆ ) olmak üzere, f (Y ; β , σ ) = 2 1 (2πσ 2 ) n /2 − e 1 ( n − p )σˆ 2 + ( βˆ − β )′ X ′X ( β − βˆ ) 2σ 2 = g ( βˆ , σˆ 2 , β , σ 2 )h(Y ) biçiminde yazılabilir, burada h(Y ) ≡ 1 dır. βˆ ve σˆ 2 yeterli istatistiklerdir. Bu istatistiklerin tam (complete) istatistikler olduğu da gösterilebilir. Not: Bu sayfayı atlayabilirsiniz. Đnformasyon Matrisi ∂ 1 (ln L(β , σ 2 ; Y )) = 2 X ′(Y − X β ) ∂β σ ∂ n 1 (ln L(β , σ 2 ; Y )) = − 2 + 4 (Y − X β )′(Y − X β ) 2 ∂σ 2σ 2σ ve ∂2 1 (ln L(β , σ 2 ; Y )) = − 2 X ′X ∂β∂β ' σ ∂2 ∂β∂σ (ln L(β , σ 2 ; Y )) = − 2 ∂2 2 ∂σ ∂σ 2 (ln L(β , σ 2 ; Y )) = 1 2σ 4 n 2σ 4 X ′(Y − X β − 1 σ6 (Y − X β )′(Y − X β ) olmak üzere, ( I β, σ2 ) ∂ 2 ∂β∂β ' = E ∂ 2 ∂σ 2∂β ∂β∂σ 2 2 ∂ 2 2 ∂σ ∂σ ∂2 1 1 E − 2 X ′X E − 4 X ′(Y − X β 2σ σ = 1 n 1 E − X ′(Y − X β E 4 − 6 (Y − X β )′(Y − X β ) 2σ 4 2σ σ 1 2 X ′X σ = 0 0 n 2σ 4 dır. Buna göre, β parametre vektörünün yansız bir tahmin edicisinin varyanskovaryans matrisi için Rao-Cramer alt sınırı σ 2 ( X ′X )−1 dır. Cov( βˆ ) = Cov ( ( X ′X ) −1 X ′Y ) = ( X ′X )−1 X ' Cov(Y ) X ( X ′X ) −1 = σ 2 ( X ′X ) −1 olup, βˆ = ( X ′X ) −1 X ′Y en çok olabilirlik tahmin edicisi etkin’dir. Bir λ ' β lineer parametric fonksiyonun (LPF) yansız tahmin edicilerinin varyansı için Rao-Cramer alt sınırı σ 2λ '( X ′X )−1λ olmak üzere, ( ) ( ) Var λ ' βˆ = Var λ '( X ′X )−1 X ′Y = λ '( X ′X )−1 X ′Cov(Y ) X ( X ′X )−1λ = σ 2λ '( X ′X )−1λ olup, λ ' βˆ tahmin edicisi λ ' β için etkin’dir. βˆ ve σˆ 2 Đle Đlgili Dağılımlar Modelimiz, Y = X β + ε , ε ∼ N ( 0, σ 2 I ) olmak üzere, Y ∼ N ( X β, σ2 I ) dağılımlıdır. βˆ = ( X ′X ) −1 X ′Y olmak üzere, Y ‘nin lineer bir fonksiyonudur. Buna göre, E ( βˆ ) = ( X ′X ) −1 X ′E (Y ) = ( X ′X ) −1 X ′X β = β Cov( βˆ ) = ( X ′X ) −1 X ′Cov(Y )(( X ′X ) −1 X ′)′ = σ 2 ( X ′X ) −1 olup, βˆ ∼ N ( β , σ 2 ( X ′X ) −1 ) ve βˆi ∼ N ( βi , σ 2 cii ) , i = 1, 2,..., p dağılımlıdır. Burada cii , ( X ′X ) −1 matrisinin i. köşegen elemanıdır. σˆ 2 ile ilgili dağılım, (n − p )σˆ 2 ∼ χ (2n− p ) σ2 dır (ispatlanabilir). β̂ ile σˆ 2 ‘nin Bağımsızlığı βˆ = ( X ′X ) −1 X ′Y , σˆ 2 = 1 ′ Y I − X ( X ′X ) −1 X ′ Y n− p olmak üzere, ( X ′X )−1 X ′(σ 2 I )[ I − X ( X ′X )−1 X ′] = σ 2 [( X ′X )−1 X ′ − ( X ′X ) −1 X ′X ( X ′X ) −1 X ′] = 0 olduğundan β̂ ile σˆ 2 bağımsızdır. i = 1, 2 ,..., p için β̂ vektörünün bileşenleri için, ( βˆi − β i ) / σ cii (n − p )σˆ 2 σ2 dır. /(n − p ) = ( βˆi − β i ) ∼ t( n − p ) σˆ cii 2.Durum Y = X β + ε , ε ∼ (0, σ 2I) X 11 Y1 X Y 21 2 Y n×1 = , X= ⋮ ⋮ Yn X n1 X1p β1 ε1 ε ⋯ X2p β2 , rank ( X ) = p , β = , ε = 2 ⋮ ⋮ ⋮ ⋯ X np ε n β p n× p X 12 ⋯ X 22 ⋮ X n2 modelinde Y örneklem’inin (gözlem vektörü) dağılımı bilinmediğinde β ve σ2 parametreleri için en çok olabilirlik tahmin edicileri söz konusu değildir. ε ' ε = (Y − X β ) ′ (Y − X β ) karesel formunu minimum yapan, arg min (Y − X β ) '(Y − X β ) = βˆ β ∈R p×1 vektörüne β ‘nın En Küçük Kareler (EKK) tahmin edicisi denir. Optimizasyon probleminin çözülmesiyle, βˆ = ( X ′X ) −1 X ′Y olarak elde edilir. σ2 için yansız bir tahmin edici, ′ Y ( I − XX + )Y (Y − X βˆ )′(Y − X βˆ ) σˆ = = n− p n− p 2 dır. Bu tahmin ediciye alışılagelmiş olarak σ2 ‘nin en küçük kareler tahmin edicisi denir. β̂ ve σˆ 2 tahmin edicileri sırasıyla β ve σ2 için yansız tahmin ediciler olmak üzere, bu tahmin edicilerin dağılımları hakkında küçük örneklemler için herhangi bir şey söylenemez. Büyük örneklemler için (yani n → ∞ için) β̂ nın dağılımı yaklaşık olarak β ortalama vektörü ve σˆ 2 ( X ′ X )−1 kovaryans matrisi ile normal dağılıma sahip olduğu söylenebilir. Đspatsız olarak Gauss-Markov Teoremini verelim. Gauss-Markov Teoremi: Y = X β + ε , E(ε) = 0 , Cov(ε) = σ 2 I , rank ( X n× p ) = p modelinde ℓ′ β ‘nın en küçük varyanslı lineer yansız tahmin edicisi ℓ′ β̂ dır. Λ : r × p için Λβ ‘nın en küçük kovaryans matrisli lineer yansız tahmin edicisi Λβ̂ dır. Buradaki küçüklük sıralaması bir matris sıralamasıdır. Simetrik olan A ve B matrisleri için B − A pozitif tanımlı olduğunda A < B B − A pozitif yarı-tanımlı olduğunda A ≤ B densin. Buna Löwner sıralaması denir. Başka sıralamalar da tanımlanabilir. Y = X β + ε , E(ε) = 0 , Cov(ε) = σ 2 I , rank ( X n× p ) = p modelinde, ℓ′ β ‘nın en küçük varyanslı lineer yansız tahmin edicisi olan ℓ′ β̂ ‘ya en iyi lineer yansız (best linear unbiased, BLU) tahmin edici denir. Λβ ‘nın en iyi lineer yansız tahmin edicisi Λβ̂ dır. Λ = I alınırsa, β ‘nın en iyi lineer yansız tahmin edicisi β̂ olur. β ‘nın EKK tahmin edicisi en iyi lineer yansız tahmin edicidir (BLUE). Not: Bu sayfayı atlayabilirsiniz. 3.Durum: Y = X β + ε , ε ∼ N (0, σ 2V ) , rank ( X n× p ) = p modelinde, Vn × n bilinen, pozitif tanımlı bir matris olsun. Vn × n matrisi, rank( Gn × n ) = n olan bir G matrisi cinsinden, V = G ′G olarak ayrıştırılabilir. Modelin her iki tarafı soldan ( G′ ) −1 ile çarpılsın. (G ′)−1Y = (G ′)−1 X β + (G ′)−1 ε ve Z = ( G′ ) −1Y ∼ N (( G′ ) −1 X β, σ2 I ) η = ( G ′ ) − 1 ε ∼ N ( 0, σ 2 I ) A = ( G ′ ) −1 X olmak üzere, model Z = Aβ + η , η ∼ N (0, σ 2 I ) olarak yazılabilir. βˆ = ( A′A) −1 A′Z = ( X ′V −1 X ) −1 X ′V −1Y σˆ = 2 Z ′ I − A( A′A) −1 A′ Z n− p = Y ′ V −1 − V −1 X ( X ′V −1 X )−1 X ′V −1 Y n− p tahmin edicileri sırasıyla β ve σ2 için düzgün minimum varyanslı yansız (UMVU) tahmin edicilerdir. Bunlara Aitken tahmin edicileri denir. Ayrıca, βˆ ∼ N ( β , σ 2 ( X ′V −1 X ) −1 ) ve (n − p )σˆ 2 σ 2 ∼ χ (2n − p ) dağılımlıdır. Y = X β + ε , E (ε) ∼ 0 , Cov(ε) = σ 2V , V pozitif tanımlı bilinen matris , rank ( X n×p ) = p modelinde, βˆ = ( A′A) −1 A′Z = ( X ′V −1 X ) −1 X ′V −1Y tahmin edicisi β ‘nın en iyi lineer yansız (BLU) tahmin edicisidir. σ 2 için yansız bir tahmin edici σˆ = 2 dır. Y ′ V −1 − V −1 X ( X ′V −1 X ) −1 X ′V −1 Y n− p Uygulama 1. 2. >> y=[ 55 56 55 57 59 57 52 54 51 54] ; >> X=[ 1 1 1 1 1 1 1 1 1 1 4.5 5.5 6 7.5 9 6.5 2.5 3.5 1 4] ; >> betasapka=(X'*X)^(-1)*X'*y betasapka= 50.0971 0.9806 >> sigmakaresapka=y'*(eye(10)-X*(X'*X)^(-1)*X')*y/(10-2) sigmakaresapka = 0.3101 >> sigmakaresapka=(y-X*betasapka)'*(y-X*betasapka)/(10-2) sigmakaresapka = 0.3101 >> regress(y,X) ans = 50.0971 0.9806 >> help regress B = REGRESS(Y,X) returns the vector B of regression coefficients in the linear model Y = X*B. [B,BINT] = REGRESS(Y,X) returns a matrix BINT of 95% confidence intervals for B. [B,BINT,R] = REGRESS(Y,X) returns a vector R of residuals. [B,BINT,R,RINT] = REGRESS(Y,X) returns a matrix RINT of intervals that can be used to diagnose outliers. If RINT(i,:) does not contain zero, then the i-th residual is larger than would be expected, at the 5% significance level. This is evidence that the I-th observation is an outlier. [B,BINT,R,RINT,STATS] = REGRESS(Y,X) returns a vector STATS containing, in the following order, the R-square statistic, the F statistic and p value for the full model, and an estimate of the error variance. >> [sonuc1 sonuc2 sonuc3 sonuc4 sonuc5]=regress(y,X) sonuc1 = 50.0971 0.9806 sonuc2 = 49.1146 51.0796 0.8017 1.1595 sonuc3 = 0.4903 0.5097 -0.9806 -0.4515 0.0777 0.5291 -0.5485 0.4709 -0.0777 -0.0194 sonuc4 = -0.7362 1.7168 -0.7107 1.7301 -1.9444 -0.0168 -1.5971 0.6942 -0.9740 1.1293 -0.6545 1.7127 -1.6615 0.5644 -0.7313 1.6730 -1.1293 0.9740 -1.3075 1.2686 sonuc5 = 0.9523 159.7025 0.0000 0.3101 3. Yulaf bitkisinde ana sapta Tane Sayısı (Y) aşağıdaki değişkenler ile açıklanmak istensin. X1 - metre kare ( m2 ) de bitki sayısı X 2 - bitkide kardeş sayısı (parsel ortalaması) X 3 - ana sapta yaprak sayısı (parsel ortalaması) X 4 - bayrak yaprağı (en uçta bulunan yaprak) uzunluğu (mm) X 5 - bayrak yaprağı genişliği (mm) X 6 - bitki boyu (cm) X 7 - salkımdaki boğum sayısı (parsel ortalaması) Y - ana sapta tane sayısı (parsel ortalaması) Aşağıdaki verilerAnkara Üniversitesi Ziraat Fakültesi Tarla Bitkileri Bölümünde elde edilmiş olup, Dilek Güvenç, (1984) “Lineer Modellerde Parametre Tahmini ve Değişken Seçimi”, Doktora Tezi, Ankara Üniversitesi, Fen Fakültesi, Matematik Bölümü. çalışmasından alınmıştır. 24 ayrı parsel üzerinde gözlem yapılmış, ölçümler alınmış ve aşağıdaki veri ortaya çıkmıştır. X1 X2 X3 X4 X5 X6 X7 Y 143 4,0 4,7 200,1 13,2 117,6 4,7 59,7 150 3,7 4,3 201,7 13,8 108,6 4,2 51,1 143 3,3 4,1 169,1 12,5 99,6 4,2 50,6 152 4,1 4,2 175,0 11,9 103,9 4,2 52,8 149 3,0 4,3 200,6 13,9 99,8 4,4 52,6 153 3,4 4,4 188,0 12,5 103,6 4,1 55,5 180 3,7 4,3 166,2 12,5 96,0 3,9 50,7 178 3,2 4,3 173,2 12,8 101,2 4,4 54,1 153 4,2 5,1 215,5 14,1 114,0 4,9 54,7 154 2,9 5,3 247,4 18,9 142,8 6,2 79,6 165 2,9 4,7 280,1 17,8 135,6 5,1 65,7 124 3,4 4,8 278,4 18,5 137,4 5,4 78,2 114 2,7 4,8 250,0 18,1 118,9 5,7 99,9 133 3,4 4,9 322,6 18,4 150,3 5,4 86,4 180 2,5 5,0 278,3 17,8 130,0 5,5 77,5 130 3,7 4,8 275,2 17,6 142,7 5,5 90,7 172 3,2 4,8 295,5 18,5 123,5 5,7 94,3 119 3,1 4,5 274,3 18,3 126,3 5,6 95,9 138 3,0 4,5 344,3 18,5 111,5 6,0 120,2 145 3,0 4,2 196,1 15,7 105,6 4,8 58,1 137 2,5 4,6 344,3 21,3 122,2 6,3 125,6 175 3,1 4,0 173,3 15,2 104,3 4,9 62,4 123 3,2 4,0 199,7 16,2 112,9 5,2 77,6 140 2,3 4,0 287,9 23,6 99,9 5,8 110,1 Model: Yi = β 0 + β1 X1i + β 2 X 2i + β3 X 3i + β 4 X 4i + β5 X 5i + β 6 X 6i + β 7 X 7i + ε i , i = 1, 2,..., n Varsayımlar: 1) E (ε i ) = 0 , Var (ε i ) = σ 2 , i = 1, 2,..., n 2) ε1 , ε 2 ,..., ε n ‘ler bağımsız 3) ε1 , ε 2 ,..., ε n ‘ler normal dağılımlı. Minitab çıktısı: Regression Analysis: Y versus X1; X2; X3; X4; X5; X6; X7 The regression equation is Y = 19,7 - 0,133 X1 + 1,76 X2 - 10,8 X3 + 0,237 X4 - 0,83 X5 - 0,396 X6 + 23,9 X7