YANLI KESTİRİCİLERİN BİR SINIFI VE BU SINIF İÇİN TANILAMA ÖLÇÜLERİ

A. Seda TOPÇUBAŞI* ve Nedret BİLLOR

Çukurova Üniversitesi

Balcalı, Adana

ÖZET

Çoklu lineer regresyonda; ön kestiriciler arasında lineer bağımlılık olması ve sapan değerlerin varlığı durumunda en küçük kareler analizi tutarlı sonuçlar vermemektedir. Ön kestiricilerin (açıklayıcı değişkenler) lineer bağımlı olması durumunda, en küçük kareler kestiricisine alternatif olabilecek çeşitli yanlı kestiriciler vardır. Lee ve Birch (1988) yanlı kestiricilerin büyük bir bölümünü (ridge , genelleştirilmiş ridge , ana bileşenler , ondalıklı rank ve Stein kestiricisi) içine alan bir sınıf tanımladılar. Bu çalışmada yanlı kestiricilerin bir kısmını içeren bu sınıfa, Liu ve genelleştirilmiş Liu kestiricileri de dahil edilmiştir. Ayrıca bu sınıfta yer alan yanlı kestiricilerin kullanılması durumunda, veride tekli ve çoklu satır etkisinin belirlenmesi için tanılama ölçüleri verilerek; elde edilen ölçüler hesaplama kolaylığı ve yeni ölçülerin elde edilmesini sağlayacağı düşüncesiyle tek sınıfta toplanmıştır.

1. GİRİŞ

En küçük kareler (E.K.K.) kestiricisi, regresyon analizinde bilinmeyen parametrelerin kestirilmesi için kullanılan en yaygın kestirim yöntemlerinden biridir. Ancak E.K.K. kestiricisi, bir takım temel varsayımların sağlanması durumunda sağlıklı sonuçlar verebilmektedir. Özellikle gözlemler ve ön kestiriciler üzerindeki varsayımlar sağlanmadığında en küçük kareler kestiricilerinin kararlı, küçük varyanslı ve dolayısıyla iyi kestiriciler olma özelliği bozulur.

Ön kestiriciler matrisinin kolonlarının doğrusal bağımsız olması varsayımı en küçük kareler kestiricisinin tekliği için gerekli olan temel varsayımlardandır. Kolonlar arasında yaklaşık bir doğrusal ilişki olması iç ilişki problemi olarak isimlendirilir. Dolayısıyla veride önemli derecede iç ilişki problemi varsa E.K.K. kestiricisine alternatif olarak önerilebilen, iç ilişki problemine daha dayanıklı çok sayıda yanlı kestirici vardır (Stein, 1960; Hoerl ve Kennard, 1970,a,b; Marquardt, 1970; Liu, 1993). Bu yöntemlerden elde edilen kestiricilerin istatistiksel özelliklerinin araştırılması ve bu kestiricilerin karşılaştırılması işlemlerini kolaylaştıracağı düşüncesine dayalı olarak yanlı kestiricilerin büyük bölümünün tek bir sınıfta toplanması üzerinde çalışmalar yapılmıştır (Hocking ve ark. ,1976 ; Lee ve Birch, 1988).

E.K.K. kestiricisi için temel varsayımlardan birisi de tüm gözlemlerin regresyon sonuçları üzerinde eşit etkili olması varsayımıdır. Veri kümesinde diğer gözlemlerden farklı davranan gözlemler sapan değer (outlier) olarak isimlendirilir ve bu tip gözlemlerin belirlenmesi regresyon analizinde oldukça önemlidir. Sapan değerlerin belirlenmesine ilişkin; bir ve birden fazla satırın etkisini saptamak üzere pek çok tanılama ölçüsü verilmiştir (Belsley ve ark, 1980 ; Cook ve Weisberg, 1982 ; Atkinson, 1985; Chatterjee ve Hadi, 1988 ). Hesaplama kolaylığı ve yeni ölçülerin tanımlanmasını sağladığı düşüncesiyle bu ölçülerin büyük bir kısmını içeren J_I sınıfı verilerek bu sınıf üzerinde çeşitli çalışmalar yapılmıştır (Hadi ve ark. , 1995 ; Jones ve Ling, 1988).

Veri kümesinde iç ilişki probleminin ve sapan değerlerin aynı anda bulunması karşılaşılabilecek bir diğer önemli problemdir. Bu durumda, öncelikle iç ilişki problemini indirgemek ya da ortadan kaldırmak için E.K.K. kestiricisi yerine yanlı kestiriciler kullanılmalıdır. İç ilişki problemine çözüm olarak önerilen yanlı kestiricilerin kullanımı durumunda ise sapan değerlerin belirlenebilmesi için tanılama ölçülerine gereksinim duyulur. Literatürde yanlı kestiriciler için tanılama ölçülerine ilişkin az sayıda çalışma vardır (Walker ve Birch, 1988 ; Walker, 1990 ; Chalton ve Troskie, 1992 ; Akdeniz, 2001). Bu çalışmada E.K.K. kestiricisi için verilen tanılama ölçülerinden yararlanarak, yanlı kestiriciler için tanılama ölçüleri verilmiştir.

Bu çalışmanın ikinci bölümünde yanlı kestiricilerin bir sınıfı verilmiş, üçüncü bölümde bu sınıf kestiriciler için tanılama ölçüleri tanımlanarak bu ölçüler J_I^* adı verilen bir sınıfta toplanmıştır. Verilen yöntemlerin uygulanabilirliği bir veri kümesi kullanılarak dördüncü bölümde gösterilmiştir.

2. GENEL YANLI KESTİRİCİLER

Standart çoklu doğrusal regresyon modeli:

y=Xb+e (1)

formunda olup, X; nxp tipinde bilinen ön kestiricilerin merkezileştirilmiş ve ölçeklendirilmiş (korelasyon formunda) matrisi, b ; px1 tipinde bilinmeyen regresyon katsayılarının, e ; nx1 tipinde E(e)=0 ortalamalı ve Var(e)=s²I varyans-kovaryans matrisli rastgele hataların vektörleridir. X¢X matrisinin özdeğerleri, (genelliği kaybetmeksizin) l₁>l₂>l₃...>l_p>0 ve L; köşegen elemanları X¢X matrisinin özdeğerleri olan pxp tipinde köşegen matristir.

X=[X₁ X₂ X₃ ... X_p] ön kestiricilerin matrisi olmak üzere eğer hepsi birden sıfır olmayan c₁,c₂,...c_p sayıları için c₁X₁+ c₂X_{2 +……+} c_pX_p » 0 oluyorsa, X matrisinin kolonları yaklaşık olarak doğrusal bağımlıdır ve dolayısıyla veri kümesinde iç ilişki problemi söz konusudur. İç ilişki problemi, en küçük kareler kestiricisinin boyunun (normunun) büyümesine; varyansının ve gerçek b parametresi ile arasındaki uzaklığın artmasına neden olur. Olumsuz etkileri nedeniyle veride ciddi bir iç ilişki probleminin olup olmadığı analiz öncesinde araştırılmalıdır. X¢X matrisinin l_j » 0 olacak şekildeki bir özdeğeri varsa; V_j bu özdeğere karşılık gelen özvektör olmak üzere XV_j»0 olup bu küçük özdeğer iç ilişki probleminin göstergesidir. Bu nedenle özdeğerlere dayalı olarak hesaplanan koşul sayısı ve koşul indisleri iç ilişki probleminin önemli belirleyicilerindendir. Bu belirleyicilerin iç ilişki problemini işaret etmesi durumunda daha küçük varyanslı bir kestirici elde etmenin bir yolu, b nın kestiricisinin yansız olması özelliğini değiştirmektir. b parametresinin, ^* gibi öyle bir yanlı kestiricisi bulunabilir ki; yansız dan daha küçük varyansa sahiptir. Hata kareler ortalaması (MSE); b ve ^* arasındaki uzaklığın karesinin beklenen değeri olup, ^* yanlı kestiricisi için MSE(^*)=E[(^*- b)¢(^*- b)] şeklindedir. Hata kareler ortalaması ^* kestiricisi varyans ve yanlılık teriminin karesinin toplamı olarak;

MSE(^*)=trace(Var(^*))+[(E(^* )-b)¢ (E(^*)-b)] (2)

şeklinde verilir. Yanlı kestirim yöntemlerinde amaç; yanlılık terimi kullanarak varyansı daha küçük bir kestirici elde etmektir. Buna bağlı olarak yanlı kestirici için daha dar güven aralıkları elde edilecek ve böylece özellikle iç ilişkinin varlığı durumunda b parametresinin daha uygun bir kestiricisi elde edilmiş olacaktır. En yaygın olarak kullanılan yanlı kestiriciler; ridge, genelleştirilmiş ridge, ana bileşenler, ondalıklı rank, Stein, Liu ve genelleştirilmiş Liu kestiricileridir.

Yanlı kestiricilerin istatistiksel özelliklerinin araştırılması ve bu kestiricilerin karşılaştırılmasını kolaylaştıracağı düşüncesine dayalı olarak bu kestiricilerin büyük bölümü tek bir sınıfta toplanmıştır (Hocking ve ark. ,1976; Lee ve Birch, 1988). V; pxp tipinde kolonları X¢X matrisinin özdeğerlerine karşılık gelen normalleştirilmiş özvektörler olan ortogonal matris, Z=XV ve a=V¢b olmak üzere (1) ile verilen modelin kanonik formu;

y=Za +e (3)

şeklindedir. Bu durumda X¢X matrisinin spektral ayrışımı X¢X=VLV¢ ve (Z¢Z)^-1=L^-1 olmak üzere a parametresinin E.K.K. kestiricisi;

=(Z¢Z) ^-1Z¢y=L^-1Z¢y (4)

ile verilir. Buradan (1) modelinin E.K.K. kestiricisi; =V olarak elde edilir.

q_i=(_{1 2}..._i 0 0...0)¢; i=1,2,...,p yani ilk i elemanı kanonik modelin en küçük kareler kestiricisi ile aynı olan vektör olsun. Dikkat edilirse q_i vektörleri lineer bağımsız p vektördür. Dolayısıyla (q₁, q₂,...,q_p); p boyutlu uzay için baz olarak düşünülebilir. a parametresinin kestiricileri de p boyutlu uzayda vektörler olduğundan, q_i vektörlerinin lineer kombinasyonu olarak yazılabilir. Başka bir deyişle a’ nın herhangi bir kestiricisi;

q_i=diag [(a₁+a₂+...+ a_p) (a₂+a₃ ...+a_p) (a₃+a₄+ ...+a_p).... a_p]

şeklindedir. Burada a_i ler önceden hesaplanmış sabitlerdir ve bu sabitlerin farklı seçimleri ile a parametresinin farklı kestiricileri elde edilebilir.

Tanım 1 : f_i= ve F=diag( f₁, f₂ ,..., f_p ) olmak üzere, ^*=F şeklinde yazılan kestiriciye a parametresinin genel yanlı kestiricisi denir. F matrisinin farklı seçimleri ile elde edilen kestiricilerin oluşturduğu sınıf ise genel yanlı sınıf olarak isimlendirilir.

Lee ve Birch (1988), Tanım 1 ile verilen kestiriciye “ondalıklı ana bileşenler kestiricisi” adını vermişlerdir. İki yanlı kestiricinin isminin birleştirilmesi ile elde edilen bu isim, tüm yanlı kestiricileri ifade etmekte yeterli olmadığından bu çalışmada ondalıklı ana bileşenler kestiricisi yerine, genel yanlı kestirici ifadesi kullanılacaktır.

E(^*)-a = - (I_p - F)a olup ^* kestiricisi yanlı bir kestiricidir (F¹I_p). Bu nedenle f_j’ ler yanlılık parametresi ve F matrisi de yanlılık matrisi olarak isimlendirilir. Genel yanlı kestirici için hata kareler ortalaması;

MSE(^*)=E[(^*-a)¢(^*-a)]=s² (5)

olarak elde edilir. j=1,2,...,p için f_j®0 iken Var(a_j^*) ®0 ; bias²(a_j^*) ®a_j² ve eğer f_j®1 ise Var(a_j^*)= Var(_j) ile bias²(a_j^*) ®0 olacaktır.

f_j yanlılık parametrelerinin optimal değeri, MSE(^*) yı minimum yapacak şekilde elde edilir. Bunun için MSE(^*) nın f_j’ ye göre (j=1,2,...,p) türevi alınıp, sıfıra eşitlenirse optimal yanlılık parametresi;

f_j⁰== (6)

olarak elde edilir (t_j²=a_j²l_j /s²; j=1,2,...,p). Genel yanlı kestiricinin hesaplanabilmesi için optimal f_j⁰ değerleri (j=1,2,...,p için) bilinmelidir. Ancak (6) ile verilen optimal yanlılık parametresi formülü bilinmeyen kitle parametreleri içerdiğinden kullanılmaz. Bu nedenle optimal f_j⁰ değerinin elde edilmesi için önerilen çeşitli yaklaşımlar vardır:

· Birinci yaklaşım Hoerl ve Kennard tarafından (1976) optimal k için verilen iteratif yöntemi esas alır. (6) ile verilen formülde; t iterasyon sayısını göstermek üzere, yerine en küçük kareler kestiricisi s² ; a_j² yerine _R(t)¢_R(t)/p (_R(t) ; t-inci iterasyonda elde edilen ridge kestiricisi) yazılırsa;

f_j,Ridge(t+1) = (7)

elde edilir (t=0,1,...). t=0 için _R(0)= yani ridge kestiricisi yerine, a’ nın E.K.K. kestiricisi kullanılacaktır. İteratif işleme; ridge kestiricisinin uzunluğu sabitleninceye kadar devam edilir (Lee ve Birch, 1988).

· İkinci yaklaşım; t=0 için ridge kestiricisi yerine, a’ nın E.K.K. kestiricisini kullanmanın iç ilişki problemi durumunda güvenilir olmadığı düşünülerek önerilmiştir. Bu yaklaşım da başlangıç değer olarak ana bileşenler kestiricisini ve her iterasyon için yerine s²(t)=[y-Z_R(t)]¢ [y-Z_R (t)]÷ (n-p) ifadesini kullanır ve t-inci iterasyonda elde edilen yanlılık parametresi f_j,PCV(t+1) ile gösterilir. Bu değer iteratif olarak hesaplanabileceği gibi, tek iterasyon sonucunda hesaplanan değer de kullanılabilir (Lee ve Birch, 1988). Yapılan simulasyon çalışmalarında (Lee, 1986) genel olarak bir yöntemin diğerinden daha iyi olmadığı sonucuna ulaşılmıştır.

Bu yöntemlere ek olarak, yine k değeri için verilen iteratif yönteme benzer yeni bir yöntem önerilebilir. (7) ile verilen formülde _R(t)¢_R(t)/p yerine *(0)= olmak üzere *(t)¢¢*(t)/p (*(t); f_j*(t) yanlılık parametreleri kullanılarak elde edilen genel yanlı kestirici); s² yerine s²(t) yazılırsa f_j,*_PCV(t+1) ile gösterilen f_j,PCV(t+1) yaklaşımına benzer başka bir yaklaşım;

f_j,*_PCV(t+1= (8)

şeklindedir.

(6) ile verilen optimal f_j⁰ değeri, (5) ile verilen MSE(^*) formülünde yerine yazılıp, gerekli işlemler yapılırsa;

MSE()- min MSE(^*)= (9)

elde edilir. Dikkat edilirse (9) ile verilen fark 0< f_j<1 olmak üzere her zaman pozitiftir. Ayrıca bu farkın l_j ile ters orantılı olduğu görülür. Başka bir deyişle X¢X matrisinin özdeğerleri küçüldükçe (kötü koşulluluk arttıkça); kestiricisinin MSE değeri ile ^* kestiricisinin MSE arasındaki fark artacak, böylece MSE kriterine göre ^* kestiricisi kestiricisinden daha iyi bir kestirici olacaktır.

Kanonik model için a parametresinin genel yanlı kestiricisi ^* olmak üzere (1) modeli için b parametresi için genel yanlı kestirici;

^*=V F