RİDGE REGRESYON TEORİSİNDE 1970-2001 ARASINDAKİ GELİŞMELER

 

 

Prof.Dr. Fikri Akdeniz              Prof.Dr. Altan Çabuk

Çukurova Üniversitesi             Çukurova Üniversitesi

Fen Edebiyat Fakültesi      İktisadi ve İdari Bilimler Fakültesi

  Matematik Bölümü                  Ekonometri Bölümü

    01330 Adana                             01330 Adana

 

 

 

Özet

 

Hoerl ve Kennard  (1970a) da önerdikleri “ridge regresyon” yöntemiyle  tahmin edilen regresyon katsayılarının en küçük kareler yöntemiyle yapılan tahminlerden daha küçük hata kareler ortalamasına sahip olduklarını gösterdiler. Bu çalışmada (i) Teorideki gelişmeler ; (ii) Ridge regresyonda  yanlılık parametresi k’ nın ve genelleştirilmiş ridge regresyonda optimal ki parametrelerinin  seçim algoritmaları; (iii) En küçük kareler tahmin edicisi ve diğer yanlı tahmin edicilerle hata kareler ortalaması matrislerinin karşılaştırılması ;(iv)  Değişik disiplinlerden uygulama örnekleri verilecektir.

 

1.      GİRİŞ

 

Çoklu lineer regresyon tüm istatistik yöntemlerin en çok kullanılanlarından biridir. Veri analizi yapan bir araştırmacı tarafından bilim ve teknolojinin hemen hemen her alanında model kurmak için kullanılır. Regresyon katsayılarını tahmin etmek için kullanılan ortak yöntem en küçük kareler yöntemidir. Bununla birlikte kullanılan veri vektörleri  ortogonal olmadığında  deneyimler göstermiştir ki regresyon katsayılarının tahmin edilmesinde aşağıdaki problemler ortaya çıkmaktadır.

(i)                  Katsayılar mutlak değerce oldukça büyük olma eğilimindedir.

(ii)                Bazı katsayıların yanlış işaretli olması mümkündür.

(iii)               Korelasyon matrisinin öz değerlerinden biri veya daha çoğu çok küçük olacaktır (see  Foucart (1999).

Tahmin etmede kullanılan vektörler ortogonallıktan daha çok sapma gösterdiğinde bu tür güçlüklerin olasılığı artacaktır. Ayrıca tahmin etmede kullanılan vektörler arasındaki korelasyon yüksek ise yani çoklu iç ilişki ( mulcollinearity) varsa en küçük kareler yöntemi doğru yargıya varılabilecek sonuçlara götürmez.

İç ilişkinin derecesini göstermek için bir X matrisinin (ya da X¢X in) koşul sayısı (KS) kullanılır.l1,...,lp ler  X¢X in özdeğerleri olmak üzere KS= şeklinde tanımlanır. (Belsley, et. al. (1980 sayfa:100-104)  koşul sayısı  5 ve 10 arasında ise zayıf ilişki olduğu,KS nin değeri 30 dan 100 e doğru arttıkça  orta şiddette ilişkiden şiddetli ilişkiye  geçiş eğilimi vardır. Bazı araştırmacılar KS=() formülünü tercih etmektedirler. (Vinod ve Ullah(1981)).

 

 

Çoklu iç ilişkinin sonuçları

 

(i)                  En küçük kareler tahminleri tahmin edilen parametrelerin gerçek değerlerinden oldukça farklıdır.

(ii)                Tahminlerde yansızlık vardır, tahminlerin mutlak değerleri oldukça büyük ve varyansları da büyük, verideki çok küçük değişiklikle tahmin edilen parametrelerin işaretleri  değişir.

(i)                  Şiddetli çoklu ilişki altında parametre tahminleri kararsız olma eğilimi gösterecektir.. Tahminlerin geçerliliğini görmek için yeni örneklemler kullanıldığında tahminler şiddetle etkilenerek değişirler.

(ii)                Ayrıca çoklu iç ilişki varlığında farklı en küçük kareler bilgisayar algoritmaları

belirlenen model parametreleri için farklı tahminler ve işaretler verebilir.

Hoerl ve Kennard (1970a) böyle güçlükleri yenmek için teorik bir temele dayanan ve belirtilen kusurlara sahip olmayan “ridge regresyon” denen yeni bir tahmin yöntemi sundular.

            Bu çalışmada , 2. bölümde regresyon modelini ve tahmin edicileri vereceğiz. 3. bölüm  k yanlılık parametresinin optimum seçim yöntemlerinin incelenmesine ayrıldı. 4. bölümde ridge tahmin ediciler ile diğer yanlı tahmin edicilerin ve EKK tahmin edicisinin  karşılaştırılmasını yapacağız. Son bölümde ridge tahmin edicinin uygulandığı bazı   alanlardan örnekler vereceğiz.

 

1.      MODEL VE TAHMİN EDİCİLER

 

Çoklu lineer regresyon  için  aşağıdaki standart modeli düşünelim

 

y=X+u                                                                     (2.1)

 Burada X: nxp ve rank (X)=p, : px1,  E(u) =0, E(uu¢)= dir. Pek çok yazar verinin standartlaştırılmasını önerir. Öyleki X¢X korelasyon matrisi formundadır Verinin standartlaştırılmasının avantajı  regresyon katsayılarının karşılaştırılabilir sayısal birimlerle ifade edilebilmesidir. Dağılım gerekli ise u’ nun çok değişkenli normal dağılıma sahip olduğu kabul edilecektir. Hoerl ve Kennard (1970a) nın  parametreleri için önerdiği ridge tahmin edici

=(X¢X+kI)-1 X¢y          (k>0)                                  (2.2)

ile verilmiştir. k=0 için nın en küçük kareler (EKK) tahmin edicisi

=(X¢X)-1X¢y                                                             (2.3)

elde edilir. EKK tahmin edicisinin yansız olduğu bilinmektedir.  nın temel özelliklerinden biri yanlı olmasıdır. Yani

bias()=E ()-=-k(X¢X+kI)-1                          (2.4)

dir. Görüldüğü gibi eşitliğin ikinci yanı bilinmeyen parametresine bağlıdır. Ridge regresyonla ilgili pek çok teorik problemler bu nedenle ortaya çıkar. Ridge regresyonun diğer özelliklerini görmek için X matrisinin tekil değer ayrışımını ele alacağız (see Hoerl ve Kennard (1981)). X=H yazılabilir. Burada ,H: nxp, H¢H = I, L , X¢X in öz değerlerinin  köşegen matrisidir. G: pxp  G¢G=I koşulunu sağlayan gi öz vektörlerinin matrisidir. X¢X=GLG¢ dir. O halde (2.1) modelinden kanonik modele geçebiliriz:

y= H+u

  =Z.                                                                  (2.5)

Burada Z=,  dir.  nın EKK tahmin edicisi

=(Z¢Z)-1Z¢=L-1Z¢y                                                   (2.6)

ve genelleştirilmiş ridge tahmin edicisi

                       (2.7)

dir.Burada K=diag(k1,...,kp), ki. K=kI ,  kalınırsa , tahmin edici basit ridge tahmin edici veya ridge tahmin edici olarak tanımlanır ve

                       (2.8)

olur.(2.7) de    Z¢y=L olduğundan  (2.7) ve (2.8)  sırasıyla (L+K)-1L ve  (L+kI)-1L biçiminde yazılır. Görüldüğü gibi ridge tahmin edicileri  “shrunken” en küçük kareler tahmin edicileri olarak görülür.

Ridge tahmin edici için hata kareleri ortalaması (HKO) matrisi

E(L12 )= E()=E()=var(bias(

                                      =(L+K)L (L+K)+(I

biçiminde yazılır. Burada var(==(L+K)L (L+K), L  and bias()=E()-=dir.

D(MtxMSE (

      =L-1s2-[(L+K)L(L+K)+(I]

      =(L+K)-1K[s2(2I+L-1K)-K](L+K)-1                                    (2.9)

 dir. K=kI için

 

D(k(L+kI)-1[s2(2I+L-1k)-k](L+kI)-1                           (2.10)

yazılır. Burada Gk=(L+kI)-1 >0 olduğundan, D( (pozitif semi definit) olabilmesi için gerek ve yeter koşul

[s2(2I+L-1k)-k]                                                         (2.11)

dir.

TEOREM ((Farebrother (1976) and Gruber (1990)). d pozitif bir skaler ve A pozitif definit bir matris olsun. dA-bb¢ nin pozitif definit olabilmesi için gerek ve yeter koşul  b¢A-1bd  dir.

Ya da yukarıdaki (Gruber (1990) Teorem 2.5.2)  nin kullanılmasıyla

-2ka¢(2I+kL-1)-1a                                                          (2.12)

dir.(2.12) için yeter koşul olarak  model matrisi X ten bağımsız olarak

2s2I- kaa¢

elde edilir. Ya da eşdeğer olarak

k                                                                                 (2.13)

bulunur. Bu koşul  nın  ya üstünlüğü için yeter koşuldur, fakat gerekli değildir. Uygulamada bu koşul çok fazla ılımlıdır. ki=k, i=1,2,...,p  özel hali için

HKO()=mse()=                       (2.14)

olacaktır. Hoerl ve Kennard (1970a)   HKO()< HKO(= olacak şekilde daima bir  k >0  ın varlığını gösterdiler. Vinod ve Ullah (1981)  yanlılık parametresi k nın değerleri  için  0<k<kmax “kabul edilebilir aralık” tanımladılar. kmax= dır.

 

Rao (1976 ) da  G   n.n.d. matris olmak üzere

M={y, Xb, s2V}

modelini göz önüne alarak b  için

                                  bG( r ) =(G+ X¢V-1 X)-1X¢V-1 y                  (2.15)

genel ridge tahmin edici tanımladı. Markiewicz (1996) da  bu tahmin edicinin  singüler olmayan model olması durumunda tüm lineer tahmin ediciler kümesi içinde yeterlilik ve kabul edilebilirlik  durumunu incelemiştir.

 

 Hemen hemen yansız genelleştirilmiş ridge tahmin edici

 

Ohtani (1986)  de Kadiyala(1984) de önerilen bias düzeltme yaklaşımını  ve Singh , Chaubey ve Dwivedi (1986) Jackknife yöntemini kullanarak aşağıdaki hemen hemen yansız genelleştirilmiş ridge (HHYGR)  tahmin ediciyi verdiler.

Y=X  modelinden

Z=XG ve  dönüşümleriyle

Y=Z          (Z’Z=G’X’XG=)

modeline geçerek

 genelleştirilmiş ridge tahmin edici olmak üzere

yi tanımladılar. Ohtani (1986) kullanılabilir (operational) HHYGR tahmin edicinin  HKO özelliklerini inceledi.

 

Ön bilgi ile yansız ridge tahmin edici

 

Crouse , Jin ve Hanumara (1995) de ön bilgi ile birlikte yansız ridge tahmin edici tanımladılar ve ridge parametresi k nın robust tahminini önerdiler.

y=X+u modelinde  EKK tahmin edicisi  nın dağılımı N(b,s2 (X¢X)-1)   olmak üzere  dan bağımsız  J ön bilgisinin  N(b, V) dağılımına sahip olması durumunda , C=V(s2 (X¢X)-1+V)-1 olmak üzere b(C,J) = C şeklinde konveks tahmin edicinin b için yansız tahmin edici olduğunu gösterdiler. C nin optimal değeri için konveks tahmin edici minimum HKO na sahip olacaktır.Özel olarak V= seçilirse C=(X¢X+kI)-1 X¢X  olacağından konveks tahmin edici b(C,J)= (X¢X+kI)-1(X¢y+kJ) olacaktır. E[b(C,J)]= b olduğu gösterilir.

 

3.RİDGE REGRESYONDA OPTİMUM K SEÇİMİ

 

Lee ve Campbell (1985), Hoerl ve Kennard (1970a) i izleyerek en küçük kareler ve ridge tahmin edicileri için HKO yı göstermek üzere

M1()=                                                                  (3.1)

ve

fM1(k)=M1()=                 (3.2)

yi kullandılar.(3.2) denkleminde fM1(k) k=k* da yerel minimuma  sahipse k* ridge parametresinin optimal değeri olacaktır.

             ridge  tahmin edicisine optimal ridge tahmin edici denir.

fM1(k) nın k ya göre türevi alınırsa

f¢M1(k)=2

elde edilir. Sıfırdan farklı   lerin mutlak değerce maksimum olanını ile minimum olanını da ile göstererek k1=ve k2=tanımlayalım. f¢M1(k1)<0 ve f¢M1(k2)>0 olduğundan k1 ve k2 arasında olacak şekilde en az bir k* yerel minimumu olmak zorundadır. k* ın tek olmadığına dikkat edelim.

Hoerl ve Kennard (1970) yanlılık parametresinin seçimi için üç yöntem önerdiler.

i)                    Ridge trace yöntemi

ii)                   Basit ridge için k== nın kullanılması

iii)                 Genelleştirilmiş ridge için ki=üzerinde iterasyon yöntemi

Bu yöntemleri kısaca açıklayalım.

 

i)                    Basit ridge tahmin edicisinin kararlılığı ve ridge izi

 

Ridge izi , ridge ailesi içinde k için özel çözüm bulunmasında kullanılan grafiksel yöntemdir. Regresyon katsayıları  lar düşey eksende , k değerleri yatay eksende alınarak iki boyutlu uzayda grafik elde edilir. X¢X korelasyon matrisi pek çok büyük korelasyon içerdiğinde , basit korelasyon katsayılarının incelenmesiyle açıklayıcı değişkenler arasındaki ilişkiyi açığa çıkarmak güçtür. “Ridge izi” araştırmacıya hangi katsayıların verilere göre hassas olduğu konusunda yardımcı olur. Böylece , ridge regresyonun bir amacı hassaslık analizidir. Her bir katsayı için bir eğri ya da iz oluşur. .Görüldüğü gibi katsayının varyansı k nın bir azalan fonksiyonu ve bias k nın artan bir fonksiyonudur. .Böylece , k artarken katsayıların HKO sı minimuma azalır ve sonra artar. Amaç en küçük karelerden daha küçük  HKO veren k değerini bulmak ve “kararlı” katsayılar kümesini oluşturmaktır. .Kararlılıktan kasıt  tahmin etme de kullanılan verilerdeki küçük değişikliklere karşı katsayıların  hassas olmasıdır. Ön tahmin değişkenleri yüksek ilişkili iseler  katsayılar k nın sıfıra yakın değerlerinde çok hızlı değişecek ve k nın değerleri arttıkça kararlı olacaktır.  Katsayıların kararlı olduğu k değeri  istenen katsayılar kümesini verecektir.

Değişkenler ortogonal iseler katsayılar kararlı olacağından k nın değeri değiştikçe katsayıların değerleri çok az değişecektir.  Bu durumda en küçük kareler çözümü katsayıların iyi bir kümesini verir. Uygulamada bu yöntemle k nın seçimi sorun yaratmamaktadır. Araştırmacının deneyimi önemlidir.

 

(ii) Basit ridge regresyonda k nın seçimi için algoritma

 

Hoerl ve Kennard (1970a) k nın seçimi için algoritma geliştirmede aşağıdaki iki sonucun yararlı olduğunu ifade ettiler.

a)      X¢X =I iken, k= değeri için HKO  minimum değerini alır.

b)      Genellleştirilmiş ridge regresyonda ki=i=1,2,...,p için HKO minimum değerini almaktadır. ki ler bir tek k değeri bulmak için birleştirilirse  en uygun ortalama harmonik ortalama olacaktır. Bu ortalama kh ile gösterilirse

ve

                               kh =                                                    (3.3)

bulunur. Verilen bu iki sonuç k için yapılacak otomatik seçimin  nin bir tahmini olmasını vurgular. O halde

                                           ka==kHKB                                          (3.4)                                                      

seçilir. (bak, Hoerl ,Kennard ve Baldwin (1975)). Bu çalışmada geniş bir simulasyon çalışması yapılarak kHKB nin  çeşitli özellikleri incelenmiştir. Tamarkin (1982)  k nın bu seçim yöntemini irdelemiş ve simulasyon çalışması yapmıştır. Örneğin, literatürde Hald verileri olarak bilinen çimento  verileri kullanıldığında (Draper ve Smith (1981) sayfa. 630) s2= 0,0022 , p=4, ve (0,6065 ;0, 5279; 0,0434; -0,1602 ) elde edilir. (3.4) ü kullanarak

k*=ka==0,0131

bulunur. Bununla birlikte, içilişkinin varlığında büyük bir olasılıkla  büyük olacağından bu durumda çok küçük  k değerinin kullanılması eğilimi olacaktır.

 

Hoerl, Kennard ve Baldwin (1975)  in simulasyon sonuçları

 

1.   ka yanlılık parametresi ile ridge tahmin edicinin kullanılması 0,5 den büyük olasılıkla , EKK den küçük HKO li tahminler verir.

2.      p değeri artarken ka kullanarak daha küçük HKO elde edilmesi olasılığı da artar.

3.      p nin verilmiş değeri için ka nın kullanılmasıyla daha küçük HKO elde edilmesi olasılığı – X¢X nin özdeğerlerindeki yayılma artarken- artacaktır.

4.      Yapısı belli verilmiş bir X ve  regresyon katsayılarının kümesi için ile ölçülen , rasgele dağılımın değişkenliği artarken ka kullanılarak bulunan HKO nun daha küçük olması olasılığı da artar.

Hoerl ve Kennard (1970a) ka ile başlayarak kat ile gösterdikleri tahmin ediciyi hesaplamak için iteratif yöntem geliştirdiler. Ayrıca biliyoruz ki

E(

dir. Böylece  , den daha  büyük  ve X¢X matrisinin ( ill-conditioned ) koşul sayısının büyük olması durumunda ikisi arasındaki fark  artar. ile ridge  regresyona  dayalı  yi yer değiştirdiğimizde ¢ <  olacaktır. İterasyon da aynı strateji kullanacaktır.

Algoritma  nın tahminlerinin ve k nın değerlerinin dizisine dayalıdır.

;    , ;...;

 

½(ka,i+1- ka,i)½/ka,i

 

olduğunda ( göre) iterasyona son verilir. Burada T=trace(X¢X)-1 /p dir  (bak, Hoerl ve Kennard (1976)) . Hald verilerini tekrar kullanarak iteratif yöntemle k değerini belirleyelim. Önceden bulunan  başlangıç değeri ka0=0,0131 dir. T=trace(X¢X)-1 /p=155,619 ve d=20(155,619)-1,30=0,02827 dir. 2. iterasyon sonrasında

(ka2- ka1)/ka1=(0,0175225- 0,0173274)/0,173274= 0,0113< d=0,02827

bulunur. Böylece k*=ka1=0.01733 alınır.

 

Lawless ve Wang (1976) k yı

                                          kLW =                                        (3.5)

formülüyle hesapladılar ve simulasyon sonuçları verdiler. Dempster, Schatzoff ve Wermut (1977) de k yı

                                                                           (3.6)        

lineer olmayan denklemin çözümünden belirlediler ve kRIDGM olarak gösterdiler.Gosling ve Puterman (1985)  kHKB ve kRIDGM karşılaştırarak kRIDGM > kHKB sonucunu verdiler. Alam ve

Hawkes (1978)  aşağıdaki k için ridge tahmin ediciler sınıfını düşündüler:                                  k=aci  .                                                               (3.7)          

Burada a>0  , b>0, ci >0 i=1,2,3,...,p dir. a=p ,b=0 ve ci =1 için kHKB    ve a=p, b=0 ci=için kLW  elde edilir.

 

 nın beklenen değeri için üst sınır

 

Kadiyala (1981) de 

0< E( )

sınırlarını verdi. Firinquetti ve Rubio (2000)  de

E(

verilmiştir.r=1 için Kadiyala (1981) deki sonuç bulunur.

 

(iii)  Genelleştirilmiş ridge regresyonda ki lerin seçimi

 

ki lerin optimal değerleri için

Q=HKO(=E

ve

minimizasyon denklemleri bulunur. değerleri pozitif olduğundan

                                    ki=  i=1,2,...,p.                                      (3.8)

çözümleri bulunur. İteratif yöntemle ki ler tahmin edilir (Hemmerle (1975)).Troskie ve Chalton (1996) da  ki leri tahmin etmek için,

                                                                               (3.9)

ve Firinquetti (1999) da

                                                                       (3.10)

formüllerini önerdiler.

 

 

4. RİDGE REGRESYON TAHMİN EDİCİSİNİN VE DİĞER BAZI TAHMİN EDİCİLERİN HATA KARELERİ ORTALAMALARI MATRİSLERİNİN KARŞILAŞTIRILMASI

 

Theobald (1974)  EKK ve ORR tahmin edicilerini

mj=   E      j =1,2                                                     (4.1)

genelleştirilmiş hata kareleri ortalaması (g.h.k.o) kriterine göre karşılaştırdı. Burada B bir n.n.d. matristir. Ayrıca

 

Mj= E(  j=1,2,                                                            (4.2)

ikinci mertebeden momentler matrisi ile olan ilişkiyi aşağıdaki teoremle verdi.

TEOREM (Theobald (1974)). Aşağıdaki koşullar eşdeğerdir:

(i)                  M1-M2 n.n.d. matristir.

(ii)                Tüm n.n.d. B matrisleri için m1-m2  dır.

Böylece bir tahmin edicisinin g.h.k.o. anlamında bir tahmin edicisinden daha iyi olabilmesi için gerek ve yeter koşul M1 – M2  nin  pozitif definit olması , tüm n.n.d. B ler için m1 – m2 >0 ı gerektirir.

 

 ORR tahmin edicisi olmak üzere M(0)-M(k)  farkı pozitif definit olacak şekilde bir 0<k< k* sayısının olacağını gösterdi . Böylece yeter koşul olarak  k<  yı buldu. Gunst ve Mason (1976) da  Theobald’ın sonucuna ek olarak

(a)    EKK ve temel bileşenler regresyon tahmin edicilerini

(b)   Temel bileşenler ve ridge regresyon tahmin edicilerini karşılaştırdılar.

Trenkler (1980) de , X¢X nin en büyük özdeğeri olmak üzere

 

       (0 < < , m=0,1,... )                          (4.3)

biçiminde  iterasyon tahmin edici tanımlayarak  yukarıda verdiğimiz diğer tahmin edicilerle karşılaştırdı. Marquardt (1970 ) i izleyerek  temel bileşenler regresyon tahmin edicisi

                                                                                              (4.4)

 

şeklinde tanımlanır. Burada A+r  rankı r olan X¢X matrisinin Moore-Penrose genelleştirilmiş inversidir.

Baye ve Parker (1984) de  ridge ve temel bileşenler tahmin edicilerini birleştirerek aşağıdaki  (r,k) sınıfı tahmin edicileri tanımladılar.

= Tr (Tr¢X¢XTr+kIr)-1Tr¢X¢y      ,       k>0.

Burada T=(t1,...,tp), T¢X¢XT=L, Ldiagonal bir matris , Tr=(t1,...,tr), rp. Tr¢X¢XTr=Lr=diag(l1,...,lr) dir. Bu tahmin edici EKK, ridge ve temel bileşenler tahmin edicilerin üçünüde içerdiğinden genel tahmin edicidir. Yani:

(i)                        EKK tahmin edicisi

(ii)                  Ridge tahmin edicisi

(iii)                Tr (Tr¢X¢XTr)-1Tr¢X¢y  Temel bileşenler tahmin edicisi

Nomura ve Ohkubo (1985)   (r-k) sınıfı tahmin edicileri HKO kriterine göre basit ridge ve EKK  tahmin edicileri karşılaştırdılar.

 Sarkar (1996) HKO matrisini kullanarak bu yeni (r-k) sınıfı tahmin edicinin performansını  EKK, temel bileşenler tahmin edicisi ve basit ridge tahmin edici ile karşılaştırdı  ve bu amaç için gerek ve yeter koşulları buldu.. Ayrıca düşünülen durumlarda istenen koşulların sağlanıp sağlanmadığını belirlemek için testler önermiştir.

Trenkler (1984) de homoscedasticity  varsayımı sağlanmadığında

Y=X

lineer regregyonda yanlı tahmin edicilerin performansını görmek amacıyla HKO matrislerini karşılaştırmıştır.

Trenkler (1985) de kovaryans matrislerin farkı singüler matris olması durumunda  HKO matrisleri farkına dayalı olarak  verdiği teoremlerin pre-test  tahmin ediciler için uygulanabileceğini gösterdi.

Singh ve Chaubey (1987) de ki> (3/2)  olduğunda HKO(<HKO(olacağını gösterdiler.Bu sonucu  Theobald’ın verdiği sonuçla birleştirdiğimizde  (3/2)< ki <2  iken HKO(<HKO(<HKO( elde edilir.

Singh ve Chaubey (1987) de  EKK tahmin edicisi ve genelleştirilmiş ridge tahmin edicinin konveks kombinasyonunu alarak L=diag(a1,...,ap)  , 0<ai<1 olmak üzere

geliştirilmiş ridge tahmin edici  tanımladılar. Sabit K için bu yeni tahmin ediciyi  genelleştirilmiş ridge tahmin edici ve hemen hemen yansız genelleştirilmiş ridge tahmin edici ve EKK tahmin edicisi ile HKO kriterine göre karşılaştırdılar.

Nebebe ve Sim (1990) da K  nın bilinmeyen parametrelerin tahminlerine bağlı olduğu durum için genişlettiler. Ridge tahmin edicilerin HKO nın daha güvenilir tahminlerini bulmak için bootstrap yöntemi önerdiler.

Chawla ve Jain (1988) de basit ridge regresyon  tahmin edici ile genelleştirilmiş ridge regresyon tahmin ediciyi HKO matrisi kriterine göre karşılaştırdılar.

 

Sarkar (1992) de , EKK tahmin edici olmak üzere  stokastik olmayan  kısıtlaması altında S=X¢X olmak üzere

-1R(

kısıtlanmış EKK tahmin edicisini kullanarak

 kısıtlanmış ridge regresyon tahmin ediciyi tanımladı. Bu yeni tahmin ediciyi kısıtlanmış EKK tahmin edicisi ile karşılaştırdı. .

Kaçıranlar , Sakallıoğlu ve Akdeniz (1998) de  Swindel (1976) da önerilmiş olan

b(k,b*)= (X¢X+kI)-1 (X¢y+kb*)

 modifiye edilmiş ridge regresyon tahmin edicisini ve .kısıtlanmış ridge regresyon tahmin edicisini HKO matrisi kriterine göre karşılaştırdılar.

Sakallıoğlu ve Akdeniz (1998) de

G= ;; 0<h<

şeklinde yeni bir iterasyon tahmin edici tanımlayarak genelleştirilmiş inverse tahmin edici  adını verdikleri bu tahmin edici ile EKK tahmin edicisini  HKO matrisi kriterine göre karşılaştırdılar.

Troskie ve ark. (1994) de y=Xb+u modeli ile birlikte Hb+v=h stokastik ön bilgiyi düşündüler. Her ikisini birleştirerek

modelinden elde edilen Aitken tahmin edicisinin özel hali olarak  ridge tahmin ediciyi elde edip ridge rezidüleri incelediler.

Chipman (1999) da

,    ,     

stokastik kısıtlamalar altında

biçiminde genelleştirilmiş ridge tahmin edici tanımladı. Burada dir. Genellikle bilinmemektedir.  için bildiğimiz basit ridge tahmin edici bulunur. Chipman kısıtlanmış genelleştirilmiş EKK ve genelleştirilmiş ridge tahmin edicilerini HKO matrisi kriterine göre  karşılaştırdı.

Saleh ve Kibria (1993) de b üzerinde  Rb=r şeklinde  ek bilgiye sahip olma durumunda

b*=-S-1  R¢(RS-1 R¢)-1 (R-r)

kısıtlı EKK tahmin edicisini kullanarak tanımlanan

pre-test tahmin ediciyi ve Sarkar (1992) de tanımlanan

 

kısıtlı ridge regresyon tahmin ediciyi kullanarak aşağıdaki gibi pre- test ridge regresyon tahmin edici tanımladılar:

Ho:  ya da  durumlarında kovaryans matrislerine ve HKO kriterine göre  ve  tahmin edicileri karşılaştırdılar.

 Akdeniz (2001)  de  H0:  hipotezi altında

Var (- Var ( nın n.n.d. olması için gerek ve yeter koşulun  olduğunu gösterdi. Burada      M=2I+kS-1     ve          N=(SB+BS+kB)Gq+2,n-p(l1,a;0),

B=S-1R¢(RS-1R¢)-1RS-1 dir. Yani  nin  dan daha kötü olmadığına ilişkin örnekleme varyanslarına dayalı kriter verilmiştir. Burada M p.d. bir matris ve N simetrik bir matristir. Ayrıca  durumunda da  benzer sonuç çıkarılmış ve Saleh ve Kibria(1993) deki hatalı sonuç belirtilmiştir.

Sakallıoğlu , Kaçıranlar ve Akdeniz (2001) de

=(X¢X+kI)-1 X¢y          (k>0)

ridge regresyon tahmin edicisi ve Liu (1993) de tanımlanan

yanlı tahmin edicinin (Liu tahmin edici olarak isimlendirilen)  ikinci mertebeden moment matrislerini (HKO matrisleri) kullanarak d  ve k nın çeşitli değerleri için karşılaştırdılar. Ayrıca benzer karşılaştırma Trenkler (1980) de verilen iterasyon tahmin edici ile de yapıldı. Karşılaştırmalar grafiksel olarak gösterildi.

Akdeniz ve Erol (2001) de  =(X¢X+K)-1 X¢y genelleştirilmiş ridge regresyon tahmin edici ile genelleştirilmiş Liu tahmin ediciyi HKO matrisi kriterine göre karşılaştırdılar. Ayrıca benzer karşılaştırmalar hemen hemen yansız genelleştirilmiş ridge tahmin edici

ile  Akdeniz ve Kaçıranlar(1995) de tanımlanan hemen hemen yansız genelleştirilmiş Liu tahmin edici

için yapıldı. Burada  L köşegen elemanları li , i=1,2,...,p ler olan bir köşegen matristir.

 

Kullanmaya hazır (Operational, feasible, adaptive) genelleştirilmiş  ridge regresyon tahmin edici ve özellikleri

 

=(X¢X+K)-1 X¢y  genelleştirilmiş ridge tahmin edicide  ki ler yerine ki(opt)= i=1,2,...,p koyulduğunda s2 ve bi ler bilinmediğinden kullanışsız  bir tahmin edici bulunur. Bu nedenle bu parametreler

S2=

ve  tahmin edicileri ile yer değiştirilir. Böylece =(X¢X+)-1 X¢y kulanılabilir genelleştirilmiş ridge tahmin edici (KGRTE) bulunur. Bu yerine koyma bir tahmin edicinin optimallık özelliklerini bozar. Dwivedi ,Srivastava ve Hall (1980) de  bu tür tahmin edicinin ilk iki momentini elde edip merkezi olmama parametresi ve serbestlik derecesinin çeşitli değerleri için  relatif HKO  ve relatif yanlılık teriminin  durumunu incelediler. Srivastava ve Chatuverdi (1983) KGRTE’ nin dağılım özelliklerini, Srivastava ve Giles (1991) KGRTE’ nin  HKO nın yansız tahminini, Ohtani (1993)  dağılım ve yoğunluk fonksiyonlarını verdiler.

 

5.RİDGE TAHMİN EDİCİNİN UYGULANDIĞI ALANLAR

 

Ridge regresyon yönteminin uygulama alanlarının içinde , kimya mühendisliği , hava kirliliği, jeoloji, botanik, ekonomi, pazarlama, sosyoloji, hidroloji , meteoroloji ve diğer bir çok disiplin sayılabilir.

Miller (1972) aggregate veri kullanarak seçmenlerle ilgili değişkenlik ölçümlerini incelerken verideki içilişkinin etkisini azaltmak için ridge regresyonu kullanmıştır. Anderson ve Scott (1974) hidrolojik açma-kapama -kontrol modeline ridge regresyon analizini uyguladılar.  Kontrol değişkenlerinin iki kümesini kullanarak bir nehir üzerindeki iki açma-kapama istasyonunu incelediler : Ön tahmin yeteneği bakımından  ridge regresyon analizi ile basit regresyon analizini karşılaştırdılar. Motor yağı sıcaklığı ,tasarım ve motor çalıştıran yedi değişkenin lineer regresyonu ile ilişkilidir. Bu durumu gözönüne alarak açıklayıcı değişkenler arasında korelasyonların olması nedeniyle Gallopoulos (1974) ridge regresyon analizini kullandı. Brown ve Beattie (1975) üretim fonksiyonlarının uygulamalarında ekonomik parametrelerin tahminlerinin iyileştirilmesi için ridge regresyonu kullandılar. Gapinski ve Tuckman (1976) 1961-1974 yılları arasında Florida’daki turist trafiğinin  analiziı ve ön tahmini için seyahat isteği fonksiyonlarının incelenmesinde ridge kriterini kullandılar. Hızlı bir biçimde değişen ekonomik koşullar altında ekonometrik modellerin oluşturulmasında ekonometristler  bağımsız değişkenler arasında içilişkiden kuşkulanabilirler .Bu durumu düşünerek Watson ve White (1976)  faiz oranlarının değişken yapı göstermesi durumunda para talebinin tahmin edilmesi amacıyla ridge regresyonu kullandılar. Mahajan, Jain ve Bergier (1977) pazarlama modellerinde regresyon katsayılarının tahmininde , veride içilişki olması durumunda EKK tahmin yönteminin şişirilmiş tahminler vermesinin bir sonucu olarak ridge regresyon yöntemini kullandılar ve ridge regresyon analizinin yararını belirttiler. Kitanidis ve Bras (1979) yağış miktarı- yağmur sonrası suyun emilmeden toprak üstünde kalan kısmı, ile ilgili istatistiksel modellerde açıklayıcı değişkenler arasında kaçınılmaz korelasyonların varlığında  ridge regresyon tekniğini kullanarak tahminde kararlılık durumunu incelediler. Meisner (1979) kısa dönem kayıtlarından uzun dönem yağış miktarlarını tahmin etmek için ridge regresyonu kullandı. Maclaren (1980)  İngiltere’de etlerin toptan satış fiyatlarının tahmin edilmesinde  ridge regresyonu kullandı. Çabuk ve Çabuk (1991) 1986-1988  dönemindeki 31 aylık  reklam harcamaları ve satış değerlerinden oluşan verileri kullanarak  translog satış-reklam modeli kurdular. Standartlaştırılmış modelde X’X  matrisinin en büyük öz değerinin en küçük öz değerine oranı (5, 3646)/(0,0125)=429 olduğundan  çoklu içilişki problemi vardır. Bu nedenle parametre [W1] [W1][W2] [W2]tahminleri için ridge regresyon yöntemini kullandılar.

 

 

KAYNAKLAR

Akdeniz , F. and Kaçıranlar , S. (1995). On the almost unbiased generalized Liu estimator

     and  unbiased estimation of the bias and MSE.  Commun. Statist.–Theory Meth., 24(7),

     1789-1797.

Akdeniz, F., Erol, H.  and Öztürk, F. (1999).MSE comparisons of some biased estimators in

     linear regresson model.Journal of Applied  Statistical Science, 9(1), 73-85.

Akdeniz, F. (2001). More on the pre-test estimator in ridge regression. (Submitted for

    publication

Akdeniz , F. and Erol, H. (2001). Ridge  ve Liu tahmin edicilerin hata kareleri ortalaması

    matrislerinin  karşılaştırılması. 2. İstatistik Kongresi, 2-6 Mayıs 2001, Belek, Antalya.

Alam, K. and Hawkes, J. S. (1978). Estimation of regression coefficients. Scand. J. Statist., 5,

     169-172.
 Anderson , D. A. and Scott , R.G.(1974). The application of  ridge  regression analysis to a

       hydrologic target- control model. Water Resources Bulletin, 10, 680-690.

Baye, M. R.  and Parker, D. F.  (1984). Combining ridge and principal component

      regression.  Commun. Statist.-Theory  Meth., 13(2), 197-205.

Belsley, D. A.,  Kuh,E. And Welsch, R. E. (1980). Regression diagnostics identifying

     influential data and sources of collinearity. John Wiley& Sons, New York.

Brown, W. G. and Beattie, B. R. (1975). Improving estimates of economic parameters by use

    of ridge regression with production function applications. American Journal of

    Agricultural  Economics, 57, 21-32.

Chawla , J. S. and Jain, R. K. (1988).  Superiority of generalized ridge estimator over

     ordinary ridge estimator. Metron,  Vol. XLVI, 141-146.

Chipman, J. S.  (1999). Linear restrictions, rank reduction, and biased estimation in linear

      regression. Linear algebra and its Applications ,289, 55-74.

Crouse , R. H. and Jin, C., and Hanumara , R. C. (1995). Unbiased ridge estimation with
     prior information and ridge trace. Commun. Statist.-Theor. Meth., 24(9), 2341-2354.
Çabuk, A. ve Çabuk, S. (1991). Bir işletmede reklamın satışlar üzerindeki etkisinin translog

     satış reklam modeli ile incelenmesi. Çukurova Üniversitesi Sosyal Bilimler Enstitüsü

     Dergisi, 3(3), 115-125.

Demmpster, A. P. Schatzoff, M. and Wermut, N.  (1977). A simulation study of alternatives

     to ordinary least squares. Journal  of the American Statistical Association, 72, 77-91.

Draper, N. R.  and Smith, H. (1981). Applied Regression Analysis, (2nd Ed.) New York: John

     Wiley.

 Farebrother, R. W. (1976). Further results on the mean square error of ridge regression.

      Journal of Royal Statistical Society, B.38, 248-250.

Firinquetti, L.  (1999). A generalized ridge regression estimator and its finite sample

     properties. Commun. Statist. – Theory  Meth. 28(5), 1217-1229.

Firinquetti , L. and Rubio, H. (2000). A note on the moments of stochastic shrinkage

      parameters in ridge regression. Commun. Statist.-Simula. ,29(3), 955-970.

Foucart,  Thierry (1999). Stability of the  inverse correlation matrix. Partial ridge regression.

     Journal of Statistical Planning and Inference 77, 141-154.
 Gallopoulos, N. E.  (1974). Temparatures of fluids in passenger car power trains. Society of

      Automotive  Engineers. Reprint# 740407 Automotive Engineering Congress, February .

Gapinski , J. H. and Tuckman, H. P.  (1976). Travel demand functions for Florida-bound

      tourists. Transportation Research, 10, 267-274.

 Gosling, B. J. and Puterman, M. L. (1985) Ridge estimation in regression problems with

     autocorrelated errors: A monte carlo study. Commun. Statist.- Simula. Computa. 14(3),

     577-613..

Gruber, M. H. J. (1990). Regression estimators A  Comparative  Study. Academic Press,

      Boston.

Gruber, M. H. J . (1998). Improving Efficiency by Shrinkage: The James- Stein and Ridge

      Regression Estimators.  Marcel Dekker, Inc. New York.

Gunst, R. F.and Mason, R. L. (1976). Generalized mean squared error properties of

     regression  estimators. Commun. Statist. – Theory  Meth. A5(15), 1501-1508.

Hemmerle , W. J. (1975). Relations between ridge regression and eigenanalysis of the

      augmented correlation  matrix. Technometrics, 17, 477-480

 Hoerl, A.E.  and Kennard, R. W. (1970a). Ridge regression. Biased estimation for non-

     orthogonal problems. Technometrics, 12, 55-67.

Hoerl,A. E. ,Kennard, R. W. and Baldwin , K. F. (1975) . Ridge regression: Some

      simulations. Communications in Statistics ,4(2), 105-123.

Hoerl , A. E. and Kennard, R. W.  (1976). Ridge regression : Iterative estimation of the

       biasing parameter. Commun. Statist.- Theory Meth. A5(1), 77-78.

Hoerl, A. E. and Kennard, R. W. (1981). Ridge regression-1980 Advences, Algorithms, and

       Applications. American Journal of Mathematical and Management Sciences, 1(1), 5-83.

Kaçıranlar, S. Sakallıoğlu , S. and Akdeniz, F (1998). Mean squared error comparisons of the

       modified ridge regresssion estimator and the restricted ridgeregression estimator.

     Commun. Statist.–Theory Meth, 27(1), 131-138.

Kadiyala, K. (1984). A class of almost unbiased and efficient estimators of regression

     coefficients. Economic Letters, 16,293-296.

 Kadiyala , K. (1981). Bounds for the biasing parameter in ridge regression. Commun.

     Statist.-Theory  Meth, ,A10,2369-2372.

Kitanidis, P. K.  and Bras,  R. L. (1979).  Collinearity and stability in the estimation of

     rainfall-runoff model parameters. Journal of Hydrology, 42, 91-108.

Lawless, J. F. and Wang, P. (1976). A simulation study of ridge and other regression

     estimators. Commun. Statist. A5, 307-323.

Lee, T. Z. And Campbell, D. B. (1985) Selecting the optimum K in ridge regression.

     Commun. Statist.- Theory Meth. 14(7), 1589-1604

Liu, Ke Jian (1993). A new class of biased estimate in linear regression. Commun. Statist. –

     Theory  Meth., 22, 393-402.

Mahajan, V.  Jain, A. K.  and Bergier, M.(1977). Parameter estimation in marketing models

     in  the presence of multicollinearity: An application of ridge regression. Journal of

     Marketing  Research.,14, 586-591.

Maclaren, D. (1980) .  Forecasting wholesale prices of meats  in the United Kingdom by

     ridge  regression. Journal of Agricultural Economics, XXXI, 15-27.

Markiewicz, A. (1996). Characterization of general ridge estimators. Statistics & Probability

     Letters 27, 145-148.
Marquardt, D.W. (1970). Generalized inverses, ridge regression, biased linear estimation, and
      nonlinear estimation. Technometrics, 12, 591-612.

Meisner, B. N. (1979). Ridge regression—time extrapolation aplied to Hawaiian rainfall

     normals. Journal of Applied Meteorology, 18, 904-912.

Miller, W. L.  (1972). Measures of electral change using aggregate data. Journal of the Royal

      Statistical Society , Series A, 135, 122-142.

Nebebe, F.  and Sim, A. B. (1990). The relative performances of improved ridge estimators

     and an emprical Bayes estimator: Some monte carlo results. Commun. Statist. – Theory

     Meth.  ,19(9), 3469-3495.

Nomura, M.  and Ohkubo, T. (1985). A note  on combining ridge and principal component

      regression. Commun. Statist.-Theory  Meth., 14,  2489-2493.
Ohtani, K (1986). On small sample properties of the almost unbiased generalized ridge
     estimator. Commun. Statist.-Theor. Meth. 15(5), 1571-1578.
 Ohtani, K.  (1993). Distribution and density functions of the feasible generalized ridge

     regression estimator. Commun. Statist.–Theory Meth, 22, 2733-2746.

Rao, C. R. (1976). Estimation of parameters in a linear model. Ann. Statist. 4, 1023-1037. Sakallıoğlu, S.  and Akdeniz, F. (1998). Generalized inverse estimator and comparison with

      least squares estimator. Turkish Journal of Mathematics , 22(1), 77-84.

Sakallıoğlu, S.  Kaçıranlar, S.  and Akdeniz, F. (2001). Mean squared error comparisons of

    some biased regression estimators. Commun. Statist. –Theory Meth., 30(2), 

Saleh, A. K. Md. E.  and Kibria,B. M. G. (1993). Performance of some new preliminary test

    ridge regression estimators and their properties. Commun. Statist. –Theory Meth., 22(10),

    2747-2764.

Sarkar, N.  (1992). A new estimator combining the ridge regression and the restricted least

     squares methods  of estimation. Commun. Statist.-Theory  Meth. 21(7), 1987-2000.

Sarkar, N. (1996). Mean square error matrix comparison of some  estimators in linear

     regressions with multicollinearity. Statistics & Probability Letters 30, 133-138.

 Singh, B., Chaubey, Y.P.  Dwivedi , T.D. (1986).  An almost  unbiased ridge estimator.

     Sankhy, Ser. B. 48, 342-346.

Singh, B. and Chaubey, Y.P. (1987). On some improved ridge estimators. Statistische Hefte,

      28, 53-67.

 Srivastava ,V.K. and Chaturvedi, A. (1983). Some properties of the distribution of an

      operational ridge estimator. Metrika, 30, 227-237.

Srivastava, V. K.  and Giles , D.E.A. (1991) . Unbiased estimation of the mean squared error

      of the feasible generalised ridge regression estimator. Commun. Statist.-Theory Meth.,

      20(8), 2375-2386

Swindel , B. F. (1976). Good ridge estimators based on prior information. Communications.

      in Statistics, 11, 1065-1075.

Tamarkin,  M. (1982). A simulation study of the stochastic ridge k . Commun. Statist.-

     Simulation and Computation.11(2), 159-173

Theobald, C. M. (1974). Generalizations of mean square error applied to ridge regression.

       Jour. Royal Stat. Soc Series B ,36, 103-106.

Trenkler, G.  (1980).  Generalized mean squared error comparisons of biased regression

      estimators. Commun. Statist.-Theory  Meth. A9(12), 1247-1259.

Trenkler, G. (1984). On the performance of biased  estimators in the linear regression  model

       with correlated or heteroscedastic  errors. Journal of Econometrics 25, 179-190.

Trenkler, G. (1985). Mean square error matrix comparisons of estimators in linear

      regression. Commun. Statist.- Theory Meth. 14(10), 2495-2509.

Troskie , C.G., Chalton, D. O., Stewart, T. J. and  Jacobs, M.(1994). Detection of outliers and

      influential observations in regression analysis using stochastic prior information.

     Commun. Statist. – Theory  Meth. 23(12), 3253-3476.

Troskie , C. G. and Chalton, D.O. (1996) . A Bayesian estimate for the constants in ridge

       regression. South African Statist. J. 30, 119-137 .

Vinod, H. D.  and Ullah, A. (1981). Recent Advances in Regression Methods, New York:

       Dekker.

Watson, D. E.  and White, K. J.  (1976). Forecasting the demand for money under changing

      term structure of interest rates: An application of ridge regression. Southern Economic

      Journal, 43, 1096-1105.

 

 [W1]

 [W2]