Basit ve Çoklu Regresyon

Regresyon Analizinin Amacı

Regresyon analizi, bir bağımlı (açıklanan) değişken ile bir veya daha fazla bağımsız (açıklayıcı) değişken arasındaki ilişkiyi matematiksel bir modelle ifade eder; bağımlı değişkenin değerinin tahmin edilmesini ve bağımsız değişkenlerin etkisinin ölçülmesini sağlar. Korelasyondan farkı, değişkenler arasında bir yön (bağımlılık) tanımlanması ve tahmin amacıyla kullanılmasıdır.

Basit Doğrusal Regresyon

• Model: Y = β₀ + β₁X + ε. β₀ sabit terim (X = 0 iken Y'nin beklenen değeri), β₁ eğim katsayısı (X'teki bir birimlik artışın Y'de yol açtığı ortalama değişme), ε hata terimidir.
• Tahmin edilen doğru: Ŷ = b₀ + b₁X.
• En küçük kareler (EKK) yöntemi: Gözlenen değerler ile tahmin edilen değerler arasındaki farkların (kalıntılar/artıklar) karelerinin toplamını en aza indiren doğruyu bulur. b₁ = Cov(X, Y) / Var(X); b₀ = ȳ − b₁x̄. Regresyon doğrusu (x̄, ȳ) noktasından geçer ve kalıntıların toplamı sıfırdır.

Modelin Uygunluğu

• Kareler toplamı ayrıştırması: KT_toplam = KT_{regresyon (açıklanan)} + KT_{hata (açıklanamayan)}.
• Belirlilik katsayısı (R²): KT_regresyon / KT_toplam; bağımlı değişkendeki değişimin model tarafından açıklanan oranı (0 ile 1 arasında). Basit doğrusal regresyonda R² = r².
• Düzeltilmiş R²: Çoklu regresyonda modele değişken eklendikçe R²'nin kendiliğinden artmasını, serbestlik derecesini dikkate alarak düzeltir.
• Tahminin standart hatası: Gözlemlerin regresyon doğrusu etrafındaki dağılımını ölçer.
• Anlamlılık testleri: Modelin bütün olarak anlamlılığı F testi ile; tek tek katsayıların anlamlılığı t testi ile (H₀: β = 0) sınanır.

Çoklu Doğrusal Regresyon

• Model: Y = β₀ + β₁X₁ + β₂X₂ + ... + β_kX_k + ε.
• Kısmi regresyon katsayısı: Diğer bağımsız değişkenler sabitken, ilgili bağımsız değişkendeki bir birimlik değişmenin Y üzerindeki ortalama etkisi.
• Kukla (gölge) değişkenler: Nitel değişkenlerin (cinsiyet, bölge) 0-1 değerleriyle modele dahil edilmesi; k kategori için k − 1 kukla kullanılır (kukla değişken tuzağından kaçınmak için).

Klasik Doğrusal Regresyon Varsayımları ve Sorunlar

• Doğrusallık, hataların ortalamasının sıfır ve normal dağılımlı olması.
• Sabit varyans (eş varyanslılık): İhlali değişen varyans (heteroskedasite); White, Breusch-Pagan testleriyle sınanır.
• Hataların bağımsızlığı: İhlali otokorelasyon (özellikle zaman serilerinde); Durbin-Watson testi ile sınanır (değer 2'ye yakınsa otokorelasyon yok).
• Çoklu doğrusal bağlantı (multicollinearity): Bağımsız değişkenler arasında yüksek ilişki; katsayıların standart hatalarını büyütür. Varyans şişirme faktörü (VIF) ile tespit edilir (genellikle 10'un üzeri sorunlu).
• Bu varsayımlar altında EKK tahmin edicileri en iyi doğrusal yansız tahmin edicilerdir (BLUE — Gauss-Markov teoremi).

Diğer Regresyon Türleri

Bağımlı değişkenin iki kategorili olduğu durumda lojistik regresyon, doğrusal olmayan ilişkilerde polinom veya logaritmik modeller (log-log modelde katsayılar esnekliktir) kullanılır.