Ekonometria. Modelowanie zmiennej jakościowej. Jakub Mućk. Katedra Ekonomii Ilościowej

Ekonometria Modelowanie zmiennej jakościowej Jakub Mućk Katedra Ekonomii Ilościowej Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 1 / 25

Zmienna jakościowa Zmienna ilościowa może zostać zmierzona w skali. Zmienna jakościowa to zmienna, która jest niemierzalna ilościowo i której pomiar polega na przypisaniu do grupy z daną cechą. Zmienne jakościowe: uporządkowane (np. poziom wykształcenia), nominalne (np. ukończenie studiów wyższych). Zmienna binarna (zero-jedynkowa, indykatorowa): przyjmuje wartość 1 jeżeli jednostka spełnia warunek/posiada daną cechę oraz 0 w przeciwnym przypadku (w.p.p.). Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 2 / 25

Zmienna jakościowa jako zmienna objaśniająca (przykład z PoE). PRICE = f (SQFT, D, ε) (1) gdzie PRICE to cena domu, SQFT to powierzchnia domu a zmienna D: { 1 jeżeli dom leży w pożądanej okolicy, D = 0 jeżeli dom leży w niepożądanej okolicy. Grupą referencyjna odnosi się do przypadku D = 0. (2) Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 3 / 25

Zmienna jakościowa jako zmienna objaśniająca (przykład z PoE). PRICE = f (SQFT, D, ε) (1) gdzie PRICE to cena domu, SQFT to powierzchnia domu a zmienna D: { 1 jeżeli dom leży w pożądanej okolicy, D = 0 jeżeli dom leży w niepożądanej okolicy. Grupą referencyjna odnosi się do przypadku D = 0. Przypadek # 1: PRICE (2) wtedy: PRICE = β 0 + β 1SQFT + β 2D + ε E (PRICE) = { β0 + β 1SQFT + β 2 dla D = 1, β 0 + β 1SQFT dla D = 0. β 0 + β 2 β 2 β 0 SQFT Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 3 / 25

Zmienna jakościowa jako zmienna objaśniająca (przykład z PoE). PRICE = f (SQFT, D, ε) (1) gdzie PRICE to cena domu, SQFT to powierzchnia domu a zmienna D: { 1 jeżeli dom leży w pożądanej okolicy, D = 0 jeżeli dom leży w niepożądanej okolicy. Grupą referencyjna odnosi się do przypadku D = 0. (2) Przypadek # 2: PRICE = β 0 + β 1SQFT + β 2DSQFT + ε wtedy: E (PRICE) = { β0 + (β 1 + β 2)SQFT dla D = 1, β 0 + β 1SQFT dla D = 0. PRICE β 2 β 0 SQFT Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 3 / 25

Zmienna jakościowa jako zmienna objaśniająca (przykład z PoE). PRICE = f (SQFT, D, ε) (1) gdzie PRICE to cena domu, SQFT to powierzchnia domu a zmienna D: { 1 jeżeli dom leży w pożądanej okolicy, D = 0 jeżeli dom leży w niepożądanej okolicy. Grupą referencyjna odnosi się do przypadku D = 0. Przypadek # 3: PRICE (2) PRICE = β 0 + β 1SQFT + β 2 + β 3DSQFT + ε wtedy: E (PRICE) = { β0 + β = 2 + (β 1 + β 3)SQFT dla D = 1, β 0 + β 1SQFT dla D = 0. β 0 + β 2 β 2 β 3 β 0 SQFT Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 3 / 25

Zmienna indykatorowe a szeregi czasowe Częstotliwość roczna: wykorzystanie zmiennych indykatorowych w celu identyfikacji/ kontrolowania okresów o szczególnym charakterze. Przykład: gdzie: y t = β 0 + β 1D Crisis t + k β ix i,t i=2 }{{} pozostałe zmienne egzogeniczne { D Crisis 1 dla okresów kryzysu, t = 0 w.p.p. +ε t (3) Częstotliwość miesięczna/kwartalna: podobnie jak w przypadku częstotliwości rocznej oraz kontrola sezonowości: Przykład: gdzie: y t = β 0 + β 1D Q1 t + β 2D Q2 t + β 3D Q3 t + k i=4 { D Q1 1 dla obserwacji w I kw., t = 0 w.p.p. β ix i,t + ε t (4) Interpretacja zmienncyh indykatorowych powinna się odwoływać do okresu referencyjnego. Uwaga o współliniowości. Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 4 / 25

Zmienna binarna jako zmienna objaśniana W regresji liniowej zainteresowanie badawcze skupia się na rozkładzie warunkowym średniej wartości zmiennej objaśnianej względem zmiennych objaśniających. Specyfika zmiennej binarnej uniemożliwia powyższe podejście. W modelach zmiennej binarnej, zainteresowanie koncentruje się na prawdopodobieństwie wystąpienia zdarzenia. Standardowe modele pozwalające wytłumaczyć prawdopodobieństwo:... Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 5 / 25

Zmienna objaśnina y jako suma wartości oczekiwanej oraz składnika losowego: y = E (y) + ε = p + ε (5) Prawdopodobieństwo zdarzenia y = 1: E (y) = p = β 0 + β 1x 1 + β 2x 2 +... + β k x k (6) : y = β 0 + β 1x 1 + β 2x 2 +... + β k x k + ε (7) Parametry β 0, β 1,..., β k mogą zostać oszacowane MNK (lub UMNK). Interpretacja oszacowań parametrów strukturalnych odwołuje się do prawdopodobieństwa. Przykład: wzrost x 1 o jednostkę zwiększa prawdopodobieństwa wystąpienia zdarzenia skfantyfikowanego jako y o ceteris paribus β 1. Punkty procentowe a procenty. Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 6 / 25

Wartości teoretyczne, tj. prognozy in-sample, mogą być poza przedziałem (0, 1). Ilustracja Brak interpretacji miar dopasowań modelu do danych, np. współczynnika R 2. Problem heterogeniczności składnika losowego. Brak normalności składnika losowego. Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 7 / 25

Przykład empiryczny: Cola czy Pepsi? Specyfikacja modelu: coke = β 0 + β 1pratio + β 2disp_coke + β 3disp_pepsi + ε. (8) Zmienna objaśniana: coke = { 1 jeżeli klient wybrał Colę, 0 jeżeli klient wybrał Pepsi. (9) Zmienne objaśniające: pratio - cena relatywna Coli względem Pepsi, disp_coke: { 1 jeżeli Cola jest reklamowana w czasie zakupu, disp_coke = 0 w przeciwnym przypadku. disp_pepsi: disp_pepsi = { 1 jeżeli Pepsi jest reklamowana w czasie zakupu, 0 w przeciwnym przypadku. (10) (11) Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 8 / 25

Przykład empiryczny Zmienna jakościowa Wyniki oszacowań parametrów liniowego modelu prawdopodobieństwa. Zmienna objaśniana: coke ˆβ i se ( ˆβi ) statystyka t Pr( β i 0) pratio 0.401 0.061 6.53 0.000 disp_pepsi 0.166 0.036 4.65 0.000 disp_coke 0.077 0.034 2.24 0.025 const 0.890 0.065 13.59 0.000 Dodatkowe informacje: Średnia artmetyczna zmiennej objaśnianej: 0.447 Statystyka F (3, 1136): 51.67 [0.000] Współczynnik determinacji R 2 : 0.12 Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 9 / 25

Rozkład logistyczny Zmienna jakościowa Funkcja gęstości prawdopodobieństwa: f (x, µ, s) = gdzie x (, ) oraz: µ R - parametr położenia, s R - parametr skali. Dystrybuanta: Wartość oczekiwana: F (x, µ, s) = exp ( (x µ) s ) s [ 1 + exp ( (x µ) s 1 1 + exp ( (x µ) s )] 2, (12) ), (13) E (x) = µ. (14) Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 10 / 25

Rozkład logistyczny Zmienna jakościowa Gęstość pradopodobieństwa Dystrybuanta rozkładu logistycznego f(x) 0.00 0.05 0.10 0.15 0.20 0.25 F(x) 0.0 0.2 0.4 0.6 0.8 1.0 4 2 0 2 4 4 2 0 2 4 x x f (x) = exp( x) (1 + exp( x)) 2 (15) 1 F (x) = (1 + exp( x)) (16) Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 11 / 25

Rozkład logistyczny Zmienna jakościowa Gęstość pradopodobieństwa Dystrybuanta rozkładu logistycznego f(x) 0.0 0.1 0.2 0.3 0.4 0.5 F(x) 0.0 0.2 0.4 0.6 0.8 1.0 6 4 2 0 2 4 6 x 4 2 0 2 4 x (i) µ = 0 oraz s = 1, (ii) µ = 0 oraz s = 2, (iii) µ = 0 oraz s = 0.5. Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 11 / 25

Rozkład logistyczny Zmienna jakościowa Gęstość pradopodobieństwa Dystrybuanta rozkładu logistycznego f(x) 0.00 0.05 0.10 0.15 0.20 0.25 F(x) 0.0 0.2 0.4 0.6 0.8 1.0 4 2 0 2 4 (i) µ = 0 oraz s = 1, (ii) µ = 1 oraz s = 1, (iii) µ = 1 oraz s = 1. x 4 2 0 2 4 x Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 11 / 25

Zmienna jakościowa Prawdopodobieństwo p: p = exp (β0 + β1x1 +... + β kx k ) 1 + exp (β 0 + β 1x 1 +... + β k x k ). (15) Prawdopodobieństwo zdarzenia przeciwnego, tj. 1 p: 1 p = 1 1 + exp (β 0 + β 1x 1 +... + β k x k ). (16) Logit, czyli logarytm naturalny ilorazu p i 1 p: ( ) p ln = β o + β 1x 1 +... + β k x k. (17) 1 p p (0, 1) Ilustracja Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 12 / 25

Metoda Największej Wiarygodności Funkcja wiarygodności: L (x 1,..., x n, θ 1,..., θ k ) = gdzie x 1,..., x n - obserwacje zmiennych, θ 1,..., θ k - szacowane parametry, f (x i, θ 1,..., θ k ) - funkcja gęstości. Rozwiązanie układu równań: Dla modelu liniowego: β MLE = β OLS n f (x i, θ 1,..., θ k ) (18) i=1 i {1,...,k} ln L x i = 0. (19) Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 13 / 25

- iloraz szans Iloraz szans (odds ratio): odds ratio: = Pr[y = 1 x i = 1] Pr[y = 0 x i = 1] }{{} iloraz szans po zwiększeniu x i o 1 Pr[y = 1 xi = 0] Pr[y = 0 x i = 0] } {{ } iloraz szans 1 = exp(β i) Interpretacja: wzrost x i o jednostkę zwiększa (zmniejsza) ceteris paribus iloraz szans do exp(β i) [(exp(β i) 1) 100%]. (20) Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 14 / 25

- efekty krańcowe Efekt krańcowy: p j exp (β 0 + β 1x 1,j +... + β k x k,j ) = β ip j (1 p j) = β i x j,i [1 + exp (β 0 + β 1x 1,j +... + β k x k,j )] 2. (21) Indeks j odpowiada jednostce. Efekt krańcowy zależy od wartości : (i) prawdopodobieństwa (p j ), (ii) zmiennej objaśnianej (x j,i ), (iii) parametru strukturalnego (β i ). Efekty krańcowe są najczęśniej liczone dla średnich wartości zmiennych objaśnianych. Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 15 / 25

Test ilorazu wiarygodności i pseudo R 2 Test ilorazu wiarygodności: Statystyka testu: H 0 : β 1 = β 2 =... = β k = 0. (22) 2 (ln L MP ln L MZ ), (23) ma rozkład χ 2 z k stopniami swobowy. Ponadto: ln L MP - logarytm wiarygodności modelu logitowego, ln L MZ - logarytm wiarygodności modelu logitowego, ale wolnym. Pseudo-R 2 McFaddena: gdzie ln L MP oraz ln L MZ j.w. tylko z wyrazem pseudo-r 2 = 1 ln L MP ln L MZ, (24) Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 16 / 25

Prognoza ex post Zmienna jakościowa Wartość teoretyczna w modelu objaśniającym zmienną jakościową (binarną) jest prognozą prawdopodobieństwa. Standardowa zasada: Próba zbilansowana: { 1 jeżeli ˆp > 0.5, ŷ = (25) 0 jeżeli ˆp < 0.5. Zasada optymalnej wartości granicznej: Próba niezbilansowana: Udział obserwacji y = 1 w próbie wynosi δ, { 1 jeżeli ˆp > δ, ŷ = 0 jeżeli ˆp < δ. (26) Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 17 / 25

Tablica trafności i zliczeniowy R 2 Tablica trafności: Prognozowane y = 1 y = 0 Razem Empiryczne y = 1 n 11 n 10 n 1. y = 0 n 01 n 00 n 0. Razem n.1 n.0 n Liczba przypadków: Trafnej predykcji (prognozy): n 11 + n 00, Błędnej predykcji (prognozy): n 10 + n 01. Zliczeniowy R 2 : zliczeniowy R 2 = n11 + n00 n (27) Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 18 / 25

Przykład empiryczny - model logitowy Wyniki oszacowań parametrów logitowego Zmienna objaśniana: coke ˆβ i se ( ˆβi ) statystyka z Pr( β i 0) pratio 1.996 0.315 6.34 0.000 disp_coke 0.352 0.159 2.22 0.027 disp_pepsi 0.731 0.168 4.36 0.000 cons 1.923 0.325 5.90 0.000 Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 19 / 25

Przykład empiryczny - model logitowy Wyniki oszacowań parametrów logitowego Zmienna objaśniana: coke ˆβ i se ( ˆβi ) statystyka z Pr( β i 0) AME( x) pratio 1.996 0.315 6.34 0.000 0.433 disp_coke 0.352 0.159 2.22 0.027 0.076 disp_pepsi 0.731 0.168 4.36 0.000 0.158 cons 1.923 0.325 5.90 0.000 gdzie AME( x) to efekt krańcowy dla średnich wartości zmiennych objaśniających Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 19 / 25

Przykład empiryczny - model logitowy Wyniki oszacowań parametrów logitowego Zmienna objaśniana: coke ˆβ i se ( ˆβi ) statystyka z Pr( β i 0) AME( x) pratio 1.996 0.315 6.34 0.000 0.433 disp_coke 0.352 0.159 2.22 0.027 0.076 disp_pepsi 0.731 0.168 4.36 0.000 0.158 cons 1.923 0.325 5.90 0.000 gdzie AME( x) to efekt krańcowy dla średnich wartości zmiennych objaśniających Dodatkowe informacje: Statystyka testu ilorazu warygodności χ 2 (3): 148.83 [0.000] Pseudo-R 2 : 0.095 Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 19 / 25

Przykład empiryczny - model logitowy - efekty krańcowe Efekty krańcowe w modelu logitowym p pratio disp_coke disp_pepsi x i 0.435 1.027 0.379 0.364 p/ x i 0.433 0.076 0.159 (0.064) (0.034) (0.035) x i 0.482 1 0 0 p/ x i 0.498 0.088 0.183 (0.079) (0.039) (0.042) x i 0.389 1 1 1 p/ x i 0.426 0.075 0.156 (0.084) (0.031) (0.028) Legenda: p/ x i oznacza efekt krańcowy dla zmiennej x i, błędy standardowe umieszczone w nawiasach,,, oznaczają odrzucenia hipotezy zerowej o nieistotności efektów krańcowych przy poziomie istosności równym odpowiednio 0.01, 0.05 oraz 0.1. Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 20 / 25

Efekty krańcowe (cd.) - wrażliwość na zmianę pratio ˆp ˆp/ pratio i 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.5 1 1.5 2 2.5 3 0 0 0.5 1 1.5 2 2.5 3-0.1-0.2-0.3-0.4-0.5-0.6-0.7 ˆp/ disp_coke ˆp/ disp_pepsi 0.18 0.16 0.14 0.12 0.1 0.08 0.06 0.04 0.02 0 0 0.5 1 1.5 2 2.5 3 0 0 0.5 1 1.5 2 2.5 3-0.05-0.1-0.15-0.2-0.25-0.3 Uwagi: disp_coke = disp_pepsi = 0 Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 21 / 25

Przykład empiryczny (cd.) Tablica trafności: Empiryczne Prognozowane y = 1 y = 0 Razem y = 1 247 263 510 y = 0 123 507 630 Razem 370 770 1140 Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 22 / 25

Przykład empiryczny (cd.) Tablica trafności: Empiryczne Prognozowane y = 1 y = 0 Razem y = 1 247 263 510 y = 0 123 507 630 Razem 370 770 1140 Liczba przypadków: Trafnej predykcji (prognozy): 754(247 + 507), Błędnej predykcji (prognozy): 386(123 + 263). Zliczeniowy R 2 : zliczeniowy R 2 = 754 66.14% (28) 1140 Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 22 / 25

Zmienna jakościowa Prawdopodobieństwo p jest wartością dystrybuanty rozkładu normalnego N (0, 1): z ( ) 1 u p = Φ(z) = exp du, (29) (2π) 2 1 2 gdzie z jest kombinacją liniową zmiennych objaśniających, tj.: z = β 0 + β 1 x 1 +... + β k x k. (30) Efekty krańcowe: gdzie φ (z) jest funkcją gęstości rozkładu normalnego. Wybrane charakterystyki: p j x j,i = β i φ (z), (31) p (0, 1): Ilustracja Metoda estymacji: Metoda Największej Wiarygodności. Intepretacja oszacowań: efekty krańcowe. Miary dopasowania: pseudo R 2, test ilorazu wiarygodności, tabela trafności oraz zliczeniowe R 2. Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 23 / 25

Przykład empiryczny - model probitowy Wyniki oszacowań parametrów modelu probitowego Zmienna objaśniana: coke ˆβ i se ( ˆβi ) statystyka z Pr( β i 0) pratio 1.146 0.181 6.34 0.000 disp_coke 0.217 0.097 2.25 0.025 disp_pepsi 0.447 0.101 4.41 0.000 cons 1.108 0.190 5.83 0.000 Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 24 / 25

Przykład empiryczny - model probitowy Wyniki oszacowań parametrów modelu probitowego Zmienna objaśniana: coke ˆβ i se ( ˆβi ) statystyka z Pr( β i 0) AME( x) pratio 1.146 0.181 6.34 0.000 0.410 disp_coke 0.217 0.097 2.25 0.025 0.077 disp_pepsi 0.447 0.101 4.41 0.000 0.160 cons 1.108 0.190 5.83 0.000 gdzie AME( x) to efekt krańcowy dla średnich wartości zmiennych objaśniających Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 24 / 25

Przykład empiryczny - model probitowy Wyniki oszacowań parametrów modelu probitowego Zmienna objaśniana: coke ˆβ i se ( ˆβi ) statystyka z Pr( β i 0) AME( x) pratio 1.146 0.181 6.34 0.000 0.410 disp_coke 0.217 0.097 2.25 0.025 0.077 disp_pepsi 0.447 0.101 4.41 0.000 0.160 cons 1.108 0.190 5.83 0.000 gdzie AME( x) to efekt krańcowy dla średnich wartości zmiennych objaśniających Dodatkowe informacje: Statystyka testu ilorazu warygodności χ 2 (3): 145.82 [0.000] Pseudo-R 2 : 0.093 Zliczeniowy R 2 : 66.14% Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 24 / 25

Porównanie oszacowań parametrów Zestawienie oszacowań parametrów modeli zmiennej jakościowej Zmienna objaśniana: coke LMP Logit Probit pratio 0.401 1.996 1.146 (0.061) (0.315) (0.181) disp_coke 0.077 0.352 0.217 (0.034) (0.159) (0.097) disp_pepsi 0.166 0.731 0.447 (0.036) (0.168) (0.101) const 0.890 1.923 1.108 (0.065) (0.326) (0.190) Legenda: błędy standardowe w nawiasach, dla p < 0.01, dla p < 0.05, dla p < 0.1. Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 25 / 25

Porównanie oszacowań parametrów Zestawienie oszacowań parametrów modeli zmiennej jakościowej Zmienna objaśniana: coke LMP Logit Probit pratio 0.401 1.996 1.146 (0.061) (0.315) (0.181) disp_coke 0.077 0.352 0.217 (0.034) (0.159) (0.097) disp_pepsi 0.166 0.731 0.447 (0.036) (0.168) (0.101) const 0.890 1.923 1.108 (0.065) (0.326) (0.190) Legenda: błędy standardowe w nawiasach, dla p < 0.01, dla p < 0.05, dla p < 0.1. βi LMP 0.25β Logit i (32) βi LMP 0.4βi Probit (33) β Logit i 1.6βi Probit (34) Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 25 / 25

y 0.0 0.2 0.4 0.6 0.8 1.0 1.2 0 1 2 3 4 5 Legenda: obserwacje y. x

y 0.0 0.2 0.4 0.6 0.8 1.0 1.2 0 1 2 3 4 5 Legenda: obserwacje y, wartości teoretyczne LMP, LMP. x

y 0.0 0.2 0.4 0.6 0.8 1.0 1.2 0 1 2 3 4 5 x Legenda: obserwacje y, wartości teoretyczne LMP, wartości teoretyczne logitu, LMP, logit.

y 0.0 0.2 0.4 0.6 0.8 1.0 1.2 0 1 2 3 4 5 x Legenda: obserwacje y, wartości teoretyczne LMP, wartości teoretyczne logitu, wartości teoretyczne probitu, LMP, logit, probit.