2.3 Modele nieliniowe

Transkrypt

1 2.3 Modele nieliniowe Do tej pory zajmowaliśmy się modelami liniowymi lub o liniowej formie funkcyjnej i musieliśmy akceptować ich ograniczenia. Metoda Największej Wiarogodności pozwala również na efektywną estymację modeli nieliniowych. Załóżmy, iż chcemy oszacować następujący model y j = β 1 x 1j + β 2 x 2j + β 3 x β 4 3j + β 5 + ε gdzie składnik losowy ma rozkład N(0, σ 2 ). Zauważmy, że współczynnik przy zmiennej x 3j nie jest liniowy. Powyższy model jest traktowany przez pakiet Stata jako: y j = ln Φ((y j θ 1j θ 2j x θ 3j 3j )/θ 4j) ln θ 4j θ 1j = β 1 x 1j + β 2 x 2j + β 5 θ 2j = β 3 θ 3j = β 4 θ 4j = σ 2 Pakiet traktuje parametr przy zmiennych liniowych jako jedną zmienną (θ 1 ), kolejne dwa równania opisują parametr przy zmiennej x 3 oraz jej wykładnik, ostatnie jest równaniem odchylenia standardowego. Jest to układ czterech równań liniowych pomimo tego, że tak naprawdę szukamy rozwiązania jednego równania. Taka zamiana jest efektem tego, że algorytmy numeryczne są w stanie jedynie rozwiązywać układy równań linowych. Program szacujący ten model metodą lf dla powyższej funkcji wiarogodności wygląda następująco: program define nonlin version 8 args lnf theta1 theta2 theta3 theta4 quietly replace lnf = /* */ln(normden(($ml_y1- theta1 - theta2 *X3^ theta3 )/ theta4 ))/* */-ln( theta4 ) end Zwróćmy uwagę, że nazwa zmiennej odnosząca się do x 3 została na stałe wpisana do programu obliczającego funkcję wiarogodności. W kodzie użyliśmy nazwy X3, ale szacując model będziemy musieli ją zastąpić nazwą odpowiadającą zmiennej w naszym zbiorze danych. Załóżmy, że chcemy wyestymować model postaci bp = β 1 age + β 2 sex + β 3 bp0 β 4 + ε wówczas odpowiedni program dla funkcji wiarogodności będzie wyglądał następująco: 30

2 program define nonlin version 8 args lnf theta1 theta2 theta3 theta4 quietly replace lnf = /* */ln(normden(($ml_y1- theta1 - theta2 *bp0^ theta3 )/ theta4 ))/* */- theta4 end i otrzymamy oszacowania modelu pisząc.ml model lf nonlin (bp=age sex) /beta3 /beta4 /sigma.ml maximize Jak widzimy nieliniowość modelu może zostać w prosty sposób przekształcona w równanie zawierające stałą. Czasami logarytm funkcji wiarogodności jest poprawnie zdefiniowany tylko dla niektórych wartości jednego lub kilku parametrów. Na przykład wiemy, że wariacja składnika losowego powinna być większa od zera, więc θ 4 = σ > 0. Komenda ml jest tak zaprojektowana by działać zarówno na zbiorze wszystkich możliwych wartości, jak również na zbiorach ograniczonych. Domyślnie Stata przeszukuje wszystkie możliwe wartości parametrów i powinniśmy brać ten fakt pod uwagę programując własne funkcje. Gdy o tym zapomnimy mogą wyniknąć problemy związane z konwergencją funkcji logarytmu wiarogodności. Nawet jeśli ich nie ma, komenda ml musi wykonać więcej obliczeń, wskutek czego będzie działała dłużej. Lepiej jest model tak przeparametryzować, by przedział (, ) był prawidłowym przedziałem wartości dla każdego parametru theta. Lepszym sposobem na zapis liniowej, bądź nieliniowej funkcji wiarogodności jest y j = ln Φ((y j θ 1j θ 2j x θ 3j 3j )/θ 4j) ln θ 4j θ 1j = β 1 x 1j + β 2 x 2j + β 5 θ 2j = β 3 θ 3j = β 4 θ 4j = ln(σ 2 ) Taki sposób parametryzacji modelu prowadzi do programu program define nonlin version 8 args lnf theta1 theta2 theta3 theta4 quietly replace lnf = /* */ln(normden(($ml_y1- theta1 - theta2 *X3^ theta3 )/exp( theta4 )))/* */-ln( theta4 ) end 31

3 2.4 Testowanie modeli Ograniczenia narzucane na modele regresji liniowej badaliśmy za pomocą testu F. Jeśli szacujemy model metodą największej wiarogodności to nie zawsze możemy ją obliczyć. Przykład Oszacujmy następujący model regresji price = β 0 + β 1 mpg + β 2 weight + β 3 rep78 + β 4 headroom + β 5 trunk + ε Rozpocznijmy pracę od załadowania zbioru danych do pakietu Stata.sysuse auto Następnie definiujemy model, którą chcemy estymować program define mojaregresja version 8 args lnf theta1 theta2 qui replace /* */ lnf =ln(normden(($ml_y1- theta1 )/ theta2 ))-ln( theta2 ) end Następnie definiujemy funkcję, którą chcemy maksymalizować.ml model lf mojaregresja (price=mpg weight rep78 headroom trunk) /sigma Po czym wykonujemy maksymalizację. ml maximize initial: log likelihood = -<inf> (could not be evaluated) feasible: log likelihood = rescale: log likelihood = rescale eq: log likelihood = Iteration 0: log likelihood = Iteration 1: log likelihood = Iteration 2: log likelihood = Iteration 3: log likelihood = Iteration 4: log likelihood = Number of obs = 69 Wald chi2(5) = Log likelihood = Prob > chi2 = price Coef. Std. Err. z P> z [95% Conf. Interval] 32

4 eq1 mpg weight rep headroom trunk _cons sigma _cons Jeśli ten sam model oszacujemy metodą MNK, dostaniemy identyczne wartości dla parametrów wektora β, jednak oszacowania wariancji będą się różnić. reg price mpg weight rep78 headroom trunk Source SS df MS Number of obs = F( 5, 63) = 8.41 Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = price Coef. Std. Err. t P> t [95% Conf. Interval] mpg weight rep headroom trunk _cons Powodem różnych wyników jest różna wielkość estymatora wariancji. W modelu oszacowanym MNW estymator odchylenia standardowego jest równy ˆσ = 2239, a w modelu oszacowanym metodą najmniejszych kwadratów ˆσ = Różnica jest powodowana przez małą ilość obserwacji w próbie. W wyrażeniu na estymator wariancji MNW w mianowniku jest N zamiast N k, co powoduje niedoszacowanie wariancji Test Walda Obliczenie statystyki Walda (W) jest skomplikowane i czasochłonne w przypadku rozbudowanych ograniczeń na parametry modelu. Statystykę testową 33

5 konstruujemy na podstawie macierzy obserwacji. W = m var[m X]m = (Rb q) [σ 2 R(X X) 1 R ](Rb q) χ 2 (J) (1) Przy prawdziwej hipotezie zerowej statystyka Walda ma rozkład χ 2 z liczbą stopni swobody równą ilości nakładanych oraniczeń na wektor parametrów. Jest to rozkład małopróbkowy i jeśli J > 100 to asymptotycznym rozkładem statystyki testowej nie jest rozkład χ 2. Jeśli zamiast prawdziwej wariancji σ 2 używany jest estymator S 2 to statystyka Walda ma rozkład F (J, n k) stopniami swobody. Wróćmy do przykładu. Widzimy, że w odróżnieniu od metody najmniejszych kwadratów, przy metodzie największej wiarogodności wyświetlana jest statystyka Walda. Iteration 4: log likelihood = Number of obs = 69 Wald chi2(5) = Log likelihood = Prob > chi2 = Test Walda badający hipotezę H 0 : β = 0 przeciwko alternatywie H 1 : β 0 dla pojedynczej zmiennej wywołujemy poleceniem. test mpg ( 1) [eq1]mpg = 0 chi2( 1) = 0.55 Prob > chi2 = W podobny sposób przeprowadzamy sprawdzanie hipotez łącznych dotyczących kombinacji liniowych parametrów. test mpg rep78 weight headroom trunk ( 1) [eq1]mpg = 0 ( 2) [eq1]rep78 = 0 ( 3) [eq1]weight = 0 ( 4) [eq1]headroom = 0 ( 5) [eq1]trunk = 0 chi2( 5) = Prob > chi2 = Hipotezy nieliniowe testujemy poleceniem testnl. Na przykład sprawdźmy hipotezę H 0 : β mpg β weight = 1 H 1 : β mpg β weight 1 Test wygląda następująco: 34

6 . testnl _b[mpg]*_b[weight]=1 (1) _b[mpg]*_b[weight] = 1 chi2(1) = 0.70 Prob > chi2 = Test ilorazu wiarogodności Testem równoważnym do testu Walda jest test ilorazu wiarogodności (LR). Jego przeprowadzenie wymaga obliczenia dwóch modeli regresji. Na początku liczymy model bez ograniczeń i to co nas interesuje to logarytm ilorazu wiarogodności. Nałożenie ograniczeń na parametry wektora β powoduje że trudniej jest dopasować taki model do danych empirycznych. Z tego powodu wartość logarytmu funkcji wiarogodności dla modelu z ograniczeniami będzie zazwyczaj mniejsza. Test ilorazu wiarogodności polega na sprawdzeniu czy podwojona różnica wartości logarytmu funkcji wiarogodności obu modeli jest statystycznie istotna. Test przeprowadzamy za pomocą statystyki LR: LR = 2(L 0 L R ) (2) gdzie L 0 jest logarytmem funkcji wiarogodności dla modelu bez ograniczeń, a L R logarytmem funkcji wiarogodności dla modelu z ograniczeniami. Przy prawdziwej hipotezie zerowej, która oznacza prawdziwość narzuconych ograniczeń na parametry modelu, statystyka testowa ma rozkład χ 2 (k), z ilością stopni swobody k równą liczbą narzuconych ograniczeń. Wróćmy do przykładu. Sprawdzimy za pomocą testu ilorazu wiarogodności czy zmienne headroom i trunk można usunąć z modelu. W tym celu przywołajmy ponownie ostatnio oszacowany model.ml display następnie zapamiętajmy wyniki estymacji.estimates store full Teraz dokonamy oszacowania modelu z nałożonymi ograniczeniami. Definiujemy model do estymacji.ml model lf mojaregresja (price=mpg weight rep78 )() i szacujemy. ml maximize initial: log likelihood = -<inf> (could not be evaluated) 35

7 feasible: log likelihood = rescale: log likelihood = rescale eq: log likelihood = Iteration 0: log likelihood = Iteration 1: log likelihood = Iteration 2: log likelihood = Iteration 3: log likelihood = Iteration 4: log likelihood = Iteration 5: log likelihood = Number of obs = 69 Wald chi2(3) = Log likelihood = Prob > chi2 = price Coef. Std. Err. z P> z [95% Conf. Interval] eq1 mpg weight rep _cons eq2 _cons Zapamiętujemy wyniki estymacji.estimates store restrict I porównujemy modele testem ilorazu wiarogodności. lrtest full restrict, stats (log-likelihoods of null models cannot be compared) likelihood-ratio test LR chi2(2) = 3.99 (Assumption: restrict nested in full) Prob > chi2 = Model nobs ll(null) ll(model) df AIC BIC restrict full Jak widzimy pakiet Stata zwraca nam uwagę, że nie może porównać wartości zerowej iteracji obu modeli. jest to zrozumiałe bowiem wartość funkcji logarytmu ilorazu wiarogodności w zerowej iteracji dla obu modeli wynosiła. 36

8 Jak widzimy różnica między modelami nie jest statystycznie istotna, jedynie na podstawie kryterium Schwarza-Bayesa (BIC) możemy powiedzieć, że lepiej dopasowany jest model z ograniczeniami Test mnożników Lagrangea Trzecim sposobem sprawdzenia istotności ograniczeń nałożonych na parametry modelu jest przeprowadzenie testu mnożników Lagrange a (LM). Bazuje on na wynikach powstałych przy estymacji regresji z narzuconymi ograniczeniami. W literaturze anglojęzycznej jest on również nazywany score test, ponieważ bazuje na wektorze score. Jest to po prostu pierwsza pochodna funkcji logarytmu wiarogodności dla modelu z ograniczeniami. Statystyka testu mnożników Lagrange a dana jest wzorem: LM = ( ln(θ R ) θ R ) [I(θR )] 1( ln(θ R ) θ R ) Jeśli ograniczenia są prawdziwe to ich narzucenie nie spowoduje znaczącej różnicy w wartości maksymalnej logarytmu funkcji wiarogodności. Wariancją wektora pierwszych pochodnych jest macierz informacyjna. Oznaczmy przez i kolumnę jedynek, a przez G R macierz gradientów. Wtedy statystykę LM możemy zapisać jako: LM = i G R [G RG R ] 1 G Ri Czyli statystyka LM jest to współczynnik regresji wektora gradientów na stałej przemnożony przez sumę gradientów. Wobec tego jeżeli policzymy scory, pomnożymy przez zmienne objaśniające a potem wykonamy regresję zmiennych i scorów na stałej to otrzymamy statystykę mnożników Lagrenge a Ẇracamy do przykładu. Statystykę mnożników Lagrange a obliczamy na postawie modelu z nałożonymi restrykcjami, wobec tego programujemy regresję ceny (price) na zużyciu paliwa (mpg), wadze (weight) i liczbie napraw (rep78 )..ml display.ml model lf mojaregresja (price=mpg weight rep78 )() potrzebna będzie nam wartość wektora gradientów wobec tego przy komendzie maksymalizacji dodajemy dwie opcje iterate(0) powoduje, że program wylicza tylko początkową iterację, a score(sc*) powoduje, że zostaną utworzone scory dla kolejnych zmiennych. Jednak by komenda zadziałała musimy zadeklarować wartości początkowe. Wyliczamy je wykorzystując metodę MNK..qui reg price mpg weight rep78 37

9 Następnie zapamiętujemy jej współczynniki, które użyjemy jako wartości startowe. Nie możemy zapomnieć o estymatorze wariancji..local a0e= _b[_cons].local a1e= _b[mpg].local a2e= _b[weight].local a3e= _b[rep78].local b0e= e(rmse) Następnie deklarujemy te wartości jako początkowe dla maksymalizacji..ml model lf mojaregresja (price=mpg weight rep78 )().ml init eq1:_cons= a0e.ml init eq1:mpg= a1e.ml init eq1:weight= a2e.ml init eq1:rep78= a3e.ml init eq2:_cons= b0e Maksymalizujemy zadeklarowaną funkcję wiarogodności.ml maximize, search(off) iter(0) score(sc*) i obliczamy scory. Dla każdej zmiennej zostaje utworzony jeden wektor scorów czyli wartości gradientu. Opcja score użyta przy komendzie (ml maximize) tworzy wartości wektora gradientów dla kolejnych zmiennych i zapisuje je pod nazwami scx, gdzie x oznacza kolejny numer równania. Przed obliczeniem wartości statystyki testowej musimy wygenerować zmienne pomocnicze mnożąc kolejne zmienne przez odpowiadające im wartości gradientów (scory)..gen sc1_mpg = sc1*mpg.gen sc1_weight= sc1*weight.gen sc1_rep78 = sc1*rep78 Następnie przeprowadzamy regresję stałej na scory oraz zmienne pomocnicze (scory przemnożnożone przez zmienne).reg const sc1 sc1_mpg sc1_weight sc1_rep78 sc2, nocons.predict sc.quietly summarize sc.display r(sum) Suma wartości dopasowanych z regresji pomocniczej jest szukaną wielkością statystyki mnożników Lagrange a. Literatura [1] Gould William, Sribney William Maximum Likelihood Estimation with Stata, Stata Press. 38