Metoda najmniejszych kwadratów Przykład wstępny. W ekonomicznej teorii produkcji rozważa się funkcję produkcji Cobba Douglasa: z = AL α K β gdzie z oznacza wielkość produkcji, L jest nakładem pracy, K nakładem kapitału. Liczby A, α, β są pewnymi stałymi. Ekonomiści interesują się wielkościami A, α i β. W celu oceny nieznanych wielkości prowadzone są obserwacje wielkości produkcji Z i przy różnych nakładach L i oraz K i, przy czym zakłada się, że obserwacje te obarczone są błędami losowymi ε i, tzn.: Z i = AL α i K β i + ε i, i = 1,..., n Jako oszacowania nieznanych parametrów przyjmuje się takie wartości, przy których błędy losowe są małe n ε 2 i = n (Z i AL α i K β i )2 = min!.................................................. W Z Statmat 8.1
Obserwujemy zmienne losowe Y 1,..., Y n takie, że EY i = g i (θ), i = 1,..., n θ R k ; g i : Θ R 1 S(θ) = n (Y i g i (θ)) 2 Definicja 8.1 Estymatorem najmniejszych kwadratów parametru θ (EM N K[θ]) nazywamy wielkość minimalizującą S(θ). Resztowa suma kwadratów (EM N K[θ] === ozn ˆθ) S(ˆθ) = n (Y i g i (ˆθ)) 2 W Z Statmat 8.2
Definicja 8.2 Modelem liniowym nazywamy model statystyczny, w którym obserwacje Y 1,..., Y n mają postać Y i = β 1 x 1i + + β p x pi + ε i, i = 1,..., n gdzie x ji są ustalonymi liczbami, β j są nieznanymi parametrami modelu, ε i są niezależnymi błędami losowymi takimi, że Eε i = 0 oraz D 2 ε i = σ 2. Zapis macierzowy Y = Xβ + ε. Y = (Y 1,..., Y n ) β = (β 0, β 1,... β p ) X = ε = (ε 1,..., ε n ) x 11 x p1 x 12 x p2.. x 1n x pn Założenie: macierz X jest pełnego rzędu W Z Statmat 8.3
Resztowa suma kwadratów n p S(β) = Y i β j x ji j=1 = (Y Xβ) (Y Xβ) = Y Xβ 2 Xβ jest rzutem Y na {Xβ : β R p } (Y Xβ) X = 0 2 EMNK[β] = (X X) 1 X Y === ozn ˆβ Jeżeli c R p, to EMNK[c β] = c ˆβ W Z Statmat 8.4
Przykład. Na podstawie obserwacji Y 1,..., Y n szacujemy wartość oczekiwaną µ. Model Y i = µ + ε i, i = 1,..., n W zapisie macierzowym β = µ, X = 1 n EMNK[µ] = (X X) 1 X Y = Ȳ.................................................. Przykład. Rozważmy model Y i = x i1 µ 1 + x i2 µ 2 + ε i, i = 1,..., n przy czym x i1 = 1, x i2 = 0 dla i = 1,..., n 1 x i1 = 0, x i2 = 1 dla i = n 1 + 1,..., n Szacujemy różnicę µ 1 µ 2. W Z Statmat 8.5
Zapis macierzowy β = (µ 1, µ 2 ), X = [ 1n1 0 n1 0 n n1 1 n n1 ] EMNK[β] = (X X) 1 X Y = = [ n1 0 0 n 2 [ 1 n1 n 1 Y i ] 1 [ n1 Y ] i n i=n 1 +1 Y i 1 n n 1 n i=n 1 +1 Y i ] Jeżeli c = (1, 1), to c β = µ 1 µ 2 EMNK[µ 1 µ 2 ] = 1 n 1 n 1 Y i 1 n n 1 n i=n 1 +1 Y i Jeżeli c = (1, 0), to c β = µ 1 EMNK[µ 1 ] = 1 n 1 n 1.................................................. Y i W Z Statmat 8.6
Twierdzenie 8.1 EM N K[β] jest estymatorem nieobciążonym o wariancji σ 2 (X X) 1 Definicja 8.3 Funkcję parametryczną c β nazywamy estymowalną, jeżeli istnieje jej estymator nieobciążony postaci b Y. Twierdzenie 8.2 Funkcja parametryczna c β jest estymowalna wtedy i tylko wtedy, gdy c ImX Twierdzenie 8.3 (Gaussa Markowa) Jeżeli błędy losowe ε 1,..., ε n są nieskorelowanymi zmiennymi losowymi o zerowej wartości oczekiwanej i takiej samej wariancji, to dla każdej estymowalnej funkcji parametrycznej c β i dla każdego nieobciążonego estymatora liniowego b Y tej funkcji zachodzi D 2 (c ˆβ) D 2 (b Y), β R p W Z Statmat 8.7
Estymacja wariancji σ 2 Resztowa suma kwadratów Y Xˆβ 2 = (Y Xˆβ) (Y Xˆβ) = (Y X(X X) 1 X Y) (Y X(X X) 1 X Y) = Y (I X (X X) 1 X)(I X(X X) 1 X )Y = Y (I X(X X) 1 X )Y E Y Xˆβ 2 = E Y (I X(X X) 1 X )Y = tre (I X(X X) 1 X )YY = tr { (I X(X X) 1 X )E (YY ) } = σ 2 tr(i X(X X) 1 X ) = (n rzx)σ 2 ˆσ 2 = 1 (n rzx) Y (I X(X X) 1 X )Y W Z Statmat 8.8
Przykład. Rozważamy model Y i = µ + ε i, i = 1,..., n W zapisie macierzowym β = µ, X = 1 n W modelu rzx = 1 ˆσ 2 = 1 n 1 Y (I 1 n 1 n1 n)y = 1 { Y Y 1 } n 1 n (Y 1 n ) (1 ny) ( = 1 n Yi 2 1 n ) 2 Y n 1 i n = 1 n 1 n ( Yi Ȳ ) 2.................................................. W Z Statmat 8.9
Przykład. Rozważmy model Y i = x i1 µ 1 + x i2 µ 2 + ε i, i = 1,..., n przy czym x i1 = 1, x i2 = 0 dla i = 1,..., n 1 x i1 = 0, x i2 = 1 dla i = n 1 + 1,..., n Zapis macierzowy (n 2 = n n 1 ) [ β 1n1 0 = (µ 1, µ 2 ), X = n1 0 n2 1 n2 ] W modelu rzx = 2 (n 2)ˆσ 2 (I [ ][ ] 1 [ ] ) =Y 1n1 0 n1 n1 0 1 n1 0 n 2 0 n2 1 n2 0 n 2 0 n 1 1 Y n 2 ( ( n 1 = Y i 1 n1 )) 2 Y i + n 1 + n i=n 1 +1 ( Y i 1 n 2 ( n i=n 1 +1 Y i )) 2.................................................. W Z Statmat 8.10
Przykład (praktyczny). Niech Y 1, Y 2, Y 3, Y 4 będą lotniczymi pomiarami kątów θ 1, θ 2, θ 3, θ 4 pewnego czworokąta na powierzchni ziemi. Zakładając, że obserwacje obciążone są niezależnymi błędami o zerowej wartości oczekiwanej i takiej samej wariancji σ 2, wyznaczyć EM N K wielkości θ. Wyznaczyć nieobciążony estymator wariancji σ 2. Model Y 1 = θ 1 + ε 1 Zapis macierzowy Y 2 = θ 2 + ε 2 Y 3 = θ 3 + ε 3 Y 4 = θ 4 + ε 4 2π = θ 1 + θ 2 + θ 3 + θ 4 Y = (Y 1, Y 2, Y 3, Y 4, 2π); β = (θ 1, θ 2, θ 3, θ 4 ) ε = (ε 1, ε 2, ε 3, ε 4, 0) 1 0 0 0 0 1 0 0 X = 0 0 1 0 0 0 0 1 1 1 1 1 W Z Statmat 8.11
(X X) 1 = (X X) 1 X = 0.8 0.2 0.2 0.2 0.2 0.8 0.2 0.2 0.2 0.2 0.8 0.2 0.2 0.2 0.2 0.8 0.8 0.2 0.2 0.2 0.2 0.2 0.8 0.2 0.2 0.2 0.2 0.2 0.8 0.2 0.2 0.2 0.2 0.2 0.8 0.2 Estymatory kątów: ( ˆθ i ==?= Y i + 1 2π 5 ) 4 Y i, i = 1, 2, 3, 4 Estymator wariancji: ˆσ 2 ==?= 1 5 ( 2π ) 2 4 Y i W Z Statmat 8.12
Wiadomo, iż dany czworokąt jest równoległobokiem takim, że θ 1 = θ 3 oraz θ 2 = θ 4. Wyznaczyć EMNK kątów i estymator wariancji σ 2. Model Zapis macierzowy Y 1 = θ 1 + ε 1 Y 2 = θ 2 + ε 2 Y 3 = θ 3 + ε 3 Y 4 = θ 4 + ε 4 2π = θ 1 + θ 2 + θ 3 + θ 4 0 = θ 1 θ 3 0 = θ 2 θ 4 Y = (Y 1, Y 2, Y 3, Y 4, 2π, 0, 0); β = (θ 1, θ 2, θ 3, θ 4 ) ε = (ε 1, ε 2, ε 3, ε 4, 0, 0, 0) 1 0 0 0 0 1 0 0 0 0 1 0 X = 0 0 0 1 1 1 1 1 1 0-1 0 0 1 0-1.................................................. W Z Statmat 8.13
Przykład (Regresja liniowa). Model Y i = β 0 + β 1 x i + ε i, i = 1,..., n, ε i są niezależnymi zmiennymi losowymi Eε i = 0, D 2 ε i = σ 2, i = 1,..., n Znaleźć takie β 0 i β 1 by n (Y i (β 0 + β 1 x i )) 2 = min Zapis macierzowy Y = (Y 1,..., Y n ); β = (β 0, β 1 ); ε = (ε 1,..., ε n ) [ ] X 1 1 = x 1 x n X X = [ ] n xi xi x 2 i W Z Statmat 8.14
(X X) 1 = 1 n x 2 i ( x i ) 2 X Y = [ ] Yi xi Y i [ x 2 i x i x i n ] [ ˆβ0 ˆβ 1 ] = EMNK 1 [ β0 β 1 ] n Yi 1 n ( x i ) = (X X) 1 X Y = xi Y i 1 n( x i)( Y i) x 2 i 1 n( x i) 2 xi Y i 1 n( x i)( Y i) x 2 i 1 n( x i) 2 ˆβ 1 = xi y i n xȳ x 2 i n x 2 ˆβ 0 = Ȳ ˆβ 1 x.................................................. W Z Statmat 8.15
Rozkłady prawdopodobieństwa estymatorów Y = Xβ + ε. β = (β 0, β 1,... β p ) ε = (ε 1,..., ε n ) N n (0, σ 2 I n ) ˆβ = (X X) 1 X Y s 2 = ˆσ 2 = 1 (n rzx) Y (I X(X X) 1 X )Y Twierdzenie 8.4 Jeżeli Y N n (Xβ, σ 2 I n ) oraz rzx = p, to 1. ˆβ N p (β, σ 2 (X X) 1 ) 2. (ˆβ β) X X(ˆβ β) σ 2 χ 2 p 3. ˆβ jest niezależne od s 2 4. (n p)s 2 σ 2 χ 2 n p W Z Statmat 8.16