Wprowadzenie do technik analitycznych Metoda najmniejszych kwadratów

Transkrypt

1 Wprowadzenie do technik analitycznych Instytut Sterowania i Systemów Informatycznych Uniwersytet Zielonogórski Wykład 2

2 Korelacja i regresja Przykład: Temperatura latem średnia liczba napojów sprzedawanych przez automat Diagram korelacyjny (ang. scatter diagram) wykres punktowy. 70 korelacja liniowa 65 liczba napojów k. dodatnia k. ujemna temperatura

3 Korelacja i regresja korelacja nieliniowa brak korelacji Współczynnik korelacji liniowej Pearsona r = n ( ) ( )( ) x i y i xi yi [n ( ) ( ) x 2 2 ] [ ( ) ( ) i xi n y 2 2 ] i yi

4 Korelacja i regresja Przykład: Dla następujacych obserwacji: x i y i zbadać istnienie zależności liniowej pomiędzy wielkościami x i y. Własności: 1) r [ 1, 1], r = i x i y i x i y i xi 2 yi ( 12) 16 6 ( )( ) = 0,939 2) r = 0 brak zwiazku liniowego, 3) r = 1 doskonała korelacja liniowa dodatnia, 4) r = 1 doskonała korelacja liniowa ujemna.

5 Korelacja a przyczynowość W zależności funkcyjnej y = f (x), gdzie: x zmienna objaśniajaca (niezależna), y zmienna objaśniana (zależna), może istnieć bezpośredni zwiazek przyczynowy pomiędzy zmiennymi, czyli x może wpływać na y (brak wody może powodować odwodnienie, wzrost temperatury powoduje topnienie lodu itp.), może istnieć odwrotna zależność przyczynowo-skutkowa, czyli y także może wpływać na x. Przykładowo, spalony tranzystor może spowodować awarię w układzie elektronicznym, ale też awaria układu może być przyczyna spalenia tranzystora. relacja moze być spowodowana przypadkiem lub zmienna zakłócajac a, np. zależność pomiędzy liczba wypadków wśród narciarzy, a wzrostem sprzedaży paczków.

6 Korelacja a przyczynowość W zależności funkcyjnej y = f (x), gdzie: x zmienna objaśniajaca (niezależna), y zmienna objaśniana (zależna), może istnieć bezpośredni zwiazek przyczynowy pomiędzy zmiennymi, czyli x może wpływać na y (brak wody może powodować odwodnienie, wzrost temperatury powoduje topnienie lodu itp.), może istnieć odwrotna zależność przyczynowo-skutkowa, czyli y także może wpływać na x. Przykładowo, spalony tranzystor może spowodować awarię w układzie elektronicznym, ale też awaria układu może być przyczyna spalenia tranzystora. relacja moze być spowodowana przypadkiem lub zmienna zakłócajac a, np. zależność pomiędzy liczba wypadków wśród narciarzy, a wzrostem sprzedaży paczków.

7 Korelacja a przyczynowość W zależności funkcyjnej y = f (x), gdzie: x zmienna objaśniajaca (niezależna), y zmienna objaśniana (zależna), może istnieć bezpośredni zwiazek przyczynowy pomiędzy zmiennymi, czyli x może wpływać na y (brak wody może powodować odwodnienie, wzrost temperatury powoduje topnienie lodu itp.), może istnieć odwrotna zależność przyczynowo-skutkowa, czyli y także może wpływać na x. Przykładowo, spalony tranzystor może spowodować awarię w układzie elektronicznym, ale też awaria układu może być przyczyna spalenia tranzystora. relacja moze być spowodowana przypadkiem lub zmienna zakłócajac a, np. zależność pomiędzy liczba wypadków wśród narciarzy, a wzrostem sprzedaży paczków.

8 Regresja liniowa Aproksymujemy zmienna objaśniana y modelem liniowym ŷ = a 1 x + a 0, tak aby minimalizować błędy predykcji modelu e i = y i ŷ i = y i a 0 a 1 x i

9 Jak minimalizować naraz wszystkie błędy? e i = (y i a 0 a 1 x i ) min e i = y i a 0 a 1 x i min max e i = max y i a 0 a 1 x i min,...,n,...,n

10 Kryterium najmniejszej sumy kwadratów S r = ei 2 = (y i a 0 a 1 x i ) 2 min S r a a

11 Kryterium najmniejszej sumy kwadratów Z warunków optymalności a 0 a 1 otrzymujemy układ równań 0 = 0 = (y i a 0 a 1 x i ) = 0 [(y i a 0 a 1 x i )x i ] = 0 y i y i x i a 0 a 0 x i a 1 x i a 1 xi 2

12 Równania normalne Po uporzadkowaniu, otrzymuje się układ równań normalnych: ( ) x i na 0 + ( ( x i ) a 0 + x 2 i a 1 = ) a 1 = y i x i y i Oto jego rozwiazanie a 1 = n x i y i x i yi n x 2 i ( x i ) 2 a 0 = ȳ a 1 x

13 Równania normalne Po uporzadkowaniu, otrzymuje się układ równań normalnych: ( ) x i na 0 + ( ( x i ) a 0 + x 2 i a 1 = ) a 1 = y i x i y i Oto jego rozwiazanie a 1 = n x i y i x i yi n x 2 i ( x i ) 2 a 0 = ȳ a 1 x

14 Regresja liniowa Przykład: Kontynuacja ilustracji dla r: a 1 = 4 ( 12) = 0.857, a 0 = 1.5 ( 0.857)(4) = ŷ = 0.857x y x

15 Ocena dopasowania funkcji regresji Zdefiniujmy S t = (y i ȳ) 2 i porównajmy z S r = ei 2 = (y i a 0 a 1 x i ) 2

16 Ocena dopasowania funkcji regresji Współczynnik determinacji liniowej: r 2 = S t S r S t 1) r 2 bliski 1 oznacza, że model wyjaśnia większość zmienności zmiennej zależnej i może być użyteczny, 2) r 2 bliski 0 oznacza, że model objaśnia bardzo mało, jeżeli chodzi o zmienność zmiennej zależnej.

17 Ocena dopasowania funkcji regresji

18 Ocena dopasowania funkcji regresji Dla doskonałego dopasowania zachodzi S r = 0 oraz r = r 2 = 1, co oznacza, że linia prosta objaśnia 100% zmienności danych. Dla r = r 2 = 0 mamy S r = S t i dopasowanie nie wprowadza żadnej poprawy. Dla rozważanego wcześniej przykładu r 2 = ( 0.939) 2 = około 88% zmienności jest objaśniane modelem Obserwacje odstajace Sa to obserwacje odpowiadajace dużym residuom, powoduja duże zmiany w wartościach parametrów modelu o najlepszym dopasowaniu (obserwacje wpływowe).

19 Ocena dopasowania funkcji regresji Dla doskonałego dopasowania zachodzi S r = 0 oraz r = r 2 = 1, co oznacza, że linia prosta objaśnia 100% zmienności danych. Dla r = r 2 = 0 mamy S r = S t i dopasowanie nie wprowadza żadnej poprawy. Dla rozważanego wcześniej przykładu r 2 = ( 0.939) 2 = około 88% zmienności jest objaśniane modelem Obserwacje odstajace Sa to obserwacje odpowiadajace dużym residuom, powoduja duże zmiany w wartościach parametrów modelu o najlepszym dopasowaniu (obserwacje wpływowe).

20 Linearyzacja zalez nos ci liniowych y = a1 eb1 x y = a2 x b2 x y = a3 b3 + x Dariusz Ucin ski

21 Regresja wielomianowa Dopasujmy do danych parabolę: ŷ = a 0 + a 1 x + a 2 x 2 Suma kwadratów residuów: S r = (y i a 0 a 1 x i a 2 x 2 Warunki optymalności a 0 a 1 a 2 i ) 2 (y i a 0 a 1 x i a 2 xi 2 ) = 0 x i (y i a 0 a 1 x i a 2 xi 2 ) = 0 x 2 i (y i a 0 a 1 x i a 2 x 2 i ) = 0

22 Regresja wielomianowa Dopasujmy do danych parabolę: ŷ = a 0 + a 1 x + a 2 x 2 Suma kwadratów residuów: S r = (y i a 0 a 1 x i a 2 x 2 Warunki optymalności a 0 a 1 a 2 i ) 2 (y i a 0 a 1 x i a 2 xi 2 ) = 0 x i (y i a 0 a 1 x i a 2 xi 2 ) = 0 x 2 i (y i a 0 a 1 x i a 2 x 2 i ) = 0

23 Regresja wielomianowa Dopasujmy do danych parabolę: ŷ = a 0 + a 1 x + a 2 x 2 Suma kwadratów residuów: S r = (y i a 0 a 1 x i a 2 x 2 Warunki optymalności a 0 a 1 a 2 i ) 2 (y i a 0 a 1 x i a 2 xi 2 ) = 0 x i (y i a 0 a 1 x i a 2 xi 2 ) = 0 x 2 i (y i a 0 a 1 x i a 2 x 2 i ) = 0

24 Regresja wielomianowa Po uporzadkowaniu, otrzymuje się układ równań normalnych: ( ) ( (n)a 0 + xi a 1 + x 2 i )a 2 = y i ( ) ( ( xi a 0 + x 2 i )a 1 + x 3 i )a 2 = x i y i ( ( ( ) x 2 i )a 0 + x 3 i )a 1 + x 4 i a 2 = xi 2 y i Pytanie: Jak to się uogólnia na dowolny wielomian?

25 Regresja wielomianowa Po uporzadkowaniu, otrzymuje się układ równań normalnych: ( ) ( (n)a 0 + xi a 1 + x 2 i )a 2 = y i ( ) ( ( xi a 0 + x 2 i )a 1 + x 3 i )a 2 = x i y i ( ( ( ) x 2 i )a 0 + x 3 i )a 1 + x 4 i a 2 = xi 2 y i Pytanie: Jak to się uogólnia na dowolny wielomian?

26 Wielokrotna regresja liniowa Dopasujmy do danych płaszczyznę: ŷ = a 0 + a 1 x + a 2 x 2 Suma kwadratów residuów: S r = (y i a 0 a 1 x 1i a 2 x 2i ) 2 Warunki optymalności a 0 a 1 a 2 (y i a 0 a 1 x 1i a 2 x 2i ) = 0 x 1i (y i a 0 a 1 x 1i a 2 x 2i ) = 0 x 2i (y i a 0 a 1 x 1i a 2 x 2i ) = 0

27 Wielokrotna regresja liniowa Dopasujmy do danych płaszczyznę: ŷ = a 0 + a 1 x + a 2 x 2 Suma kwadratów residuów: S r = (y i a 0 a 1 x 1i a 2 x 2i ) 2 Warunki optymalności a 0 a 1 a 2 (y i a 0 a 1 x 1i a 2 x 2i ) = 0 x 1i (y i a 0 a 1 x 1i a 2 x 2i ) = 0 x 2i (y i a 0 a 1 x 1i a 2 x 2i ) = 0

28 Wielokrotna regresja liniowa Dopasujmy do danych płaszczyznę: ŷ = a 0 + a 1 x + a 2 x 2 Suma kwadratów residuów: S r = (y i a 0 a 1 x 1i a 2 x 2i ) 2 Warunki optymalności a 0 a 1 a 2 (y i a 0 a 1 x 1i a 2 x 2i ) = 0 x 1i (y i a 0 a 1 x 1i a 2 x 2i ) = 0 x 2i (y i a 0 a 1 x 1i a 2 x 2i ) = 0

29 Wielokrotna regresja liniowa Otrzymuje się w ten sposób układ równań normalnych n x1i x2i x1i x 2 a 0 yi 1i x1i x 2i a 1 = x1i y i x2i x1i x 2i x2i 2 a 2 x2i y i Przykład. Do danych x 1 x 2 y należy dopasować najlepsza płaszczyznę.

30 Wielokrotna regresja liniowa Otrzymuje się w ten sposób układ równań normalnych n x1i x2i x1i x 2 a 0 yi 1i x1i x 2i a 1 = x1i y i x2i x1i x 2i x2i 2 a 2 x2i y i Przykład. Do danych x 1 x 2 y należy dopasować najlepsza płaszczyznę.

31 Wielokrotna regresja liniowa W rezultacie otrzymuje się układ równań a a 1 = a skad a 0 = 5, a 1 = 4, a 2 = 3

32 Wielokrotna regresja liniowa przypadek ogólny Rozważmy model ŷ = a 0 z 0 + a 1 z 1 + a 2 z a m z m gdzie: z 0, z 1,..., z m różne funkcje (nb. jak zapisać w ten sposób wcześniejsze przypadki?). Zdefiniujmy z 01 z z m1 y 1 a 0 z Z = 02 z z m2...., y = y 2., a = a 1. z 0n z 1n... z mn y n a m oraz 2 m S r = y i a j z ji = ( y Z a ) T( ) y Z a = y Z a 2 j=0

33 Wielokrotna regresja liniowa przypadek ogólny Rozważmy model ŷ = a 0 z 0 + a 1 z 1 + a 2 z a m z m gdzie: z 0, z 1,..., z m różne funkcje (nb. jak zapisać w ten sposób wcześniejsze przypadki?). Zdefiniujmy z 01 z z m1 y 1 a 0 z Z = 02 z z m2...., y = y 2., a = a 1. z 0n z 1n... z mn y n a m oraz 2 m S r = y i a j z ji = ( y Z a ) T( ) y Z a = y Z a 2 j=0

34 Wielokrotna regresja liniowa przypadek ogólny Równania normalne przyjmuja wtedy następujac a postać: ( Z T Z ) a = Z T y Pytanie: Jak je rozwiazywać?

35 Wielokrotna regresja liniowa przypadek ogólny Równania normalne przyjmuja wtedy następujac a postać: ( Z T Z ) a = Z T y Pytanie: Jak je rozwiazywać?