Analiza i prognozowanie poziomu zachorowań na grypę

Transkrypt

1 Analiza i prognozowanie poziomu zachorowań na grypę Roksana Kowalska, Anna Noga, Maciej Kawecki, Paweł Szczypiór Instytut Matematyki i Informatyki Politechnika Wrocławska WZUR września / 33

2 Plan prezentacji 1 Opis problemu - postawienie pytań. 2 Dane pogodowe. 3 Sieci neuronowe i drzewka - teoria. 4 Sieci neuronowe i drzewka - w R. 2 / 33

3 Zapadalność 3 / 33

4 Cel Prognozowanie poziomu zapadalności na grypę 1 użycie dodatkowych danych o pogodzie 2 scalenie i czyszczenie danych 3 wykorzystanie sieci neuronowych i drzew regresyjnych 4 porównanie modeli 4 / 33

5 Średnia liczba mieszkańców Liczba mieszkancow(wojewodztwo) = liczba zachorowan zapadalnosc województwo razem razem Dolnośląskie D Kujawsko-Pomorskie C Łódzkie E Lubelskie L Lubuskie F Małopolskie K Mazowieckie W Opolskie O Podkarpackie R Podlaskie B Pomorskie G Ślaskie S Świętokrzyskie T Warmińsko-Mazurskie N Wielkopolskie P Zachodniopomorskie Z Razem / 33

6 Dane pogodowe 6 / 33

7 Dane pogodowe 7 / 33

8 Dane pogodowe Dane zostały oczyszczone z błędnych obserwacji na podstawie poniższych kryteriów: w miesiącach innych niż maj-wrzesień występowała temperatura powyżej (>=) 30 stopni Celcjusza wszędzie gdzie temperatura była wyższa niż 40 stopni Celcjusza gdy temperatura była poniżej -32 (<=) Przypadki, gdy temperatura była większa bądź równa 36 stopni Celcjusza były osobno sprawdzane i brane były tylko te, dla których wartości były prawdziwe. 8 / 33

9 Lista zmiennych województwo wiek miesiąc pora roku kwartał zapadalność 1 tydz temu zapadalność 2 tyg. temu zapadalność 3 tyg. temu zapadalność 1 rok temu min temp ze średniej dziennej max temp ze średniej dziennej min temp z minimalnej dziennej max temp z maksymalnej dziennej max różnica temp w ciągu dnia max różnica w temp średniej z dnia na dzień max z max dziennych predkości wiatru średnia ze średnich predkości wiatru max z max wilgotności dziennych średnia ze średnich wilgotności dziennych Zmienna zależna: zapadalność (liczba na mieszkańców). Zakres przy wyznaczeniu agregatów pogodowych: (1-7 dni wstecz). 9 / 33

10 Drzewa binarne Konstrukcja binarnych drzew klasyfikacyjnych polega na sekwencyjnym dzieleniu podzbiorów przestrzeni próby X na dwa rozłączne i dopełniające się podzbiory, rozpoczynając od całego zbioru X. Zalety drzew klasyfikacyjnych: Bezproblemowy sposób wykorzystania do klasyfikacji zarówno cech ilościowych, jak i jakościowych. Prosta forma końcowa drzewa klasyfikacyjnego umożliwiająca w szybki i efektywny sposób klasyfikację nowych obiektów. Odporność na obserwacje odstające i sytuacje, w których niektóre zmienne są nieobserwowane. 10 / 33

11 Drzewa binarne biblioteka: rpart funkcje: rpart, rpart.control rpart(formula, data, weights, method, control,...) control - szczegóły kontrolujące działanie algorytmu rpart.control(minsplit=20, minbucket=round(minsplit/3), cp=0.001,...) minsplit - minimalna liczność obserwacji dla danego węzła minbucket - minimalna liczność obserwacji dla każdego z liści węzła cp - parametr złożoności (w ANOVA oznacza to, że R 2 rośnie o cp w każdym kroku) 11 / 33

12 Drzewa binarne 12 / 33

13 Drzewa binarne 13 / 33

14 Drzewa binarne 14 / 33

15 Drzewa binarne 15 / 33

16 Wprowadzenie do tematyki sztucznych sieci neuronowych. Idea. Budowa i działanie komórki nerwowej. Model matematyczny neuronu. Sztuczna sieć neuronowa. Uczenie sieci. Zastosowania. 16 / 33

17 Idea. Koncepcja sztucznej sieci neuronowej jest wynikiem poszukiwania przed naukowców efektywnych systemów samouczących się. Zainspirowani konstrukcją ludzkiego mózgu, wprowadzili oni pojęcie sztucznej sieci neuronowej - zespołu połączonych ze sobą jednostek przetwarzających dane, zdolnego do adaptacji umożliwiającej modelowanie szerokiej klasy skomplikowanych procesów. 17 / 33

18 Budowa i działanie komórki nerwowej. Impulsy pochodzące z innych komórek nerwowych docierają z synaps do neuronu poprzez dendryty. Następnie, na podstawie natężenia tych sygnałów, podejmowana jest decyzja o wysłaniu przez neuron impulsu wyjściowego poprzez akson. Każda komórka nerwowa posiada jeden akson, chociaż zwykle rozgałęzia się on, rozprzestrzeniając impuls do innych komórek. Akson zwykle połączony jest z dendrytem innej komórki nerwowej, ale nie jest to regułą. 18 / 33

19 Model matematyczny neuronu. Model matematyczny neuronu obejmuje: Wektor mocy sygnałów x. Wektor wag (efektywności synaps) w. Sumator Σ. Próg φ. Funkcja aktywacji f. Sumator oblicza średnią ważoną wektora x z wagami w (czyli iloczyn skalarny wektorów x oraz w) pomniejszoną o wartość progową φ. Moc sygnału wyjściowego obliczamy, nakładając na wynik funkcję aktywacji: y = f ( i x i w i φ) 19 / 33

20 Model matematyczny neuronu. Rozpatruje się różne funkcje aktywacji: Funkcja progowa unipolarna. Funkcja progowa bipolarna. Funkcja sigmoidalna unipolarna. Funkcja sigmoidalna bipolarna. 20 / 33

21 Sztuczna sieć neuronowa. Sztuczna sieć neuronowa jest zbiorem połączonych ze sobą sztucznych neuronów. Zwykle stosuje się wielowarstwowe sieci typu feed-forward, w których grupy neuronów tworzą uporządkowane warstwy, a sygnał przechodzi przez neurony każdej warstwy jednokrotnie, oraz sieci rekurencyjne, w których sygnał możee powracać do neuronów warstw wcześniejszych, tworząc cykle. 21 / 33

22 Uczenie sieci. Niech x - wejściowy wektor danych. y - wyjściowy wektor danych. y d - wyjściowy wektor otrzymany za pomocą sieci neuronowej. Uczenie (nadzorowane) sieci neuronowej polega na takiej kontrolowanej modyfikacji wektora wag połączeń w sieci, która spowoduje minimalizację błędu wynikającego z różnicy między wektorami y oraz y d. W praktyce efektywne uczenie sieci wymaga wielu wektorów wejściowych oraz wielokrotnej ich prezentacji sieci. 22 / 33

23 Uczenie sieci. W naszej pracy porównywaliśmy modele używając następujących funkcji błędu: Druga norma z wagami. Φ(y, y d ) = N w k (y k yk d)2 k=1 Wartości wag są oparte na rozkładzie zapadalności w poszczególnych miesiącach. Maksimum z funkcji straty. Suma funkcji straty. Średnia funkcji straty. Druga norma. Φ(y, y d ) = max (w k y k yk d ) k 23 / 33

24 Uczenie sieci. Uczenie nienadzorowane sieci neuronowej nie wykorzystuje informacji o wektorze wyjściowym y d. Modyfikacja wagi w ij między i-tym oraz j-tym jest wynikiem obserwacji natężeń sygnałów przepływających przez te neurony: Modyfikacja wag. w ij = 1 N N k=1 x (k) i x (k) j,gdzie N - liczba wektorów prezentowanych na wejściu, x (k) i - sygnał wpływający do i-tego neuronu w wyniku prezentacji k-tego wektora wejsciowego. Duże wagi otrzymują zatem połączenia między tymi neuronami, które w wyniku prezentacji danego wektora wejściowego otrzymują sygnały o podobnych natężeniach. 24 / 33

25 Uczenie sieci. Bardzo popularnymi metodami uczenia sieci są tzw. metody gradientowe. Ich stosowanie polega na modyfikacji wektora wag zgodnie z kierunkiem wyznaczanym przez gradient funkcji błędu. Odpowiada to wędrówce po powierzchni wykresu funkcji błędu zgodnie z kierunkiem największego spadku. Ważnym problemem w używaniu metod gradientowych jest ustalenie długości kroku. Trzeba również uważać na minima lokalne, których osiągnięcie powoduje zatrzymanie pracy algorytmu. 25 / 33

26 Zastosowania sieci Śieci neuronowe mogą być stosowane z dużym prawdopodobieństwem odniesienia sukcesu wszędzie tam, gdzie pojawiają się problemy związane z tworzeniem modeli matematycznych pozwalających odwzorowywać złożone zależności pomiędzy pewnymi sygnałami wejściowymi a wybranymi sygnałami wyjściowymi R. Tadeusiewicz (2000) Planowanie remontów maszyn w zakładach przemysłowych Sterowanie procesami produkcyjnymi Tworzenie prognoz pogody Systemy rezerwacji biletów lotniczych Przewidywanie trzęsień ziemi Rozpoznawanie znaków drogowych (Driver Assistant System) Prognozy giełdowe Wykrywanie podejrzanych transakcji - wykrywanie przestępstw giełdowych Diagnostyka układów elektronicznych Rozpoznawanie i identyfikacja obrazów radarowych Analiza badań medycznych 26 / 33

27 Neuralnet biblioteka: neuralnet funkcje: neuralnet, prediction neuralnet(formula, data,...) hidden- wektor określający ilość warstw ukrytych i neuronów w warstwach, np. (3,2,1) oznacza 3 warstwy: pierwszą z trzema neuronami, drugą z dwoma neuronami i trzecią z jednym neuronem. Default=1. algorithm - algorytm uczenia sieci: backprop, sag, slr, rprop-, rprop+ (default) act.fct- funkcja aktywacji: logistic (1/(1+exp(-x))), tanh linear.output (default: true) 27 / 33

28 Neuralnet 28 / 33

29 Neuralnet 29 / 33

30 Nnet biblioteka: nnet funkcje: nnet nnet(formula, data,...) nnet(x, y,...) x - dane y - target size- liczba neuronów w warstwie subset- wektor indeksów określający, które przypadki mają być użyte jako uczące maxit- maksymalna liczba iteracji (default 100) linout (default: logistic output units) MaxNWts- największa dopuszczalna liczba wag 30 / 33

31 Nnet 31 / 33

32 Dziękujemy za uwagę :) 32 / 33

33 Błędy predykcji na zbiorze testowym błędy dopasowania dla zbioru uczącego błąd testowy uczący testowy uczący testowy uczący testowy uczący ,56 11,22 11,56 11,24 11,62 11,16 11,61 11, / 33