Narzędzia metody i techniki modelowania procesów społecznogospodarczych. Mariusz Dacko

Transkrypt

1 Narzędzia metody i techniki modelowania procesów społecznogospodarczych Mariusz Dacko

2 Dlaczego modelowanie procesów społecznogospodarczych jest procesem trudnym do przeprowadzenia? Brak jednolitego spójnego systemu informacji (konieczność pozyskiwania danych z wielu niezależnych źródeł) Braki istotnych danych na poziomie lokalnym Konieczność posiadania gruntownej wiedzy nie tylko o modelowanych zjawiskach, ale też o stosowanych metodach Konieczność dysponowania skomplikowanym i drogim oprogramowaniem (np. Statistica, SAS, Stella, Vensim) Konieczność dysponowania dużymi zbiorami kompletnych, wiarygodnych i aktualnych danych Przykład: badanie rozwoju obszarów wiejskich w Polsce: Obszary wiejskie to 1571 gmin wiejskich i 602 części wiejskich gmin miejsko-wiejskich Każda z tych jednostek musi być opisana szeregiem cech diagnostycznych, które umożliwią obiektywną ocenę rozwoju Wystarczy by badane jednostki zostały opisane zestawem 25 cech, a baza danych rozrasta się do ponad 50 tys. pól

3 Kiedy potrzebne są modele? Prowadzenie polityki państwa Opracowywanie planów i strategii Przewidywanie i wariantowanie przyszłości (symulacje, sądy warunkowe, gry) Zarządzanie rozwojem firm, korporacji, miast, regionów

4 Stosowane metody Regresja wieloraka Sieci neuronowe Drzewa decyzyjne Uczenie maszyn (metoda k najbliższych sąsiadów) Data mining

5 Regresja ODL CENA 5, , , , , , , , , , , , , , , , , , , , , , y = 6,036x + 34,55 R2 = 0,8623 0,00 5,00 10,00 15,00 20,00

6 Regresja liniowa prosta Regresja pozwala na matematyczny opis relacji pomiędzy zmienną zależną (endogeniczną), a zmienną objaśniającą (egzogeniczną) Regresja liniowa prosta polega na zdefiniowaniu parametrów linii prostej, która będzie reprezentowała zbiór punktów odpowiadających wartościom obu zmiennych ,00 5,00 10,00 15,00 20,00 y = ax + b a =? b =?

7 Parametry modelu Wzory na parametry (współczynniki) modelu regresji prostej: n 1 i 2 2 i n 1 i i i x x n 1 y) x y (x n 1 a n x a y b n 1 i n 1 i i i

8 Srednia cena jednostkowa Przykład zastosowania regresji prostej Model zależności między cenami jednostkowymi działek budowlanych a wielkością miejscowości (tys. mieszk.) Model ma postać: Y = 0,0003 X Liczba mieszkańców Jaka jest interpretacja modelu?

9 Regresja wieloraka W przypadku regresji wielorakiej mamy do czynienia z równaniem hiperpłaszczyzny w przestrzeni n-wymiarowej Łączy się tutaj metody matematyczne i statystyczne z wiedzą o modelowanych zjawiskach Najistotniejsze Problemy: Nadanie odpowiednich rang zmiennym jakościowym Dobór optymalnej liczby zmiennych objaśniających Uzyskanie stabilnych wyników Usunięcie obserwacji odstających Weryfikacja modelu Podobne problemy staną również przed badaczami stosującymi inne metody jednoczesnej oceny wpływu wielu zmiennych

10 Weryfikacja modeli regresji: współczynnik determinacji R 2 statystyka F Snedecora test globalny statystyki t dla zmiennych niezależnych testy istotności poszczególnych zmiennych objaśniających analiza reszt

11 Regresja w arkuszu kalkulacyjnym Mamy tutaj kilka możliwości: uruchomienie formuły tablicowej reglinp zainstalowanie i wykorzystanie modułu analizy danych data analysis wykorzystanie zaawansowanych możliwości wykresów Excela (linia trendu) samodzielne opracowanie formuł obliczeniowych

12 Formuła tablicowa reglinp Funkcja ta należy do kategorii f. statystycznych Jej użycie wymaga zdefiniowania: zmiennych objaśniających i objaśnianej, postaci modelu (ze stałą lub bez) oraz opcjonalnego wyboru statystyk regresji Wys. Powierzchnia zabudowy Technologia Cena zł/m² 60,4 12 płyta 3 526,00 48,1 4 płyta 4 719,00 60,2 4 płyta 4 236,00 60,4 9 płyta 4 139,00 60,6 4 płyta 4 703, nowa 4 750,00 35,8 4 nowa 4 737,00 48,5 4 nowa 3 711,00 48,5 4 nowa 2 474,00 59,5 4 płyta 3 866,00 48,3 4 nowa 3 727,00 48,5 4 nowa 5 010,00 72,4 4 nowa 3 591,00 72,8 4 nowa 4 396,00 48,5 4 płyta 4 866,00 71,5 4 nowa 4 531,00 34,1 4 płyta 5 674, płyta 4 000,00 41,2 4 płyta 5 461,00 73,1 4 płyta 3 967,00 61,3 4 nowa 3 736,00 47,9 4 płyta 4 843,00 Edycja formuły jest kończona kombinacją trzech klawiszy: Ctrl + Shift + Enter

13 Wynik formuły reglinp jest tylko z pozoru pojedynczą komórką. Po rozciągnięciu na inne komórki staje się on tablicą. a n a n-1 a 2 a 1 b se n se n-1 se 2 se 1 se b R 2 F ss reg se y d f ss resid a, b wartości współczynników regresji oraz stałej se - standardowe wartości błędu dla współczynników regresji oraz stałej R 2 - współczynnik determinacji se y - standardowy błąd oceny zmiennej zależnej F statystyka F Snedecora d f liczba stopni swobody ss reg - regresyjna suma kwadratów ss resid - resztkowa suma kwadratów

14 Moduł analizy danych Jest on domyślnie niedostępny i wymaga zainstalowania (Narzędzia Dodatki Analysis ToolPack)

15 Regresja poprzez narzędzie analiza danych Po instalacji na liście narzędziowej pojawi się zakładka o nazwie analiza danych, a w niej:

16 Regresja - okno dialogowe Po wskazaniu źródła danych (zmiennej zależnej i zmiennych niezależnych) oraz wyborze odpowiednich opcji, w nowym arkuszu generowane są w postaci raportu wyniki modelu regresji

17 Ocena wyników regresji uruchomionej poprzez moduł analizy danych Statystyki regresji Wielokrotność R 0,93 R kwadrat 0,86 Dopasowany R kwadrat 0,86 Błąd standardowy 12,99 Obserwacje 22 ANALIZA WARIANCJI df SS MS F Istotność F Regresja , Resztkowy Razem Współczynniki Błąd standardowy t Stat Wartość-p Wyraz wolny 34,55 4,37 7,90 0, Współczynnik kierunkowy 6,04 0,54 11,19 0,

18 Sieci neuronowe

19 Sieci neuronowe Sieci neuronowe zaliczamy do metod sztucznej inteligencji Sieć składa się z połączonych ze sobą neuronów Każdy neuron posiada co najmniej jedno wejście i wyjście Neurony muszą zostać odpowiednio połączone - stawia to przed twórcą sieci problem wyboru jej najlepszej architektury Typ : MLP 9:9-6-1:1, Ind. = 1 Jakość ucz. = 0,859466, Jakość w al. = 0,712944, Jakość test. = 0,801599

20 Koncepcja sieci neuronowych Do neuronów dociera pewna ilość wartości wejściowych Dane bezpośrednie Sygnały pośrednie pochodzące z wyjść innych neuronów Każda wartość wprowadzana jest do neuronu przez połączenie o pewnej wadze Każdy neuron posiada wartość progową, określającą jak silny musi być sygnał, by doszło do jego przekazania W każdym neuronie obliczana jest ważona suma wejść, a następnie odejmowana jest od niej wartość progowa Uzyskana w ten sposób wartość pomocnicza określa pobudzenie neuronu Wartość reprezentująca pobudzenie neuronu przekształcana jest z kolei przez funkcję aktywacji neuronu Wynik ten jest wartością wyjściową neuronu Wagi zostają odpowiednio skalibrowane w kolejnych etapach uczenia sieci (tzw. epokach) dzięki porównaniu z rzeczywistością wyników jakie uzyskuje sieć

21 Sieć liniowa najprostszy przykład sieci neuronowej Sieć taka nie posiada warstw ukrytych W modelu liniowym funkcją dopasowywaną do posiadanych danych jest hiperpłaszczyzna, a uczenie sieci polega na znalezieniu jej właściwego położenia i nachylenia Typ : Liniow a 9:9-1:1, Ind. = 2 Jakość ucz. = 0,782256, Jakość w al. = 0,887699, Jakość test. = 0, Interpretacja i zasada działania takiej sieci jest identyczna z liniowym modelem regresji wielorakiej bez wyrazu wolnego W y = w 1 *x 1 + w 2 *x 2 + w i *x i

22 Proces przygotowania i wdrożenia modelu sieci neuronowej

23 39473,00 48,3 ORŁOWICZA I 3 4 nowa 3727, , ,77 Arkusz predykcji dla Cena zł/m2 (SM Jaroty) Próby: Uczenie Data transakcji - Wejście Powierzchnia - Wejście Ulica - Wejście Piętro - Wejście Liczba izb - Wejście Wys. zabudowy - Wejście Technologia - Wejście Cena zł/m2 - Zm.zal Cena zł/m2 - Wyjście MLP Cena zł/m2 - Reszty MLP ,00 60,2 MROZA II 4 4 płyta 4236, , , ,00 60,4 ORŁOWICZA II 4 9 płyta 4139, , , ,00 60,6 KANTA I 4 4 płyta 4703, , , ,00 36,0 BOENIGKA parter 2 4 nowa 4750, , , ,00 35,8 MURZYNOWSKIEGO parter 2 4 nowa 4737, , , ,00 48,5 JAROSZYKA I 3 4 nowa 3711, , , ,00 48,5 LEYKA I 3 4 nowa 2474, , ,00

24 Sieci neuronowe w modelowaniu wady i zalety Tolerowanie braków danych! Możliwość tworzenia modeli nieliniowych Niższy niż w przypadku stosowania tradycyjnych metod statystycznych poziom wymaganej wiedzy teoretycznej Bardzo szeroki obszar zastosowań Zdolność generalizacji, czyli uogólniania wiedzy dla nowych danych Brak konieczności dokonywania założeń, co do natury związku pomiędzy predyktorami a zmienną zależną Brak przejrzystego modelu zależności Niezwykłe możliwości sieci neuronowych sprawiły, że narzędzie to znalazło zastosowanie w rozrywce (w grach komputerowych), w bankowości (we wspomaganiu decyzji kredytowych), w zarządzaniu bezpieczeństwem (rozpoznawanie twarzy przestępców na lotniskach)

25 Drzewa decyzyjne Układ drzewa 31 dla oczekiwanie na nabywcę Liczba węzłów dzielonych: 19, liczba węzłów końcowych:

26 Istota działania drzew typu C&RT Poszukiwanie zbioru logicznych warunków podziału, typu jeżeli to prowadzących do zaklasyfikowania badanych obiektów do poszczególnych węzłów drzewa Odpowiedzi modelu drzewa przyjmują postać typu: jeżeli mieszkanie było sprzedawane w lokalizacji A, znajdowało się na pierwszym piętrze i miało powierzchnię nie większą niż 50 m 2, to znajdowało nabywcę średnio po 3 miesiącach od daty rozpoczęcia jego budowy O sprawności drzew może świadczyć przykład klasyfikacji huraganów: baroklinowy czy zwrotnikowy?

27 Proces przygotowania i wdrożenia modelu drzew decyzyjnych Budowa modeli drzew klasyfikacyjnych i regresyjnych C&RT wymaga określenia parametrów umożliwiających ocenę ich jakości i zapobieganie ich nadmiernemu rozrostowi Kontrola jakości: sprawdziany krzyżowe Przerwanie procesu tworzenia nowych węzłów drzewa: przycinanie oraz określanie kryteriów minimalnej liczności przypadków w węźle

28

29 Które z wielu zbudowanych drzew decyzyjnych wybrać? Tree number End nodes CV cost CV standard error Resub. cost Node complexity Cost Tree number Resub. cost CV cost * Jako drzewo właściwej wielkości wybierane jest drzewo o najmniejszym rozmiarze, którego koszty sprawdzianu krzyżowego (CV) będą nie większe od najmniejszych (w całej sekwencji drzew) kosztów sprawdzianu krzyżowego powiększonych o wartość jednego błędu standardowego (CVse) tych kosztów. Mamy więc: = Warunek ten spełniało drzewo nr 3.

30 Przykłady drzew regresyjnych Szacowanie cen mieszkań na lokalnym rynku nieruchomości w Olsztynie Drzewo 6 dla Cena zł/m2 Liczba węzłów dzielonych: 9, liczba węzłów końcowych: 10 ID=1 N=270 Śr=4385, Var=424890, Powierzchnia <= 45, > 45, ID=2 N=66 ID=3 N=204 Śr=5072, Var=311834, Ulica = WAŃKOWICZA,... = Inne ID=4 N=25 ID=5 N=41 Śr=4163, Var=259497, Ulica = WAŃKOWICZA,... = Inne ID=8 N=116 ID=9 N=88 Śr=4705, Śr=5295, Var=218562, Var=236888, Śr=3982, Var=259725, Powierzchnia <= 53, > 53, ID=10 N=47 ID=11 N=69 Śr=4401, Var=159213, Piętro = IV... = Inne ID=24 N=24 ID=25 N=64 Śr=4237, Var=271764, Data transakcji <= 39472, > 39472, ID=12 N=1 ID=13 N=46 Śr=3808, Var=176784, Data transakcji <= 39736, > 39736, ID=18 N=51 ID=19 N=18 Śr=4129, Śr=4503, Var=169838, Var=117111, Śr=2474, Var=0, Śr=4276, Var=208571, Śr=3928, Var=148330, Śr=3467, Var=99809, Ulica Piętro = WAŃKOWICZA,... = Inne = II,... = Inne ID=14 N=16 ID=15 N=30 ID=20 N=22 ID=21 N=29 Śr=4549, Śr=4130, Śr=4146, Śr=3763, Var=104817, Var=202705, Var=161672,926803Var=74808,526456

31 Przykłady drzew regresyjnych Szacowanie cen działek budowlanych na lokalnym rynku nieruchomości w Zielonkach Drzewo 17 dla Cena jednostkowa [zł/m 2 ] Liczba węzłów dzielonych: 4, liczba węzłów końcowych: 5 ID=1 N=109 Śr=223, Var=3879, PRZYŁĄCZE WODOCIĄGOWE = 1 (istnieje) = 0 (brak) ID=2 N=87 ID=3 N=22 Śr=246, Var=1949, Śr=131, Var=920, PRZYŁĄCZE GAZOWE = 1 (istnieje) = 0 (brak) ID=4 N=62 ID=5 N=25 Śr=262, Var=1551, Śr=207, Var=754, STRONA SPRZEDAJĄCA = 0 (os.prawna) = 1 (os. fizyczna) ID=6 N=2 ID=7 N=60 Śr=402, Var=1161, Śr=257, Var=888, PRZYŁĄCZE KANALIZACYJNE = 1 (istnieje) = 0 (brak) ID=8 N=31 ID=9 N=29 Śr=274, Var=742, Śr=239, Var=418,482239

32 Drzewa decyzyjne w modelowaniu wady i zalety Prosta i bardzo czytelna interpretacja wyników Brak konieczności dokonywania założeń, co do natury związku pomiędzy predyktorami a zmienną zależną Przydatność w sytuacjach gdy wiedza a priori o tym, które zmienne są ze sobą powiązane i w jaki sposób jest niepewna i jedynie intuicyjna Możliwość oszacowania znaczenia poszczególnych predyktorów w procesie kształtowania się wartości modelowanej zmiennej Możliwość modelowania zależności nieliniowych i niemonotonicznych

33 Uczenie maszyn (metoda KNN) Predykcja dla nowego obiektu bazuje na porównaniu go ze zbiorem przykładowych (prototypowych) obiektów i wyszukaniu z nich k - najpodobniejszych Na ich podstawie szacuje się nieznaną wartość lub dokonuje klasyfikacji obiektu

34 Wybór liczby K K - jest to podstawowy parametr metody decydujący o jakości predykcji Parametr ten może być traktowany jak miara stopnia wygładzania danych. Przy małym K pojawi się duża zmienność predykcji Przy dużym K wystąpi uogólnienie predykcji K powinno być na tyle duże by zminimalizować możliwość błędnych klasyfikacji, ale też na tyle małe, by najbliżsi sąsiedzi byli dostatecznie bliskimi sąsiadami obiektu

35

36 Jak ustalić optymalną liczbę k najbliższych sąsiadów? Błąd sprawdzianu krzyżowego 4,5E5 4,4E5 4,3E5 4,2E5 4,1E5 4E5 3,9E5 3,8E5 3,7E5 3,6E5 3,5E5 3,4E5 3,3E5 3,2E5 3,1E5 3E5 2,9E5 Liczba najbliższych sąsiadów wz. Błąd sprawdzianu krzyżowego K Optymalne = 14 2,8E Liczba najbliższych sąsiadów

37 Data Mining (DM) Narzędzia data mining umożliwiają: dostęp do danych i ich hurtowni przygotowanie danych dla potrzeb data mining przeprowadzenie procesu data mining wizualizację, raportowanie i wykorzystanie wyników analiz W jednym projekcie DM możemy wykorzystać wiele metod (np. regresję, SSN, KNN i drzewa decyzyjne). Modele mogą następnie być wykorzystane do predykcji (wszystkie, bądź tylko najlepszy model lub kilka najlepszych z wielu modeli).

38 Projekty Data Mining łączenie wielu metod