z geoinformatických dat

Wielkość: px

Rozpocząć pokaz od strony:

Download "z geoinformatických dat"

Kazimierz Chrzanowski
5 lat temu
Przeglądów:

1 z geoinformatických dat 30. listopadu 2012 Rozvoj aplikačního potenciálu (RAPlus) CZ.1.07/2.4.00/

2 Dvě DN na úseku Příklad Najděte mezní situaci pro dvě DN na úseku délky L metrů tak, aby se ještě nejednalo o shluk. ( Epanechnikova funkce: K d (x)= 3 4d 1 ( ) ) x 2 d I ( d;d) (x) Jádrový odhad hustoty: f n (x)= 1 n n i=1 K d(x X i ) HV 3 4dn

3 Dvě DN na úseku ( f 2 (x 0 ) = 1 ( ) 3 x0 X 2 ( ) ) 1 x0 X = 2 4d d d ( ( ) 3 V 2 ( ) ) V 2 = = 4d 2 d d ( ( ) ) 3 V 2 = 1 4d d Chceme, aby f 2 (x 0 ) HV, což bude platit, pokud ( ( ) ) 3 V 2 1 4d d V 3 4d d

4 Dvě DN na úseku 4 x Hustota Vzdálenost (m)

5 O čem se bude mluvit? TÉMA KONTEXT APLIKACE Jádrový odhad hustoty Empirická DF K - funkce Shluková analýza Shlukování dopravních nehod Generalizace linií Klasifikaèní stromy Geografická generalizace Diskriminaèní analýza Identifikace zatáèek Ètyøpolní tabulky Biostatistika Pøírodní hazardy

6 O čem se bude mluvit? TÉMA KONTEXT APLIKACE Jádrový odhad hustoty Empirická DF K - funkce Shluková analýza Shlukování dopravních nehod Generalizace linií Klasifikaèní stromy Geografická generalizace Diskriminaèní analýza Identifikace zatáèek Ètyøpolní tabulky Biostatistika Pøírodní hazardy

7 Osnova prezentace logistická regrese rozhodovací stromy 4. Použití dosažených výsledků

8 Motivace Proč je důležité identifikovat zatáčky? bezpečnostní riziko zklidňující prvek management správy komunikací popisná statistika

9 Dopravní komunikace přímá část přechodnice oblouk x(t) = y(t) = t ( at 2 cos 0 2 t ( at 2 sin 0 2 ) dx, ) dx.

10 Klotoida

11 Zadání úlohy Úkoly identifikovat oblouky a přímé úseky určit poloměry oblouků x x 10 5

12 Trénovací množina II/446 Štěpánov (8,7km) II/444 Těšíkov (5,6km) x x x x 10 5

13 Trénovací množina II/446 Štěpánov (8,7km) II/444 Těšíkov (5,6km) x x x x 10 5

14 Charakteristiky bodů velikost úhlu kumulativní úhel tří bodů kumulativní úhel pěti bodů vzdálenost bodů poloměr kružnice opsané poloměr oskulační kružnice

15 Charakteristiky bodů velikost úhlu kumulativní úhel tří bodů kumulativní úhel pěti bodů vzdálenost bodů poloměr kružnice opsané poloměr oskulační kružnice

16 Charakteristiky bodů velikost úhlu kumulativní úhel tří bodů kumulativní úhel pěti bodů vzdálenost bodů poloměr kružnice opsané poloměr oskulační kružnice

17 Charakteristiky bodů velikost úhlu kumulativní úhel tří bodů kumulativní úhel pěti bodů vzdálenost bodů poloměr kružnice opsané poloměr oskulační kružnice

18 Charakteristiky bodů velikost úhlu kumulativní úhel tří bodů kumulativní úhel pěti bodů vzdálenost bodů poloměr kružnice opsané poloměr oskulační kružnice

19 Charakteristiky bodů velikost úhlu kumulativní úhel tří bodů kumulativní úhel pěti bodů vzdálenost bodů poloměr kružnice opsané poloměr oskulační kružnice

20 Poloměr oskulační kružnice Křivka c:i R R 2. Poloměr oskulační kružnice R(t 0 )= 1 κ(t 0 ) = ċ(t 0) Ṫ(t 0) T(X i) = X i+1 X i 1 X i+1 X i 1, Ṫ(X i) = T(X i+1) T(X i 1 ) t 1 + t 2, X2 T(X2) (X3) X3 X4 T(X4) ċ(x i) = X i+1 X i 1 t 1 + t 2, κ(x i) = T(X i+1) T(X i 1 ) X i+1 X i 1 X1 X5

21 Úhel Body mimo oblouk Body v oblouku 0.3 Hustota Úhel

22 Kumulativní úhly Tří bodů Pěti bodů Body mimo oblouk Body v oblouku 0.03 Body mimo oblouk Body v oblouku 0.05 Hustota Hustota Kumulativni uhel tri bodu Kumulativni uhel peti bodu

23 Vzdálenost dvou bodů 0.05 Body mimo oblouk Body v oblouku Hustota Vzdalenost bodu

24 Poloměry kružnic Kružnice opsaná Oskulační kružnice 3 x 10 3 Body mimo oblouk Body v oblouku 3 x 10 3 Body mimo oblouk Body v oblouku 2 2 Hustota Hustota Polomer kruznice opsane Polomer oskulacni kruznice

25 Generalizace linie

26 Důvody použití Metody redukce objemu dat odstranění šumu odstranění hustých míst v datech vypuštění/ponechání každého k-tého bodu linie délkový test úhlový test Douglas-Peuckerův algoritmus

27 Douglas-Peuckerův algoritmus (1972)

28 Douglas-Peuckerův algoritmus (1972)

29 Douglas-Peuckerův algoritmus (1972)

30 Douglas-Peuckerův algoritmus (1972)

31 Douglas-Peuckerův algoritmus (1972)

32 Douglas-Peuckerův algoritmus (1972)

33 Použití D-P algoritmu Původně ε=0,1m ε=0,5m ε=1m II/ II/ x x x x 10 5

34 Prahová hodnota II/446 II/446 Hraniční hodnota Kružnice Oskulační Kružnice Oskulační poloměru (m) opsaná kružnice opsaná kružnice % 65% 54% 56% % 72% 74% 76% % 73% 80% 80% % 78% 80% 81% % 74% 78% 80% % 75% 77% 78%

35 Klasifikační stromy Diskriminační analýza

36 Klasifikační stromy Metody diskriminační analýzy lineární diskriminační analýza kvadratická diskriminační analýza logistická regrese jádrový odhad hustoty metoda k-tého nejbližšího souseda neuronové sítě algoritmus podpůrných vektorů (SVM) případové usuzování rozhodovací stromy

37 Klasifikační stromy Metody diskriminační analýzy lineární diskriminační analýza kvadratická diskriminační analýza logistická regrese jádrový odhad hustoty metoda k-tého nejbližšího souseda neuronové sítě algoritmus podpůrných vektorů (SVM) případové usuzování rozhodovací stromy

38 Klasifikační stromy 1 Logistická regrese

39 Klasifikační stromy θ=(α, β 1, β 2,..., β n) T x=(1, X 1, X 2,..., X n) T P(Y X=1)= eθt x =: p(x) 1+e θt x Metoda maximální věrohodnosti L(θ) = l(θ) = = s p(x i) yi (1 p(x i)) (1 yi), i=1 s y i ln p(x i)+(1 y i) ln(1 p(x i))= i=1 s y i(θ T x i) ln(1+e θt x i ) max i=1

40 Významné parametry Klasifikační stromy velikost úhlu kumulativní úhel tří bodů kumulativní úhel pěti bodů vzdálenost bodů poloměr kružnice opsané poloměr oskulační kružnice

41 Nápad Klasifikační stromy Data R < 10km R >= 10km Model 1 Model 2

42 Nápad Klasifikační stromy Data R < 10km R >= 10km Pøímá Logistická èást regrese úseku Model 1 Model 2

43 Klasifikační stromy Rozhodovací stromy klasifikační regresní

44 Huntův algoritmus Klasifikační stromy Rekurzivně: Pokud všechny objekty v uzlu patří do stejné skupiny uzel je listem. V opačném případě uzel rozdělíme. Otázky Jak určit optimální rozdělení uzlu? Kdy růst stromu zastavit?

45 Rozdělení uzlu Klasifikační stromy p(i t) relativní četnost zastoupení i-té skupiny v uzlu t

46 Míra nečistoty Klasifikační stromy Entropie Entropy(t) = Gini index K p(i t) log 2 p(i t) i=1 Gini(t)=1 Klasifikační chyba K [p(i t)] 2 i=1 Classification error(t) = 1 max[p(i t)] i

47 Míra nečistoty Klasifikační stromy A 0 B 8 A 2 B 6 A 4 B 4 Entropy Gini Error ,811 0,375 0,25 1 0,5 0, Entropy Gini Classification error p =I(rodič) c j=1 N(v j ) N I(v j) max

48 Zastavovací kritérium Klasifikační stromy Typická kritéria všechny objekty v uzlu náleží do stejné skupiny objekty v uzlu se shodují ve všech atributech Další kritéria počet objektů v uzlu je menší než stanovená hranice rozdělení uzlu nevylepší míru nečistoty

49 Underfitting a Overfitting Klasifikační stromy 40 Testovaci mnozina Overfitting 30 Error (%) Trenovaci mnozina Pocet uzlu

50 Klasifikační stromy Charakteristické vlastnosti stromů neparametrická metoda snadná interpretace, grafické znázornění výpočetně nenáročný algoritmus robustní metoda nadbytečné atributy neovlivňují výsledky fragmentace dat (nedovolit dělení při nízkém počtu objektů v uzlu)

51 Stromy a lineární regrese Klasifikační stromy Co lze a co nelze snadno oddělit?

52 R Klasifikační stromy library(rpart) rpart() vytvoření stromu plot() vykreslení stromu text() popisky post() postscript plotcp() vykreslení chyby prune() ořezání stromu podle chyby

53 Klasifikační stromy Výsledný klasifikační strom

54 Klasifikační stromy Použití dosažených výsledků Podil DN v zatackach Pocet DN celkem Podil zatacek > 10

55 Exaktní binomický test p 0 podíl zatáček na silničním úseku n počet DN v zatáčkách N počet všech DN na úseku Klasifikační stromy Náhodný jev DN se stala v zatáčce má alternativní rozdělení s neznámým parametrem p. H 0 : p=p 0, proti H A : p > p 0 P(chyba I. druhu) ( n ) P N p 0 > K α α p-value = N k=n ( ) N p k 0 k (1 p 0) (N k)

56 Exaktní binomický test Klasifikační stromy Podil DN v zatackach Pocet DN celkem Podil zatacek > 10

57 Nebezpečný úsek Klasifikační stromy 9.45 x oblouk prima cast delka (m) pocet DN x 10 4

58 Diskuze a dotazy Klasifikační stromy andrasik.richard@gmail.com

Podobne dokumenty

Vybrané kapitoly z matematiky

Vybrané kapitoly z matematiky VŠB-TU Ostrava 2018-2019 Vybrané kapitoly z matematiky 2018-2019 1 / 11 Křivkový integrál Vybrané kapitoly z matematiky 2018-2019 2 / 11 Parametricky zadaná křivka v R 3 :