Metody oceny podobieństwa

Transkrypt

1 [1] Algorytmy Rozpoznawania Wzorców Metody oceny podobieństwa dr inż. Paweł Forczmański

2 Spis treści: [2] Podstawowe pojęcia Odległość Metryka Klasyfikacja Rodzaje metryk Przykłady

3 Które obrazy są do siebie podobne? [3]

4 [4] Obrót w prawo To zależy... W środku Obrót w lewo

5 [5] mężczyźni kobiety To zależy...

6 [6] student nauczyciel to zależy, czego szukamy...

7 [7] Tło złożone Jednolite tło...lub od treści obrazu (kontekstu)

8 Przestrzeń Euklidesowa [8] Przestrzeń euklidesowa: euklidesowej. przestrzeń o geometrii Jest naturalnym elementem modeli świata rzeczywistego (łac. geometria = mierzenie ziemi) i stanowi dobre przybliżenie przestrzeni fizycznych w warunkach makroskopowych (Nie nadają się do opisu rzeczywistości w bardzo małych, atomowych, lub bardzo wielkich, astronomicznych, wielkościach). Jednowymiarowa przestrzeń euklidesowa nazywana jest prostą euklidesową, zaś dwuwymiarowa płaszczyzną euklidesową. 365 r. p.n.e., r. p.n.e

9 Przestrzeń metryczna: [9] Przestrzeń metryczna zbiór z określonym pojęciem odległości (nazywanej metryką) między jego elementami. Przestrzenie metryczne tworzą najogólniejszą klasę obiektów, w których używa się pojęcia odległości wzorowanej na odległości znanej przestrzeni euklidesowych (prostej, płaszczyzny czy przestrzeni trójwymiarowej).

10 Odległość Odległością w niepustym zbiorze X nazywamy funkcję, która każdej parze elementów a, b należących do X przyporządkowuje taką liczbę d(a, b), że : 1a) d(a, b) jest większa lub równa 0 1b) d(a, b) = 0 wtedy i tylko wtedy, gdy a = b (odległość wyraża się liczbą nieujemną oraz jest równa zeru tylko wtedy, gdy elementy się pokrywają) 2 ) d(a, b) odległość z a do b jest taka sama jak z b do a. Mówimy, że odległość jest symetryczna. 3) d(a, b) jest mniejsza lub równa d(a, c) + d(c, b) to odległość z a do b jest nie większa niż suma odległości z a do c i z c do b. Tą własność nazywamy nierównością trójkąta. [10]

11 Odległość: [11] Odległość wartość metryki. Potocznie wiąże się z nią metrykę euklidesową. Kula w metryce euklidesowej

12 Kula i koło w metryce euklidesowej [12] Kula to : zbiór punktów oddalonych nie bardziej niż pewna zadana odległość r (promień kuli) od wybranego punktu O (środek kuli). Koło: zbiór wszystkich punktów płaszczyzny, których odległość od ustalonego punktu na tej płaszczyźnie (środka koła) nie przekracza pewnej wartości (promienia koła). Jest to kula w metryce euklidesowej na płaszczyźnie

13 Metryki w rozpoznawaniu obrazów : [13] metryka euklidesowa metryka miejska metryka kolejowa metryka Czebyszewa metryka Hausdorffa metryka Mahalanobisa metryka Minkowskiego

14 Metryka Euklidesowa [14] Metryka Euklidesowa to "zwykła" odległość punktów na płaszczyźnie.

15 Metryka miejska [15] Metryka Manhattan, inaczej metryka miasto lub miejska. Odległość dwóch punktów w tej metryce to suma wartości bezwzględnych różnic ich współrzędnych. Przyjmuje się założenie, że możemy poruszać się jedynie w kierunkach wschód-zachód oraz północpołudnie. Wtedy droga, jaką będziemy przebywać z jednego punktu do drugiego, wyniesie właśnie tyle, ile określa metryka miejska.

16 [16]

17 [17] Kluczowa własność metryki miejskiej: dla dowolnych punktów A, B i C Ai Bi Ci d A, C d A, B d B, C, i 1 d

18 Metryka maksimum Metryka nieskończoność, maksimum, Czebyszewa, szachowa metryka opisana wzorem Dla dowolnych dwóch punktów x i y, metryka maksimum określona jest wzorem: Miara ta została wprowadzona przez Pafnutija Czebyszewa i jest specjalnym przypadkiem odległości Minkowskiego. W szachach jest to odległość między polami szachownicy wyrażona w ruchach, które musi wykonać figura króla. Stąd pochodzi jej angielska nazwa chessboard distance. [18]

19 Metryka kolejowa Metryka kolejowa, centrum metryka na płaszczyźnie. Odległość dwóch punktów w tej metryce jest sumą euklidesowych ich odległości od punktu 0 = (0,0) lub w przypadku, kiedy prosta łącząca te punkty przechodzi przez punkt zwykła euklidesowa odległość. Przykładem może być labirynt, którego korytarze są prostymi rozchodzącymi się gwiaździście z jednego punktu. Wtedy, aby dojść z jednego punktu do drugiego, musimy najpierw dojść do skrzyżowania (centrum), by skręcić w odpowiedni korytarz. Nie porównujemy więc rzeczywistej odległości między tymi punktami, lecz właśnie taką, jaką określa metryka centrum. [19]

20 [20]

21 Metryka Minkowskiego Odległość Minkowskiego uogólniona miara odległości między punktami przestrzeni euklidesowej; niekiedy nazywa się także odległością Lm Można o niej myśleć jako o uogólnieniu odległości euklidesowej (L2), miejskiej (L1, w teorii informacji znanej jako odległość Hamminga) oraz Czebyszewa (L, tzn. Lm w granicy przy m ). [21]

22 Klasyfikacja Klasyfikacja statystyczna to rodzaj algorytmu statystycznego, który przydziela obserwacje statystyczne do klas, bazując na atrybutach (cechach) tych obserwacji. Formalnie, ten problem można przedstawić następująco: dla danego zbioru danych trenujących: znaleźć klasyfikator h: Przykładowe klasyfikatory: Klasyfikatory liniowe Naiwny klasyfikator bayesowski, Perceptron, K-najbliższych sąsiadów Drzewa decyzyjne Sieci bayesowskie [22] który przydziela obiektowi klasę y.

23 Klasyfikacja Rozróżniamy klasyfikację nadzorowaną (supervised classification) i nienadzorowaną (unsupervised classification). Klasyfikacja nadzorowana: etykiety klas nieznanych obiektów odgaduje się na podstawie zbioru obiektów o znanych etykietach; tj. zbioru uczącego (training set, learning set). Klasyfikacja nienadzorowana: zbiór uczący nie jest dany. Zadanie: rozdzielenie zbioru obiektów na dwa lub więcej podzbiorów; obiekty w obrębie pojedynczego podzbioru powinny być możliwie podobne (w przestrzeni zadanych cech i w sensie określonej metryki lub miary podobieństwa). [23]

24 Klasyfikacja - Zastosowania Klasyfikacja nienadzorowana: segmentacja obiektów w obrazach 2- i 3-wymiarowych; kategoryzacja dokumentów tekstowych, np. na potrzeby wyszukiwarek sieciowych; automatyczne grupowanie słów o wspólnym rdzeniu. Klasyfikacja nadzorowana: wspomaganie diagnostyki medycznej; kontrola jakości artykułów przemysłowych; detekcja obiektów na zdjęciach satelitarnych i lotniczych (remote sensing); rozpoznawanie pisma maszynowego i ręcznego (Optical Character Recognition, OCR). [24]

25 Klasyfikacja - przykład [25] Przykład z prezentacji (Cunningham, 2001). 2 klasy (jabłka i gruszki), 10 obiektów w zbiorze uczącym, 6 cech (5 liczbowych, jedna symboliczna). Potrzebna reguła decyzyjna ustalająca klasę obiektu w wierszu na dole.

26 Podstawowe rodziny klasyfikatorów [26] Sieci neuronowe (neural networks) Zalety: zwykle duża szybkość klasyfikacji; elastyczność (duża przestrzeń rozpatrywanych modeli); stosunkowo duża odporność na zbędne cechy. Wady: powolne uczenie; kryterium średniego błędu kwadratowego (w pełni adekwatne tylko w niektórych problemach); znaczące niebezpieczeństwo przeuczenia.

27 Podstawowe rodziny klasyfikatorów, c.d. [27] Drzewa decyzyjne (decision trees) Zalety: często duża szybkość klasyfikacji; prostota ogólnej koncepcji; niewrażliwość na skalowanie cech; względna odporność na zbędne cechy. Wady: trudność w aproksymacji prostych, lecz nierównolegle do osi ułożonych granic decyzyjnych; niestabilność (małe zmiany na wejściu powodują duże zmiany w strukturze drzewa); problematyczna obsługa brakujących wartości cech.

28 Podstawowe rodziny klasyfikatorów, c.d. [28] Klasyfikatory minimalnoodległościowe (nearest neighbor classifiers) Zalety (oryginalnej reguły k-nn): asymptotyczna optymalność; wysoka jakość klasyfikacji w praktyce; prostota, podatność na liczne modyfikacje. Wady (oryginalnej reguły k-nn): wolna klasyfikacja; wrażliwość na zbędne cechy; mała przestrzeń rozpatrywanych modeli. Klasyfikacja próbki q regułą 3-NN

29 Podstawowe rodziny klasyfikatorów, c.d. [29] Reguła k scentrowanych sąsiadów (k Nearest Centroid Neighbors, k-ncn) Sánchez i in., 1997; koncepcja NCN: Chaudhuri, 1996 Reguła k-ncn, k=3

30 Podstawowe rodziny klasyfikatorów, c.d. [30] Klasyfikator voting k-nn, c.d. Głosowanie 3 klasyfikatorów typu k-nn Analogiczne schematy z głosowaniem zaproponowaliśmy dla reguł k-ncn i k-nsn. W przeciwieństwie do większości klasyfikatorów równoległych, strata prędkości klasyfikacji w stosunku do pojedynczego klasyfikatora jest umiarkowana (w przypadku voting k-nn zaniedbywalna).

31 Podstawowe rodziny klasyfikatorów, c.d. [31] Klasyfikatory minimalnoodległościowe (nearest neighbor classifiers) Dwuwymiarowa przestrzeń cech: x 2 Podejmowanie decyzji w metodzie NN: x 2 x 1 x 1

32 Podstawowe rodziny klasyfikatorów, c.d. [32] Klasyfikacja na podstawie wzorców (template matching) Podejmowanie decyzji w metodzie TM: Dwuwymiarowa przestrzeń cech:pojęcie wzorca Przy dyskretnych cechach prawdopodobieństwo rozpoznania metodą pokrycia punktów jest bardzo duże

33 Podstawowe rodziny klasyfikatorów, c.d. Problem separowalności klas Przykład liniowej separowalności klas: [33] Przykład zadania, które nie jest liniowo separowalne:

34 Podstawowe rodziny klasyfikatorów, c.d. [34] Prawdziwa inteligencja polega na tym, aby wiedzieć kiedy przestać myśleć. Zjawisko przeuczenia (overfitting) Możliwe hipotezy dla tego samego zbioru Którą płaszczyznę rozdzielającą klasy zbioru uczącego należy wybrać? Pojedyncza odstająca od pozostałych próbka (ang. outlier) ma znaczący wpływ na wyuczone granice decyzyjne. Płaszczyzna (b) prawdopodobnie lepiej odpowiada rozkładowi prawdopodobieństwa.

35 [35] Podstawowe kryteria oceny klasyfikatorów: jakość klasyfikacji; szybkość klasyfikacji; szybkość uczenia; zrozumiałość wygenerowanego modelu dla człowieka. Podstawowe zagadnienia badawcze: konstrukcja możliwie dokładnych klasyfikatorów; redukcja zbioru odniesienia; selekcja cech; topologia i dobór komponentów w klasyfikatorach o strukturze sieciowej; dobór metryki.

36 Jak mierzyć jakość klasyfikacji? [36] 1. Metoda resubstytucji (resubstitution method) cały dany zbiór jest używany zarówno do uczenia, jak i do testowania. Wada: zawyżone (zbyt optymistyczne) wyniki. 2. Metoda wydzielania (holdout method) losowa połowa zbioru służy do konstrukcji klasyfikatora, a druga połowa do jego testowania. Wada: pesymistyczna estymacja jakości klasyfikatora. 3. Metoda minus jednego elementu (ang. leave-one-out method) klasyfikator generowany jest n 1 razy, tj. dla każdego (n 1)-elementowego podzbioru pełnego zbioru, podczas gdy zbiorem testowym dla każdego wygenerowanego klasyfikatora jest tylko jedna pozostała próbka. Estymacja błędu jest w tej metodzie nieobciążona (tj. sprawiedliwa), ale wariancja błędu jest znaczna; ponadto nie jest łatwo osiągnąć satysfakcjonującą szybkość działania tej metody.

37 Jak mierzyć jakość klasyfikacji (c.d.)? [37] 4. Metoda k-krotnej walidacji skrośnej (ang. k-fold cross validation) kompromis pomiędzy metodą wydzielania a metodą minus jednego elementu: dostępny zbiór dzielony jest losowo na k równych podzbiorów, a następnie każda z k części jest po kolei zbiorem testowym, zaś pozostałe k 1 części zbiorem uczącym. Błąd estymacji tej metody jest stosunkowo niski (generalnie tym niższy, im większe k), wariancja błędu jest niższa niż przy metodzie minus jednego elementu, zaś koszt czasowy realizacji dla praktycznych wartości k=5..10 umiarkowany. Metoda ta jest obecnie najczęściej stosowana w praktyce.