Metody oceny podobieństwa

Podobne dokumenty
Elementy modelowania matematycznego

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18

METODY INŻYNIERII WIEDZY

Widzenie komputerowe (computer vision)

Klasyfikatory: k-nn oraz naiwny Bayesa. Agnieszka Nowak Brzezińska Wykład IV

Klasyfikator. ˆp(k x) = 1 K. I(ρ(x,x i ) ρ(x,x (K) ))I(y i =k),k =1,...,L,

Metody klasyfikacji danych - część 1 p.1/24

Informatyka Techniczna Rozpoznawanie obrazów

Wybrane zagadnienia uczenia maszynowego. Zastosowania Informatyki w Informatyce W2 Krzysztof Krawiec

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych

Klasyfikacja LDA + walidacja

SZTUCZNA INTELIGENCJA

Metody Sztucznej Inteligencji II

Jak oceniad jakośd sondażu wyborczego? Robert Konieczny

ALGORYTM RANDOM FOREST

Mail: Pokój 214, II piętro

Agnieszka Nowak Brzezińska Wykład III

Pattern Classification

Adrian Horzyk

Kombinacja jądrowych estymatorów gęstości w klasyfikacji wstępne wyniki

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych

Metody systemowe i decyzyjne w informatyce

KLASYFIKACJA. Słownik języka polskiego

A Zadanie

Analiza danych. TEMATYKA PRZEDMIOTU

Data Mining Wykład 9. Analiza skupień (grupowanie) Grupowanie hierarchiczne O-Cluster. Plan wykładu. Sformułowanie problemu

Agnieszka Nowak Brzezińska Wykład III

Hierarchiczna analiza skupień

8. Drzewa decyzyjne, bagging, boosting i lasy losowe

SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska

PODYPLOMOWE STUDIA ZAAWANSOWANE METODY ANALIZY DANYCH I DATA MINING W BIZNESIE

Algorytmy klasyfikacji

Metody klasyfikacji i rozpoznawania wzorców. Najważniejsze rodzaje klasyfikatorów

jest ciągiem elementów z przestrzeni B(R, R)

Prawdopodobieństwo czerwonych = = 0.33

Weronika Siwek, Metryki i topologie 1. (ρ(x, y) = 0 x = y) (ρ(x, y) = ρ(y, x))

Stan dotychczasowy. OCENA KLASYFIKACJI w diagnostyce. Metody 6/10/2013. Weryfikacja. Testowanie skuteczności metody uczenia Weryfikacja prosta

Agnieszka Nowak Brzezińska

Podstawy Sztucznej Inteligencji (PSZT)

Elementy statystyki wielowymiarowej

Metody probabilistyczne klasyfikatory bayesowskie

TADEUSZ KWATER 1, ROBERT PĘKALA 2, ALEKSANDRA SALAMON 3

WYKŁAD 6. Reguły decyzyjne

WYKŁAD 12. Analiza obrazu Wyznaczanie parametrów ruchu obiektów

SAS wybrane elementy. DATA MINING Część III. Seweryn Kowalski 2006

Testowanie modeli predykcyjnych

WYKŁAD 13 ANALIZA I ROZPOZNANIE OBRAZU. Konstrukcja wektora cech z użyciem współczynników kształtu

Rozpoznawanie obrazów

Algorytmy klasteryzacji jako metoda dyskretyzacji w algorytmach eksploracji danych. Łukasz Przybyłek, Jakub Niwa Studenckie Koło Naukowe BRAINS

Sztuczna inteligencja : Algorytm KNN

Temperatura w atmosferze (czy innym ośrodku) jako funkcja dł. i szer. geogr. oraz wysokości.

Projekt Sieci neuronowe

5. Analiza dyskryminacyjna: FLD, LDA, QDA

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory

Elementy inteligencji obliczeniowej

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie

1 Klasyfikator bayesowski

Systemy uczące się Lab 4

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład I dr inż. 2015/2016

Rachunek wektorowy - wprowadzenie. dr inż. Romuald Kędzierski

Wybrane zagadnienia uczenia maszynowego

SPOTKANIE 2: Wprowadzenie cz. I

Wprowadzenie. Data Science Uczenie się pod nadzorem

Ruch jednostajnie zmienny prostoliniowy

Korzystając z własności metryki łatwo wykazać, że dla dowolnych x, y, z X zachodzi

WSTĘP I TAKSONOMIA METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING. Adrian Horzyk. Akademia Górniczo-Hutnicza

Eksploracja danych OCENA KLASYFIKATORÓW. Wojciech Waloszek. Teresa Zawadzka.

Wprowadzenie do uczenia maszynowego

Rozpoznawanie wzorców. Dr inż. Michał Bereta p. 144 / 10, Instytut Informatyki

Analiza skupień. Analiza Skupień W sztucznej inteligencji istotną rolę ogrywają algorytmy grupowania

Testowanie hipotez statystycznych

Algorytmy metaheurystyczne Wykład 11. Piotr Syga

Metody systemowe i decyzyjne w informatyce

Reguły decyzyjne, algorytm AQ i CN2. Reguły asocjacyjne, algorytm Apriori.

Optymalizacja ciągła

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - testy na sztucznych danych

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010

Kształcenie w zakresie podstawowym. Klasa 3

LEMRG algorytm generowania pokoleń reguł decyzji dla baz danych z dużą liczbą atrybutów

Metody selekcji cech

Systemy uczące się wykład 2

Statystyka. Rozkład prawdopodobieństwa Testowanie hipotez. Wykład III ( )

mgr inż. Magdalena Deckert Poznań, r. Uczenie się klasyfikatorów przy zmieniającej się definicji klas.

komputery? Andrzej Skowron, Hung Son Nguyen Instytut Matematyki, Wydział MIM, UW

AUTOMATYKA INFORMATYKA

Wybór modelu i ocena jakości klasyfikatora

Aproksymacja funkcji a regresja symboliczna

mgr inż. Magdalena Deckert Poznań, r. Metody przyrostowego uczenia się ze strumieni danych.

SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

Analiza składowych głównych. Wprowadzenie

MATEMATYKA WYKAZ UMIEJĘTNOŚCI WYMAGANYCH NA POSZCZEGÓLNE OCENY DLA KLASY PIERWSZEJ

Wprowadzenie. Metody bayesowskie Drzewa klasyfikacyjne i lasy losowe Sieci neuronowe SVM. Klasyfikacja. Wstęp

Katalog wymagań programowych na poszczególne stopnie szkolne. Matematyka. Poznać, zrozumieć

Szczegółowy program kursu Statystyka z programem Excel (30 godzin lekcyjnych zajęć)

Drzewa klasyfikacyjne Lasy losowe. Wprowadzenie

Kody blokowe Wykład 5a;

Problem eliminacji nieprzystających elementów w zadaniu rozpoznania wzorca Marcin Luckner

Reprezentacja i analiza obszarów

Reprezentacja i analiza obszarów

Transkrypt:

[1] Algorytmy Rozpoznawania Wzorców Metody oceny podobieństwa dr inż. Paweł Forczmański pforczmanski@wi.zut.edu.pl

Spis treści: [2] Podstawowe pojęcia Odległość Metryka Klasyfikacja Rodzaje metryk Przykłady

Które obrazy są do siebie podobne? [3]

[4] Obrót w prawo To zależy... W środku Obrót w lewo

[5] mężczyźni kobiety To zależy...

[6] student nauczyciel to zależy, czego szukamy...

[7] Tło złożone Jednolite tło...lub od treści obrazu (kontekstu)

Przestrzeń Euklidesowa [8] Przestrzeń euklidesowa: euklidesowej. przestrzeń o geometrii Jest naturalnym elementem modeli świata rzeczywistego (łac. geometria = mierzenie ziemi) i stanowi dobre przybliżenie przestrzeni fizycznych w warunkach makroskopowych (Nie nadają się do opisu rzeczywistości w bardzo małych, atomowych, lub bardzo wielkich, astronomicznych, wielkościach). Jednowymiarowa przestrzeń euklidesowa nazywana jest prostą euklidesową, zaś dwuwymiarowa płaszczyzną euklidesową. 365 r. p.n.e., - 300 r. p.n.e

Przestrzeń metryczna: [9] Przestrzeń metryczna zbiór z określonym pojęciem odległości (nazywanej metryką) między jego elementami. Przestrzenie metryczne tworzą najogólniejszą klasę obiektów, w których używa się pojęcia odległości wzorowanej na odległości znanej przestrzeni euklidesowych (prostej, płaszczyzny czy przestrzeni trójwymiarowej).

Odległość Odległością w niepustym zbiorze X nazywamy funkcję, która każdej parze elementów a, b należących do X przyporządkowuje taką liczbę d(a, b), że : 1a) d(a, b) jest większa lub równa 0 1b) d(a, b) = 0 wtedy i tylko wtedy, gdy a = b (odległość wyraża się liczbą nieujemną oraz jest równa zeru tylko wtedy, gdy elementy się pokrywają) 2 ) d(a, b) odległość z a do b jest taka sama jak z b do a. Mówimy, że odległość jest symetryczna. 3) d(a, b) jest mniejsza lub równa d(a, c) + d(c, b) to odległość z a do b jest nie większa niż suma odległości z a do c i z c do b. Tą własność nazywamy nierównością trójkąta. [10]

Odległość: [11] Odległość wartość metryki. Potocznie wiąże się z nią metrykę euklidesową. Kula w metryce euklidesowej

Kula i koło w metryce euklidesowej [12] Kula to : zbiór punktów oddalonych nie bardziej niż pewna zadana odległość r (promień kuli) od wybranego punktu O (środek kuli). Koło: zbiór wszystkich punktów płaszczyzny, których odległość od ustalonego punktu na tej płaszczyźnie (środka koła) nie przekracza pewnej wartości (promienia koła). Jest to kula w metryce euklidesowej na płaszczyźnie

Metryki w rozpoznawaniu obrazów : [13] metryka euklidesowa metryka miejska metryka kolejowa metryka Czebyszewa metryka Hausdorffa metryka Mahalanobisa metryka Minkowskiego

Metryka Euklidesowa [14] Metryka Euklidesowa to "zwykła" odległość punktów na płaszczyźnie.

Metryka miejska [15] Metryka Manhattan, inaczej metryka miasto lub miejska. Odległość dwóch punktów w tej metryce to suma wartości bezwzględnych różnic ich współrzędnych. Przyjmuje się założenie, że możemy poruszać się jedynie w kierunkach wschód-zachód oraz północpołudnie. Wtedy droga, jaką będziemy przebywać z jednego punktu do drugiego, wyniesie właśnie tyle, ile określa metryka miejska.

[16]

[17] Kluczowa własność metryki miejskiej: dla dowolnych punktów A, B i C Ai Bi Ci d A, C d A, B d B, C, i 1 d

Metryka maksimum Metryka nieskończoność, maksimum, Czebyszewa, szachowa metryka opisana wzorem Dla dowolnych dwóch punktów x i y, metryka maksimum określona jest wzorem: Miara ta została wprowadzona przez Pafnutija Czebyszewa i jest specjalnym przypadkiem odległości Minkowskiego. W szachach jest to odległość między polami szachownicy wyrażona w ruchach, które musi wykonać figura króla. Stąd pochodzi jej angielska nazwa chessboard distance. [18]

Metryka kolejowa Metryka kolejowa, centrum metryka na płaszczyźnie. Odległość dwóch punktów w tej metryce jest sumą euklidesowych ich odległości od punktu 0 = (0,0) lub w przypadku, kiedy prosta łącząca te punkty przechodzi przez punkt zwykła euklidesowa odległość. Przykładem może być labirynt, którego korytarze są prostymi rozchodzącymi się gwiaździście z jednego punktu. Wtedy, aby dojść z jednego punktu do drugiego, musimy najpierw dojść do skrzyżowania (centrum), by skręcić w odpowiedni korytarz. Nie porównujemy więc rzeczywistej odległości między tymi punktami, lecz właśnie taką, jaką określa metryka centrum. [19]

[20]

Metryka Minkowskiego Odległość Minkowskiego uogólniona miara odległości między punktami przestrzeni euklidesowej; niekiedy nazywa się także odległością Lm Można o niej myśleć jako o uogólnieniu odległości euklidesowej (L2), miejskiej (L1, w teorii informacji znanej jako odległość Hamminga) oraz Czebyszewa (L, tzn. Lm w granicy przy m ). [21]

Klasyfikacja Klasyfikacja statystyczna to rodzaj algorytmu statystycznego, który przydziela obserwacje statystyczne do klas, bazując na atrybutach (cechach) tych obserwacji. Formalnie, ten problem można przedstawić następująco: dla danego zbioru danych trenujących: znaleźć klasyfikator h: Przykładowe klasyfikatory: Klasyfikatory liniowe Naiwny klasyfikator bayesowski, Perceptron, K-najbliższych sąsiadów Drzewa decyzyjne Sieci bayesowskie [22] który przydziela obiektowi klasę y.

Klasyfikacja Rozróżniamy klasyfikację nadzorowaną (supervised classification) i nienadzorowaną (unsupervised classification). Klasyfikacja nadzorowana: etykiety klas nieznanych obiektów odgaduje się na podstawie zbioru obiektów o znanych etykietach; tj. zbioru uczącego (training set, learning set). Klasyfikacja nienadzorowana: zbiór uczący nie jest dany. Zadanie: rozdzielenie zbioru obiektów na dwa lub więcej podzbiorów; obiekty w obrębie pojedynczego podzbioru powinny być możliwie podobne (w przestrzeni zadanych cech i w sensie określonej metryki lub miary podobieństwa). [23]

Klasyfikacja - Zastosowania Klasyfikacja nienadzorowana: segmentacja obiektów w obrazach 2- i 3-wymiarowych; kategoryzacja dokumentów tekstowych, np. na potrzeby wyszukiwarek sieciowych; automatyczne grupowanie słów o wspólnym rdzeniu. Klasyfikacja nadzorowana: wspomaganie diagnostyki medycznej; kontrola jakości artykułów przemysłowych; detekcja obiektów na zdjęciach satelitarnych i lotniczych (remote sensing); rozpoznawanie pisma maszynowego i ręcznego (Optical Character Recognition, OCR). [24]

Klasyfikacja - przykład [25] Przykład z prezentacji (Cunningham, 2001). 2 klasy (jabłka i gruszki), 10 obiektów w zbiorze uczącym, 6 cech (5 liczbowych, jedna symboliczna). Potrzebna reguła decyzyjna ustalająca klasę obiektu w wierszu na dole.

Podstawowe rodziny klasyfikatorów [26] Sieci neuronowe (neural networks) Zalety: zwykle duża szybkość klasyfikacji; elastyczność (duża przestrzeń rozpatrywanych modeli); stosunkowo duża odporność na zbędne cechy. Wady: powolne uczenie; kryterium średniego błędu kwadratowego (w pełni adekwatne tylko w niektórych problemach); znaczące niebezpieczeństwo przeuczenia.

Podstawowe rodziny klasyfikatorów, c.d. [27] Drzewa decyzyjne (decision trees) Zalety: często duża szybkość klasyfikacji; prostota ogólnej koncepcji; niewrażliwość na skalowanie cech; względna odporność na zbędne cechy. Wady: trudność w aproksymacji prostych, lecz nierównolegle do osi ułożonych granic decyzyjnych; niestabilność (małe zmiany na wejściu powodują duże zmiany w strukturze drzewa); problematyczna obsługa brakujących wartości cech.

Podstawowe rodziny klasyfikatorów, c.d. [28] Klasyfikatory minimalnoodległościowe (nearest neighbor classifiers) Zalety (oryginalnej reguły k-nn): asymptotyczna optymalność; wysoka jakość klasyfikacji w praktyce; prostota, podatność na liczne modyfikacje. Wady (oryginalnej reguły k-nn): wolna klasyfikacja; wrażliwość na zbędne cechy; mała przestrzeń rozpatrywanych modeli. Klasyfikacja próbki q regułą 3-NN

Podstawowe rodziny klasyfikatorów, c.d. [29] Reguła k scentrowanych sąsiadów (k Nearest Centroid Neighbors, k-ncn) Sánchez i in., 1997; koncepcja NCN: Chaudhuri, 1996 Reguła k-ncn, k=3

Podstawowe rodziny klasyfikatorów, c.d. [30] Klasyfikator voting k-nn, c.d. Głosowanie 3 klasyfikatorów typu k-nn Analogiczne schematy z głosowaniem zaproponowaliśmy dla reguł k-ncn i k-nsn. W przeciwieństwie do większości klasyfikatorów równoległych, strata prędkości klasyfikacji w stosunku do pojedynczego klasyfikatora jest umiarkowana (w przypadku voting k-nn zaniedbywalna).

Podstawowe rodziny klasyfikatorów, c.d. [31] Klasyfikatory minimalnoodległościowe (nearest neighbor classifiers) Dwuwymiarowa przestrzeń cech: x 2 Podejmowanie decyzji w metodzie NN: x 2 x 1 x 1

Podstawowe rodziny klasyfikatorów, c.d. [32] Klasyfikacja na podstawie wzorców (template matching) Podejmowanie decyzji w metodzie TM: Dwuwymiarowa przestrzeń cech:pojęcie wzorca Przy dyskretnych cechach prawdopodobieństwo rozpoznania metodą pokrycia punktów jest bardzo duże

Podstawowe rodziny klasyfikatorów, c.d. Problem separowalności klas Przykład liniowej separowalności klas: [33] Przykład zadania, które nie jest liniowo separowalne:

Podstawowe rodziny klasyfikatorów, c.d. [34] Prawdziwa inteligencja polega na tym, aby wiedzieć kiedy przestać myśleć. Zjawisko przeuczenia (overfitting) Możliwe hipotezy dla tego samego zbioru Którą płaszczyznę rozdzielającą klasy zbioru uczącego należy wybrać? Pojedyncza odstająca od pozostałych próbka (ang. outlier) ma znaczący wpływ na wyuczone granice decyzyjne. Płaszczyzna (b) prawdopodobnie lepiej odpowiada rozkładowi prawdopodobieństwa.

[35] Podstawowe kryteria oceny klasyfikatorów: jakość klasyfikacji; szybkość klasyfikacji; szybkość uczenia; zrozumiałość wygenerowanego modelu dla człowieka. Podstawowe zagadnienia badawcze: konstrukcja możliwie dokładnych klasyfikatorów; redukcja zbioru odniesienia; selekcja cech; topologia i dobór komponentów w klasyfikatorach o strukturze sieciowej; dobór metryki.

Jak mierzyć jakość klasyfikacji? [36] 1. Metoda resubstytucji (resubstitution method) cały dany zbiór jest używany zarówno do uczenia, jak i do testowania. Wada: zawyżone (zbyt optymistyczne) wyniki. 2. Metoda wydzielania (holdout method) losowa połowa zbioru służy do konstrukcji klasyfikatora, a druga połowa do jego testowania. Wada: pesymistyczna estymacja jakości klasyfikatora. 3. Metoda minus jednego elementu (ang. leave-one-out method) klasyfikator generowany jest n 1 razy, tj. dla każdego (n 1)-elementowego podzbioru pełnego zbioru, podczas gdy zbiorem testowym dla każdego wygenerowanego klasyfikatora jest tylko jedna pozostała próbka. Estymacja błędu jest w tej metodzie nieobciążona (tj. sprawiedliwa), ale wariancja błędu jest znaczna; ponadto nie jest łatwo osiągnąć satysfakcjonującą szybkość działania tej metody.

Jak mierzyć jakość klasyfikacji (c.d.)? [37] 4. Metoda k-krotnej walidacji skrośnej (ang. k-fold cross validation) kompromis pomiędzy metodą wydzielania a metodą minus jednego elementu: dostępny zbiór dzielony jest losowo na k równych podzbiorów, a następnie każda z k części jest po kolei zbiorem testowym, zaś pozostałe k 1 części zbiorem uczącym. Błąd estymacji tej metody jest stosunkowo niski (generalnie tym niższy, im większe k), wariancja błędu jest niższa niż przy metodzie minus jednego elementu, zaś koszt czasowy realizacji dla praktycznych wartości k=5..10 umiarkowany. Metoda ta jest obecnie najczęściej stosowana w praktyce.