Metody zbiorów przybliżonych w uczeniu się podobieństwa z wielowymiarowych zbiorów danych

Wielkość: px

Rozpocząć pokaz od strony:

Download "Metody zbiorów przybliżonych w uczeniu się podobieństwa z wielowymiarowych zbiorów danych"

Damian Laskowski
8 lat temu
Przeglądów:

1 Metody zbiorów przybliżonych w uczeniu się podobieństwa z wielowymiarowych zbiorów danych WMIM, Uniwersytet Warszawski ul. Banacha 2, Warszawa, Polska andrzejanusz@gmail.com

2 Dlaczego właśnie podobieństwo? Myślenie... Podejmowanie decyzji sampl eid AFFX- 3_at 3322_i _at 4969_s _at _ s_at _at GSM GSM GSM GSM Diagno sis GSM i formowanie pojęć Podobieństwo Rozwiązywanie problemów Uczenie się

Zastosowania modeli podobieństwa Przykłady: klasyfikacja i regresja, segmentacja danych, planowanie, rozwiązywanie problemów, wykrywanie nietypowych obiektów,

3 Zastosowania modeli podobieństwa Przykłady: klasyfikacja i regresja, segmentacja danych, planowanie, rozwiązywanie problemów, wykrywanie nietypowych obiektów, wizualizacja i streszczanie danych. Podstawowa zasada: Podobne obiekty powinny być traktowane podobnie (np. należeć do tej samej klasy decyzyjnej, czy grupy).

4 Czym tak naprawdę jest podobieństwo? Trudności ze ścisłą definicją podobieństwa: relacja, czy funkcja? obiektywne, czy subiektywne? bezkontekstowe, czy kontekstowe? globalne, czy lokalne? Czynniki, które wpływają na kontekst to: cel lub zadanie, któremu służy ewaluacja podobieństwa, wiedza o innych znanych obiektach.

5 Czym tak naprawdę jest podobieństwo? Trudności ze ścisłą definicją podobieństwa: relacja, czy funkcja? obiektywne, czy subiektywne? bezkontekstowe, czy kontekstowe? globalne, czy lokalne? Czynniki, które wpływają na kontekst to: cel lub zadanie, któremu służy ewaluacja podobieństwa, wiedza o innych znanych obiektach.

6 Idea Tversky-ego Model kontrastu cech: obiekty postrzegane są jako zbiory cech jakościowych, cechy są zazwyczaj na wyższym poziomie abstrakcji niż dane sensoryczne, np. dwa samochody są podobne ponieważ są małe i szybkie, ważne są zarówno wspólne jak i wyróżniające cechy obiektów, S(a, b) = θf (A B) αf (A \ B) βf (B \ A), gdzie θ, α, β 0

7 Idea Tversky-ego Model kontrastu cech: obiekty postrzegane są jako zbiory cech jakościowych, cechy są zazwyczaj na wyższym poziomie abstrakcji niż dane sensoryczne, np. dwa samochody są podobne ponieważ są małe i szybkie, ważne są zarówno wspólne jak i wyróżniające cechy obiektów, S(a, b) = θf (A B) αf (A \ B) βf (B \ A), gdzie θ, α, β 0 Model Tversky-ego trudno jest zaaplikować do rzeczywistych danych: jak definiować wysokopoziomowe cechy? jak wybrać te istotne w danym kontekście? Propozycja: można wykorzystać teorię zbiorów przybliżonych!

8 Założenia proponowanego modelu podobieństwa: Uczenie się podobieństwa w języku zbiorów przybliżonych: wybór istotnych aspektów podobieństwa wysokopoziomowe cechy agregacja argumentów za i przeciw podobieństwu funkcja podobieństwa wybór przestrzeni aproksymacji lewe strony reguł aproksymacja pojęć bycia podobnym i niepodobnym do obiektu funkcja przynależności do aproksymacji pojęcia Wysokopoziomowe cechy można traktować jak argumenty za lub przeciw podobieństwu obiektów! Aproksymacja podobieństwa do obiektu to zbiór obiektów, do który pasują argumenty za podobieństwem a nie pasują argumety przeciwko.

9 Konstrukcja proponowanego modelu podobieństwa Dyskretyzacja i generowanie reduktów decyzyjnych osobno dla każdej klasy Generowanie reguł decyzyjnych i wzbraniających Argumenty za Podobieństwem dla Klasy 1 Aproksymacja pojęć podobieństwa i niepodobieństwa do poszczególnych obiektów System Decyzyjny Redukt dla Klasy 1 Decision Decision Reduct Decision Reduct Decision Reduct Reduct Argumenty przeciw Podobieństwu dla Klasy 1 Regułowy Model Podobieństwa

10 Opis formalny modelu Aproksymacja podobieństwa i niepodobieństwa: F + (i) oraz F (i) zbiory cech dla i-tej klasy decyzyjnej, wyznaczone przez reguły decyzyjne i wzbraniające; F + (i) = { ( ) f : f (d = i) RuleSet(DR i ) } ; F (i) = { ( ) f : f (d i) RuleSet(DR i ) } ; SIM (i) (u) = [u] f DIS(i) 0 (u) = U\[u] f DIS(i) 1 (u) = [u] f f F + f (u)=1 (i) f F f (u)=0 (i) f F f (u)=1 (i) Przynależność do SIM d(u1 )(u 1 ): Przynależność do DIS 0 d(u 1 ) (u 1): µ(u 2, SIM i (u 1 ))= SIM i (u 1 ) SIM i (u 2 ) SIM i (u 1 ) ψ(u 2, DIS 0 i (u 1))= DIS0 i (u 1) DIS 1 i (u 2) DIS 0 i (u 1)

11 Dlaczego dane wielowymiarowe? Rysunek: Ilustracja przekleństwa wielu wymiarów (z książki Elements of Statistical Learning: Data Mining, Inference and Prediction). typowe metody nie radzą sobie z problemem niewielu obiektów o dużej liczbie cech, duża złożoność obliczeniowa algorytmów uczenia się podobieństwa z danych wielowymiarowych.

12 Rozszerzenia modelu dla danych wielowymiarowych Główna idea: W przypadku danych wielowymiarowych konieczne jest rozpatrywanie wielu lokalnych modeli podobieństwa, które można interpretować jako autonomicznych agentów z własnymi preferencjami i doświadczeniem. Dwa typy wielowymiarowych danych Dane mikromacierzowe: uczenie z nadzorem redukty dynamiczne reguły decyzyjne i wzbraniające Dane tekstowe: uczenie bez nadzoru biredukty informacyjne pojęcia z ontologii dziedzinowej

13 Opis eksperymentów na danych mikromacierzowych Microarray data: few-objects-many-attributes problem 40k genes (attributes) Opis danych sampleid AFFX-3_at 3322_i_at 4969_s_at _s_at 22379_at Diagnosis GSM1.CEL GSM2.CEL GSM3.CEL GSM4.CEL GSM149. CEL 11 zbiorów mikromacierzy, liczba obiektów: , liczba atrybutów: 22k 61k, zbiory pochodzą z repozytorium ArrayExpress Opis eksperymentu wielokrotnie powtarzana weryfikacja krzyżowa, miary jakości: ACC i BAC, porównywane klasyfikatory: k-nn, RF, SVM.

14 Wyniki porównania z wybranymi modelami podobieństwa Balanced classification accuracy (%) NN + cortest 1 NN + t test 1 NN + relief RBS DRBS ALL BTu GPe HFF HGl SSh

15 Wyniki porównania z wybranymi metodami klasyfikacji Balanced classification accuracy (%) RF RF_b. ALL ATC BTu BLy GPe HFF HeC HGl OTu SSh SPs SVM DRBS

16 Opis eksperymentów na danych tekstowych Opis danych zbior 1000 artykułów naukowych z repozytorium PubMed Central, ontologia dziedzinowa MeSH ( 26k pojęć), metoda automatycznego etykietowania: ESA, zbiory etykiet nadanych przez ekspertów. Ewaluacja wyników Opis eksperymentu grupowanie hierarchiczne artykułów, stosowane algorytmy: agnes i diana, porównywane modele: dwa oparte o miarę kosinusową, zewnętrzna miara oceny jakości grupowania. Miara zgodności etykiet nadanych przez ekspertów wewnątrz grup.

17 Wyniki ewaluacji modelu Average semantic homogenity agnes RBS bireduct diana RBS bireduct agnes RBS single diana RBS single agnes Cosine single diana Cosine single agnes Cosine ensemble diana Cosine ensemble random clustering Average semantic homogenity agnes RBS bireduct diana RBS bireduct agnes RBS single diana RBS single agnes Cosine single diana Cosine single agnes Cosine ens. diana Cosine ens. random clustering Number of clusters Number of clusters

18 Podsumowanie Co się udało? dokonano interpretacji problemu uczenia się podobieństwa z punktu widzenia teorii zbiorów przybliżonych, zaproponowano intuicyjny i elastyczny model uczenia się podobieństwa z danych, opracowano efektywne algorytmy działające dla wielowymiarowych zbiorów danych, przeprowadzono dokładną ewaluację zaproponowanego podejścia. Kierunki na przyszłość: lepsze wykorzystanie wiedzy dziedzinowej, optymalizacja wydajności obliczeniowej dla dużych zbiorów danych, stworzenie wysokopoziomowego środowiska do eksperymentów.

19 Dziękuję za uwagę!

Podobne dokumenty

Widzenie komputerowe (computer vision)

Widzenie komputerowe (computer vision) dr inż. Marcin Wilczewski 2018/2019 Organizacja zajęć Tematyka wykładu Cele Python jako narzędzie uczenia maszynowego i widzenia komputerowego. Binaryzacja i segmentacja