Ćwiczenie 10. Metody eksploracji danych

Transkrypt

1 Ćwczene 10. Metody eksploracj danych Grupowane (Clusterng) 1. Zadane grupowana Grupowane (ang. clusterng) oznacza grupowane rekordów, obserwacj lub przypadków w klasy podobnych obektów. Grupa (ang. cluster) jest zborem rekordów, które są podobne do sebe nawzajem nepodobne do rekordów z nnych grup. Grupowane różn sę od klasyfkacj tym, że w przypadku grupowana ne ma zmennej celu. Zadane grupowana ne próbuje klasyfkować, szacować lub przewdywać wartośc zmennej celu. Zamast tego grupowane próbuje podzelć cały zbór danych w stosunkowo zgodne podgrupy lub grupy, przy czym podobeństwo rekordów wewnątrz grup jest maksymalzowane, a podobeństwo do rekordów z nnych grup jest mnmalzowane. 1. Algorytm k-średnch Załóżmy, że z góry znamy lczbę grup, które algorytm pownen utworzyć. Wtedy bardzej właścwa będze stratega podzału, poneważ jedyna decyzja, którą musmy podjąć, dotyczy sposobu podzału grupy. Taka metoda byłaby równeż bardzej efektywna nż aglomeracyjne grupowane, w którym należy ocenć wszystke możlwe połączena. Najlepsze znane podejśce, które jest oparte na tej de, to grupowane k-średnch, prosty wydajny algorytm, od welu lat używany przez statystyków. Idea polega na reprezentacj grupy przez centrod dla dokumentów, które należą do tej grupy (centrod grupy S jest 1 zdefnowany jako c d. Przynależność do grupy jest określana przez znalezene S d S najbardzej podobnego centrodu grupy dla każdego dokumentu. Algorytm wczytuje zbór dokumentów S oraz parametr k oznaczający lczbę pożądanych grup wykonuje ponższe krok: 1) Wyberz k dokumentów z S, które mają zostać użyte jako centrody grup. Zwykle są one wyberane losowo. 2) Przypsz dokumenty do grup zgodne z ch podobeństwem do centrodów (tj. dla każdego dokumentu znajdź najbardzej podobny centrod przypsz ten dokument do odpowednej grupy). 3) Dla każdej grupy oblcz ponowne centrody grup, używając śweżo oblczonej przynależnośc do grup. 4) Wróć do kroku 2 dopók proces ne zbega (tj. te same dokumenty są przypsane do tych samych grup w dwóch kolejnych teracjach lub centrody pozostają w tym samym punkce). Punktem kluczowym algorytmu jest krok 2. W tym kroku dokumenty są przesuwane pomędzy grupam, aby zmaksymalzować podobeństwo wewnątrz grupy. Funkcja kryteralna grupowana jest oparta na centrodach grup jest podobna do sumy kwadratów błędu w grupowanu opartym na odległośc, który używa średnej. Zamast tego tutaj używamy centrodów podobeństwa. Zatem funkcja to 1

2 gdze c jest centrodem grupy J k 1 d D sm( c, d ) j D sm ( c, d j ) jest odległoścą kosnusową pomędzy c które maksymalzuje tę funkcję jest nazywany grupowanem o raz d j. Grupowane, mnmalnej warancj (ang. mnmum varance clusterng) (aby unknąć pomyłk, warancja zależy od odległośc maksymalzacja podobeństwa odległośc). jest równoważna mnmalzacj 3. Grupowane oparte na prawdopodobeństwe - algorytm EM Algorytm EM (ang. Expectaton Maxmzaton) jest popularnym algorytmem używanym do grupowana w kontekśce model meszanych. Algorytm ten został początkowo zaproponowany przez Dempstera n. do oszacowana brakujących parametrów modelu probablstycznego. Zasadnczo jest to podejśce optymalzacyjne. Algorytm dla pewnego początkowego przyblżena parametrów grupy teracyjne wykonuje dwa krok: w perwszym kroku E (ang. estmaton) oblcza wartośc oczekwane dla prawdopodobeństw grup, a w drugm kroku M (maksymalzacja) oblcza parametry rozkładu ch warygodność dla danych. Te dwa krok są powtarzane dopóty, dopók parametry, które są szukane, ne znajdą sę w punkce stałym lub logarytm funkcj warygodnośc, który merzy jakość grupowana, ne osągne (lokalnego) maksmum. Lteratura: 1. P. Berkhn, Survey of Clusterng Data Mnng Techmques, A. Moore, k-means and Herarchcal Clusterng, Course Notes J. MacQueen, Some Methods for Classfcaton and Analyss of Multvarate Observatons, Proc. 5th Berkeley Symposum on Mathematcal Statstcs and Probablty, Vol. 1, pp , Unversty of Calforna Press, Berkeley, CA Ćwczene 1 Zastosowane systemu Weka 1. Otwórz Explorer w systeme Weka. 2. Otwórz plk z danym. W tym celu otwórz plk Open Fle -> data. W katalogu data wyberz plk bank_data.arff. 2

3 3. Następne nacśnj Explorer, a potem wyberz opcję Cluster, a następne Choose. Wówczas trzeba wybrać SmpleKMeans. 4. Następne nacśnj słowo SmpleKMeans w ramce Choose. Wówczas otworzy sę formatka, która pozwala wybrać parametry tego algorytmu grupowana. Przyjmj, że lczba grup będze wynosć 5. Jest to defaultowa wartość lczby grup. funkcję jądrową. (patrz rysunek) Potwerdź zmany klawszem OK. Wreszce nacśnj button Start. 3

4 5. Po wykonanu oblczeń uzyskuje sę wynk przedstawone na rys. ponżej). 6.Następne powtórz procedurę grupowana 10 grup. Przeprowadź oblczena, jak podano powyżej. 4

5 7. Przeprowadź wzualzację uzyskanych danych. W tym celu nacśnj Vsualze Cluster Assgnment dla wszystkch uzyskanych rezultatów. 5

6 Zastosowane systemu RapdMner Ćwczene 2 1. Uruchom narzędze RapdMner Utwórz przepływ polegający na wczytanu zboru danych bank_data.csv przesłanu ch do operatora Nomnal to Numercal (Data Transformaton -> Type Converson -> Nomnal to Numercal) przekazanu ch do operatora Clusterng (Modelng -> Clusterng and Segmentaton -> k-means). Utwórz drug przepływ tych danych do operatora Select Attrbutes w celu wybrana czterech perwszych atrybutów (wyberz jako typ fltra subset), a następne należy zbór danych przesłać do operatora Nomnal to Numercal ponowne operator Clusterng. Wskazać, że transformacj ma podlegać będą wybrane atrybuty (jako typ fltra wyberz multple, a także koneczne zaznacz pole wyboru nclude specal attrbutes). Tak przygotowane dane prześlj do operatora Clusterng. Obejrzyj uzyskany model. 3. Utwórz kolejny przepływ, w którym będze przeprowadzana wyłączne agregacja. W tym celu sporządź tak przepływ danych, w którym zamast Clusterng będze użyty operator Aggregaton. 6

7 4. Utwórz kolejny przepływ, w którym będze przeprowadzana agregacja w klastrach. W tym celu sporządź tak przepływ danych, w którym zamast Clusterng będze użyty operator Aglomeratve Clusterng. Uzyskane przepływy będą mały postać, jak ponżej. Sprawdź wynk. 5. Zwzualzuj uzyskane wynk. 7

8 Zadane 1 Wykonaj ćwczene 1 dla zboru danych people.arff. Sprawdź, która z użytych metod grupowana k-means jest lepsza. Czy dokładnejsze jest grupowane dla 5 grup, czy też grupowane dla 10 grup. Znajdź najlepszy podzał na grupy. Następne przeprowadź grupowane z użycem algorytmu EM porównaj uzyskane wynk z poprzednm. Który z algorytmów jest lepszy? Zadane 2 Wykonaj ćw. 2, tzn. korzystając z systemu RapdMner przeprowadź analzę drzewa decyzyjnego dla plków danych bank_data.csv. Porównaj uzyskane wynk. Zadane 3 1) Zberz pewną lczbę stron nternetowych poprzez przeszukwane katalogu stron poprzez wykorzystane robota nternetowego lub za pomocą wyszukwana w Internece. Użyj robota nternetowego o nazwe WebSPHINX ( lub znajdź go za pomocą wyszukwark w Internece. Robota użyj do znajdowana kategor tematycznych (jeżel są dostępne) lub podzel je (ręczne) na dwe lub węcej kategor. Utwórz plk danych WEKA, aby reprezentować zbór. Wykonaj następujące krok. a) Upewnj sę, że w każdej kategor jest od 20 do 50 stron. Wyberaj strony z wększą loścą tekstu małą loścą grafk. b) Po zapsanu każdej strony zameń ją na czysty tekst. Na przykład otwórz stronę nternetową w programe Internet Explorer użyj opcj ''Zapsz jako...'' z ''Zapsz jako typ: plk tekstowy (*.txt)''}. Upewnj sę, że rozmar każdego plku tekstowego jest wększy nż 1 kb mnejszy nż 10 kb. c) Utwórz pojedynczy plk w formace systemu WEKA ARFF (z atrybutam będącym łańcucham), który będze zawerał wszystke teksty wydobyte ze stron nternetowych (ops formatu ARFF znajduje sę na strone Zawartość każdego tekstu pownna znajdować sę w pojedynczej ln (usuń wszystke znak CR LF) mus znajdować sę w cudzysłowach (''_''). Dodaj tytuł strony na początku ln kategorę strony na jej końcu. Następne utwórz nagłówek plku w attrbute web_page_name attrbute web_page_content attrbute web_page_class strng 8

9 @data ''Internet Archve'', ''nternet archve web movng...'', nfo... Sekcja danych (lne po data} zawerają właścwe teksty stron nternetowych: jedna (długa) lna na stronę. Na strone nternetowej podręcznka Larose Eksploracja zasobów nternetowych ( jest dostępny plk danych WEKA utworzony jak opsano powyżej. Plk nazywa sę Top-100-webstes.arff zawera 100 perwszych stron zwróconych przez wyszukwarkę Google dla hasła web 18 kwetna 2006 roku. Klasa została przypsana (ręczne) jako ''prof'' dla stron nternetowych zaprojektowanych z myślą o profesjonalstach z dzedzny IT, a ''nfo'' to klasa stron, które zawerają różnego rodzaju nformacje lub bezpośredno serwsy nternetowe. 2) Załaduj zbór danych stworzony powyżej (lub Top-100-webstes.arff) do systemu WEKA, zameń na reprezentację: bnarną, częstośc termów TFTDF zachowaj każdą z nch w osobnym plku ARFF. Użyj fltru StrngTo-World-Vector wykonaj krok wyjaśnone w ćwczenach 3 4 z rozdzału 1. Na strone nternetowej ksążk www. datamnngconsultant. com dostępne są plk po konwersj plku Top-100-webstes.arff w reprezentacjach: bnarnej, częstośc termów TFIDF nazwane odpowedno Top-100- webstes-bnary.arff, Top-100-webstes-count.arff Top-100-webstes-TFIDF.arff. 3) Załaduj bnarny zbór danych przeanalzuj atrybuty, sprawdzając ch grafczne przedstawena w trybe wstępnego przetworzena systemu WEKA. a) Jak jest najczęścej obserwowany wzór w okne grafcznego przedstawena atrybutów? Co mów nam wzorzec z wysokm słupkem 0 nskm słupkem 1 o rozkładze danych? A co mów nam odwrotny wzór? b) Co kolor klas mów nam o wadze atrybutów w grupowanu? A co o rozkładze częstośc? c) Jak byłby najlepszy wzór dla dobrze wyważonego grupowana? d) Porównaj następujące atrybuty (dla zboru danych Top-100-webstes-bnary.arff): nput, accountng, nternet, web, support, software desgn. Przeanalzuj ch wykresy słupkowe pod kątem poprzednch pytań. 4) Przeanalzuj grafczne przedstawene atrybutów w reprezentacjach: częstośc termów TFIDF (używając odpowednch zborów danych stworzonych w ćwczenu poprzednm. Jak sę zmen reprezentacja? Dlaczego? Które atrybuty będą lepsze do grupowana, z grubszym czy ceńszym słupkam? 9

10 5) Wykonaj eksperyment z grupowanem dla Top-100-webstes-bnary.arff za pomocą algorytmu k-średnch dla dwóch grup (numclusters = 2). Pomń atrybut klasy. a) Użyj dwóch różnych losowych zaren (tj. różnych początkowych centrodów grup) zobacz jak zmeną sę wynk. Wyjaśnj, dlaczego algorytm jest tak wrażlwy na zmany początkowych ustaweń. b) Znajdź najbardzej wyważone grupowane zachowaj przypsane do klas, w nowym plku. Nacśnj prawym przycskem myszy na okno wynków wyberz Vsualze cluster assgnments} (pokaż przypsana do grup). Następne użyj guzka Save (zapsz) w okne Clusterer vsualze; nowy atrybut został dodany (jako ostatn) z wartoścam odpowadającym przynależnośc do grupy dla każdego rekordu. c) Załaduj plk z wynkam grupowana pokaż orygnalne przypsane do klas, używając nowego atrybutu grupy jako koloru. Przeanalzuj wynk (to wyjaśna, w jak sposób system WEKA wykonuje ocenę klasa-grupa omówoną w rozdzale 4). 6) Wykonaj eksperyment z poprzednego ćwczena, ale z reprezentacjam: częstośc termów (Top-100-webstes-counts.arff) TFIDF (Top-100-webstes-TFIDF.arff). Porównaj wynk. 7) Usuń wszystke atrybuty oprócz następujących: webste_ttle, developers, support, partners, developer, solutons, html, software, gov, natonal, desgn oraz webste_class. Równeż zgnoruj atrybut class. Uruchom algorytmy k-średnch EM dla dwóch grup, używając trzech zborów danych: bnarnego, częstośc termów TFIDF. a) Dla algorytmu k-średnch, zbadaj efekt zmany zarna. Porównaj zachowane dla algorytmu z tym dla całego zboru danych. Wyjaśnj różncę. b) Porównaj algorytmy k-średnch EM dla drzewastych zborów danych. Przeanalzuj rozkład klas względem grup (zobacz ćwczene 5b c). Który algorytm dzała lepej dla którego zboru danych? Wyjaśnj dlaczego. Zauważ, że w systeme WEKA mplementacja algorytmu k-średnch stosuje odległość eukldesową (ne odległość kosnusową), a algorytm EM zakłada, że rozkład jest normalny. c) Dla algorytmu EM, zbadaj ocenę logarytmu warygodnośc przedstawoną przez system WEKA porównaj ją z oceną opartą na dokładnośc otrzymaną dla grafcznego przedstawena przypsana do grup (rozkład klas względem grup). d) Dla algorytmu EM, zbadaj w jak sposób logarytm warygodnośc zmena sę dla kolejnych teracj. Zbadaj maksymalną lczbę teracj równą = l, 2, 3, obserwuj wartośc 10

11 logarytmu warygodnośc. Stwórz wykres logarytmu warygodnośc w zależnośc od teracj Zrób eksperyment z różną lczbą atrybutów (powedzmy l, 2, 3, 5, 10) zmenaj losowo zarna. Skomentuj wynk. 8) Usuń wszystke atrybuty poza webste_ttle, webste_class 10 nnych dowolnych atrybutów, różnych od tych, które zostały użyte w ćwczenu 7. Zgnoruj atrybut class uruchom algorytmy k-średnch EM dla dwóch grup, używając trzech reprezentacj: bnarnej, częstośc termów TFIDF. a) Wykonaj eksperyment, przeprowadź analzę odpowedz na pytana opsane w ćwczenu poprzednm (7). b) Porównaj wynk z tym otrzymanym w ćwczenu 7 wyjaśnj różnce (zbadaj grafczne przedstawena różnych zborów użytych atrybutów). 9) Używając zboru danych TFIDF, wyberz jeden z atrybutów użytych w ćwczenu 7 jeden z atrybutów użytych w ćwczenu 8 oraz stwórz model normalnych meszann dla każdego. a) Zastosuj fltr RemoveWthValues, aby otrzymać zbór rekordów z każdej klasy następne użyj średnej oraz odchylena standardowego pokazanego przez system WEKA. b) Dla każdego atrybutu stwórz wykres funkcj gęstośc prawdopodobeństwa wewnątrz każdej klasy. Można to zrobć na przykład za pomocą programu Mcrosoft Excel. c) Badając krzywe gęstośc, określ, który atrybut jest bardzej stotny dla zadana klasyfkacj. 11