mgr inż. Magdalena Deckert Poznań, 01.06.2010r. Uczenie się klasyfikatorów przy zmieniającej się definicji klas.
Plan prezentacji Wstęp Concept drift Typy zmian Podział algorytmów stosowanych w uczeniu się ze zmiennych środowisk Przykłady algorytmów Podsumowanie 2
Wstęp Schemat tworzenia klasyfikatorów Dane uczące Klasyfikator Algorytm uczący 3
Wstęp Strumienie danych 4
Wstęp Tradycyjne DBMS dane przechowywane w skończonych, trwałych zbiorach danych Strumienie danych ciągłe, uporządkowane, szybkie, zmieniające się, bardzo duże rozmiary Charakterystyka strumieni danych: Bardzo duże rozmiary danych, prawdopodobnie nieskończone Szybkie zmiany wymagają szybkiej reakcji Wielokrotny dostęp do wszystkich danych jest bardzo kosztowny minimalizacja liczby zapamiętanych przykładów uczących Niektóre algorytmy zapamiętują tylko meta dane związane z przetwarzanymi przykładami uczącymi 5
Wstęp Trudności w uczeniu ze strumieni danych: Czy zapamiętywać przykłady uczące? Full-instance memory Partial-instance memory No-instance memory Kiedy i w jaki sposób douczać? Uczenie przyrostowe (IIL) Uczenie po blokach (BBL) 6
Concept drift - definicja Concept drift oznacza, że właściwości klasy decyzyjnej, którą model próbuje przewidzieć, zmieniają się wraz z upływem czasu w nieprzewidziany sposób. Stwarza to problemy ponieważ trafność klasyfikacji maleje wraz z upływem czasu. 7
Concept drift - zastosowania Monitoring i kontrola Zindywidualizowane przetwarzanie informacji Wspomaganie decyzji Sztuczna inteligencja oraz robotyka 8
Concept drift - zastosowania Monitoring i kontrola monitorowanie w celu zapobiegania nieuprawnionym działaniom wykrywanie włamań wykrywanie defraudacji monitorowanie w zarządzaniu zarządzanie ruchem 9
Concept drift - zastosowania Zindywidualizowane przetwarzanie informacji filtrowanie informacji profile klientów marketing bezpośredni 10
Concept drift - zastosowania Wspomaganie decyzji przewidywanie bankructwa zastosowania biomedyczne - leczenie antybiotykami 11
Concept drift - zastosowania AI i robotyka concept drift = dynamiczne środowiska systemy inteligentnych domów 12
Rodzaje zmian nagłe stopniowe lub przyrostowe powracające 13
Rodzaje zmian 14
Rodzaje zmian Podczas wykrywania zmian napotkać można zjawiska niepożądane: 15
Algorytmy uczenia w zmiennych środowiskach 16
Detektory zmian triggers Dane etykietowane Trafność klasyfikacji DDM (ang. Drift Detection Method) obliczanie prawdopodobieństwa popełnienia błędu w momencie nadchodzenia przykładu poziom ostrzegawczy oraz poziom zmiany EDDM (ang. Early Drift Detection Method) bazuje na DDM, dodatkowo oblicza odległości między błędami dostosowany do powolnych zmian 17
Algorytmy przyrostowe Algorytmy przyrostowe powstały znacznie wcześniej niż pojęcie concept drift. Najbardziej znanym algorytmem dostosowanym do przetwarzania zmiennych środowisk jest FLORA zaproponowana przez Widmera i Kubata w 1996. 18
Algorytmy przyrostowe Składowe algorytmu FLORA okno czasowe z zapamiętanymi przykładami uczącymi wiedza nieuporządkowany zbiór reguł z każdą hipotezą związane są 3 zbiory ADES, NDES, PDES 19
Algorytmy przyrostowe Zbiór testowy pojęcia STAGGER: 20
Algorytmy przyrostowe Przykładowe wyniki algorytmu FLORA dla danych STAGGER: 21
Algorytmy przyrostowe Rodzaje algorytmu FLORA FLORA stały rozmiar okna czasowego FLORA2 dynamiczne dostosowywanie rozmiaru okna czasowego FLORA3 rozpoznawanie powracających opisów pojęć FLORA4 rozpoznawanie szumu 22
Inne propozycje Hiszpanie zaproponowali przyrostowy algorytm regułowy pamiętający przykłady graniczne. Maloof & Michalski zaproponowali algorytm AQ11PM WAH: przyrostowy algorytm AQ połączony z dynamicznym oknem czasowym Drzewa decyzyjne: VFDT, CVFDT. 23
Klasyfikatory złożone 24
Klasyfikatory złożone Horse Racing Jest to grupa klasyfikatorów, w których poszczególne klasyfikatory bazowe są tworzone z wyprzedzeniem, a dostosowywanie do zmian polega na modyfikacji reguły składania odpowiedzi, np. Weighted Majority 25
Klasyfikatory złożone Przykładowe wyniki algorytmu DWM dla danych STAGGER: 26
Klasyfikatory złożone Replace-the-oldest W przypadku wykrycia zmiany najstarszy z klasyfikatorów bazowych jest zastępowany klasyfikatorem zbudowanym na najnowszych danych. Replace-the-looser W przypadku wykrycia zmiany każdy z klasyfikatorów bazowych poddawany jest ponownej ocenie i najsłabszy z nich zostaje zastąpiony przez klasyfikator zbudowany na najnowszych danych. 27
Algorytmy oparte na selekcji przykładów uczących StreamMiner podejście polegające na systematycznym wyborze starych oraz nowych przykładów uczących W celu znalezienie optymalnego rozwiązania rozważane są 4 sytuacje: Brak CD i nowe dane są wystarczające Wykryto CD i nowe dane są wystarczające Brak CD ale nowe dane nie są wystarczające Wykryto CD i nowe dane nie są wystarczające W przypadku, gdy nowe dane nie są wystarczające uwzględniane są historyczne przykłady, na których budowany był ostatni klasyfikator. 28
MOA Massive Online Analysis Moa rdzenny ptak z Nowej Zelandii, niestety już wymarły, podobnie jak Weka jest nielotem Środowisko do przetwarzania olbrzymich zbiorów danych w tym strumieni danych Napisane w języku programowania Java Powiązane ze środowiskiem uczenia maszynowego WEKA 29
Podsumowanie Krótkie wprowadzenie do strumieni danych Definicja concept drift oraz zastosowania problemu zmiany definicji klas. Podział oraz przykłady algorytmów uczących się w zmiennych środowiskach. 30
Pytania 31
32