Wrocław University of Technology WYKŁAD 1 Wprowadzenie w tematykę kursu autor: Maciej Zięba Politechnika Wrocławska
Informacje dotyczące zajęć Cykl 8 wykładów. Konsultacje odbywają się w sali 121 w budynku C3 w terminach (proszę o wcześniejsze potwierdzenie mailem): PN, 8.00-9.00. CZ, 11.00-13.00. ND, 12.00-13.00. Kontakt do prowadzącego: maciej.zieba@pwr.wroc.pl. Strona prowadzącego: http://www.ii.pwr.wroc.pl/~zieba/. Na ostatnim wykładzie kolokwium zaliczeniowe. 2/34
Zawartość merytoryczna (1) 1. Zagadnienia podstawowe: metody pozyskiwania, wykorzystywania i integracji wiedzy; wprowadzenie niezbędnych pojęć związanych z prawdopodobieństwem; typowe rozkłady dyskretne i ciągłe. 2. Modele probabilistyczne: reprezentacja wiedzy w postaci modelu probabilistycznego; wnioskowanie na podstawie modeli probabilistycznych; ekstrakcja wiedzy z modeli probabilistycznych; integracja modeli probabilistycznych; złożone modele probabilistyczne. 3/34
Zawartość merytoryczna (2) 3. Modele funkcyjne, reguły i drzewa decyzyjne: metody ekstrakcji wiedzy dla modeli funkcyjnych; metody konstrukcji drzew i reguł decyzyjnych; metody konstrukcji zespołów modeli; metody integracji modeli o różnych reprezentacjach wiedzy. 4. Inne rodzaje reprezentacji wiedzy: zbiory rozmyte; ontologie; 5. Przykłady integracji wiedzy. 4/34
Pojęcie wiedzy Pojęcie wiedzy po raz pierwszy wprowadził Platon. Uważał on, że wiedza to prawdziwe i uzasadnione przekonanie. Arystoteles z kolei wyodrębnia wiedzę teoretyczną i praktyczną. Podział wiedzy ze względu na kryterium doświadczenia: Wiedza a priori jest niezależna od zmysłów i dotyczy prawd absolutnych lub uniwersalnych jakimi są prawa logiki, prawa matematyki. Wiedza a posteriori jest wiedzą nabytą poprzez zmysły i jej prawdziwość może być obalona poprzez następne obserwacje. 5/34
Pojęcie wiedzy w sztucznej inteligencji Pojęcie wiedzy w sztucznej inteligencji odnosi się do struktur modeli reprezentujących pewne procesy podejmowania decyzji. W zależności od procesu podejmowania decyzji wiedza może być reprezentowana w postaci rozmaitych struktur, takich jak funkcje, drzewa, grafy, reguły, bądź zbiory. Wiedza może mieć charakter: zrozumiały (interpretowalny); niejawny (nieinterpretowalny). Źródła wiedzy: wiedza eksperta; wiedza pozyskana z danych. 6/34
Pojęcie wiedzy w sztucznej inteligencji Pojęcie wiedzy w sztucznej inteligencji odnosi się do struktur modeli reprezentujących pewne procesy podejmowania decyzji. W zależności od procesu podejmowania decyzji wiedza może być reprezentowana w postaci rozmaitych struktur, takich jak funkcje, drzewa, grafy, reguły, bądź zbiory. Wiedza może mieć charakter: zrozumiały (interpretowalny); niejawny (nieinterpretowalny). Źródła wiedzy: wiedza eksperta; wiedza pozyskana z danych. 6/34
Uczenie maszynowe i eksploracja danych (1) Uczenie maszynowe (ang. machine learning) to proces pozyskiwania wiedzy do rozwiązania pewnego zadania w oparciu o doświadczenie i z wykorzystaniem pewnej miary jakości. Wraz ze wzrostem doświadczenia, następuje przyrost wiedzy potrzebnej do realizacji zadania mierzony z wykorzystaniem miary jakości. Eksploracja (ekstrakcja) danych (ang. data mining) to proces pozyskiwania wiedzy z danych reprezentowanej przez pewne wzorce. ZADANIE Jaka to litera? DOŚWIADCZENIE MIARA JAKOŚCI 7/34
Uczenie maszynowe i eksploracja danych (2) Metody uczenia maszynowego: są wykorzystywane jako narzędzia w procesach eksploracji danych. mają wymiar teoretyczny; modelują zjawiska wspomagając się danymi; modelują rzeczywistość w sposób probabilistyczny; zorientowane głownie na modele nieinterpretowalne; Metody eksploracji danych: jako narzędzia wykorzystują metody uczenia maszynowego. mają wymiar praktyczny; koncentrują się na analizie danych; modelują rzeczywistość w sposób deterministyczny; zorientowane głownie na modele interpretowalne. 8/34
Dane w uczeniu maszynowym Jeżeli rozważamy problem uczenia nadzorowanego (predykcji), to interesuje nas znalezienie mapowania wartości wejściowych x na wartości wyjściowe y. Mapowanie to odbywa się na podstawie tzn. zbioru uczącego (treningowego), który zawiera pary wejście-wyjście nazywane przykładami: D = {(x n, y n )} N n=1. Każdy element wejściowy x i zawiera zestaw wartości nominalnych i liczbowych, które nazywane są cechami, bądź atrybutami. Każdy element wyjściowy y i reprezentowany jest przez wartość liczbową (regresja), bądź też nominalną (klasyfikacja). Jeżeli rozważamy problem uczenia nienadzorowanego (deskrypcji) to interesuje nas znalezienie ciekawych wzorców w danych: D = {x n } N n=1. 9/34
Źródła danych DANE BANKOWE DANE MEDYCZNE DANE DŹWIĘKOWE OBRAZY DANE MAILOWE PORTALE SPOŁECZNOŚCIOWE DANE O KLIENTACH DANE Z CZUJNIKÓW DANE GIEŁDOWE 10/34
Problemy uczenia maszynowego Uczenie z nadzorem (ang. supervised learning): klasyfikacja (ang. classification); regresja (ang. regression); Uczenie bez nadzoru (ang. unsupervised learning): grupowanie (klasteryzacja, analiza skupień) (ang. clustering); redukcja wymiarów (ang. dimensionality reduction); uzupełnianie wartości (ang. matrix completion). Uczenie ze wzmocnieniem (ang. reinforcement learning). 11/34
Uczenie z nadzorem: Regresja Regresja (ang. Regression): Dysponujemy obserwacjami z odpowiadającymi im wartościami ciągłymi. Celem uczenia jest skonstruowanie modelu regresji na podstawie danych. Model konstruowany jest tak, aby możliwe było przewidywanie nowych obserwacji. 12/34
Uczenie z nadzorem: Regresja Regresja (ang. Regression): Dysponujemy obserwacjami z odpowiadającymi im wartościami ciągłymi. Celem uczenia jest skonstruowanie modelu regresji na podstawie danych. Model konstruowany jest tak, aby możliwe było przewidywanie nowych obserwacji. 12/34
Uczenie z nadzorem: Regresja Regresja (ang. Regression): Dysponujemy obserwacjami z odpowiadającymi im wartościami ciągłymi. Celem uczenia jest skonstruowanie modelu regresji na podstawie danych. Model konstruowany jest tak, aby możliwe było przewidywanie nowych obserwacji. 12/34
Uczenie z nadzorem: Regresja Regresja (ang. Regression): Dysponujemy obserwacjami z odpowiadającymi im wartościami ciągłymi. Celem uczenia jest skonstruowanie modelu regresji na podstawie danych. Model konstruowany jest tak, aby możliwe było przewidywanie nowych obserwacji. 12/34
Regresja: Śledzenie ruchu Cel: Dane: Wyznaczenie następnego położenia obiektu. Sekwencja obrazów z poruszającymi się obiektami. Na podstawie dotychczas zarejestrowanej sekwencji obrazów wyznaczane jest położenie obiektu. 13/34
Regresja: Predykcja notowań giełdowych Cel: Dane: Wycena akcji. Notowania akcji z poprzednich okresów oraz inne czynniki wpływające na cenę akcji. Na podstawie notowań historycznych i innych czynników mających wpływ na cenę akcji budowany jest model predykcyjny. Model aktualizowany jest z wykorzystaniem bieżących notowań. 14/34
Regresja: Predykcja przeżywalności pooperacyjnej Cel: Dane: Określenie jaki okres czasu pacjent przeżyje po operacji. Wyniki badań pacjenta przeprowadzonych przed i po operacji, ogólna charakterystyka zdrowia pacjenta. Na podstawie danych o pacjencie należy określić jaki okres czasu przeżyje on po operacji. 15/34
Uczenie z nadzorem: Klasyfikacja Klasyfikacja (ang. Classification): Dysponujemy obserwacjami z etykietami (klasami), które przyjmują wartości nominalne. Celem uczenia jest skonstruowanie klasyfikatora separującego obiekty należące do różnych klas. Klasyfikator konstruowany jest tak, aby możliwe było przewidywanie klas nowych, niesklasyfikowanych obserwacji. 16/34
Uczenie z nadzorem: Klasyfikacja Klasyfikacja (ang. Classification): Dysponujemy obserwacjami z etykietami (klasami), które przyjmują wartości nominalne. Celem uczenia jest skonstruowanie klasyfikatora separującego obiekty należące do różnych klas. Klasyfikator konstruowany jest tak, aby możliwe było przewidywanie klas nowych, niesklasyfikowanych obserwacji. 16/34
Uczenie z nadzorem: Klasyfikacja Klasyfikacja (ang. Classification): Dysponujemy obserwacjami z etykietami (klasami), które przyjmują wartości nominalne. Celem uczenia jest skonstruowanie klasyfikatora separującego obiekty należące do różnych klas. Klasyfikator konstruowany jest tak, aby możliwe było przewidywanie klas nowych, niesklasyfikowanych obserwacji. 16/34
Uczenie z nadzorem: Klasyfikacja Klasyfikacja (ang. Classification): Dysponujemy obserwacjami z etykietami (klasami), które przyjmują wartości nominalne. Celem uczenia jest skonstruowanie klasyfikatora separującego obiekty należące do różnych klas. Klasyfikator konstruowany jest tak, aby możliwe było przewidywanie klas nowych, niesklasyfikowanych obserwacji. 16/34
Klasyfikacja: Rozpoznawanie znaków Cel: Dane: Określenie, jaki znak (cyfra, litera) znajduje się na obrazku. Zestaw obrazków treningowych reprezentujących różne znaki wraz z korespondującymi etykietami. Wydobywane są cechy obrazka różnicujące reprezentowane znaki. Na podstawie cech i wykorzystując dane treningowe wykonywana jest klasyfikacja obrazka do najbardziej prawdopodobnego znaku. 17/34
Klasyfikacja: Detekcja obiektów Cel: Dane: Wykrycie obiektu na obrazie. Obraz na którym bada się wystąpienie obiektu, oraz zestaw obrazów treningowych przedstawiających dany obiekt. Do analizy obrazu wykorzystuje się okno przesuwne. W każdym kroku obraz z okna przesuwnego klasyfikowany jest jako obiekt poszukiwany lub nie. 18/34
Klasyfikacja: Detekcja SPAMU Cel: Dane: Zbadać, czy dana wiadomość jest SPAMEM. Zestaw zawierający zaetykietowane wiadomości mailowe. Wydobywane są cechy (występowanie słów) różnicujące SPAM od zwykłej poczty. Klasyfikacja nowej wiadomości odbywa się z wykorzystaniem wydobytych cech. 19/34
Klasyfikacja: Credit Scoring Cel: Dane: Zbadać zdolność kredytową klienta bankowego. Charakterystyki klientów bankowych pochodzące z systemów informatycznych i kwestionariuszy. Wydobywane są cechy mające wpływ na decyzje kredytowe. Klasyfikatory do oceny zdolności kredytowej są powszechnie stosowanym narzędziem. 20/34
Uczenie bez nadzoru: Klasteryzacja Klasteryzacja (ang. Clustering): Dysponujemy obserwacjami bez etykiet. Celem uczenia jest znalezienie grup (klastrów), w których skupione są dane. Obserwacje z danej grupy charakteryzują się podobieństwem. Inne nazwy: grupowanie, analiza skupień. 21/34
Uczenie bez nadzoru: Klasteryzacja Klasteryzacja (ang. Clustering): Dysponujemy obserwacjami bez etykiet. Celem uczenia jest znalezienie grup (klastrów), w których skupione są dane. Obserwacje z danej grupy charakteryzują się podobieństwem. Inne nazwy: grupowanie, analiza skupień. 21/34
Klateryzacja: Grupowanie osób w sieci społecznej Cel: Dane: Wyodrębnienie grup znajomych w sieci społecznej. Dane o interakcji między osobami. Wyodrębnione grupy znajomych przy pomocy TouchGraph dla Facebook a. Znajomi w tych samych klastrach charakteryzują się wewnętrzną interakcją między sobą. 22/34
Uczenie bez nadzoru: Redukcja wymiarów Redukcja wymiarów (ang. Dimensionality reduction): Dysponujemy obserwacjami bez etykiet. Celem uczenia jest znalezienie niskowymiarowej podprzestrzeni (rozmaitości), na której leżą dane. Obserwacje mogą zostać zakodowane przy pomocy układu współrzędnych związanego z niskowymiarową podprzestrzenią. 23/34
Uczenie bez nadzoru: Redukcja wymiarów Redukcja wymiarów (ang. Dimensionality reduction): Dysponujemy obserwacjami bez etykiet. Celem uczenia jest znalezienie niskowymiarowej podprzestrzeni (rozmaitości), na której leżą dane. Obserwacje mogą zostać zakodowane przy pomocy układu współrzędnych związanego z niskowymiarową podprzestrzenią. 23/34
Redukcja wymiarów: Kodowanie i kompresja zdjęć Cel: Znalezienie twarzy bazowych rozpinających niskowymiarową przestrzeń. Dane: Zdjęcia twarzy. Wyróżnione M twarzy bazowych rozpina M-wymiarową podprzestrzeń w przestrzeni twarzy. Twarze mogą być kodowane poprzez położenie na niskowymiarowej przestrzeni. Metoda może służyć, jako automatyczna ekstrakcja cech ze zdjęć. 24/34
Uczenie bez nadzoru: Uzupełnianie wartości Uzupełnianie wartości (ang. Matrix completion): Dysponujemy obserwacjami bez etykiet. Celem uczenia jest znalezienie brakujących wartości dla niekompletnych obserwacji. Obserwacje uzupełniane są poprzez wstawienie najbardziej prawdopodobnych wartości. 25/34
Uczenie bez nadzoru: Uzupełnianie wartości Uzupełnianie wartości (ang. Matrix completion): Dysponujemy obserwacjami bez etykiet. Celem uczenia jest znalezienie brakujących wartości dla niekompletnych obserwacji. Obserwacje uzupełniane są poprzez wstawienie najbardziej prawdopodobnych wartości. 25/34
Uczenie bez nadzoru: Uzupełnianie wartości Uzupełnianie wartości (ang. Matrix completion): Dysponujemy obserwacjami bez etykiet. Celem uczenia jest znalezienie brakujących wartości dla niekompletnych obserwacji. Obserwacje uzupełniane są poprzez wstawienie najbardziej prawdopodobnych wartości. 25/34
Uzupełnianie wartości: Rekonstrukcja obrazu Cel: Dane: Odtworzyć zakłócony obraz. Zestaw niezakłóconych zdjęć, oraz zakłócony obraz do rekonstrukcji. W oparciu o niezakłócone zdjęcia i analizowany obraz konstruowany jest rozkład prawdopodobieństwa na brakujące piksele. Na podstawie rozkładu uzupełniane są brakujące wartości pikseli poprzez wstawianie wartości najbardziej prawdopodobnych. 26/34
Uzupełnianie wartości: Rekomendacja produktów Cel: Dane: Zaproponować klientowi produkty, które skłonny jest kupić. Produkty do tej pory kupione przez klienta i transakcje zrealizowane przez innych klientów. W oparciu o zakupiony koszyk produktów nabytych przez klienta i zestaw transakcji konstruowany jest rozkład prawdopodobieństwa na produkty. Na podstawie rozkładu wybierane do rekomendacji są produkty charakteryzujące się najwyższym prawdopodobieństwem. 27/34
Reprezentacje wiedzy Wiedza w postaci funkcyjnej Wiedza reprezentowania jest w postaci funkcji i jej parametrów. Proces podejmowania decyzji odbywa się poprzez wyznaczenie wartości funkcji dla zadanych wartości argumentów. Uczenie najczęściej odbywa się poprzez estymację parametrów w procesie optymalizacji pewnego kryterium. Przykład: f(w ZROST, W AGA) = 2 W AGA + W ZROST 320. f(176, 85) = 26 > 0; Wniosek: osoba, która ma 176 cm wzrostu i waży 85 kg jest rugbistą. 28/34
Reprezentacje wiedzy Wiedza w postaci funkcyjnej Wiedza reprezentowania jest w postaci funkcji i jej parametrów. Proces podejmowania decyzji odbywa się poprzez wyznaczenie wartości funkcji dla zadanych wartości argumentów. Uczenie najczęściej odbywa się poprzez estymację parametrów w procesie optymalizacji pewnego kryterium. Przykład: f(w ZROST, W AGA) = 2 W AGA + W ZROST 320. f(176, 85) = 26 > 0; Wniosek: osoba, która ma 176 cm wzrostu i waży 85 kg jest rugbistą. 28/34
Reprezentacje wiedzy Wiedza w postaci funkcyjnej Wiedza reprezentowania jest w postaci funkcji i jej parametrów. Proces podejmowania decyzji odbywa się poprzez wyznaczenie wartości funkcji dla zadanych wartości argumentów. Uczenie najczęściej odbywa się poprzez estymację parametrów w procesie optymalizacji pewnego kryterium. Przykład: f(w ZROST, W AGA) = 2 W AGA + W ZROST 320. f(176, 85) = 26 > 0; Wniosek: osoba, która ma 176 cm wzrostu i waży 85 kg jest rugbistą. 28/34
Reprezentacje wiedzy Wiedza w postaci probabilistycznej Wiedza reprezentowania jest w postaci rozkładów prawdopodobieństwa. Proces podejmowania decyzji odbywa się poprzez wybór najbardziej prawdopodobnego wariantu. Uczenie realizowane jest poprzez estymację rozkładów prawdopodobieństwa. Przykład: p(176, 85 rugbista) = 0.17; p(176, 85 skoczek) = 0.01. Wniosek: bardziej prawdopodobne jest, że jeśli osoba jest rugbistą, to ma 176 cm wzrostu i waży 85 kg. 29/34
Reprezentacje wiedzy Wiedza w postaci probabilistycznej Wiedza reprezentowania jest w postaci rozkładów prawdopodobieństwa. Proces podejmowania decyzji odbywa się poprzez wybór najbardziej prawdopodobnego wariantu. Uczenie realizowane jest poprzez estymację rozkładów prawdopodobieństwa. Przykład: p(176, 85 rugbista) = 0.17; p(176, 85 skoczek) = 0.01. Wniosek: bardziej prawdopodobne jest, że jeśli osoba jest rugbistą, to ma 176 cm wzrostu i waży 85 kg. 29/34
Reprezentacje wiedzy Wiedza w postaci reguł decyzyjnych Wiedza reprezentowania jest w postaci reguł decyzyjnych. Każda reguła opisana jest w formie implikacji, na którą składa się koniunkcja wartości atrybutów (lewa strona implikacji), oraz jeden z możliwych wariantów decyzyjnych (prawa strona implikacji). Proces podejmowania decyzji odbywa się poprzez wybór odpowiedniej reguły (bądź reguł) decyzyjnych, która dotyczy (pokrywa) danego zagadnienia i na jej podstawie przeprowadzenie procesu wnioskowania. Uczenie polega na znalezieniu zestawu reguł najlepiej opisujących rzeczywistość. Interpretowalna reprezentacja wiedzy. Przykładowa reguła: (Kwota kredytu > 700) (Dochod < 1100) (status = odmowa)) 30/34
Reprezentacje wiedzy Wiedza w postaci drzew decyzyjnych Wiedza reprezentowania jest w strukturze drzewa. Drzewo decyzyjne w wierzchołkach przechowuje atrybuty, krawędzie reprezentują podział wartości dla danego atrybutu, natomiast w liściach przechowywane są możliwe warianty decyzyjne. Proces podejmowania decyzji odbywa się poprzez przejście jedną z możliwych ścieżek w drzewie i odczytaniu wariantu decyzyjnego z liścia. Uczenie odbywa się poprzez wybór najbardziej informacyjnej cechy, umieszczenie jej w danym wierzchołku i wprowadzenie najbardziej informacyjnego podziału jej wartości. Interpretowalna reprezentacja wiedzy. Każda ścieżka reprezentuje odrębną regułę decyzyjną. Zbiór wszystkich ścieżek reprezentuje kompletny i niesprzeczny zestaw reguł. 31/34
Reprezentacje wiedzy Przykład drzewa decyzyjnego <0 $ Checking account status >= 0 $ Credit amount Employment status <13 000 $ > =13 000 $ full-time unemployment Employment status bad good part-time bad full-time unemployment part-time Credit amount good bad <13 000 $ > =13 000 $ good good Duration of credit <18 months > =18 months good divorced or widowed Personal status married single good good bad 32/34
Integracja wiedzy Integracja wiedzy (bądź danych na potrzeby pozyskania wiedzy) odbywa się głównie celem: podejmowania decyzji na podstawie wielu modeli; wydobywanie interpretowalnej wiedzy na podstawie wielu modeli; integracja danych rozłożonych danych w różnych obszarach przestrzeni. 33/34
Literatura Należy zapoznać się z treścią książki (Rozdział 1 i 2): Murphy, Kevin P. Machine learning: a probabilistic perspective. MIT Press, 2012. 34/34