Automatyka - zastosowania, metody i narzędzia, perspektywy

Transkrypt

1 Automatyka - zastosowania, metody i narzędzia, perspektywy Katedra Inżynierii Systemów Sterowania Dr inż. Michał Grochowski

2 Automatyka - zastosowania, metody i narzędzia, perspektywy na studiach I stopnia specjalności: Automatyka i systemy sterowania Wprowadzenie do Uczenia maszynowego (Machine Learning) dr inż. Michał Grochowski m.grochowski@eia.pg.gda.pl kiss.pg.mg@gmail.com tel: Strona: -

3 Co to jest Uczenie maszynowe Uczenie maszynowe jest dziedziną nauki operującą na danych i jest częścią tzw. metod sztucznej inteligencji (ang. Artificial intelligence - AI) oraz metod inteligencji obliczeniowej (Computational Intelligence - CI). Celem uczenia maszynowego jest praktyczna realizacja koncepcji AI oraz CI, stworzenia systemu samouczącego, który jest w stanie się doskonalić na bazie doświadczenia, danych i wiedzy (data mining, data acquisition). źródło:

4 Celem uczenia maszynowego jest odkrywanie (odnajdowanie) tego co jest w danych ukryte.

5 Celem uczenia maszynowego jest odkrywanie (odnajdowanie) tego co jest w danych ukryte. Separacja obrazów źródło: A. M. Bronstein, M. M. Bronstein, M. Zibulevsky, "On separation of semitransparent dynamic images from static background", Proc. Intl. Conf. on Independent Component Analysis and Blind Signal Separation, pp , 2006.

6 Celem uczenia maszynowego jest odkrywanie (odnajdowanie) tego co jest w danych ukryte. Data Mining źródło: Lecture Notes: Applied Machine Learning. LASA Laboratory, EPFL CH-1015 Lausanne, Switzerland.

7 Uczenie maszynowe gwałtownie zyskuje popularność z powodu swoich zdolności do pracy w warunkach powodzi danych". Znajduje zastosowania tam gdzie duże rozmiary zbiorów danych uniemożliwiają ich ręczną analizę, tam gdzie system musi się w sposób dynamiczny i autonomiczny dostosowywać do zmieniających się warunków oraz tam gdzie problemy są na tyle złożone i skomplikowane że nie istnieją ich wiarygodne modele teoretyczne.

8 rozwój technologii cyfrowej (informacje z czujników pomiarowych, zdjęcia, bazy danych, digitalizacja zbiorów bibliotecznych, badania genetyczne, przeszukiwanie internetu, obróbka dźwięku i wideo etc ) kreuje coraz większe zbiory danych; szacuje się że w 2011 roku przetwarzanych było ok. 3*10 20 B danych; Youtube - ponad 800 mln miesięcznych użytkowników, którzy uploadują ponad godzinne materiały każdej sekundy (2013r.), co minutę przybywa ok 300g filmów (2015r); zapytań w Google na sekundę (2015r) dzienna ilość użytkowników Twittera 100 mln (2015); like na Facebooku 3 mld dziennie (2013r);

9 10 miliardów urządzeń jest podłączonych do internetu. Szacuje się że do 2020 będzie ich 50 mld i 100 trylionów do roku 2040 ( Internet of Things - IoT) ; National Oceanic and Atmospheric Administration (NOAA) aktualnie zbiera ponad 19 TB danych każdego roku (2013r). Zdajemy sobie sprawę z tego że to dopiero początek.

10 Uczenie maszynowe sprawdza się znakomicie w takich zagadnieniach jak: podejmowanie decyzji; pozyskiwanie wiedzy z danych i zachowań; inteligentne systemy wyszukiwania informacji; przetwarzanie i rozpoznawanie mowy; przetwarzanie i rozpoznawanie obrazów (w tym twarzy), zachowań, gestów; inteligentne systemy kompresji danych; widzenie komputerowe; autonomiczne sterowanie pojazdów bezzałogowych; systemy wieloagentowe; inteligentne systemy diagnostyczne; inteligentne systemy sterowania; prognozowanie i w wielu innych.

11 Uczenie maszynowe obejmuje takie zagadnienia jak: odkrywanie struktur/cech w danych; klasteryzacja; kompresja; klasyfikacja; regresja, aproksymacja, predykcja; separacja; identyfikacja; rozpoznawanie; optymalizacja; wspomaganie decyzji; analiza i rozpoznawanie języka; projektowanie; i Ceny [zł] WIG20 prognoza Czas [tygodnie]

12 Najbardziej popularne narzędzia Uczenia maszynowego: Sztuczne sieci neuronowe (wielowarstwowe; radialne; dynamiczne; samoorganizujące; rozmyte; falkowe, neuro-genetyczne, konwolucyjne); Metody wielowymiarowej analizy statystycznej danych: Analiza Składników Podstawowych (Principal Component Analysis - PCA) oraz Analiza Składników Niezależnych (Independent Component Analysis - ICA); Metody kernelowe; Maszyny Wektorów Podtrzymujących (Support Vector Machines); Sieć Kohonena

13 Najbardziej popularne narzędzia Uczenia maszynowego: k-means; c fuzzy means; Mixture of Gaussian Models; metody hierarchiczne; modele Markowa; algorytmy genetyczne, ewolucyjne; rojowe (Particie swarm optimisation), mrówkowe (Ant colony); Symulowane wyżarzanie (Simulated annealing); Artificial immune system.

14 Oczekiwania i ograniczenia wobec systemów uczących się: Oczekuje się, że systemy powinny uczyć się korzystając z wiedzy fragmentarycznej, doskonalić się w trakcie pracy, gromadzić doświadczenia, tworzyć nowe pojęcia, indukcyjnie wyciągać wnioski. Oczekiwane zadania systemów: formułowanie nowych pojęć, wykrywanie nieznanych prawidłowości w danych, tworzenie reguł decyzyjnych, przyswajanie nowych pojęć i struktur drogą uogólnienia i analogii, modyfikowanie, uogólnianie i precyzowanie danych, zdobywanie wiedzy poprzez kontakt z otoczeniem, generowanie wiedzy zrozumiałej dla człowieka, Na podstawie: Wykładu "Maszynowe uczenie sie" Jerzy Stefanowski, Instytut Informatyki, Politechnika Poznańska 2009.

15 Ograniczenia systemów uczących się: Problemy wynikające z: wprowadzenia danych niekompletnych, wprowadzenia danych częściowo sprzecznych, niezdefiniowania ograniczeń dziedzinowych. Klasyfikacja metod maszynowego uczenia się: W ogólności system zmieniać się może w dwojaki sposób: system nabywa "nową wiedzę" z zewnętrznych źródeł, system modyfikuje się samodzielnie poprzez intensywne wykorzystywanie posiadanej już wiedzy w sposób bardziej efektywny. Podział ze względu na rodzaj informacji dostarczony w zbiorze przykładów: uczenie nadzorowane (ang. supervised learning, reinforcement learning), uczenie nienadzorowane (ang. unsupervised learning). Na podstawie: Wykładu "Maszynowe uczenie sie" Jerzy Stefanowski, Instytut Informatyki, Politechnika Poznańska 2009.

16 Klasteryzacja danych

17 Motywacja Klasteryzacja danych rozwój technologii cyfrowej (informacje z czujników pomiarowych, zdjęcia, bazy danych, digitalizacja zbiorów bibliotecznych, badania genetyczne, przeszukiwanie internetu, obróbka dźwięku i wideo etc ) kreuje coraz większe zbiory danych; szacuje się że w 2011 roku przetwarzanych było ok. 3*10 20 B danych; Zdajemy sobie sprawę z tego że to dopiero początek.

18 Klasteryzacja danych Celem klasteryzacji powinno być odnalezienie naturalnego grupowania wzorców, cech, obrazów, itp celem ich późniejszej łatwiejszej obróbki Klasteryzacja (grupowanie danych) jest jedną z metod nienadzorowanej analizy danych (w odróżnieniu od klasyfikacji) Jej celem jest podział danych na klastry (grupy), tak aby każdy z nich zawierał możliwie podobne do siebie elementy (homogeniczność w grupach), a jednocześnie, poszczególne klastry powinny być jak najbardziej zróżnicowane pomiędzy sobą (heterogeniczność pomiędzy grupami).

19 Klasteryzacja danych Podobieństwo grup danych może być opisane na różne sposoby, w zależności od przyjętej miary. Grupy danych mogą być reprezentowane na różne sposoby, najczęściej poprzez centralny punkt w przestrzeni danych. W zależności od sposobu reprezentacji i przyjętej miary, grupy mogą wyglądać zupełnie inaczej. W procesie grupowania danych nie posiadamy danych wzorcowych tak więc proces ten jest uczeniem bez nauczyciela. Jain, A.K. Data clustering: 50 years beyond K-means. Pattern Recognition Lett. (2009),

20 Wprowadzenie Klasteryzacja danych W zagadnieniach klasyfikacji często operujemy pojęciami: obiekty np. wina, kwiaty, pacjenci, samochody, klienci banków, użytkownicy portali społecznościowych, teksty, obrazy, dźwięki, geny cechy np. kolor, woń, smak; długość, kolor, długość płatków kwiatowych; wyniki badań medycznych, parametry samochodów; upodobania ludzkie, rodzaje wykonywanych operacji finansowych; wzorce graficzne; słowa kluczowe

21 Wprowadzenie Klasteryzacja danych Przyjmujemy, że dane podlegające grupowaniu zapisywane są w postaci macierzy X zawierającej M obiektów, składających się z numerycznych wartości opisujących obiekty (każda po N cech). Zakładając że grupy danych reprezentowane są przez ich środki, celem algorytmu grupowania danych jest uzyskanie c wektorów v i = [v i1,, v in ], i=1,, c będących reprezentantami poszczególnych grup w przestrzeni danych. W problemie grupowania 100 obiektów do 5ciu różnych grup, mamy możliwość podziału tych danych na 6.57 e 67 różnych sposobów!!!!!!! Celem jest zatem znalezienie efektywnego algorytmu grupowania danych pozwalającego na znalezienie optymalnego (suboptymalnego) podziału tych danych bez konieczności analizy wszystkich możliwych kombinacji.

22 Wprowadzenie Klasteryzacja danych Przy założeniu 1 mln obrazów i czasie porównywania pary obrazów ok. 10 ms., otrzymamy czas realizacji zapytania ok. 30 godzin; jednak aplikacje porównujące (wyszukujące) tekst działają znacznie szybciej: 10 miliardów dokumentów tekstowych jest przeszukiwana przez Google w ok. 0.1 sekundy!!! (a) a pair of similar images has 370 matching key points; (b) a pair of different images has 64 matching key points. The green lines show the matching key-points between the images (Lee et al., 2008). Jain, A.K. Data clustering: 50 years beyond K-means. Pattern Recognition Lett. (2009),

23 Metody klasteryzacji grupujące (ostre, rozmyte, posybilistyczne); hierarchiczne

24 Ostre grupowanie danych Celem ostrego grupowania danych jest podział danych na c grup A i, tak aby: Interpretacja: A i A j A i c i1, A X, X i 1 i j 1 i (1) zbiór wszystkich grup zawiera wszystkie wektory danych, a każdy obiekt należy dokładnie do jednej grupy; (2) grupy danych są rozłączne; (3) żadna z grup nie jest pusta ani nie zawiera całego zbioru danych X. Aby podzielić dane na c grup, wygodnie jest przyjąć macierz podziału U o wymiarach cxm, zawierającą stopnie przynależności ᴜ ik k-tej danej do i-tej grupy k=1,, M; i=1,, c. c c (1) (2) (3)

25 6 4 Ostre grupowanie danych Cluster 1 Cluster Nieostre grupowanie danych Cluster 1 Cluster Cluster 1 Score Cluster 2 Score Cluster Membership Score Point Ranking

26 Miary odległości Niezmiernie istotnym czynnikiem wpływającym na wynik podziału danych jest sposób obliczania odległości pomiędzy obiektami zbioru danych. W przypadku grupowania danych mierzymy odległości w przestrzeni cech. Najczęściej stosowaną miarą odległości jest miara euklidesowa, interpretowana jako geometryczna odległość między dwoma punktami w przestrzeni X. Rozważmy dwa punkty o współrzędnych x s =[x 1, x 2,, x m ] oraz x t =[x 1, x 2,, x m ] i policzmy odległości pomiędzy nimi zgodnie z normami: Euklidesowa; Euklidesowa ważona (odchyleniem standardowym); Manhattan (city block); Mahalanobis; Czebyszewa; Hamminga; Cosine. Miara Manhattan

27 Algorytmy grupowania danych Algorytm HCM (Hard k-means) Algorytm HCM dzieli jednoznacznie dane X na c grup. W trakcie realizacji algorytmu obliczamy odległość pomiędzy każdym wektorem: i środkiem grupy: n xk R, k 1,, M v i, i 1,, c Środek grupy jest średnią położenia wszystkich obiektów należących do tej grupy. Przynależność do grupy opisujemy za pomocą macierzy: U [ ] ik Z H Elementami macierzy U są zera i jedynki określające przynależność obiektu x k do i-tej grupy. Inicjalizacja algorytmu polega na wyborze liczby grup c i ustaleniu początkowego położenia ich środków np. losowo.

28 Algorytmy grupowania danych Superpozycja k lokalnych modeli Gaussa Inne algorytmy: Algorytm HCM (Hard k-means); Algorytm FCM (Fuzzy C-Means), znany również jako Soft k-means; Algorytm PCM (Possibilistic C-Means); Gaussian Mixture Models (GMM).

29 Klasteryzacja danych Przykład Sterowania Automatyka - zastosowania, metody i narzędzia, perspektywy

30 2 klastry

31 3 klastry

32 10 klastrów

33 20 klastrów

34 50 klastrów

35 70 klastrów

36 Julia Sas-Swistelnicka: Analiza znamion skórnych przy pomocy metod przetwarzania obrazu i algorytmów inteligencji obliczeniowej. Promotor: dr inż. Michał Grochowski

37 Julia Sas-Swistelnicka: Analiza znamion skórnych przy pomocy metod przetwarzania obrazu i algorytmów inteligencji obliczeniowej. Promotor: dr inż. Michał Grochowski

38 Julia Sas-Swistelnicka: Analiza znamion skórnych przy pomocy metod przetwarzania obrazu i algorytmów inteligencji obliczeniowej. Promotor: dr inż. Michał Grochowski

39 Julia Sas-Swistelnicka: Analiza znamion skórnych przy pomocy metod przetwarzania obrazu i algorytmów inteligencji obliczeniowej. Promotor: dr inż. Michał Grochowski

40 Klasteryzacja hirarchiczna (hierarchical clustering)

41 Klasteryzacja hierarchiczna Klasteryzacja hierarchiczna jest metodą grupowania danych w różnej skali poprzez tworzenie drzewa klastrów zwanego dendrogramem. Drzewo nie jest zwyczajnym zbiorem klastrów a raczej wielopoziomową strukturą hierarchiczną, w której to klastry jednego poziomu tworzą (po połączeniu) klaster na poziomie wyższym. Dzięki temu możemy uzyskać odpowiedni do naszych potrzeb stopień klasteryzacji

42 Klasteryzacja hierarchiczna Można wyróżnić dwa sposoby klasteryzacji hierarchicznej: klasteryzacja skupiająca zaczynamy od pojedynczych elementów stanowiących klastry, a następnie w kolejnych krokach łączymy klastry na kolejnych poziomach, aż do uzyskania jednej grupy skupiającej wszystkie obiekty; klasteryzacja dzieląca zakładamy że wszystkie dane należą do jednego klastra, a w kolejnych krokach dokonujemy podziału klastra na kolejne, aż do momentu gdy każdy z elementów będzie stanowił pojedynczy klaster

43 Klasteryzacja hierarchiczna źródło: Lecture Notes: Applied Machine Learning. LASA Laboratory, EPFL CH-1015 Lausanne, Switzerland.

44 Klasteryzacja hierarchiczna źródło: Lecture Notes: Applied Machine Learning. LASA Laboratory, EPFL CH-1015 Lausanne, Switzerland.

45 Sztuczne sieci neuronowe wprowadzenie (wybrane fragmenty materiału wykładowego p. Kazimierza Duzinkiewicza z przedmiotu Metody Sztucznej Inteligencji, II st. studia magisterskie)

46 Sztuczne sieci neuronowe Geneza: Sieci neuronowe powstały dzięki obserwacjom i próbom naśladowania przetwarzania informacji w centralnym systemie nerwowym organizmów żywych Jakie mają cechy: Sieci neuronowe nie wymagają posiadania wyrazistej wiedzy dla ich stosowania Sieci neuronowe posiadają zdolność uczenia się złożonych zależności funkcyjnych z ograniczonej ilości danych uczących i następnie uogólniania dla danych innych niż dane uczące

47 Sztuczne sieci neuronowe Czym są obecnie: Sieci neuronowe są prostymi modelami naśladującymi funkcje biologicznego centralnego systemu nerwowego w zakresie przetwarzania informacji Parametry: wagi powiązań pomiędzy neuronami, progi pobudzeń neuronów Struktura: neurony, warstwy, powiązania W sieci neuronowej sposób przetwarzania informacji jest zakodowany strukturą sieci i jej parametrami nazywanymi wagami i progami

48 Sztuczne sieci neuronowe Jakie mają cechy: Sieci neuronowe nie wymagają dla ich stosowania, posiadania wyrazistej wiedzy o mechanizmach przetwarzania, które chcemy z ich pomocą zrealizować Sieci neuronowe posiadają zdolność uczenia się złożonych zależności funkcyjnych z ograniczonej ilości danych uczących i następnie uogólniania dla danych innych niż dane uczące Jak mogą być wykorzystane: Sieci neuronowe mogą służyć jako modele black box systemów wielowymiarowych, nieliniowych, statycznych i dynamicznych uzyskiwane drogą uczenia w oparciu o dane z obserwacji wejścia wyjścia systemu

49 Krótki opis neuronu biologicznego Mózg składa się z neuronów (komórek nerwowych) wielu różnych typów, bardzo mocno ze sobą powiązanych Centralnym elementem neuronu jest ciało komórki czyli soma, w którym znajduje się jądro. W ciele komórki realizowane są prawie wszystkie logiczne funkcje neuronu Z ciałem komórki połączonych jest bardzo dużo włókien Długie o nieregularnych kształtach włókna dendryty (wejścia). Z ciałem komórki związanych jest zwykle dendrytów Drzewko wyjściowe neuronu

50 Dendryty łączą neuron z innymi neuronami. Dendryty, albo otrzymują sygnały z innych neuronów albo są połączone z wyjściem macierzystego neuronu przez specjalne złącza zwane synapsami Połączone z ciałem komórki, jedno, długie włókno akson (wyjście) Akson jest zwykle mocno rozgałęziony na mniejsze włókna tworzące drzewko wyjściowe aksonu. Początkowa część aksonu wzgórek aksonu, gdzie sygnał wytworzony przez neuron jest zamieniany na ciąg impulsów propagowanych bez osłabiania wzdłuż wszystkich gałęzi drzewka aksonu Drzewko wyjściowe neuronu

51 Na końcach rozgałęzień aksonu znajdują się synapsy. Synapsy spełniają rolę interfejsów łączących aksony neuronów z wypustkami wejściowymi dendrytów. Akson typowego neuronu może mieć kilka tysięcy synaps z innymi neuronami. Synapsy są zdolne zmieniać lokalny potencjał dendrytu w kierunku dodatnim lub ujemnym mieć naturę pobudzającą lub tłumiącą Gromadzenie informacji w neuronie skoncentrowane jest w jego połączeniach synaptycznych dokładnie w ich układzie i siłach Drzewko wyjściowe neuronu

52 Aspekty na których skupimy nasze zainteresowanie sztucznymi sieciami neuronowymi w tym przedmiocie Klasyfikacja obiektów Przestrzeń rozważań Wektor cech i wyznaczniki (etykiety) klas Sieć neuronowa z zadaniu klasyfikacji faza uczenia Projektowanie klasyfikatora Sieć neuronowa z zadaniu klasyfikacji faza uogólniania Przetwarzanie danych i ekstrakcja cech Obserwowane cechy Etykiety klas Klasyfikator Dobra sieć: sieć, która dobrze uogólnia tzn. dobrze klasyfikuje wzorce, których nie widziała w procesie uczenia, a nie tylko dobrze klasyfikuje wzorce, które nauczyła się dobrze klasyfikować w procesie uczenia

53 Modelowanie obiektów Dobra sieć: sieć, która dobrze uogólnia tzn. daje dobre wartości wyjść dla wartości wejść, na które nie odpowiadała w procesie uczenia, a nie tylko daje dobre wartości wyjść dla wartości wejść na które odpowiadała w procesie uczenia

54 Cechy charakteryzujące sieć neuronową przez co definiujemy sieć neuronową Sieć neuronowa jest charakteryzowana przez: 1. funkcje według których neuron reaguje na docierające do niego pobudzenia, nazywane funkcjami pobudzania (propagacji) i funkcjami aktywacji; 2. strukturę połączeń pomiędzy neuronami, nazywaną architekturą sieci; 3. metodę określania wag tych połączeń, nazywaną algorytmem uczenia.

55 Model pojedynczego neuronu Rozróżnimy dwa rodzaje neuronów: neurony statyczne, neurony dynamiczne, Model neuronu statycznego (stosowany w ciągłych i dyskretnych sieciach statycznych oraz w dyskretnych sieciach dynamicznych) x 1 w k1 Próg b k Funkcja aktywacji Model neuronu statycznego o numerze k Sygnały wejściowe x 2. x j. x m w k2. w kj. w km Wagi g() n k Funkcja pobudzania (propagacji) () Sygnał pobudzenia Sygnał odpowiedzi y k Wyjście

56 Funkcje aktywacji f(.) pojedynczych neuronów 1. Funkcja przekaźnikowa unipolarna (niesymetryczna) y 0 1 gdy gdy n 0 n 0 2. Funkcja przekaźnikowa bipolarna (symetryczna) y 1 1 gdy gdy n n 0 0

57 3. Funkcja liniowa y n 4. Funkcja sigmoidalna logarytmiczna unipolarna (niesymetryczna) y 1 1 exp( ; n ) 0

58 5. Funkcja sigmoidalna tangensa hiperbolicznego bipolarna (symetryczna) y tanh( n ) exp( n ) exp( n ) ; exp( n ) exp( n ) 0 6. Funkcja Gaussa (Radial Basis) y 2 n exp 2

59 Struktury sieci neuronowych Architektury sztucznych sieci neuronowych mogą być ogólnie podzielone na trzy duże kategorie: (i) sieci jednokierunkowe (jedno lub wielowarstwowe) (ii) sieci ze sprzężeniem zwrotnym (rekurencyjne) (iii) sieci komórkowe

60 Struktury sieci neuronowych c.d. (i) sieci jednokierunkowe (jedno lub wielowarstwowe) (a) jednowarstwowe x L y przepływ sygnałów od źródeł do warstwy neuronów wyjściowych (b) wielowarstwowe x L1 L2 L3 y

61 Struktury sieci neuronowych c.d. Przykłady i terminologia: (a) sieć jednowarstwowa (b) sieć wielowarstwowa we1 n1 we2 we1 n1 wy1 we3 we4 n2 n5 wy1 we2 n2 wy2 we5 we6 n3 n6 wy2 we3 we4 Warstwa wejściowa węzłów źródłowych n3 n4 wy3 wy4 Warstwa neuronów wyjściowych we7 we8 we9 we10 Warstwa wejściowa węzłów źródłowych n4 Warstwa neuronów ukrytych Warstwa neuronów wyjściowych

62 Struktury sieci neuronowych c.d. (ii) sieci ze sprzężeniem zwrotnym (rekurencyjne) + x L1 L2 y - L3 w sieci występuje co najmniej jedna pętla sprzężenia zwrotnego sygnał wyjściowy z warstwy dalszej jest kierowany do wejść tej samej lub wcześniejszych warstw

63 Przykłady i terminologia: Struktury sieci neuronowych c.d. Wyjścia Operator opóźnienia jednostkowego Operator opóźnienia jednostkowego Wejścia Wyjścia w sieci mogą występować pętle samo sprzężenia zwrotnego

64 Struktury sieci neuronowych c.d. (iii) sieci komórkowe N 1 N 4 N 7 N 10 regularnie rozmieszczone przestrzennie neurony zwane komórkami N 5 N 2 N 8 N 11 każda komórka powiązana bezpośrednio z wszystkimi komórkami swego najbliższego sąsiedztwa (przyległymi) N 3 N 6 N 9 N 12 powiązania pomiędzy komórkami są dwukierunkowe

65 Metody uczenia sieci neuronowych W korzystaniu z sieci neuronowej można wyróżnić dwa etapy: etap uczenia w oparciu o przedstawiane sieci dane, sieć uczy realizować zadanie dla którego została zbudowana się etap uogólniania sieć realizuje zadanie dla którego została zbudowana dla danych które są jej przedstawiane Powinniśmy mieć miary oceny jakości każdego z tych etapów

66 Metody uczenia sieci neuronowych c.d. W uczeniu z nadzorem występuje nauczyciel, który w fazie uczenia sieci, mówi sieci jak dobrze ona działa (uczenie z ukierunkowywaniem - reinforcement learning) lub jakie powinno być prawidłowe zachowanie sieci (uczenie z całkowitym nadzorem - fully supervised learning) W uczeniu bez nadzoru sieć jest samodzielna (autonomiczna): Patrzy na dane, które są jej prezentowane, znajduje pewne cechy zbioru danych i uczy się odzwierciedlać te cechy na swoim wyjściu. Czym są dokładnie te cechy, które sieć może nauczyć się rozpoznawać zależy od konkretnego modelu sieci i metody uczenia. Zwykle, sieć uczy się pewnych zwięzłych reprezentacji danych.

67 Dodatek 3: Kto rozwijał sztuczne sieci neuronowe - ważniejsze fakty Perceptron W latach 1957 i 1958 został opracowany i pomyślnie wykonany w Cornell Aeronautical Laboratory, przez Franka Rosenblatta i Charlesa Wightmana pierwszy neurokomputer - Mark I Perceptron. Od tej konstrukcji wzięta została nazwa sieci o odpowiadającej jej strukturze. Rosenblatt i Wightman wykorzystali model McCulloch a-pitts a i zaproponowali metodę uczenia sieci złożonej z neuronów o progowych funkcjach aktywacji

68 Dodatek 3:Kto rozwijał sztuczne sieci neuronowe - ważniejsze fakty x = 1 0 x 1 x 2... x n Układ wprowadzania obrazu y Poprawne wyjście (dostarczane podczas uczenia) w 0 w 1 w 2 w n... y 1 gdy 0 gdy n i1 n i1 w x i w x i i i Matryca sensorów obrazu 0 0 Szafa modułów par silnik - potencjometr Tablica łączeniowa

69 Dodatek 3:Kto rozwijał sztuczne sieci neuronowe - ważniejsze fakty Cel działania neurokomputera Mark I Perceptron Neurokomputer Mark I Perceptron został zbudowany dla rozwiązywania zadania klasyfikacji: Czy wskazany element pewniej przestrzeni rozważań należy do pewnego zbioru, czy też nie należy? Przestrzeń rozważań U zbiór wszystkich elementów, które znajdują się w kręgu naszych zainteresowań, np. zbiór wszystkich dużych liter drukowanych

70 Dodatek 3:Kto rozwijał sztuczne sieci neuronowe - ważniejsze fakty Przykład: interesuje nas czy pokazywana litera należy do zbioru liter C? przykład klasyfikacji do dwóch zbiorów Niech: Litery C zapisywane w matrycach 4x4 czy należą do zbioru liter C?... TAK NIE TAK?

71 W jaki sposób pokazujemy sieci litery ze zbiorów C i niec? Wejścia do sieci neuronowej: wektory 16 bitowe jedynek (1) i zer (0) T T T Dodatek 3:Kto rozwijał sztuczne sieci neuronowe - ważniejsze fakty

72 Dodatek 3:Kto rozwijał sztuczne sieci neuronowe - ważniejsze fakty Zewnętrzny obraz rozwiązywania zadania

73 Sztuczne sieci neuronowe -Sieci samoorganizujące się (Self Organizing Maps)

74 Wstęp Sterowania Automatyka - zastosowania, metody i narzędzia, perspektywy Motywacja Organizacja neuronów kory mózgowej. Nasze czujniki dotyku, obrazu, dźwięku, smaku są odwzorowywane (grupują się) w różnych obszarach kory mózgowej. Ta mapa topologiczna neuronów stanowi podstawę funkcjonowania naszego układu nerwowego. left-lateral-view-functional-areas-cerebral-cortex-motor-sensory-association-areas.jpg Neurony (grupy neuronów) stanowią swego rodzaju samodzielne mikro jednostki obliczeniowe, różniące się w niewielkim stopniu w swojej strukturze (wagi).

75 Wstęp Sterowania Automatyka - zastosowania, metody i narzędzia, perspektywy Abstrahując od mechanizmów uczenia, dużą rolę odgrywa nadmiarowość danych uczących, stanowiąca klucz do uczenia bez nauczyciela. Wielokrotne pobudzanie sieci tymi samymi (podobnymi) wejściami, stanowi bazę wiedzy sieci, z której to następnie, po aktywacji sieci określonym wejściem wyciągane są na drodze skojarzeń konkluzje w postaci uaktywnienia odpowiedniego wyjścia. źródło: Ossowski, S. Sieci neuronowe do przetwarzania informacji. Oficyna wydawnicza Politechniki Warszawskiej, 2000.

76 Wstęp Sterowania Automatyka - zastosowania, metody i narzędzia, perspektywy Dwa podstawowe mechanizmy samoorganizacji to: mechanizm oparty o regułę asocjacji Hebba oraz mechanizm współzawodnictwa pomiędzy neuronami Kohonena. Reguła Hebba: "jeżeli akson komórki A bierze systematycznie udział w pobudzeniu komórki B powodującym jej aktywację, to wywołuje to zmianę metaboliczną w jednej lub obu komórkach, prowadzącą do wzrostu skuteczności pobudzania B przez A" (Hebb 1949)

77 Wstęp Sterowania Automatyka - zastosowania, metody i narzędzia, perspektywy Mechanizm współzawodnictwa: algorytm WTA (Winner Takes All) Zwycięzca bierze wszystko W algorytmie tym wszystkie neurony pobudzane są tymi samymi sygnałami wejściowymi, a neuron którego wyjście osiągnie najwyższy poziom staje się zwycięskim i tylko jego wagi podgalają adaptacji. algorytm WTM (Winner Takes Most) Zwycięzca bierze większość W algorytmie tym wszystkie neurony pobudzane są tymi samymi sygnałami wejściowymi, a neuron którego wyjście osiągnie najwyższy poziom staje się zwycięskim. W algorytmie WTM oprócz neuronu zwycięskiego również wagi sąsiadujących z nim neuronów podlegają adaptacji.

78 Podstawowe procesy zachodzące w SOM 1. Współzawodnictwo Dla każdego wejścia neurony konkurują pomiędzy sobą. Neuron o największym sygnale wyjściowym wygrywa. 2. Kooperacja Zwycięski neuron determinuje sąsiedztwo topologiczne pobudzonych neuronów. 3. Adaptacja wag synaptycznych Wagi synaptyczne zwycięskiego neuronu oraz jego sąsiedztwa topologicznego zostają wzmocnione.

79 SOM w Matlabie Wejście

80 SOM w Matlabie Inicjalizacja wag sieci

81 SOM w Matlabie Wagi sieci po 1 epoce

82 SOM w Matlabie Wagi sieci po 2 epokach

83 SOM w Matlabie Wagi sieci po 5 epokach

84 SOM w Matlabie Wagi sieci po 50 epokach

85 SOM w Matlabie Wagi sieci po 5000 epokach

86 SOM w Matlabie Wagi sieci po epokach

87 SOM w Matlabie Wejście

88 SOM w Matlabie Inicjalizacja wag sieci

89 SOM w Matlabie Wagi sieci po 1 epoce

90 SOM w Matlabie Wagi sieci po 2 epokach

91 SOM w Matlabie Wagi sieci po 5 epokach

92 SOM w Matlabie Wagi sieci po 20 epokach

93 SOM w Matlabie Wagi sieci po 200 epokach

94 SOM w Matlabie Wagi sieci po epokach

95 Kompresja danych, wielowymiarowe metody statystyczne

96 Wielowymiarowa analiza statystyczna, Analiza Składników Podstawowych (Principal Components Analysis PCA)

97 Wprowadzenie do Analizy Składników Podstawowych: Zakładamy że mamy n pomiarów o rozmiarze m: Kolejne pomiary X x x 1,1 m,1 x x 1, n m, n zmienne m jest duże,, za duże Celem jest redukcja ilości zmiennych do np. l zmiennych. Jak to efektywnie zrobić?? ile danych odrzucić? które? aby nie utracić ważnych informacji o obiekcie

98 Wprowadzenie do Analizy Składników Podstawowych: Jeżeli odrzucamy któreś z danych, w opisie obiektu wprowadzamy jakiś błąd; Sztuka polega na tym aby wybrać dane najbardziej cenne z punktu widzenia ilości informacji o procesie i odrzucić takie dane (i tyle danych) aby błąd odwzorowania procesu był jak najmniejszy; Nie da się tego efektywnie zrobić w przestrzeni pomiarów, więc należy przetransformować je do przestrzeni cech i tam spróbować je jakoś wybrać; Przestrzeń danych x x 1 2 x m Transformacja Przestrzeń cech x x x 1 l m

99 Wprowadzenie do Analizy Składników Podstawowych: Wyobraźmy sobie wektor transformacji (również odwrotnej) T który dokona transformacji wektora pomiarów X do nowej przestrzeni w postaci wektora X new ; T X X new Transformacja powinna być optymalna w sensie minimalizacji popełnianego błędu średniokwadratowego; Wektor X new powinien być po transformacji T, np. tak zorganizowany aby pierwsze l punktów niosło najwięcej informacji o procesie. Pozostałe m-l można by zaniedbać. Przestrzeń danych x x 1 2 x m Transformacja Przestrzeń cech x x x l m 1 Rozmiary macierzy: T X X new [ m, m [ m,1] [ m,1] ]

100 Sterowania Automatyka - zastosowania, metody i narzędzia, perspektywy Idea metody Analizy Składników Podstawowych: Najpopularniejszą metodą wielowymiarowej analizy statystycznej jest metoda Analizy Składników Głównych/Podstawowych PCA (Principal Components Analysis ); Ideą PCA jest dobór minimalnej ilości nowych zmiennych do możliwie dokładnego opisu wariancji (zmienności) danych wejściowych (np. pomiarowych), przy użyciu kombinacji liniowych oryginalnych zmiennych; Składniki główne są dobrane zgodnie z kierunkami opisującymi największą zmienność (wariancję) procesu x2 PC2 PCA PC1 x1

101 Sterowania Automatyka - zastosowania, metody i narzędzia, perspektywy Idea metody Analizy Składników Podstawowych: Tworzymy nowy układ współrzędnych oparty o nowe, nieskorelowane zmienne składniki główne (PCs); Kierunki te są do siebie ortogonalne; Dane podczas obróbki wstępnej są normalizowane i sprowadzane do wartości średniej równej 0; Analiza PCA ma sens jedynie wtedy gdy dane są ze sobą skorelowane!!! x2 PC2 PCA PC1 x1

102 Idea metody Analizy Składników Podstawowych: Tworzymy nowy układ współrzędnych oparty o nowe, nieskorelowane zmienne składniki główne (PCs); Kierunki te są do siebie ortogonalne; Dane podczas obróbki wstępnej są normalizowane i sprowadzane do wartości średniej równej 0; Analiza PCA ma sens jedynie wtedy gdy dane są ze sobą skorelowane!!! x2 PC2 PCA PC1 x1

103 Inne zastosowania PCA Kompresja obrazu Obraz oryginalny (512x512)

104 Inne zastosowania PCA Kompresja obrazu Kompresja 30 %

105 Inne zastosowania PCA Kompresja obrazu Kompresja 50 %

106 Inne zastosowania PCA Kompresja obrazu Kompresja 75 %

107 Inne zastosowania PCA Kompresja obrazu Kompresja 90 %

108 Inne zastosowania PCA Kompresja obrazu Kompresja 95 %

109 Inne zastosowania PCA Kompresja obrazu Kompresja 99 %

110 Sterowania Automatyka - zastosowania, metody i narzędzia, perspektywy Inne zastosowania PCA Rozpoznawanie twarzy PCA jest transformacją (mapowaniem) które jest niewrażliwe na skalę i obrót danych => cenne w rozpoznawaniu obiektów PC1 PC2

111 Convolutional Neural Networks (ConvNets, CNNs) - Deep Neural Networks (Splotowe sieci neuronowe Głębokie sieci neuronowe) AlexNet - Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, 2012 źródło: CS231n: Convolutional Neural Networks for Visual Recognition, Stanford University Katedra Inżynierii Systemów Sterowania

112 Convolutional Neural Networks (ConvNets, CNNs) - Deep Neural Networks (Splotowe sieci neuronowe Głębokie uczenie) An image of a traffic sign is filtered by convolutional kernels which create 4 feature maps, these feature maps are subsampled by max pooling. The next layer applies convolutional kernels to these subsampled images and again we pool the feature maps. The final layer is a fully connected layer where all generated features are combined and used in the classifier (essentially logistic regression). Image by Maurice Peemen. Katedra Inżynierii Systemów Sterowania

113 Convolutional Neural Networks (ConvNets, CNNs) - Deep Neural Networks (Splotowe sieci neuronowe Głębokie uczenie) Katedra Inżynierii Systemów Sterowania

114 Przykłady:

115 DeepDream źródło: CS231n: Convolutional Neural Networks for Visual Recognition, 2016 Lecture6. Stanford University

116 Dziękuję za uwagę

117