SIECI NEURONOWE BUPA Selekcja danych medycznych

Transkrypt

1 Piotr Olchawski Kraków, Informatyka Stosowana III rok SIECI NEURONOWE BUPA Selekcja danych medycznych INTELIGENCJA OBLICZENIOWA Wydział Fizyki, Astronomii i Informatyki Stosowanej Uniwersytet Jagielloński

2 WSTĘP Problem, który będę próbował rozwiązać, dotyczy dysfunkcji działania wątroby. Istnieje wiele przyczyn, które prowadzą do takiej jej degeneracji, lecz jedną z podstawowych i najbardziej groźnych zarazem jest marskość wątroby, która polega na stopniowym włóknieniu miąższu wątroby, powodującym niszczenie jej budowy i w efekcie upośledzenie funkcji metabolicznych oraz utrudnienie odpływu żółci. Marskość wątroby jest główną przyczyną powstawania nadciśnienia wrotnego. Przyczyną jej pojawienia się mogą być toksyny jak alkohol, choroby metaboliczne, zakażenia wirusowe i wiele innych, a co ważniejsze mogą one współwystępować u jednego pacjenta. W krajach wysoko rozwiniętych najbardziej powszechnymi przyczynami są przewlekłe nadużywanie alkoholu i zakażenie wirusem zapalenia wątroby typu B i C (HBV i HCV). Choroba wątroby spowodowana alkoholem alkoholowa marskość wątroby rozwija się po około 10 latach intensywnego picia u 15% alkoholików. Dzienna dawka alkoholu, która spowoduje marskość, jest różna średnio 3 4 drinki dziennie u mężczyzn albo 2 3 u kobiet. Uszkodzenie wątroby jest wynikiem blokowania przez alkohol metabolizmu związków pokarmowych tłuszczów, białek i węglowodanów. Należy wspomnieć, że alkohol dostarcza również pustych kalorii, co przyczynia się do otyłości, mimo wyraźnych objawów niedoboru witamin i składników mineralnych. Zakażenie wirusem zapalenia wątroby typu B jest to jedna z najczęstszych przyczyn marskości wątroby, zwłaszcza w południowo wschodniej Azji. Zakażenie to jest mniej powszechne w Ameryce i Europie, ze względu na lepszą dostępność szczepionki. Wirus HBV (hepatitis B virus) powoduje zapalenie wątroby, które przekształca się w marskość po upływie wielu, bo nawet kilkudziesięciu, lat. Wirus HDV (hepatitis D virus) nie powoduje zapalenia samodzielnie, ale koinfekcja tym patogenem w przypadku obecnego już zakażenia wirusem B przyspiesza postęp choroby. Zakażenie wirusem zapalenia wątroby typu C najczęstsza obok alkoholu przyczyna marskości i zapalenia wątroby w kręgu cywilizacji zachodniej. Zakażenie tym patogenem powoduje przewlekłe zapalenie miąższu i uszkodzenia, które po upływie wielu lat prowadzą do zwłóknienia. Wirus typu C jest szczególnie niebezpieczny, ponieważ obecnie nie ma na niego szczepionki i jest stosunkowo oporny na sterylizację, tak że możliwe jest zakażenie się przez niedokładnie wyjałowione narzędzia, np. u dentysty lub w studio tatuażu. Marskość z autoimmunizacji spowodowana wytworzeniem przez organizm przeciwciał skierowanych przeciw własnej wątrobie. Konsekwencją jest uszkodzenie tego narządu, zapalenie, powstawanie blizn łącznotkankowych i zwłóknienie. U większości pacjentów wyodrębnić możne pojawiające się tzw. objawy wczesne, do których zaliczamy: zaczerwienienie dłoni, czerwone plamki pojawiające się na górnej połowie ciała, hipertrofia ślinianek przyusznych, zwłóknienie ścięgien w rękach. Może wystąpić zniekształcenie palców i paznokci u rąk. Wielu pacjentów we wczesnym stadium choroby w ogóle nie ma objawów, choć tkanka wątrobowa jest stale zastępowana przez nieczynną funkcjonalnie tkankę łączną. Gdy dochodzi do znacznego upośledzenia czynności wątroby, mogą wystąpić następujące symptomy: wyczerpanie, zmęczenie, utrata apetytu, nudności, osłabienie, utrata masy ciała, bóle brzucha, ginekomastia, hypogonadyzm, ascites wodobrzusze, splenomegalia powiększenie śledziony z powodu przekrwienia w wyniku nadciśnienia wrotnego, asterixis obustronne trzepotanie wyciągniętymi, grzbietowo zgiętymi dłońmi, występujące u pacjentów z encefalopatią wątrobową.

3 Znamy już ogólne przyczyny i konsekwencje pojawienia się marskości wątroby, jednak zagrożenie jakie ze sobą niesie najbardziej uświadamia znajomość konsekwencji. W miarę postępu choroby pojawiają się powikłania. U niektórych pacjentów, z racji niewystąpienia objawów wczesnych, powikłania mogą stanowić pierwsze symptomy uszkodzenia wątroby. Wybroczyny i krwawienia obniżona produkcja czynników krzepnięcia, żółtaczka niedostateczne tempo metabolizmu bilirubiny, swędzenie skóry odkładanie się w niej związków powstających w wyniku nieprawidłowych przemian związków zawartych w żółci, encefalopatia wątrobowa upośledzona wątroba nie usuwa z krwi amoniaku i produktów przemian związków azotowych, w wyniku czego rośnie ich stężenie we krwi. Organem najbardziej podatnym na uszkodzenie przez metabolity azotowe jest mózg. Symptomy encefalopatii wątrobowej to: zaniedbany wygląd zewnętrzny, skłonność do zapominania, zaburzenia koncentracji, zaburzone reagowanie na bodźce, zmiany rytmu snu i czuwania, zwiększona wrażliwość na leki spadek tempa metabolizmu związków aktywnych biologicznie, przez co dłużej utrzymują się one we krwi, insulinooporność i cukrzyca typu 2, nowotwór złośliwy wątroby (rak wątrobowokomórkowy) oraz wspomniane już nadciśnienie wrotne krew płynąca z jelit oraz trzustki przez żyłę wrotną wątrobową przepływa przez marską wątrobę trudniej, w wyniku czego ciśnienie w żyle rośnie. Następczymi problemami nadciśnienia wrotnego są: wodobrzusze przesączanie się płynu z naczyń krwionośnych do tkanek jamy brzusznej, żylaki przełyku wynik tworzenia się krążenia obocznego przez naczynia jamy brzusznej i przełyku. Przeciążone naczynia w przełyku mają skłonność do powiększania się i pękania, co jest przyczyną zagrażających życiu krwotoków, zespół wątrobowo nerkowy objawy niewydolności nerek u chorego z ciężką dysfunkcją wątroby, zespół wątrobowo płucny niedotlenienie krwi u chorych z nadciśnieniem wrotnym, inne problemy dysfunkcja wątroby może powodować upośledzenie układu immunologicznego, zwiększając ryzyko infekcji. Marskość może być przyczyną impotencji, dysfunkcji lub niewydolności nerek bądź osteoporozy. Kiedy widzimy efekty wystąpienia takiego schorzenia, zadajemy sobie pytanie jak temu można zapobiec. Oczywiście są różne sposoby wczesnego wykrywania i zapobiegania wystąpieniu dysfunkcji wątroby. Nie ma jednak jednego magicznego testu, który powie na pytanie, czy ktoś jest zagrożony, czy też nie. Mimo wszystko na podstawie zdobytej wiedzy o problemie, można zauważyć związki pomiędzy pewnymi zachowaniami i wynikami pewnych badań. W ten sposób wykreowano kilka współczynników, mogących pomóc w przeprowadzeniu diagnozy. Moim zadaniem będzie stworzenie i przetestowanie różnych wielowarstwowych sztucznych sieci neuronowych, których zadaniem będzie podejmowanie decyzji. Sieć będzie wytrenowana na reprezentatywnym zbiorze danych i odpowiadać będzie z większą lub mniejszą trafnością na pytanie, czy pacjent może być chory. PRZYJĘTA METODA UCZENIA Stworzoną sieć neuronową uczył będę używając algorytmu wstecznej propagacji błędów, dlatego warto przedstawić zarys działania tego algorytmu. Jest to podstawowy algorytm uczenia nadzorowanego wielowarstwowych jednokierunkowych sieci neuronowych. Podaje on przepis na zmianę wag w ij dowolnych połączeń elementów przetwarzających rozmieszczonych w sąsiednich warstwach sieci. Oparty jest on na minimalizacji sumy kwadratów błędów uczenia z wykorzystaniem optymalizacyjnej metody największego spadku. Dzięki zastosowaniu specyficznego sposobu propagowania błędów uczenia sieci powstałych na jej wyjściu, tj. przesyłania ich od warstwy

4 wyjściowej do wejściowej, algorytm propagacji wstecznej stał się jednym z najskuteczniejszych algorytmów uczenia sieci. Reguła delty i metoda największego spadku Rozważmy sieć jednowarstwową o liniowych elementach przetwarzających. Załóżmy, że mamy P elementowy zbiór wzorców. Przy prezentacji m tego wzorca na wejściu sieci, dla j tego elementu wyjściowego możemy zdefiniować błąd: zm gdzie y j, y m j i j m j oznaczają odpowiednio oczekiwane i aktualne wartości wyjścia j tego neuronu oraz ważoną sumę wejść wyznaczoną w jego sumatorze przy prezentacji m tego wzorca; u m i i ta składowa m tego wektora wejściowego (u 0 m = 1, wejście progowe); w ij oznacza wagę połączenia pomiędzy j tym elementem warstwy wyjściowej a i tym elementemm warstwy wejściowej; n 0 liczba wejść. Jako miarę błędu sieci wprowadźmy sumę po wszystkich wzorcach błędów powstałych przy prezentacji każdego z nich:, ; n liczba wyjść sieci Problem uczenia sieci to zagadnienie minimalizacji funkcji błędu. Jedną z najprostszych metod minimalizacji jest gradientowa metoda największego spadku. Jest to metoda iteracyjna, która poszukuje lepszego punktu w kierunku przeciwnym do gradientu funkcji celu w danym punkcie. Stosując powyższą metodę do uczenia sieci, zmiana Dw ji wagi połączenia w ji winna spełniać relację: ; h współczynnik proporcjonalności. W przypadku liniowych elementów przetwarzających mamy: Stąd otrzymamy:, oraz ostatecznie gdzie górne indeksy n i s oznaczają odpowiednio "nową" i "starą" wartość współczynnika wag w ji. Konsekwentna realizacja metody największego spadku wymaga dokonywania zmian wag wji dopiero po zaprezentowaniu sieci pełnego zbioru wzorców, m = 1, 2,..., P. W praktyce stosuje się jednak zmiany wag po każdej prezentacji pojedynczego wzorca zgodnie ze wzorem:

5 co pozwala istotnie uprościćć praktyczną realizacjęę algorytmu. Zasada zmiany wartości współczynników wag w ji, określona powyższym wzorem, nazywana jest regułą delty. Owa modyfikacja wprowadza wprawdzie pewne zaburzenie do metody największego spadku, ale jest ono zaniedbywalnie małe dla odpowiednio niewielkich wartości h, czyli dla małych zmian wag. Reguła delty, jako pewnee przybliżenie metody największego spadku przy wystarczająco małym współczynniku h, poszukuje zbioru wag minimalizującego funkcję błędu sieci liniowej. Rozważmy sieć jednowarstwową z elementami przetwarzającymi o nieliniowej, lecz niemalejącej i różniczkowalnej funkcji aktywacji f. Wówczas zmianę wag w ji można opisać równaniem: Druga z pochodnychh cząstkowych jest oczywiście równa u m i. Pierwsza dla elementu liniowego jest równa dd m j. Przez analogię zdefiniujemy nową zmienną:,przy czym: gdzie f'(j) oznaczaa pochodnąą funkcji aktywacji względem zmiennej j. zamieszczonych wyżej wzorów zapiszemy: Stąd na podstawie Ostatecznie wzór ogólny przyjmie postać: i nosi nazwę uogólnionej reguły delty dla nieliniowej sieci jednowarstwowej. Rozważmy M warstwową sieć elementów o jednakowych nierosnących i różniczkowalnych funkcjach mm aktywacji f(j). Jeśli przez u i oznaczymy wartość wyjścia i tego elementu m tej warstwy przy prezentacji m tego wzorca (m = 0,..., M; i = 0, 1,..., n m ; m = 1, 2,..., P), to aktywność j tego elementu przetwarzającego m tej warstwy wyrazi się wzorem: Zdefiniujmy błąd powstały w j tym elemenciee m tej warstwy, analogicznie do wzoru:,czyli Dla warstwy wyjściowej zgodnie z wzorem:, zapiszemy:

6 Powyższa pochodna cząstkowa jest bardziej kłopotliwa do wyznaczenia dla elementów warstw ukrytych, ze względu na złożoność zależności x m od u mm j. Należy pamiętać, że u mm j jest jednym za składników sum ważonych liczonych we wszystkich elementach warstwy (m + 1). Możemy zatem napisać: Stąd, na podstawie przypisać błąd: trzech ostatnich zależności, możemy każdemu elementowi przetwarzającemu dla warstwy wyjściowej: dla warstw ukrytych: Dla tak zdefiniowanego błędu możemy wyprowadzić ogólną regułę delty: Uogólniona reguła delty jest procedurą dwufazową. W pierwszej fazie na wejściu sieci prezentowany jest wektor wzorcowy u m i dla każdej warstwy wyznacza się aktualne aktywności wszystkich elementów przetwarzających zgodnie ze wzorem: Fazę tą kończy porównanie aktywności elementów wyjściowych y m j, j = 1, 2,..., n M z oczekiwanymi wyjściami y zm j. W drugiej fazie błąd warstwy wyjściowej d Mm j jest rzutowany wstecz zgodnie ze wzorem: na wszystkie elementy przetwarzające sieci w kolejności przeciwnej do uporządkowania warstw:

7 Po określeniu wartości błędów dla każdego elementu przetwarzającego warstw ukrytych pozostaje jedynie wyznaczeniee poprawek wag połączeńń przy pomocy wzoru: Technika polegającaa na przesyłaniu błędów warstwy wyjściowej wstecz poprzez siećć w celu określenia odpowiednich zmian wag w warstwach wcześniejszych nazwana została wsteczną propagacją błędów, i stąd nazwaa metody uczenia. DANE I ICH PODZIAŁ Kolumna Skrót mcv alkphos sgpt sgot gammagt Pełna Nazwa mean corpuscular volume alkaline phosphotase alamine aminotransferase aspartate aminotransferase gamma glutamyl transpeptidase Znaczenie Wskaźnik średniej objętości krwinki czerwonej Fosfataza alkaliczna Transaminaza alaminy Transaminaza aspartaty Transpeptydazaa gamma glutamylu 6 7 drinks selector number of half pint equivalents of alcoholic beverages drunk per day used to split data into two setss Liczba będąca odpowiednikiem dziennego spożycia napojów alkoholowych Liczba dzieląca wyniki na 2 zbiory Jako dane używał będę zestawu pomiarów 345 zdrowych i chorych pacjentów badanych pod względem obecności dysfunkcji wątroby. W skład nich wchodzi 145 osób typu 1 oraz 200 osób typu 2. W skład pomiarów wejdzie 7 parametrów. Pierwsze pięćć z nich to całkowite liczby oznaczające wyniki badań krwi. Kolejny jest liczbą rzeczywistą, mówiącą o spożyciu alkoholu, ostatni zaś jest klasyfikatorem dzielącym dane na dwa zbiory osoby chore i zdrowe. Na pozór mamy więc 6 danych wejściowych oraz 1 daną wyjściową. Sieć będzie zatem przyjmować dane z pierwszych 6 kolumn i odpowiadać na pytanie, czy pacjent jest potencjalnie chory, czy teżż nie. Dane zostały podzielone w taki sposób, by co trzeci wpis trafił do ciągu testującego, dwa poprzednie zaś do ciągu uczącego. W ten sposób zestaw danych został podzielony na 2 zestawy. Pierwszy z nich uczący składa się z 230 wpisów, gdzie znajduje się 95 osób typu 1 oraz 135 osób typu 2. Drugi testujący zawiera 115 wpisów, w tym 50 pierwszego typu i 65 drugiego typu.

8 TESTY W celu wykonania zadania rozpocząłem testowanie różnych topologii sieci o różnych parametrach, wykorzystując wszystkie rodzaje standaryzacji danych. Kilka problemów zauważyłem już na samym początku. Ostatnia tj. wyjściowa kolumna zawiera liczby 1 oraz 2, czego żadna sieć neuronowa nie akceptuje na wyjściu, dlatego należy użyćć standaryzacji wyjścia. Ja wybrałem następujące zmiany: 1 >0 oraz 2 >1. Pomimo tego, żadna z normalizacji, czy to po wierszach, czy po kolumnie, czy też bez oraz żadne parametry szybkości uczenia n oraz niepropagowanego błędu d nie dawały zadawalających rezultatów. Oto kilka przykładowych wykresów wraz z opisem funkcji aktywacji, parametrów n oraz d, topologii sieci oraz użytej standaryzacji danych: Powyższe wykresy przedstawiająą po pięć prób uczenia sieci dla następujących parametrów: A) Sieć 6 >12 >1 =0,1 d=0,1 brak normalizacji danych wejściowych, LOG f. aktywacji B) Sieć 6 >6 >1 =0,2 d=0,3 brak normalizacji danych wejściowych, LOG f. aktywacji C) Sieć 6 >6 >1 =0,3 d=0,2 brak normalizacji danych wejściowych, LOG f. aktywacji

9 Jak widać, brak normalizacji dla zadanych sieci spowodował stały, duży błąd, a sieci nawet nie próbowały się uczyć. Przeprowadziłem wiec kolejne testy dla różnych parametrów n oraz d i aktywacji neuronów funkcją tangensa hiperbolicznego oraz różnej liczby neuronów warstw ukrytych, co również zakończyło się fiaskiem. Poniżej przedstawiam na jednym wykresie wyniki uczenia kilku prób. Oznacza to, iż dane wyjściowe nie dawały żadnej sensownej informacji dotyczącej wstecznej propagacji błędów. Wprowadziłem więc wspomnianą normalizację wyjścia do przedziału [0;1]. A oto wyniki pięciu testów dla kilku sieci i różnych parametrów uczenia ze znormalizowanym wyjściem (sygnał wyjściowy znormalizowany do przedziału <0;1>): Sieć 6 >10 >10 >1 =0,1 0,5 brak normalizacji danych wejściowych, normalizacja danych wyjściowych <0;1>, LOG i TAN H f. aktywacji

10 Sieć 6 >8 >8 >8 >1 =0,1 0,5 brak normalizacji danych wejściowych, normalizacja danych wyjściowych <0;1>, LOG i TAN H f. aktywacji Powyższe testy udowadniają, że normalizacja wyjścia pomogła zmniejszyć błąd, ale sieć nadal się nie uczy. Kolejnym spostrzeżeniem jest to, iż dane wejściowe przekraczają zakres akceptowanych wartości, czyli przekraczają wartość 1, co powoduje brak reakcji sieci wszystkie dane są traktowane jednakowo (np. jako ciąg jedynek na wejściu). Rozwiązaniem tego może być normalizacja wejścia do akceptowalnego przedziału < 1;1>. Jako pierwszą z nich zastosowałem normalizację po wierszach do przyjętego przedziału, oraz przeprowadziłem testy dla dwóch różnych sieci, różnych funkcji aktywacji neuronw, oraz różnych wartości n oraz d. Oto wyniki: Sieć 6 >9 >9 >1 =0,1 0,5 normalizacja wierszy wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, LOG f. aktywacji Tylko dla parametrów n=0,1 sieć nauczyła się po około cykli. Dlatego powtórzyłem kilka razy pomiary dla tych ustawień sieci.

11 Sieć 6 >9 >9 >1 =0,1 normalizacja wierszy wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, LOG f. aktywacji Tylko jeden z pięciu testów zakończył się powodzeniem, zatem takie ustawienia sieci nie są satysfakcjonujące. Te same testy przeprowadziłem używając jako funkcji aktywacji tangensa hiperbolicznego. Sieć 6 >9 >9 >1 =0,1 0,5 normalizacja wierszy wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, TAN H f. aktywacji Jak widać sama normalizacja wierszy nie pomogła sieci w uczeniu się. Dokładniejsze przyglądnięcie się skutkom takiej normalizacji prowadzi do prostych wniosków. Pierwsza kolumna danych składa się wówczas niemal w całości z liczb 1 a ostatnia kolumna wejściowa z liczb 1. W ten sposób tracimy mnóstwo informacji, a wspomniane kolumny nie niosą już praktycznie żadnej informacji (wartości nie zmieniają się), dlatego normalizacja wierszy jest bezsensowna tak samo jak i jej brak, dlatego w dalszych testach polegał będę tylko na normalizacji kolumn, dzięki której w badanym przypadku nie będę tracił żadnej istotnej informacji.

12 Sieć 6 >9 >9 >1 =0,1 0,5 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, TAN H f. aktywacji Sieć 6 >9 >9 >1 =0,1 0,5 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, LOG f. aktywacji Pomimo zastosowanej normalizacji wyniki nadal nie były satysfakcjonujące, co zmusiło mnie do dalszej analizy danych. Opis danych choroby stwierdza jednak, iż przedostatnia kolumna (ilość spożywanego alkoholu) ma istotne znaczenie w selekcji typu, dlatego też użyłem pewnej zmiany jej wartości, a dokładniej zmieniłem sposób zapisu znajdujących się w niej liczb. Przed zastosowaniem normalizacji kolumn zamieniłem liczby na odpowiadające im numery zapisane binarnie, czyli od 0 do 15 (4 bity). W ten sposób powstały trzy nowe kolumny danych. Wpłynęło to jednak na zwiększenie znaczenia wspomnianych wartości. Reprezentowane były teraz przez 4 a nie jeden neuron wejściowy.

13 Zastosowane usprawnienie odniosło pożądany skutek. Oto wyniki pomiarów oraz parametry sieci, dla których udało się wytrenować sieć na podstawie ulepszonych danych. Sieć 9 >12 >12 >1 =0,1 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, LOG f. aktywacji ŚREDNIA SSE PO CYKLI = (4,00 + 2,00 + 4,00 + 1,00 + 2,13) / 5 = 2,63 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 1,33 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 2,13 Sieć 9 >12 >12 >1 =0,2 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, LOG f. aktywacji ŚREDNIA SSE PO CYKLI = (1,00 + 1,00 + 0,00 + 0,00 + 1,00) / 5 = 0,60 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 0,55 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 1,00

14 Sieć 9 >12 >12 >1 =0,3 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, LOG f. aktywacji ŚREDNIA SSE PO CYKLI = (0,00 + 0,00 + 1,00 + 0,00 + 0,00) / 5 = 0,20 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 0,45 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 0,00 Sieć 9 >12 >12 >1 =0,1 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, TAN H f. aktywacji ŚREDNIA SSE PO CYKLI = (0,00 + 0,00 + 0,00 + 0,00 + 0,00) / 5 = 0,00 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 0,00 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 0,00

15 Sieć 9 >12 >12 >1 =0,2 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, TAN H f. aktywacji ŚREDNIA SSE PO CYKLI = (0,00 + 0,00 + 0,00 + 0,00 + 0,00) / 5 = 0,00 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 0,00 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 0,00 Sieć 9 >12 >12 >1 =0,3 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, TAN H f. aktywacji ŚREDNIA SSE PO CYKLI = (0,00 + 0,00 + 0,00 + 0,78 + 0,00) / 5 = 0,16 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 0,35 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 0 Jak widać dla małych wartości parametru szybkości uczenia sieci (0,1 lub 0,2) oraz przy wykorzystaniu tangensa hiperbolicznego jako funkcji aktywacji sieć uczy się i to bardzo szybko. Teraz przeprowadzę kilka testów na samej budowie siec, zaczynając od małej liczby neuronów w warstwach ukrytych do dużej ilości, by sprawdzić jak sieć zachowuje się wraz z tego typu zmianami.

16 A oto porównanie średnich błędów dla różnych współczynników uczenia sieci: Dla tangensa hiperbolicznego Jako funkcji aktywacji: 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, ,156 TEST 1 (n=0,1) TEST 1 (n=0,2) TEST 1 (n=0,3) Dla logistycznej funkcji aktywacji: 4,5 4 3,5 3 2,5 2,63 2 1,5 1 0,5 0 TEST 1 (n=0,1) TEST 1 (n=0,2) TEST 1 (n=0,3) 0,6 0,2 Zauważyć można, iż tangens prezentuje się lepiej ale tylko dla małych wartości n. Dla większych błąd zaczyna zachowywać się chaotycznie. Na dolnym wykresie widać jednak, iż sieć zbudowana na logistycznej funkcji aktywacji jest pod tym względem bardziej stabilna. Mimo wszystko tangens daje lepsze rezultaty.

17 Sieć 9 >4 >1 =0,2 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, TAN H f. aktywacji ŚREDNIA SSE PO CYKLI = (24, , , , ,01) / 5 = 23,14 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 1,08 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 23,87 Sieć 9 >8 >1 =0,2 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, TAN H f. aktywacji ŚREDNIA SSE PO CYKLI = (8, , , , ,15) / 5 = 15,91 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 5,94 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 13,95

18 Sieć 9 >12 >1 =0,2 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, TAN H f. aktywacji ŚREDNIA SSE PO CYKLI = (3,00 + 3,55 + 3,00 + 2,40 + 3,00) / 5 = 2,99 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 0,40 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 3,00 Sieć 9 >16 >1 =0,2 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, TAN H f. aktywacji ŚREDNIA SSE PO CYKLI = (1,77 + 1,00 + 1,99 + 1,00 + 3,00) / 5 = 1,75 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 0,83 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 1,77

19 Sieć 9 >16 >1 =0,2 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, TAN H f. aktywacji ŚREDNIA SSE PO CYKLI = (3,00 + 3,00 + 3,00 + 3,00 + 0,00) / 5 = 2,4 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 1,34 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 3,00 Jak widać powiększanie liczby neuronów nie zawsze daje wymierne rezultaty, gdyż średni zysk jest czasem niewielki, lub nawet wcale go nie ma. W kolejnym kroku dodam nowe 4 neurony, jednak Rozdziele je na 2 warstwy ukryte. Sieć 9 >12 >12 >1 =0,2 d=0,2 normalizacja kolumn wejściowych < 1;1>, normalizacja danych wyjściowych <0;1>, TAN H f. aktywacji ŚREDNIA SSE PO CYKLI = (0,00+ 3,35 + 0,00 + 0,00 + 0,00) / 5 = 0,67 ODCHYLENIE STANDARDOWE SSE PO CYKLI = 1,50 WARTOŚĆ OCZEKIWANA SSE PO CYKLI = 0,00

20 A oto zestawienie minimów, maksimów i średnich błędów 5 prób dla każdej z ostatnich sześciu topologii sieci: , , ,99 1,75 2,4 0,67 TEST 1 (4N) TEST 2 (8N) TEST 3 (12N) TEST 4 (16N) TEST 5 (20N) TEST 6 (12+12N) Jak widać, zwiększanie liczby neuronów zmniejsza błąd odpowiedzi sieci, jednak nie zawsze 1 warstwa jest wystarczająca. Dla niektórych problemów trzeba wykorzystać więcej warstw. Z reguły używa się około dwukrotnie większej liczby neuronów w warstwach ukrytych niż istnieje wejść sieci, lecz liczba warstw ukrytych zależy od badanego problemu. Ostatecznie na podstawie wykonanych pomiarów sporządziłem krzywe ROC dla najlepiej uczących się przypadków, wraz z obliczoną przybliżonym polem pod wykresem. Pozwoli ona na ocenę zdolności generalizacji wybranych sieci oraz wybór najlepszej z nich: ROC / AUC=0, ,9 0,8 y = 2,773x 3 5,754x 2 + 4,001x 0,000 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0,00 0,20 0,40 0,60 0,80 1,00 Krzywa dla sieci: , aktywacja LOG, n 0,3, d=0,3, normalizacja kolumn < 1;1>, normalizacja wyjścia <0;1>

21 ROC / AUC=0, , 9 0, 8 0, 7 y = 1,046x 3 3,031x 2 + 2,,990x + 0,000 0, 6 0, 5 0,4 0, 3 0, 2 0, 1 0 0,00 0,20 0,40 0,60 0,80 1,,00 Krzywa dla sieci: , aktywacja TANG. H, n 0,2, d=0,2, normalizacja kolumn < 1;1>, normalizacja wyjścia <0;1> ROC / AUC=0,, , 9 0, 8 0, 7 y = 3,713x 3 7,385x 2 + 4,687x + 0,014 0, 6 0, 5 0,4 0, 3 0, 2 0, 1 0 0,00 0,20 0,40 0,60 0,80 1,,00 Krzywa dla sieci: , aktywacja TANG. H, n 0,1, d=0,1, normalizacja kolumn < 1;1>, normalizacja wyjścia <0;1> Na podstawie powyższych wyników za najbardziej dopasowaną ze znalezionych przeze mnie konfigurację sieci wybrać mogę ostatnią przedstawioną na wykresach. Uczy się bardzo szybko (zazwyczaj w ciągu kilku tysięcy cykli) i daje bardzo dobre wyniki rozpoznawania choroby. Wykorzystane źródłą: wątroby, //