ZASTOSOWANIE METOD ANALIZY STATYSTYCZNEJ ORAZ EKSPLORACJI DANYCH DO KLASYFIKACJI OBRAZÓW HISTOPATOLOGICZNYCH HER2

Wielkość: px
Rozpocząć pokaz od strony:

Download "ZASTOSOWANIE METOD ANALIZY STATYSTYCZNEJ ORAZ EKSPLORACJI DANYCH DO KLASYFIKACJI OBRAZÓW HISTOPATOLOGICZNYCH HER2"

Transkrypt

1 Karol Radziszewski, Krzysztof Sikora, Marek Skowroński, Specjalność: Inteligentne systemy informatyczne Prowadząca: prof. dr hab. inż. H. Kwaśnicka SYSTEMY WIZYJNE ZASTOSOWANIE METOD ANALIZY STATYSTYCZNEJ ORAZ EKSPLORACJI DANYCH DO KLASYFIKACJI OBRAZÓW HISTOPATOLOGICZNYCH HER2 Abstrakt: Zakres projektu obejmuje zaprojektowanie wektora cech, opisującego wskazane obrazy. Następnie na podstawie analizy statystycznej i metod drążenia danych podjęta zostanie próba budowy klasyfikatora tych obrazów na zadane klasy. Powstały klasyfikator będzie wspierał proces podejmowania decyzji o przyznaniu pacjentowi wskazanego leku, reprezentowanego przez wskazane obrazy histopatologiczne. W szczególności ma on pozwolić na rozpoznanie typu komórek nowotworowych dla wskazanego materiału badawczego. Pozwoli to określić skład utkania nowotworu, a co za tym idzie prawidłowe rozpoznanie histopatologiczne.

2 SPIS TREŚCI 1. Opis problemu Medyczny punkt widzenia Informatyczny punkt widzenia Krótki opis zastosowanych narzędzi analizy danych Narzędzia predykcji: Regresja liniowa Regresja wielomianowa Narzędzia klasyfikacji Perceptron wielowarstwowy Radialna sieć neuronowa Probabilistyczna sieć neuronowa SOTA Naiwny klasyfikator bayesowski Narzędzia redukcji wymiarowości PCA MDS Macierz korelacji Schemat badań Wyniki badań Analiza uzyskanych wyników Analiza porównawcza klasyfikatorów Analiza porównawcza metod redukcji wymiarowości cech Obserwacje, spostrzeżenia Dalsze kierunki prac Bibliografia

3 1. OPIS PROBLEMU 1.1. MEDYCZNY PUNKT WIDZENIA Podstawowym elementem zaproponowanego projektu badawczego jest przetwarzanie oraz analiza obrazów histopatologicznych (z natury obrazy wielokolorowe). Zbadane zostaną preparaty raka przewodowego gruczołu piersiowego obrazujące ekspresję naskórkowego czynnika wzrostu typu 2 (HER2/neu), gdyż ocena ekspresji tego błonowego białka ma duże znaczenie w postępowaniu diagnostyczno-leczniczym i jest oceną subiektywną (oko ludzkie). Poza obrazami HER-2 badaniami ujęte zostaną również inne białka wykazujące błonową ekspresję tj. E- kadheryna, EGFR (epidermal growth factor receptor) oraz MT-1R (melatonin type 1 receptor) w rakach przewodowych gruczołu piersiowego. Tym samym elementem kluczowym w ramach proponowanego grantu będzie wprowadzenie dokładnych, wiarygodnych oraz automatycznych metod przetwarzania obrazów histopatologicznych. Podstawowym problem badawczym proponowanego projektu badawczego stanowić będzie właściwa analiza obrazów przedstawiających ekspresje receptora HER2 (poniżej w skrócie, obrazy te określane są jako Obrazy HER2 ). Właściwa analiza nie tylko będzie dedykowana problematyce rozpoznania obiektów na obrazach HER2, lecz również będzie dotyczyć problemu rozpoznania kategorii obrazu ([0], [1+], [2+] oraz [3+]). Poniżej przedstawiono obrazy HER2 różnych kategorii (rys. 1 4). 3

4 Podstawowy mankament dotychczas stosowanej analizy preparatów histopatologicznych polega na tym, że analizowane były tylko cechy jakościowe (niemierzalne), co bardzo ogranicza możli- 4

5 wość użycia metod obliczeniowych i nie pozwala rozwiązać bardziej zaawansowanych problemów badawczych. Proponowany proces segmentacji obrazów umożliwia określenie cech ilościowych badanego materiału. Pozwala to na ich dalszą analizę pod kątem uporządkowania, klasyfikacji oraz porównania, jak również umożliwi to przeprowadzenie bardziej zaawansowanych badań, takich jak: szukanie wzorców, powiązań, zmian lub anomalii dla pozyskanych danych. W fazie początkowej analizy, dane zostaną odpowiednio przygotowane zostanie przeprowadzony proces oczyszczania, integracji oraz zostaną zastosowane odpowiednie transformacje. Następnie dane zostaną poddane procesowi klasyfikacji. W szczególności: W przypadku badania nasilenia ekspresji receptora HER-2 w komórkach raka gruczołu piersiowego (stopień tej ekspresji ma bezpośredni wpływ na decyzje o leczeniu - tylko przy dużym nasileniu (3+) można podjąć decyzję o zastosowaniu trastuzumabu w procesie leczenia), zostanie zastosowana analiza dyskryminacyjna w celu rozpoznania grup nadekspresji białka HER-2 (podobnie dla białek tj. E-kadheryna, MT-1R oraz EGFR). Przeprowadzone zostaną badania dotyczące rozpoznania typów komórek nowotworowych dla analizowanego materiału badawczego. Pozwoli to określić skład utkania nowotworu, a co za tym idzie prawidłowe rozpoznanie histopatologiczne. Zostanie zastosowana analiza dyskryminacyjna, analiza czynnikowa w celu redukcji wymiarowości przestrzeni cech oraz w celu zbadania prawidłowości i powiązań w badanym zbiorze danych, oraz analiza wariancji do wykazania różnic w badanych obiektach INFORMATYCZNY PUNKT WIDZENIA Odkładając na bok bardzo naukowy opis problemu z punktu widzenia medycyny, spróbujmy zdefiniować właściwy problem, który będziemy się starać rozwiązać, korzystając z wiedzy i możliwości, jakie dają nauki techniczne (w szczególności informatyczne, a konkretnie - przetwarzanie obrazów). Naszym zadaniem będzie budowa pewnego wektora cech dla każdego obrazu wejściowego. Wektor ten, a nie obraz jako taki (macierz pikseli), będzie właściwym wejściem do klasyfikatora. Klasyfikator zaś to moduł, którego zadaniem jest znalezienie takiego przyporządkowania, które na podstawie danych trenujących będzie potrafiło przekształcić dany wektor wejściowy na liczbę, uzyskiwaną na wyjściu, reprezentującą klasę danego obrazka. 5

6 W związku z tym, aby poprawnie zdefiniować problem, należy udzielić odpowiedzi na dwa pytania: 1. W jaki sposób reprezentować wektor wejściowy (innymi słowy: jakiego typu dane powinny opisywać obraz)? 2. Jaki klasyfikator wybrać? Odpowiedzią na drugie pytanie jest temat tego opracowania. Do klasyfikacji wykorzystane zostaną różne klasyfikatory, wybrane z bazy dostępnych opracowań w środowisku KNIME, które to środowisko zostanie wykorzystane, jako baza do testów, badań i symulacji. Zdecydowaliśmy się na wybór następujących klasyfikatorów: Perceptron wielowarstwowy (ang. multi-layered perceptron, MLP) Probabilistyczna sieć neuronowa (ang. probabilistic neural network, PNN) Radialna sieć neuronowa (ang. radial neural network, RNN) Algorytm samoorganizującego się drzewa (ang, self-organizing tree algorithm, SOTA) Naiwny klasyfikator bayesowski (ang. Naive Bayes, NBAY) Obok typowych klasyfikatorów, testom poddaliśmy też predyktory, operujące na danych ciągłych (numerycznych). Tu nas wybór padł na najbardziej tradycyjne metody: Regresja liniowa Regresja wielomianowa Wciąż jednak pozostaje ważne i aktualne pytanie pierwsze. Jak reprezentować obraz? Niestety nie istnieje odpowiedź, co do której poprawności można by mieć stuprocentową pewność. Problem ekstrakcji cech z obrazów jest tematem wielu rozważań naukowców i jedyne sensowne stanowisko, jakie udało się do tej pory wypracować mówi, iż nie istnieje jeden uniwersalny model transformacji obrazu wejściowego do wektora cech. Innymi słowy sposób reprezentacji i wybór cech zależy od konkretnego problemu. Aby jednak nie wymyślać na nowo koła, zdecydowaliśmy się wybrać reprezentację zaproponowaną przez Kostopoulosa Spilousa [1], który w swojej rozprawie doktorskiej zawarł pewien interesujący projekt wektora cech. Zdaniem Greka, w przypadku problemów rozpoznawania obrazów biomedycznych, wektor cech obrazu powinien składać się z trzech podwektorów. Każdy taki podwektor jest zbudowany z innych danych wejściowych: a) Podwektor cech oparty na analizie statystycznej niskiego rzędu (analiza histogramu) : i. Wartość średnia ii. Odchylenie standardowe (, ) 6

7 ( (, iii. Skośność 1, iv. Kurtoza 1, b Podwektor cech oparty na macierzy współwystępowania ang. co-occurence matrix Macierz współwystępowania tworzy się przez sprawdzenie warunku / relacji pomiędzy dwoma pikselami. Gdzie: K, L wymiary obrazu, 1 R maksymalna wielkość sąsiedztwa,, 1 0,, 1,2,, 1,2,, i. Drugi moment kątowy ang. angular second moment ASM ii. Contrast ang. contrast CON,, iii. Odwrócony moment różnicowy ang. inverse different moment IDM, 1 7

8 iv. Entropia (ang. entropy ENT) (, log (, ) v. Korelacja (ang. correlation COR) ( ) (, ) Gdzie: m x, m y, std x, std y to wartości średnie i odchylenia standardowe p x i p y, które są opisane następująco: ( ) (, ) ( ) (, ) vi. Suma kwadratów (ang. sum of squares SSQ) (1 ) (, ) vii. Suma średnich (ang. sum of averages SAVE) ( ) ( ) (, ) viii. Suma entropii (ang. sum of entropies SENT) ( ( ))log( ( )) ix. Suma wariancji (ang. sum of variances SVAR) () ( ( )) x. Wariancja różnicowa (ang. difference variance DVAR) () ( ( )) xi. Entropia różnicowa (ang. difference entropy DENT) ( ( ))log( ( )) 8

9 ( ) (, ) 2,3,, 1 c) Podwektor cech oparty na macierzy długości pasm (ang. run-length matrix) Macierz ta jest wyznaczana dla określonego kierunku (teta), a każdy jej element R(i,j) zawiera informację, ile razy wystąpiło pasmo pikseli o kolorze g oraz długości d. i. Odwrotny moment uwydatniania krótkich pasm (ang. Short run emphasis - SRE) (, )/ (, ) ii. moment uwydatniania długich pasm (ang. Long run emphasis - LRE) (, ) (, ) iii. niejednorodność skali szarości (ang. Grey level non-uniformity - GLNU) (, ) (, ) iv. niejednorodność długości pasm (ang. Run-length non-uniformity RLNU) (, ) (, ) v. wartość procentowa (ang. Run percentage RP) (, )/ Gdzie P to maksymalna wartość w macierzy. Jak łatwo zauważyć, ilość cech z macierzy współwystępowania oraz z macierzy długości pasm zależy od kilku czynników: 1. Macierz współwystępowania: a. Ilość rozważanych kierunków należy się zastanowić, czy interesują nas wyłącznie piksele położone na liniach prostopadłych względem siebie, czy może też te na liniach ukośnych. Jeśli bierzemy pod uwagę drugą możliwość, wówczas liczba cech rośnie nam dwukrotnie. 9

10 b. Ilość możliwych odległości D zwyczajowo przyjmuje się, że dla 0<D<6 uzyskuje się już dostatecznie szczegółowe cechy. c. Jeśli weźmiemy pod uwagę kierunki prostopadłe oraz ukośne i maksymalną zwyczajową ilość odległości D, otrzymujemy: i. Ilość kierunków: 8 ii. Ilość odległości: 5 iii. Ilość cech: 11 W sumie: 8*5* cech tylko z macierzy współwystępowania. 2. Macierz długości pasm: a. Ilość rozważanych kierunków podobnie jak w przypadku macierzy współwystępowania W sumie (8/ 2 4) *(ilość cech 5) 20 cech tylko z macierzy długości pasm. Otrzymujemy zatem wektor cech o długości: 1) Analiza histogramu: 4 cechy 2) Macierz współwystępowania: 440 cech 3) Macierz długości pasm: 20 cech W sumie daje to wektor cech o długości 464. Ponieważ otrzymany wektor cech ma bardzo dużo atrybutów, celowym może się wydawać zastosowanie metod redukcji wymiarowości tegoż wektora. Dlatego też obok badania skuteczności działania klasyfikatora jako jakiego, sprawdzimy również wpływ stosowania następujących metod redukcji wymiarowości: Macierz korelacji Algorytm analizy głównych składowych (PCA) Algorytm skalowania wielowymiarowego (MDS) W celu klasyfikacji danych zostaną zastosowanie różne metody analizy statycznej oraz eksploracji danych. Uzyskane wyniki zostaną poddane weryfikacji zarówno statystycznej jak i medycznej (względem wiedzy eksperta dziedzinowego). 10

11 2. KRÓTKI OPIS ZASTOSOWANYCH NARZĘDZI ANALIZY DANYCH 2.1 NARZĘDZIA PREDYKCJI: REGRESJA LINIOWA Regresja to sprowadzenie zagadnienia współzależności zmiennych losowych do zależności funkcyjnej. Na podstawie wyników badań doświadczalnych wyznacza się zależność pomiędzy zmiennymi losowymi, najczęściej w formie tzw. równania regresji, które przedstawia charakter związków pomiędzy czynnikami wejściowymi i wynikowymi. Z matematycznego punktu widzenia, regresją nazywamy dowolną metodę statystyczną pozwalającą estymować warunkową wartość oczekiwaną zmiennej losowej, zwanej zmienną objaśnianą, dla zadanych wartości innej zmiennej lub wektora zmiennych losowych (tzw. zmiennych objaśniających). W zapisie formalnym model przybiera postać: Y f(x,β) + ε lub Y f(x+ ε X,β) + ε gdzie: X wektor zmiennych objaśniających Y zmienna objaśniana β - wektor współczynników regresji f(x,β) funkcja regresji ε, ε X - błąd losowy Celem konstrukcji modelu jest przybliżenie nieznanej funkcji f przez jej estymator. Sprowadza się to do takiego wyznaczenia estymatora wektora współczynników β, aby zminimalizować w zbiorze uczącym funkcję straty. L(f, f) f(δ(a,b)) Zwykle jako miarę błędów stosuje się sumę kwadratów różnic (błędów regresji): Δ(a,b) Δ(a-b) 2 wówczas obliczenia są najprostsze - dopasowanie modelu sprowadza się do zastosowania prostej matematycznie metody najmniejszych kwadratów (MNK). 11

12 Użycie regresji: 1. Konstruowanie modelu - budowa tzw. modelu regresyjnego czyli funkcji opisującej jak zależy wartość oczekiwana zmiennej objaśniającej od zmiennych objaśnianych. Funkcja ta może być zadana nie tylko czystym wzorem matematycznym, ale także całym algorytmem, np. w postaci drzewa regresyjnego, sieci neuronowej, itp. Model konstruuje się tak, aby jak najlepiej pasował do danych z próby, zawierającej zarówno zmienne objaśniające, jak i objaśniane (tzw. zbiór uczący). 2. Wyliczanie regresji (stosowanie modelu, scoring) - użycie wyliczonego modelu do danych w których znamy tylko zmienne objaśniające, w celu wyznaczenia wartości oczekiwanej zmiennej objaśnianej. Rys , Prezentacja krzywej regresji liniowej REGRESJA WIELOMIANOWA Zaniechanie warunku liniowości może być użyteczne w przypadku analizowania zmiennych charakteryzujących się występowaniem zjawiska nasycenia. Jedną z metod dobrze odzwierciedlających nieliniowy związek pomiędzy zmiennymi jest regresja wielomianowa. Omawiana metoda oblicza zależność między zmienną zależną a jedną lub więcej zmiennymi niezależnymi, które mogą występować w wyższych potęgach. Model regresji wielomianowej z jedną zmienna objaśniającą w ogólnej postaci przedstawiono wzorem:

13 gdzie: y zmienna objaśniana, X zmienna objaśniająca (predyktor), β 0, β 1, β 2, β m parametry modelu, przy czym wyraz wolny β 0 jest punktem przecięcia linii regresji z osią rzędnych, m stopień wielomianu, tj. najwyższa potęga w jakiej pojawia się zmienna X, ε - błąd losowy. Rys Prezentacja krzywej regresji wielomianowej 2.2 NARZĘDZIA KLASYFIKACJI PERCEPTRON WIELOWARSTWOWY Perceptrony wielowarstwowe, czyli jednokierunkowe sieci wielowarstwowe są najbardziej znanymi i najczęściej wykorzystywanymi strukturami sieci. Wyróżnia się w nich warstwę wejściową, warstwy ukryte oraz warstwę wyjściową. Dzięki połączeniom neurony znajdujące się na sąsiadujących warstwach mogą się ze sobą komunikować. Wszystkie neurony wchodzące w skład sieci dokonują agregacji danych wejściowych poprzez wyznaczenie sumy ważonych wejść, funkcja aktywacji neuronów wejściowych ma charakter liniowy, neuronów ukrytych nieliniowy (najczęściej s-kształtny), zaś neuronów wyjściowych liniowy bądź nieliniowy. 13

14 W przypadku jednokierunkowych sieci jest stosowany tryb uczenia się z nauczycielem. Ich struktura jest nieskomplikowana, ale dużym problemem jest jej odpowiednia konstrukcja. Charakteryzują się one również stosunkowo długim czasem uczenia w porównaniu z innymi typami sieci. Perceptrony wielowarstwowe posiadają umiejętności ekstrapolacji, co może być wykorzystywane w rozwiązywaniu różnego typu problemów. Podczas konstrukcji modelu wykorzystującego perceptron wielowarstwowy ważnym etapem jest konstrukcja samej sieci, szczególnie jej warstw ukrytych i sposobów połączeń neuronów, od których zależeć będzie sposób funkcjonowania sieci. W sytuacji wykorzystania sieci do prognozowania szeregów czasowych bardzo istotnym zagadnieniem jest odpowiedni schemat uczenia sieci oraz dobór zmiennych wejściowych, które to mogą przyjmować wartości opóźnione. Rys Schemat perceptronu wielowarstwowego RADIALNA SIEĆ NEURONOWA Sieć radialna jest odmianą iteracyjnej sztucznej sieci neuronowej. W radialnych sztucznych sieciach neuronowych odwzorowanie zbioru wejściowego w wyjściowy jest realizowane przez dopasowanie wielu pojedynczych funkcji aproksymujących do wartości zadanych, ważne jedynie w wąskim obszarze przestrzeni wielowymiarowej. Neuron w warstwie ukrytej realizuje funkcję zmieniającą się radialnie wokół wybranego centrum c i przyjmującą wartości niezerowe tylko w otoczeniu tego centrum. Funkcję taką oznaczamy w postaci f i(x) f i( x c ) i nazywamy radialną funkcją bazową. Neuron ma za zadanie odwzorować radialną przestrzeń wokół jednego zadanego punktu lub grupy punktów stanowiących klaster. Superpozycja sygnałów od wszystkich neuronów ukrytych, dokonywana przez neuron wyjściowy, pozwala uzyskać odwzorowanie całej przestrzeni wielowymiarowej. Architektura sieci radialnych ma strukturę analogiczną do struktury wielowarstwowej sieci sigmoidalnej o jednej warstwie ukrytej, która to reprezentuje odwzorowanie nieliniowe realizowane przez neurony o radialnej funkcji bazowej. 14

15 Najprostsza sieć radialna działa na zasadzie wielowymiarowej interpolacji, która odwzorowuje p różnych wektorów wejściowych x i (i 1,2...p) z przestrzeni wejściowej N-wymiarowej w zbiór p liczb rzeczywistych d i (i 1,2...p). Odpowiada to przyjęciu p neuronów radialnych w warstwie ukrytej i określenie funkcji odwzorowania F(x), dla której spełnione są warunki interpolacji F(x) d i. Dobór liczby neuronów warstwy ukrytej w sieciach radialnych (sieciach iteracyjnych) zależy od przyjętego błędu. Neurony są dodawane iteracyjnie, 1 neuron w jednej iteracji aż do osiągnięcia błędu średniokwadratowego podanego przez użytkownika lub osiągnięcia maksymalnej liczby neuronów. Maksymalna liczba neuronów równa jest liczbie wektorów wejściowych, np. jeżeli x i (i 1,2...p), to maksymalna liczba neuronów równa jest p. Rys Schemat architektury sieci radialnej PROBABILISTYCZNA SIEĆ NEURONOWA W sieci PNN występują przynajmniej trzy warstwy: wejściowa, radialna i wyjściowa. Neurony radialne mają parametry kopiowane bezpośrednio z danych uczących; każdy z nich odpowiada jednemu przypadkowi. Wygląda to w taki sposób, że każdy z neuronów radialnych modeluje funkcję Gaussa wycentrowaną nad "swoim" przypadkiem uczącym. Natomiast w warstwie wyjściowej każdej klasie odpowiada jeden neuron. Do każdego z tych neuronów wyjściowych docierają połączenia od tych neuronów radialnych, które zostały ustawione nad punktami (zestawami danych wejściowych) należącymi do danej klasy; nie występują natomiast połączenia neuronów wyjściowych z innymi neuronami radialnymi. Neurony wyjściowe sumują więc po prostu wartości wyjściowe pojawiające się na wyjściach neuronów radialnych, należących do klasy odpowiadającej danemu neuronowi wyjściowemu. Wartości wyjściowe neuronów wyjściowych są więc proporcjonalne do estymatorów jądrowych funkcji gęstości prawdopodobieństwa dla róż- 15

16 nych klas i po zastosowaniu normalizacji zapewniającej ich sumowanie do jedności stanowią wprost oszacowania prawdopodobieństwa przynależności do poszczególnych klas. Podstawowy model sieci PNN może być zmodyfikowany na dwa sposoby. Pierwszy sposób polega na tym, że zmienia się sposób traktowania udziału reprezentacji poszczególnych klas w zbiorze uczącym. Podstawowe podejście zakłada, że udział przedstawicieli poszczególnych klas w zbiorze uczącym jest zgodny z rzeczywistym odsetkiem przypadków zaliczanych do tej klasy w modelowanej populacji (są to tak zwane prawdopodobieństwa a priori). Jeśli prawdopodobieństwo a priori różni się od udziału przypadków należących do danej klasy w ciągu uczącym, to oszacowania rozkładów wyznaczane przez sieć będą także nieprawidłowe. W celu zniwelowania wpływu takich problemów i związanych z nimi dysproporcji można w sieci jawnie wyspecyfikować prawdopodobieństwa a priori (jeśli są one znane), co spowoduje zmianę wartości wag neuronów wyjściowych sieci dla ich wejść odpowiadających neuronom ukrytym poszczególnych klas. Drugi sposób zmodyfikowania modelu sieci PNN może polegać na odmiennym traktowaniu różnych rodzajów błędów pojawiających się w trakcie uczenia i eksploatacji sieci. Ogólnie wiadomo, że sieć dokonująca estymacji nieznanego rozkładu gęstości prawdopodobieństwa w oparciu o dane zniekształcone przez szumy odtworzy potrzebną funkcję z błędami, w wyniku czego będzie nieuchronnie klasyfikować podawane jej dane w pewnych przypadkach błędnie. Skutek takich błędów jest oczywiście zawsze zdecydowanie niekorzystny, bo jest zawsze rzeczą naganną, jeśli na przykład osoba w rzeczywistości chora zostanie uznana za zdrową. Jednakże pewne rodzaje błędnej klasyfikacji mogą być uznawane za "bardziej kosztowne" niż inne. W takich przypadkach, gdy zachodzi potrzeba zróżnicowania "cen błędów" można wprowadzić do programu procedurę "ważenia" surowych prawdopodobieństw wyznaczonych przez sieć. Dokonuje się tego poprzez zastosowanie w programie specjalnie ustalanych "czynników straty", które odzwierciedlają koszty błędnej klasyfikacji - ewentualnie różne w przypadku różnych możliwych typów błędów. 16

17 Rys Schemat architektury sieci PNN SOTA Algorytm SOTA (ang. Self Organizing Tree Algorithm) jest połączeniem pewnych aspektów hierarchicznej klasteryzacji oraz map samoorganizujących (SOM). Bazując na sieci neuronowej, algorytm SOTA cechuje się wysoką skutecznością, nawet przy mocno zaszumionych danych. Cechą charakterystyczną jest topologia sieci, oparta na rozbudowującym się drzewie binarnym, mapującym w ten sposób zależności między danymi. Budowa drzewa odbywa się epokami. W każdej epoce na wejście podawany jest zbiór danych z wektora uczącego. Po prezentacji każdego ze wzorców neuron, który odpowiedział najskuteczniej aktualizuje swoje wagi. Na koniec każdego cyklu (epoki) neuron, który najczęściej odpowiadał produkuje dwóch swoich następników. Proces jest powtarzany tak długo, aż każda komórka jest dopasowana do jednego wzorca uczącego lub do momentu uzyskania warunku stopu (stopnia heterogeniczności dopasowania) NAIWNY KLASYFIKATOR BAYESOWSKI Naiwne klasyfikatory bayesowskie są oparte na założeniu o wzajemnej niezależności predyktorów (zmiennych niezależnych). Często nie mają one żadnego związku z rzeczywistością i właśnie z tego powodu nazywa się je naiwnymi. Bardziej opisowe jest określenie model cech niezależnych. Ponadto model prawdopodobieństwa można wyprowadzić korzystając z twierdzenia Bayesa. W zależności od rodzaju dokładności modelu prawdopodobieństwa, naiwne klasyfikatory bayesowskie można skutecznie uczyć w trybie uczenia z nadzorem. W wielu praktycznych aplika- 17

18 cjach, estymacja parametru dla naiwnych modeli Bayesa używa metody maksymalnego prawdopodobieństwa a posteriori; inaczej mówiąc, można pracować z naiwnym modelem Bayesa bez wierzenia w twierdzenie Bayesa albo używania jakichś metod Bayesa. Pomimo ich naiwnego projektowania i bardzo uproszczonych założeń, naiwne klasyfikatory Bayesa często pracują dużo lepiej w wielu rzeczywistych sytuacjach niż można było tego oczekiwać. Model prawdopodobieństwa dla klasyfikatora jest modelem warunkowym przez zmienną zależną klasy C z niewielu rezultatów albo klas, zależnych od kilku opisujących zmiennych F 1 do F n. Problem pojawia się, gdy liczba cech n jest duża lub gdy cecha może przyjmować dużą liczbę wartości. Wtedy opieranie się na modelu tablic prawdopodobieństw jest niewykonalne. Dlatego też inaczej formułuje się taki model, by był bardziej przystępny. Korzystając z twierdzenia Bayesa: W praktyce interesujący jest tylko licznik ułamka, bo mianownik nie zależy od C i wartości cechy. Mianownik jest więc stały. Licznik ułamka jest równoważny do łącznego modelu prawdopodobieństwa który można zapisać, wykorzystując prawdopodobieństwo warunkowe i tak dalej. Włącza się teraz naiwną warunkową zależność. Zakładając, że każda cecha F i jest warunkowo niezależna od każdej innej cechy F j dla 18

19 Oznacza to więc model można wyrazić jako Oznacza to, że pod powyższymi niezależnymi założeniami, warunkowe rozmieszczenie nad klasą zmiennych C można zapisać gdzie Z jest współczynnikiem skalowania zależnym wyłącznie od. Modele tej formy są łatwiejsze do zrealizowania, gdy rozłoży się je na czynniki zwane klasą prior p(c) i niezależny rozkład prawdopodobieństwa. Jeśli są klasy k i jeśli model dla p(f i) może być wyrażony przez parametr r, wtedy odpowiadający naiwny model Bayesa ma (k 1) + n r k parametrów. W praktyce często k 2 (klasyfikacja binarna) i r 1 (zmienna Bernouliego jako cecha), wtedy całkowita liczba parametrów naiwnego modelu Bayesa to 2n + 1, gdzie n jest liczbą binarnych użytych cech. W przypadku uczenia z nadzorem, chcemy ocenić parametry probabilistycznego modelu. Z powodu niezależnych cech założenia, wystarczy ocenić klasę poprzednią i zależną cechę modelu niezależnie, wykorzystując metodę maksimum prawdopodobieństwa a posteriori (MAP), wnioskowanie Bayesa lub inną parametryczną procedurę estymacji. Dotychczasowe omówienie problemu wyprowadziło model niezależnych cech, które są naiwnym probabilistycznym modelem Bayesa. Naiwny klasyfikator bayesowski łączy ten model z regułą decyzyjną. Jedna, ogólna reguła ma wydobyć hipotezę najbardziej prawdopodobną. Odpowiadający klasyfikator jest funkcją classify, zdefiniowaną 19

20 2.3 NARZĘDZIA REDUKCJI WYMIAROWOŚCI PCA Wielowymiarowe dane z reguły nie są równomiernie rozrzucone wzdłuż wszystkich kierunków układu współrzędnych, ale koncentrują się w pewnych podprzestrzeniach oryginalnej przestrzeni. Celem analizy składowych głównych (ang. Principal Component Analysis, PCA) jest znalezienie tych podprzestrzeni w postaci tzw. składników głównych (zwanych czasami kierunkami). Są to wektory, które pełnią rolę nowych współrzędnych analizowanych danych wielowymiarowych. Składników głównych jest zdefiniowanych tyle, ile wymiarów pierwotnych danych. Analiza składowych głównych oparta jest na wykorzystaniu podstawowych w statystyce pojęć, jakimi są m.in. korelacja i wariancja. Pojęcia te wraz z wybranymi elementami algebry liniowej tworzą matematyczną całość służącą do analizy danych wielowymiarowych. Pojęcia powyższe nie będą dokładniej omawiane w pracy (praktycznie każdy podręcznik statystyki je wyjaśnia), niemniej wiele z nich pojawi się niejako samoistnie w przykładach. W literaturze statystycznej metoda PCA klasyfikowana jest jako eksploracyjna analizy danych. Składnikami głównymi okazują się być (stosunkowo łatwe do wyliczenia) wektory własne tzw. macierzy kowariancji zbioru danych. Z wektorami własnymi związane są odpowiadające im wartości własne, które są (dla macierzy kowariancji) dodatnimi liczbami rzeczywistymi. Wybierając wektory odpowiadające kilku największym wartościom własnym, otrzymujemy poszukiwany zbiór nowych kierunków układu współrzędnych. Kierunki te (co jest istotą metody) są kierunkami maksymalizującymi zmienność danych w sensie wariancji. Kierunki te są ze sobą nieskorelowane (używa się też algebraicznego pojęcia ortogonalne). Przyjmuje się oczywiście, że wszystkie atrybuty pierwotnego zbioru danych opisują 100% zmienności tych danych. Analiza składowych głównych jest metodą liniową. W metodzie zakłada się możliwość znalezienia nowych osi (kierunków), które lepiej opisują nasze dane na przykład w sensie ich logicznego pogrupowania (ang. clustering). Osie te są oczywiście liniami prostymi. Zdarzyć się jednak może, że układ analizowanych danych jest taki, że nie będzie możliwa sensowna redukcja danych do ich rzutów na wyliczone kierunki. Redukcja wymiaru oryginalnych danych wymagać będzie wtedy ich zrzutowania na krzywą, a nie na prostą. W takim przypadku zastosować można uogólnienia klasycznej metody PCA jakimi są np. tzw. jądrowa metoda PCA (ang. kernel PCA, 20

21 kpca) lub nieliniowa analiza PCA (ang. Non-linear PCA, npca). Temat ten nie będzie jednak w tym miejscu rozwijany i poprzestajemy jedynie na wspomnieniu o tej możliwości MDS Skalowanie wielowymiarowe (ang. Multidimensional Scaling, MDS) to metoda wizualizacji danych w niskim wymiarze oparta na wykorzystaniu tzw. macierzy bliskości (ang. proximity matrix) oraz jakiejś odpowiedniej do analizowanych danych metryki (miary odległości). Jest to podstawowa metoda, mająca jednak wiele modyfikacji. Skalowanie wielowymiarowe dąży do rozmieszczenia obiektów jako punktów w przestrzeni niskowymiarowej w taki sposób, aby obiekty podobne do siebie (w oryginalnym zbiorze danych) znajdowały się blisko siebie. Redukujemy więc oryginalny rozmiar danych z zachowaniem zarówno ich własności topologicznych jak i metrycznych. Skalowanie wielowymiarowe wymaga posiadania informacji o bliskościach pomiędzy elementami zbioru danych. Stosowane do tego celu struktury danych to np. macierze podobieństwa, odmienności, odległości pomiędzy obiektami. W niektórych zastosowaniach informacja taka jest naturalna (np. porównanie przez respondentów jakości dwóch produktów). W innych macierz bliskości należy najpierw wyliczyć i nie zawsze będzie to proste zadanie. Zauważmy, że o np. odmienności możemy mówić również w kontekście danych nie tylko ilościowych ale i jakościowych. Wizualizacja metodami MDS może dotyczyć również danych mieszanych, które w postaci oryginalnej nie maja żadnej czytelnej interpretacji geometrycznej (jak na wykresie pokazać bliskość osób o różnych kolorach oczu?). W sensie obliczeniowym skalowanie wielowymiarowe jest nie tyle ścisłą procedurą, ile raczej sposobem zmiany rozmieszczenia obiektów w sposób na tyle efektywny, aby otrzymać konfigurację, która jest najlepszym przybliżeniem oryginalnych (czasami mówi się obserwowanych) odległości. Metoda przemieszcza obiekty w przestrzeni zdefiniowanej przez pożądaną liczbę wymiarów i sprawdza, na ile ta nowa konfiguracja odtwarza odległości między obiektami. Matematycznie chodzi o minimalizację pewnej funkcji, która jest miarą jakości rozwiązania zadania. Oznaczmy przez N ij odległość pomiędzy i-tym i j-tym obiektem w oryginalnej przestrzeni wielowymiarowej. Analogicznie przez n ij oznaczmy odległość pomiędzy i-tym i j-tym obiektem w przestrzeni o zredukowanej ilości wymiarów (w praktyce chodzi o płaszczyznę). MDS sprowadza się teraz do minimalizacji tzw. funkcji błędu (w literaturze anglojęzycznej zwanej stress function): 21

22 która jest miarą stosowaną do szacowania, na ile dobrze (lub źle) dana konfiguracja odtwarza macierz odległości MACIERZ KORELACJI Dla wszystkich cech budujemy macierz korelacji. Następnie z macierzy tej wybieramy te cechy, których wartość korelacji jest najwyższa względem klasy danego obiektu. Te cechy umieszczane są w macierzy wynikowej i na tych następnie przeprowadzane są obliczenia. Pozostałe cechy są pomijane. 22

23 3. SCHEMAT BADAŃ Wszystkie badania i symulacje zostały przeprowadzone w środowisku KNIME (Konstantz Information Miner). Cechą tego środowiska jest możliwość korzystania z gotowych bloczków do generowania modeli przepływu danych (ang. workflow). Podstawowy schemat przepływu dla naszych badań przedstawia się następująco: Rys. 3.1 Schemat przepływu danych dla klasyfikacji wykorzystującej dane numeryczne. 23

24 Rys. 3.2 Schemat przepływu dla klasyfikatorów wymagających danych nominalnych Środowisko to umożliwia również bardzo wygodne uczenie klasyfikatorów z wykorzystaniem walidacji skrośnej (ang. cross-validation), czyli podziału zbioru danych wejściowych na n koszyków, uczeniu klasyfikatora na n-1 koszykach i testowaniu na n-tym koszyku. Do tego służy tzw. bloczek złożony (ang. complex node). Rys. 3.3 Schemat organizacji uczenia z walidacją skrośną 24

25 Wyniki uzyskiwane są z węzła X-Aggregator. Jedno z jego wyjść przedstawia tabelaryczne zestawienie wszystkich cech i przypisanej klasy, natomiast drugie zawiera jedynie skuteczność działania klasyfikatora. Schemat prezentowanych danych z drugiego węzła przedstawia się następująco: Rys. 3.4, Format prezentacji wyników w środowisku KNIME Skuteczność działania klasyfikatora była oceniana dwojako. Jeżeli pracowaliśmy na klasyfikatorach, które wymagały danych nominalnych, na wyjściu otrzymywaliśmy procentowy stosunek ilości elementów błędnie zaklasyfikowanych do wszystkich elementów danego podzbioru. Wówczas skuteczność jest po prostu różnicą 100%-X, gdzie X to ów stosunek. Dla danych numerycznych otrzymywaliśmy całkowity błąd dla danego koszka (ang. fold) oraz błąd średniokwadratowy. Właśnie MSE (ang. mean squared error) traktowaliśmy jako nasz miernik skuteczności, obliczanej jako 100%-MSE*100%. MSE jest wyliczane jako TMSE (ang. total mean squared error) / size of fold (liczność koszyka). 25

26 4. WYNIKI BADAŃ Opis użytych skrótów: BARE dane gołe, nie poddane procesowi redukcji wymiarowości RED dane poddane procesowi redukcji na podstawie macierzy korelacji PCA dane poddane procesowi redukcji na podstawie algorytmu PCA MDS dane poddane procesowi redukcji na podstawie algorytmu MDS Perceptron wielowarstwowy (ang. Multi-layer perceptron MLP) MLP - BARE MLP - RED MLP - PCA MLP MDS TMSE MSER TMSE MSER TMSE MSER TMSE MSER Fold0 0,631 0,018 0,83 0,02 1,183 0,033 0,844 0,023 Fold1 0,825 0,024 1,36 0,04 1,146 0,033 1,112 0,032 Fold2 0,563 0,016 1,20 0,03 0,895 0,026 1,158 0,033 Fold3 0,675 0,019 0,66 0,02 1,204 0,034 0,832 0,024 Fold4 1,025 0,029 1,22 0,03 1,086 0,031 0,727 0,021 Fold5 0,854 0,024 0,25 0,01 1,129 0,031 1,076 0,030 Fold6 1,084 0,031 1,00 0,03 1,020 0,029 1,220 0,035 Fold7 0,394 0,011 1,23 0,03 1,181 0,034 0,697 0,020 Fold8 1,206 0,034 1,06 0,03 0,983 0,028 0,983 0,028 Fold9 0,907 0,026 0,64 0,02 1,235 0,035 1,205 0,034 Średnia 0,817 0,023 0,94 0,03 1,106 0,031 0,985 0,028 Skuteczność [%] 99, , , , , ,5 BARE RED PCA MDS Rys. 4.1, Skuteczność klasyfikacji perceptronu wielowarstwowego w poszczególnych kubełkach walidacji skrośnej, z uwzględnieniem różnych metod redukcji cech Na podstawie zanotowanych wyników można zauważyć, że klasyfikator oparty na wielowarstwowej sieci neuronowej (perceptronie), choć stosunkowo prosty, radzi sobie zaskakująco do- 26

27 brze. Właściwie nie ma dla tej sieci neuronowej znaczenia, czy pracuje ona na cechach tzw. gołych, czy zredukowanych. Oczywiście im mniej cech, tym mniej obliczeń perceptron musi wykonać, aby się wyuczyć, a potem testować, ale przy pozostawieniu oryginalnych 464 cech klasyfikacja i tak odbywała się na tyle szybko, że brak redukcji wymiarowości cech nie okazał się zauważalnie istotny. Uzyskiwane wyniki skuteczności klasyfikacji z przedziału 95-99% są więcej niż zadowalające. Probabilistyczna sieć neuronowa (ang. Probabilistic neural network PNN) PNN BARE PNN - RED PNN - PCA PNN MDS TMSE MSER TMSE MSER TMSE MSER TMSE MSER Fold0 3,742 0,104 6,00 0,16 2,449 0,068 2,449 0,068 Fold1 2,449 0,070 19,00 0,53 2,828 0,081 2,828 0,081 Fold2 3,317 0,095 20,00 0,56 2,236 0,064 3,742 0,107 Fold3 2,828 0,081 13,00 0,36 2,828 0,081 2,449 0,070 Fold4 2,646 0,076 22,00 0,61 2,449 0,070 1,732 0,049 Fold5 2,236 0,062 11,00 0,31 1,732 0,048 2,828 0,079 Fold6 2,646 0,076 12,00 0,33 4,243 0,121 3,317 0,095 Fold7 2,449 0,070 21,00 0,58 3,317 0,095 2,646 0,076 Fold8 2,000 0,057 31,00 0,86 2,236 0,064 2,236 0,064 Fold9 2,236 0,064 9,00 0,25 2,236 0,064 2,646 0,076 Średnia 2,655 0,075 16,40 0,46 2,656 0,076 2,687 0,076 Skuteczność [%] BARE RED PCA MDS Rys. 4.2, Skuteczność klasyfikacji probabilistycznej sieci neuronowej w poszczególnych kubełkach walidacji skrośnej, z uwzględnieniem różnych metod redukcji cech W przypadku probabilistycznej sieci neuronowej tym, co wyraźnie rzuca się w oczy jest silna zależność jej skuteczności od rodzaju zastosowanego algorytmu redukcji wymiarowości cech. Uściślając, klasyfikator ten nie potrafił skutecznie poradzić sobie z zadanym problemem przy 27

28 użyciu redukcji opartej na macierzy korelacji. Może to oznaczać, że ta sieć działa dobrze na danych nieskorelowanych (niezależnych). Pozostałe algorytmy redukcji wymiarowości (wliczając również zupełny brak jego zastosowania) nie rzutowały tak na otrzymane wyniki. Oczywiście zastosowanie redukcji wymiarowości zwiększa czas potrzebny na przygotowanie danych na wejście do klasyfikatora, ale potem skraca czas jego uczenia. Koniec końców jednak, różnice czasowe w obu podejściach okazują się minimalne. Radialna sieć neuronowa (ang. Radial Neural Network RNN) RNN - BARE RNN - RED RNN - PCA RNN MDS E [%] EC E [%] EC E [%] EC E [%] EC Fold0 16,22 6/37 10,81 4/37 2,70 1/37 0,00 0/36 Fold1 19,44 7/36 11,11 4/36 2,78 1/36 0,00 0/36 Fold2 2,78 1/36 8,33 3/36 0,00 0/36 0,00 0/36 Fold3 11,11 4/36 11,11 4/36 0,00 0/36 0,00 0/36 Fold4 8,33 3/36 19,44 7/36 0,00 0/36 0,00 0/36 Fold5 2,78 1/36 16,67 6/36 0,00 0/36 0,00 0/36 Fold6 11,11 4/36 13,89 5/36 0,00 0/36 0,00 0/36 Fold7 5,56 2/36 2,78 1/36 0,00 0/36 0,00 0/36 Fold8 16,67 6/36 13,89 5/36 0,00 0/36 0,00 0/36 Fold9 16,67 6/36 16,67 6/36 0,00 0/36 0,00 0/36 Średnia 16,22 12,47 0,55 0,00 Skuteczość [%] BARE RED PCA MDS Rys. 4.3, Skuteczność klasyfikacji radialnej sieci neuronowej w poszczególnych kubełkach walidacji skrośnej, z uwzględnieniem różnych metod redukcji cech To, co najbardziej zastanawia i jednocześnie zaskakuje w wynikach uzyskanych przy użyciu sieci radialnej, to bezbłędna skuteczność klasyfikacji dla sieci pracującej na danych, których wymiary zostały zredukowane algorytmem MDS. Nakład czasowy potrzebny na zrealizowanie symulacji 28

29 takiej kombinacji jest nieco większy, niż przy prostszych klasyfikatorach i algorytmach redukcji, ale otrzymane wyniki rekompensują ubytki szybkościowe. Równie nieźle klasyfikator ten poradził sobie z klasyfikacją danych poddanych procesowi redukcji wymiarowości za pomocą algorytmu PCA. Redukcja oparta na macierzy korelacji, a także nawet jej brak również pozwalają na uzyskanie za pomocą tego rodzaju sieci neuronowej satysfakcjonujących wyników (powyżej 80% poprawności klasyfikacji). Klasyfikator SOTA SOTA RED SOTA - PCA SOTA MDS E [%] EC E [%] EC E [%] EC Fold0 27,40 20/71 22,54 16/71 14,08 10/71 Fold1 26,39 19/70 18,57 13/70 25,71 18/70 Fold2 33,33 24/71 28,17 20/71 15,49 11/71 Fold3 23,61 17/70 18,57 13/70 18,57 13/70 Fold4 26,39 19/70 20,00 14/70 25,71 18/70 Średnia 27,42 21,57 14, Skuteczność [%] RED PCA MDS Fold0 Fold1 Fold2 Fold3 Fold4 Średnia Rys. 4.4, Skuteczność algorytmu drzewa samoorganizującej się mapy (SOTA) w poszczególnych kubełkach walidacji skrośnej, z uwzględnieniem różnych metod redukcji cech Uruchamiając klasyfikator typu SOTA (ang. Self Organizing Tree Algorithm) mieliśmy po nim bardzo duże oczekiwania, wprost proporcjonalne do czasu, jakiego klasyfikator wymaga do wyuczenia się. Tymczasem okazuje się, że za długim procesem uczenia nie idzie wysoka skuteczność klasyfikacji. Błąd na poziomie dwudziestu kilku procent jest nieakceptowalny, jeśli spojrzymy na wyniki uzyskiwane za pomocą innych klasyfikatorów. Uruchomienie tego klasyfikatora na danych niezredukowanych zakończyło się nawet błędem braku dostępnej pamięci. Być może dla mniejszej ilości cech, ten klasyfikator radziłby sobie lepiej, co można zaobserwować po 29

30 użyciu go na danych zredukowanych algorytmem MDS, ale taka kombinacja (MDS + SOTA) jest bardzo czasochłonna. Regresja liniowa (REGL) REGL RED REGL - PCA REGL MDS TMSE MSER TMSE MSER TMSE MSER Fold0 7,15 0,19 3,93 0,11 4,72 0,13 Fold1 7,07 0,20 14,37 0,40 5,22 0,15 Fold2 11,20 0,31 6,77 0,19 5,08 0,15 Fold3 10,96 0,30 3,07 0,09 5,62 0,16 Fold4 8,12 0,23 11,70 0,33 5,97 0,17 Fold5 20,53 0,57 8,75 0,24 6,49 0,18 Fold6 19,72 0,55 6,56 0,18 5,40 0,15 Fold7 3,52 0,10 11,23 0,31 4,78 0,14 Fold8 4,00 0,11 27,36 0,76 5,40 0,15 Fold9 7,30 0,20 6,39 0,18 4,54 0,13 Średnia 9,96 0,28 10,01 0,28 5,32 0, Skuteczność [%] RED PCA MDS Rys. 4.5, Skuteczność regresji liniowej w poszczególnych kubełkach walidacji skrośnej, z uwzględnieniem różnych metod redukcji cech Uruchomienie regresji liniowej na naszych danych niezredukowanych jest z założenia niemożliwe, ponieważ ten typ klasyfikatora (predyktora) wymaga, aby elementów w zbiorze uczącym było więcej, niż cech każdego z elementów. Tymczasem błąd średniokwadratowy okazał się zniechęcająco wysoki dla regresji uruchomionej na danych redukowanych przy użyciu macierzy korelacji oraz algorytmu PCA, co każe widzieć w metodzie regresji raczej przeciętny klasyfikator (ze skutecznością rzędu ok. 72%). 30

31 Regresja wielomianowa (REGW) REGW - PCA REGW MDS TMSE MSER TMSE MSER Fold0 37,72 0,92 8,05 0,22 Fold1 15,96 0,44 2,60 0,07 Fold2 23,41 0,65 5,93 0,17 Fold3 34,81 0,97 3,52 0,10 Fold4 30,24 0,84 5,99 0,17 Fold5 16,89 0,47 2,81 0,08 Fold6 35,58 0,99 5,82 0,17 Fold7 36,31 0,91 5,62 0,16 Fold8 25,92 0,72 4,78 0,14 Fold9 18,98 0,53 8,93 0,26 Średnia 27,58 0,76 5,40 0,15 Skuteczność [%] PCA MDS Rys. 4.6, Skuteczność regresji wielomianowej w poszczególnych kubełkach walidacji skrośnej, z uwzględnieniem różnych metod redukcji cech Zastanawiająca jest bardzo niska skuteczność działania klasyfikatora opartego na regresji wielomianowej na wektorze cech zredukowanym algorytmem PCA. Średnia skuteczność oscyluje w granicach 25%, co daje tak naprawdę wynik równy losowemu przydziałowi obrazka do klasy (ponieważ mamy ich cztery). Z kolei wykorzystanie tego samego klasyfikatora, ale na danych poddanych procesowi redukcji wymiarowości algorytmem MDS, daje dużo bardziej satysfakcjonujące rezultaty. Skuteczność na poziomie około 80 i więcej procent może zadowalać. Podobnie jednak, jak w przypadku innych symulacji, musimy pamiętać, że transformacja przy użyciu MDS jest dużo bardziej kosztowna czasowo, niż użycie PCA. 31

32 Naiwny Bayes (NBAY) NBAY - BARE NBAY - RED NBAY - PCA NBAY MDS E [%] EC E [%] EC E [%] EC E [%] EC Fold0 59,46 22/37 0,00 0/37 29,73 11/37 0,00 0/37 Fold1 58,33 21/36 5,56 2/36 52,78 19/36 8,57 3/36 Fold2 50,00 18/36 0,00 0/36 41,67 15/36 0,00 0/36 Fold3 61,11 22/36 2,78 1/36 36,11 13/36 0,00 0/36 Fold4 50,00 18/36 2,78 1/36 30,56 11/36 0,00 0/36 Fold5 38,89 14/36 2,78 1/36 22,22 8/36 0,00 0/36 Fold6 47,22 17/36 0,00 0/36 25,00 9/36 0,00 0/36 Fold7 33,33 12/36 0,00 0/36 30,56 11/36 5,71 2/36 Fold8 52,78 19/36 2,78 1/36 30,56 11/36 2,86 1/36 Fold9 50,00 18/36 2,78 1/36 27,78 10/36 0,00 0/36 Średnia 50,11 1,94 32,70 1, Skuteczność [%] BARE RED PCA MDS 40 Rys. 4.7, Skuteczność regresji wielomianowej w poszczególnych kubełkach walidacji skrośnej, z uwzględnieniem różnych metod redukcji cech Zachowanie naiwnego klasyfikatora bayesowskiego jest bardzo ciekawe. Otóż dla danych niezredukowanych otrzymujemy skuteczność rzędu 50%, co nas absolutnie nie może zadowalać (jest bowiem bliska losowemu przydziałowi obrazka do klasy). Dla redukcji cech opartej na algorytmie PCA skuteczność jest już nieco lepsza (ok 67%). Tymczasem dla danych poddanych redukcji w oparciu o macierz korelacji (czyli pozostawieniu tylko tych cech, które są najmocniej skorelowane z wartością klasy), klasyfikator ociera się o perfekcję, notując skuteczność na poziomie 98%. 32

33 5. ANALIZA UZYSKANYCH WYNIKÓW 5.1 ANALIZA PORÓWNAWCZA KLASYFIKATORÓW Zestawienie podsumowujące rezultatów BARE RED PCA MDS MLP 97,70 97,00 96,90 97,20 PNN 92,50 54,00 92,40 92,40 RNN 83,78 87,53 99,45 100,0 SOTA Brak danych 72,58 78,43 85,92 REGL Brak danych 72,00 72,00 85,00 Brak Brak REGW danych danych 24,00 85,00 NBAY 49,89 98,06 67,30 98,29 Skuteczność [%] BARE RED PCA MDS 20 MLP PNN RNN SOTA REGL REGW NBAY Rys. 4.8 Średnia skuteczność poszczególnych klasyfikatorów w zależności od wybranej metody redukcji cech Perceptron wielowarstwowy jest klasyfikatorem najbardziej nieczułym na ilość atrybutów klasyfikowanego obiektu. Dobrze sobie radzi zarówno przy danych nie poddanych procesowi redukcji wymiarowości, jak również po zastosowaniu różnych, mniej lub bardziej skutecznych (i 33

34 skomplikowanych zarazem) algorytmów. Wadą stosowania perceptronu jest jednak jego nie determinizm i brak kontroli nad procesem uczenia, a także długi czas potrzebny na wyuczenie. Probabilistyczna sieć neuronowa zachowuje się podobnie do tradycyjnego perceptronu wielowarstwowego z wyjątkiem reakcji na dane poddane procesowi redukcji za pomocą macierzy korelacji. Zastosowanie tej metody znacznie obniżyło skuteczność klasyfikatora i tym samym odrzuciło, w naszych oczach, możliwość stosowania takiej kombinacji. Dla pozostałych metod redukcji wymiarów (w szczególności dla braku żadnej), klasyfikator radzi sobie podobnie dobrze. Radialna sieć neuronowa to klasyfikator, który okazał się bardzo czuły na ilość atrybutów opisujących klasyfikowany obiekt, ale też dał on najlepsze wyniki. Brak redukcji wymiarów pozwala na uzyskanie za pomocą tego klasyfikatora poprawności klasyfikacji na poziomie nieco przekraczającym 80% (podobnie jak zastosowanie macierzy korelacji), ale już użycie bardziej skomplikowanych algorytmów, takich jak MDS czy PCA pozwala uzyskać skuteczność niemal zbliżoną lub nawet równą bezbłędnej klasyfikacji. Wysoka skuteczność odbywa się niestety kosztem dużych nakładów czasowych. Algorytm SOTA, mimo zniechęcających czasów potrzebnych na wyuczenie klasyfikatora, nie dał bardzo zadowalających wyników. Co więcej, nie poradził on sobie zupełnie z danymi niezredukowanymi, wyczerpując zasoby mocy obliczeniowej komputera, na którym przeprowadzane były eksperymenty. Dla użytych metod redukcji udało się, co prawda, testy przeprowadzić, ale wyniki, jak już wspominaliśmy, nie powalają na kolana klasyfikator ten okazał się gorszy od wszystkich rodzajów sieci neuronowych, a także, w szczególnych przypadkach, nawet od naiwnego klasyfikatora bayesowskiego. Regresja liniowa nie mogła zostać użyta do badania skuteczności klasyfikacji danych niezredukowanych, ponieważ wówczas liczba atrybutów przekraczała liczbę obiektów (co sprawia, że niespełnione zostaje założenie dotyczące wykorzystania tego typu klasyfikatora). Przy użyciu metod redukcji wymiarów, klasyfikator ten dał pewne wyniki, ale też nie są one rewelacyjne. Zaletą stosowania jednak tego rodzaju klasyfikatora jest brak konieczności dyskretyzowania wcześniej zmiennych ciągłych (numerycznych). Bardzo niska skuteczność regresji wielomianowej przy zastosowaniu algorytmu PCA może zaskakiwać i jednocześnie zastanawiać. Nie udało nam się odkryć przyczyny takiego stanu rzeczy. Tymczasem dla danych przetworzonych algorytmem MDS rezultaty klasyfikacji regresją wielomianową okazały się znacznie bardziej przystępne i sięgające blisko 85%. Regresja wielomia- 34

35 nowa pozostawia jeszcze pole do popisu dostrajania tego klasyfikatora, przez badanie zależności skuteczności działania od stopnia wielomianu. Chociaż prostota naiwnego klasyfikatora bayesowskiego nie dawała perspektyw na uzyskanie dobrych wyników klasyfikacji, w szczególnych przypadkach klasyfikator ten radzi sobie nadzwyczaj dobrze. Tak było przy zastosowaniu redukcji cech za pomocą macierzy korelacji. Jest to jednak pewne nadużycie dogmatu niezależności zmiennych (atrybutów)- kluczowej cechy tego klasyfikatora. Z drugiej jednak strony, zastosowanie algorytmu MDS również pozwoliło na uzyskanie bardzo zadowalających wyników (znacznie powyżej 90%) ANALIZA PORÓWNAWCZA METOD REDUKCJI WYMIAROWOŚCI CECH Brak jakiejkolwiek eliminacji cech okazał się niekorzystny jedynie dla naiwnego klasyfikatora bayesowskiego. W przypadku obu klasyfikatorów opartych na regresji brak eliminacji nie pozwolił w ogóle na uruchomienie klasyfikatora, natomiast dla algorytmu SOTA jego realizacja (proces uczenia) spowodowała wyczerpanie zasobów obliczeniowych. Dla klasyfikatorów opartych na sieciach neuronowych fakt, czy dane zostaną poddane procesowi eliminacji wymiarów nie ma tak naprawdę większego znaczenia. Redukcja wymiarowości za pomocą macierzy korelacji w żadnym z przypadków nie okazała się metodą najlepszą (bliskość ideału w przypadku naiwnego klasyfikatora bayesowskiego została okupiona pewnym ideowym przymrużeniem oka działania klasyfikatora). W szczególnym przypadku (probabilistyczna sieć neuronowa) zastosowanie tej metody redukcji wymiarów spowodowało znaczne pogorszenie otrzymywanych rezultatów. Algorytm PCA wydaje się rozsądnym kompromisem pomiędzy niezadowalającą skutecznością macierzy korelacji, a długim czasem realizacji algorytmu MDS. Wyniki uzyskane przy użyciu tego algorytmu są zazwyczaj nieznacznie tylko gorsze od tych otrzymywanych po redukcji wymiarowości z wykorzystaniem MDS, ale czas realizacji symulacji jest znacznie krótszy. Algorytm MDS radzi sobie zdecydowanie najlepiej z redukcją danych (dla tych klasyfikatorów, dla których ma to naprawdę znaczenie, czyli nie dla sieci neuronowych), ale wymaga najwięcej cierpliwości od użytkownika, ponieważ trwa zdecydowanie najdłużej i zajmuje dużo mocy obliczeniowej (w skrajnych przypadkach potrafi ją zupełnie wyczerpać). 35

36 6. OBSERWACJE, SPOSTRZEŻENIA Istotną gałęzią problemów było umiejętne sprzężenie obrazów z wektorem cech oraz przypisaną do każdego z nich klasą. Obrazy były zapisywane w postaci plików TIF. Każdy z nich ma wymiary 2576 x 1932 pikseli, co sprawia, że przetworzenie każdego obrazu z osobna jest bardzo czasochłonne. Zwłaszcza, jeśli weźmiemy pod uwagę konieczność wielokrotnego przetwarzania całego obrazu celem uzyskania wszystkich wymaganych cech. Aby uzyskać pełen wektor 464 cech należało wygenerować macierz wartości natężenia koloru w skali HSV (składowa H hue). Następnie wielokrotnie tworzyliśmy nowe macierze współwystępowania, dla różnych wartości odległości pomiędzy elementami w macierzy oraz dla różnych badanych kierunków zależności. W ostatnim etapie tworzenia wektora cech generowaliśmy kilka macierzy długości pasm po jednej dla każdego badanego kierunku. Ponieważ do wygenerowania potrzebnych było dużo, niekoniecznie trywialnych w obliczeniu, cech, cały proces generowania wektora był bardzo czasochłonny. Przetworzenie jednego obrazka zajmowało około minuty, a ponieważ cały zbiór danych składał się z ok 360 obrazków, tworzenie wektora było zadaniem, do wykonania którego wymagany był komputer o dużej mocy obliczeniowej i wydajnym systemie chłodzenia. Ostatecznie do wygenerowania zbioru testowego wykorzystałem komputer o następujących parametrach: Procesor: Intel e8400 (2x3GHz) Pamięć: 4GB DDR3 System operacyjny: Windows 7 Format danych wejściowych wymuszał, aby każdy wektor cech zawierał jako pierwszy element numer klasy, do której dane zdjęcie jest zaklasyfikowane. Wymusiło to konieczność programistycznego sprzężenia obrazów z danymi dotyczącymi ich klas. Te dane otrzymałem w postaci zeskanowanego dokumentu w postaci tabelarycznej. Dokument ten należało poddać procesowi OCR i w oparciu o otrzymany wynik, sporządzić mapowania w postaci przyjaznej dla tej aplikacji. Ponieważ otrzymane wyniki były poszarpane (dla części obrazów dysponowaliśmy jedynie wartością HrTest, dla innych tylko wartością Ventana, a jeszcze dla innych tylko wynikiem FISH; do tego dochodziły też różne kombinacje tych wartości), wygodne okazało się podzielenie tego zbioru na mniejsze podzbiory, z których każdy zawierał tylko te elementy, z których wszystkie były opisane tymi samymi atrybutami (klasami). W ten sposób stworzyliśmy kilka plików o następujących strukturach: 36

Wprowadzenie do analizy korelacji i regresji

Wprowadzenie do analizy korelacji i regresji Statystyka dla jakości produktów i usług Six sigma i inne strategie Wprowadzenie do analizy korelacji i regresji StatSoft Polska Wybrane zagadnienia analizy korelacji Przy analizie zjawisk i procesów stanowiących

Bardziej szczegółowo

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16 Spis treści Przedmowa.......................... XI Rozdział 1. Pomiar: jednostki miar................. 1 1.1. Wielkości fizyczne i pozafizyczne.................. 1 1.2. Spójne układy miar. Układ SI i jego

Bardziej szczegółowo

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie Wykaz tabel Wykaz rysunków Przedmowa 1. Wprowadzenie 1.1. Wprowadzenie do eksploracji danych 1.2. Natura zbiorów danych 1.3. Rodzaje struktur: modele i wzorce 1.4. Zadania eksploracji danych 1.5. Komponenty

Bardziej szczegółowo

Analiza korespondencji

Analiza korespondencji Analiza korespondencji Kiedy stosujemy? 2 W wielu badaniach mamy do czynienia ze zmiennymi jakościowymi (nominalne i porządkowe) typu np.: płeć, wykształcenie, status palenia. Punktem wyjścia do analizy

Bardziej szczegółowo

Agnieszka Nowak Brzezińska

Agnieszka Nowak Brzezińska Agnieszka Nowak Brzezińska jeden z algorytmów regresji nieparametrycznej używanych w statystyce do prognozowania wartości pewnej zmiennej losowej. Może również byd używany do klasyfikacji. - Założenia

Bardziej szczegółowo

Klasyfikator. ˆp(k x) = 1 K. I(ρ(x,x i ) ρ(x,x (K) ))I(y i =k),k =1,...,L,

Klasyfikator. ˆp(k x) = 1 K. I(ρ(x,x i ) ρ(x,x (K) ))I(y i =k),k =1,...,L, Klasyfikator Jedną z najistotniejszych nieparametrycznych metod klasyfikacji jest metoda K-najbliższych sąsiadów, oznaczana przez K-NN. W metodzie tej zaliczamy rozpoznawany obiekt do tej klasy, do której

Bardziej szczegółowo

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18 Eksploracja Danych wykład 4 Sebastian Zając WMP.SNŚ UKSW 10 maja 2017 Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja 2017 1 / 18 Klasyfikacja danych Klasyfikacja Najczęściej stosowana (najstarsza)

Bardziej szczegółowo

Statystyka w pracy badawczej nauczyciela Wykład 4: Analiza współzależności. dr inż. Walery Susłow walery.suslow@ie.tu.koszalin.pl

Statystyka w pracy badawczej nauczyciela Wykład 4: Analiza współzależności. dr inż. Walery Susłow walery.suslow@ie.tu.koszalin.pl Statystyka w pracy badawczej nauczyciela Wykład 4: Analiza współzależności dr inż. Walery Susłow walery.suslow@ie.tu.koszalin.pl Statystyczna teoria korelacji i regresji (1) Jest to dział statystyki zajmujący

Bardziej szczegółowo

Sieci neuronowe w Statistica

Sieci neuronowe w Statistica http://usnet.us.edu.pl/uslugi-sieciowe/oprogramowanie-w-usk-usnet/oprogramowaniestatystyczne/ Sieci neuronowe w Statistica Agnieszka Nowak - Brzezińska Podstawowym elementem składowym sztucznej sieci neuronowej

Bardziej szczegółowo

4.1. Wprowadzenie...70 4.2. Podstawowe definicje...71 4.3. Algorytm określania wartości parametrów w regresji logistycznej...74

4.1. Wprowadzenie...70 4.2. Podstawowe definicje...71 4.3. Algorytm określania wartości parametrów w regresji logistycznej...74 3 Wykaz najważniejszych skrótów...8 Przedmowa... 10 1. Podstawowe pojęcia data mining...11 1.1. Wprowadzenie...12 1.2. Podstawowe zadania eksploracji danych...13 1.3. Główne etapy eksploracji danych...15

Bardziej szczegółowo

Konkurs z przedmiotu eksploracja i analiza danych: problem regresji i klasyfikacji

Konkurs z przedmiotu eksploracja i analiza danych: problem regresji i klasyfikacji Konkurs z przedmiotu eksploracja i analiza danych: problem regresji i klasyfikacji Michał Witczak Data Mining 20 maja 2012 r. 1. Wstęp Dostarczone zostały nam 4 pliki, z których dwa stanowiły zbiory uczące

Bardziej szczegółowo

Metody Sztucznej Inteligencji II

Metody Sztucznej Inteligencji II 17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału

Bardziej szczegółowo

istocie dziedzina zajmująca się poszukiwaniem zależności na podstawie prowadzenia doświadczeń jest o wiele starsza: tak na przykład matematycy

istocie dziedzina zajmująca się poszukiwaniem zależności na podstawie prowadzenia doświadczeń jest o wiele starsza: tak na przykład matematycy MODEL REGRESJI LINIOWEJ. METODA NAJMNIEJSZYCH KWADRATÓW Analiza regresji zajmuje się badaniem zależności pomiędzy interesującymi nas wielkościami (zmiennymi), mające na celu konstrukcję modelu, który dobrze

Bardziej szczegółowo

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład I dr inż. 2015/2016

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład I dr inż. 2015/2016 Systemy pomiarowo-diagnostyczne Metody uczenia maszynowego wykład I dr inż. Bogumil.Konopka@pwr.edu.pl 2015/2016 1 Wykład I - plan Sprawy organizacyjne Uczenie maszynowe podstawowe pojęcia Proces modelowania

Bardziej szczegółowo

Hierarchiczna analiza skupień

Hierarchiczna analiza skupień Hierarchiczna analiza skupień Cel analizy Analiza skupień ma na celu wykrycie w zbiorze obserwacji klastrów, czyli rozłącznych podzbiorów obserwacji, wewnątrz których obserwacje są sobie w jakimś określonym

Bardziej szczegółowo

Mail: Pokój 214, II piętro

Mail: Pokój 214, II piętro Wykład 2 Mail: agnieszka.nowak@us.edu.pl Pokój 214, II piętro http://zsi.tech.us.edu.pl/~nowak Predykcja zdolność do wykorzystania wiedzy zgromadzonej w systemie do przewidywania wartości dla nowych danych,

Bardziej szczegółowo

Przykładowa analiza danych

Przykładowa analiza danych Przykładowa analiza danych W analizie wykorzystano dane pochodzące z publicznego repozytorium ArrayExpress udostępnionego na stronach Europejskiego Instytutu Bioinformatyki (http://www.ebi.ac.uk/). Zbiór

Bardziej szczegółowo

Weryfikacja hipotez statystycznych

Weryfikacja hipotez statystycznych Weryfikacja hipotez statystycznych Hipoteza Test statystyczny Poziom istotności Testy jednostronne i dwustronne Testowanie równości wariancji test F-Fishera Testowanie równości wartości średnich test t-studenta

Bardziej szczegółowo

MODELE LINIOWE. Dr Wioleta Drobik

MODELE LINIOWE. Dr Wioleta Drobik MODELE LINIOWE Dr Wioleta Drobik MODELE LINIOWE Jedna z najstarszych i najpopularniejszych metod modelowania Zależność między zbiorem zmiennych objaśniających, a zmienną ilościową nazywaną zmienną objaśnianą

Bardziej szczegółowo

SCENARIUSZ LEKCJI. TEMAT LEKCJI: Zastosowanie średnich w statystyce i matematyce. Podstawowe pojęcia statystyczne. Streszczenie.

SCENARIUSZ LEKCJI. TEMAT LEKCJI: Zastosowanie średnich w statystyce i matematyce. Podstawowe pojęcia statystyczne. Streszczenie. SCENARIUSZ LEKCJI OPRACOWANY W RAMACH PROJEKTU: INFORMATYKA MÓJ SPOSÓB NA POZNANIE I OPISANIE ŚWIATA. PROGRAM NAUCZANIA INFORMATYKI Z ELEMENTAMI PRZEDMIOTÓW MATEMATYCZNO-PRZYRODNICZYCH Autorzy scenariusza:

Bardziej szczegółowo

Klasyfikacja w oparciu o metrykę budowaną poprzez dystrybuanty empiryczne na przestrzeni wzorców uczących

Klasyfikacja w oparciu o metrykę budowaną poprzez dystrybuanty empiryczne na przestrzeni wzorców uczących Klasyfikacja w oparciu o metrykę budowaną poprzez dystrybuanty empiryczne na przestrzeni wzorców uczących Cezary Dendek Wydział Matematyki i Nauk Informacyjnych PW Plan prezentacji Plan prezentacji Wprowadzenie

Bardziej szczegółowo

Regresja i Korelacja

Regresja i Korelacja Regresja i Korelacja Regresja i Korelacja W przyrodzie często obserwujemy związek między kilkoma cechami, np.: drzewa grubsze są z reguły wyższe, drewno iglaste o węższych słojach ma większą gęstość, impregnowane

Bardziej szczegółowo

Etapy modelowania ekonometrycznego

Etapy modelowania ekonometrycznego Etapy modelowania ekonometrycznego jest podstawowym narzędziem badawczym, jakim posługuje się ekonometria. Stanowi on matematyczno-statystyczną formę zapisu prawidłowości statystycznej w zakresie rozkładu,

Bardziej szczegółowo

ROZWIĄZYWANIE RÓWNAŃ NIELINIOWYCH

ROZWIĄZYWANIE RÓWNAŃ NIELINIOWYCH Transport, studia I stopnia Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Często występującym, ważnym problemem obliczeniowym

Bardziej szczegółowo

8. Neuron z ciągłą funkcją aktywacji.

8. Neuron z ciągłą funkcją aktywacji. 8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i

Bardziej szczegółowo

Analiza danych. http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU

Analiza danych. http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU Analiza danych Wstęp Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU Różne aspekty analizy danych Reprezentacja graficzna danych Metody statystyczne: estymacja parametrów

Bardziej szczegółowo

Podstawy sztucznej inteligencji

Podstawy sztucznej inteligencji wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,

Bardziej szczegółowo

PDF created with FinePrint pdffactory Pro trial version http://www.fineprint.com

PDF created with FinePrint pdffactory Pro trial version http://www.fineprint.com Analiza korelacji i regresji KORELACJA zależność liniowa Obserwujemy parę cech ilościowych (X,Y). Doświadczenie jest tak pomyślane, aby obserwowane pary cech X i Y (tzn i ta para x i i y i dla różnych

Bardziej szczegółowo

Budowa sztucznych sieci neuronowych do prognozowania. Przykład jednostek uczestnictwa otwartego funduszu inwestycyjnego

Budowa sztucznych sieci neuronowych do prognozowania. Przykład jednostek uczestnictwa otwartego funduszu inwestycyjnego Budowa sztucznych sieci neuronowych do prognozowania. Przykład jednostek uczestnictwa otwartego funduszu inwestycyjnego Dorota Witkowska Szkoła Główna Gospodarstwa Wiejskiego w Warszawie Wprowadzenie Sztuczne

Bardziej szczegółowo

Testowanie hipotez statystycznych. Wnioskowanie statystyczne

Testowanie hipotez statystycznych. Wnioskowanie statystyczne Testowanie hipotez statystycznych Wnioskowanie statystyczne Hipoteza statystyczna to dowolne przypuszczenie co do rozkładu populacji generalnej (jego postaci funkcyjnej lub wartości parametrów). Hipotezy

Bardziej szczegółowo

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa

Bardziej szczegółowo

Sieci Kohonena Grupowanie

Sieci Kohonena Grupowanie Sieci Kohonena Grupowanie http://zajecia.jakubw.pl/nai UCZENIE SIĘ BEZ NADZORU Załóżmy, że mamy za zadanie pogrupować następujące słowa: cup, roulette, unbelievable, cut, put, launderette, loveable Nie

Bardziej szczegółowo

KADD Metoda najmniejszych kwadratów funkcje nieliniowe

KADD Metoda najmniejszych kwadratów funkcje nieliniowe Metoda najmn. kwadr. - funkcje nieliniowe Metoda najmniejszych kwadratów Funkcje nieliniowe Procedura z redukcją kroku iteracji Przykłady zastosowań Dopasowanie funkcji wykładniczej Dopasowanie funkcji

Bardziej szczegółowo

Metody klasyfikacji i rozpoznawania wzorców. Najważniejsze rodzaje klasyfikatorów

Metody klasyfikacji i rozpoznawania wzorców.  Najważniejsze rodzaje klasyfikatorów Metody klasyfikacji i rozpoznawania wzorców www.michalbereta.pl Najważniejsze rodzaje klasyfikatorów Dla określonego problemu klasyfikacyjnego (tzn. dla danego zestawu danych) należy przetestować jak najwięcej

Bardziej szczegółowo

Co to jest grupowanie

Co to jest grupowanie Grupowanie danych Co to jest grupowanie 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Szukanie grup, obszarów stanowiących lokalne gromady punktów Co to jest grupowanie

Bardziej szczegółowo

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Piotr Dalka Przykładowe algorytmy decyzyjne Sztuczne sieci neuronowe Algorytm k najbliższych sąsiadów Kaskada klasyfikatorów AdaBoost Naiwny

Bardziej szczegółowo

Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji

Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych Wydział Informatyki Politechniki

Bardziej szczegółowo

Algorytmy, które estymują wprost rozkłady czy też mapowania z nazywamy algorytmami dyskryminacyjnymi.

Algorytmy, które estymują wprost rozkłady czy też mapowania z nazywamy algorytmami dyskryminacyjnymi. Spis treści 1 Wstęp: generatywne algorytmy uczące 2 Gaussowska analiza dyskryminacyjna 2.1 Gaussowska analiza dyskryminacyjna a regresja logistyczna 3 Naiwny Klasyfikator Bayesa 3.1 Wygładzanie Laplace'a

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Ćwiczenia lista zadań nr 7 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie

Bardziej szczegółowo

3. Modele tendencji czasowej w prognozowaniu

3. Modele tendencji czasowej w prognozowaniu II Modele tendencji czasowej w prognozowaniu 1 Składniki szeregu czasowego W teorii szeregów czasowych wyróżnia się zwykle następujące składowe szeregu czasowego: a) składowa systematyczna; b) składowa

Bardziej szczegółowo

Informacje i materiały dotyczące wykładu będą publikowane na stronie internetowej wykładowcy, m.in. prezentacje z wykładów

Informacje i materiały dotyczące wykładu będą publikowane na stronie internetowej wykładowcy, m.in. prezentacje z wykładów Eksploracja danych Piotr Lipiński Informacje ogólne Informacje i materiały dotyczące wykładu będą publikowane na stronie internetowej wykładowcy, m.in. prezentacje z wykładów UWAGA: prezentacja to nie

Bardziej szczegółowo

METODY CHEMOMETRYCZNE W IDENTYFIKACJI ŹRÓDEŁ POCHODZENIA

METODY CHEMOMETRYCZNE W IDENTYFIKACJI ŹRÓDEŁ POCHODZENIA METODY CHEMOMETRYCZNE W IDENTYFIKACJI ŹRÓDEŁ POCHODZENIA AMFETAMINY Waldemar S. Krawczyk Centralne Laboratorium Kryminalistyczne Komendy Głównej Policji, Warszawa (praca obroniona na Wydziale Chemii Uniwersytetu

Bardziej szczegółowo

SIECI RBF (RADIAL BASIS FUNCTIONS)

SIECI RBF (RADIAL BASIS FUNCTIONS) SIECI RBF (RADIAL BASIS FUNCTIONS) Wybrane slajdy z prezentacji prof. Tadeusiewicza Wykład Andrzeja Burdy S. Osowski, Sieci Neuronowe w ujęciu algorytmicznym, Rozdz. 5, PWNT, Warszawa 1996. opr. P.Lula,

Bardziej szczegółowo

166 Wstęp do statystyki matematycznej

166 Wstęp do statystyki matematycznej 166 Wstęp do statystyki matematycznej Etap trzeci realizacji procesu analizy danych statystycznych w zasadzie powinien rozwiązać nasz zasadniczy problem związany z identyfikacją cechy populacji generalnej

Bardziej szczegółowo

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Dr Anna ADRIAN Paw B5, pok 407 adrian@tempus.metal.agh.edu.pl

Bardziej szczegółowo

Statystyka matematyczna dla leśników

Statystyka matematyczna dla leśników Statystyka matematyczna dla leśników Wydział Leśny Kierunek leśnictwo Studia Stacjonarne I Stopnia Rok akademicki 03/04 Wykład 5 Testy statystyczne Ogólne zasady testowania hipotez statystycznych, rodzaje

Bardziej szczegółowo

W kolejnym kroku należy ustalić liczbę przedziałów k. W tym celu należy wykorzystać jeden ze wzorów:

W kolejnym kroku należy ustalić liczbę przedziałów k. W tym celu należy wykorzystać jeden ze wzorów: Na dzisiejszym wykładzie omówimy najważniejsze charakterystyki liczbowe występujące w statystyce opisowej. Poszczególne wzory będziemy podawać w miarę potrzeby w trzech postaciach: dla szeregu szczegółowego,

Bardziej szczegółowo

Wprowadzenie. { 1, jeżeli ˆr(x) > 0, pozatym. Regresja liniowa Regresja logistyczne Jądrowe estymatory gęstości. Metody regresyjne

Wprowadzenie. { 1, jeżeli ˆr(x) > 0, pozatym. Regresja liniowa Regresja logistyczne Jądrowe estymatory gęstości. Metody regresyjne Wprowadzenie Prostym podejściem do klasyfikacji jest estymacja funkcji regresji r(x) =E(Y X =x)zpominięciemestymacjigęstościf k. Zacznijmyodprzypadkudwóchgrup,tj.gdy Y = {1,0}. Wówczasr(x) =P(Y =1 X =x)ipouzyskaniuestymatora

Bardziej szczegółowo

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI

Bardziej szczegółowo

Inteligentna analiza danych

Inteligentna analiza danych Numer indeksu 150946 Michał Moroz Imię i nazwisko Numer indeksu 150875 Grzegorz Graczyk Imię i nazwisko kierunek: Informatyka rok akademicki: 2010/2011 Inteligentna analiza danych Ćwiczenie I Wskaźniki

Bardziej szczegółowo

ALGORYTM RANDOM FOREST

ALGORYTM RANDOM FOREST SKRYPT PRZYGOTOWANY NA ZAJĘCIA INDUKOWANYCH REGUŁ DECYZYJNYCH PROWADZONYCH PRZEZ PANA PAWŁA WOJTKIEWICZA ALGORYTM RANDOM FOREST Katarzyna Graboś 56397 Aleksandra Mańko 56699 2015-01-26, Warszawa ALGORYTM

Bardziej szczegółowo

0 + 0 = 0, = 1, = 1, = 0.

0 + 0 = 0, = 1, = 1, = 0. 5 Kody liniowe Jak już wiemy, w celu przesłania zakodowanego tekstu dzielimy go na bloki i do każdego z bloków dodajemy tak zwane bity sprawdzające. Bity te są w ścisłej zależności z bitami informacyjnymi,

Bardziej szczegółowo

Modelowanie glikemii w procesie insulinoterapii

Modelowanie glikemii w procesie insulinoterapii Dawid Kaliszewski Modelowanie glikemii w procesie insulinoterapii Promotor dr hab. inż. Zenon Gniazdowski Cel pracy Zbudowanie modelu predykcyjnego przyszłych wartości glikemii diabetyka leczonego za pomocą

Bardziej szczegółowo

ANALIZA CZYNNIKOWA Przykład 1

ANALIZA CZYNNIKOWA Przykład 1 ANALIZA CZYNNIKOWA... stanowi zespół metod i procedur statystycznych pozwalających na badanie wzajemnych relacji między dużą liczbą zmiennych i wykrywanie ukrytych uwarunkowań, ktore wyjaśniają ich występowanie.

Bardziej szczegółowo

Klasyfikacja metodą Bayesa

Klasyfikacja metodą Bayesa Klasyfikacja metodą Bayesa Tadeusz Pankowski www.put.poznan.pl/~tadeusz.pankowski warunkowe i bezwarunkowe 1. Klasyfikacja Bayesowska jest klasyfikacją statystyczną. Pozwala przewidzieć prawdopodobieństwo

Bardziej szczegółowo

Funkcje wymierne. Funkcja homograficzna. Równania i nierówności wymierne.

Funkcje wymierne. Funkcja homograficzna. Równania i nierówności wymierne. Funkcje wymierne. Funkcja homograficzna. Równania i nierówności wymierne. Funkcja homograficzna. Definicja. Funkcja homograficzna jest to funkcja określona wzorem f() = a + b c + d, () gdzie współczynniki

Bardziej szczegółowo

Co to jest analiza regresji?

Co to jest analiza regresji? Co to jest analiza regresji? Celem analizy regresji jest badanie związków pomiędzy wieloma zmiennymi niezależnymi (objaśniającymi) a zmienną zależną (objaśnianą), która musi mieć charakter liczbowy. W

Bardziej szczegółowo

Mikroekonometria 13. Mikołaj Czajkowski Wiktor Budziński

Mikroekonometria 13. Mikołaj Czajkowski Wiktor Budziński Mikroekonometria 13 Mikołaj Czajkowski Wiktor Budziński Endogeniczność regresja liniowa W regresji liniowej estymujemy następujące równanie: i i i Metoda Najmniejszych Kwadratów zakłada, że wszystkie zmienne

Bardziej szczegółowo

Algorytmy genetyczne w interpolacji wielomianowej

Algorytmy genetyczne w interpolacji wielomianowej Algorytmy genetyczne w interpolacji wielomianowej (seminarium robocze) Seminarium Metod Inteligencji Obliczeniowej Warszawa 22 II 2006 mgr inż. Marcin Borkowski Plan: Przypomnienie algorytmu niszowego

Bardziej szczegółowo

Metoda największej wiarygodności

Metoda największej wiarygodności Rozdział Metoda największej wiarygodności Ogólnie w procesie estymacji na podstawie prób x i (każde x i może być wektorem) wyznaczamy parametr λ (w ogólnym przypadku również wektor) opisujący domniemany

Bardziej szczegółowo

Zadanie 1 Zakładając liniową relację między wydatkami na obuwie a dochodem oszacować MNK parametry modelu: y t. X 1 t. Tabela 1.

Zadanie 1 Zakładając liniową relację między wydatkami na obuwie a dochodem oszacować MNK parametry modelu: y t. X 1 t. Tabela 1. tel. 44 683 1 55 tel. kom. 64 566 811 e-mail: biuro@wszechwiedza.pl Zadanie 1 Zakładając liniową relację między wydatkami na obuwie a dochodem oszacować MNK parametry modelu: gdzie: y t X t y t = 1 X 1

Bardziej szczegółowo

WYKŁAD 8 ANALIZA REGRESJI

WYKŁAD 8 ANALIZA REGRESJI WYKŁAD 8 ANALIZA REGRESJI Regresja 1. Metoda najmniejszych kwadratów-regresja prostoliniowa 2. Regresja krzywoliniowa 3. Estymacja liniowej funkcji regresji 4. Testy istotności współczynnika regresji liniowej

Bardziej szczegółowo

Statystyki: miary opisujące rozkład! np. : średnia, frakcja (procent), odchylenie standardowe, wariancja, mediana itd.

Statystyki: miary opisujące rozkład! np. : średnia, frakcja (procent), odchylenie standardowe, wariancja, mediana itd. Wnioskowanie statystyczne obejmujące metody pozwalające na uogólnianie wyników z próby na nieznane wartości parametrów oraz szacowanie błędów tego uogólnienia. Przewidujemy nieznaną wartości parametru

Bardziej szczegółowo

Adam Kirpsza Zastosowanie regresji logistycznej w studiach nad Unią Europejska. Anna Stankiewicz Izabela Słomska

Adam Kirpsza Zastosowanie regresji logistycznej w studiach nad Unią Europejska. Anna Stankiewicz Izabela Słomska Adam Kirpsza Zastosowanie regresji logistycznej w studiach nad Unią Europejska Anna Stankiewicz Izabela Słomska Wstęp- statystyka w politologii Rzadkie stosowanie narzędzi statystycznych Pisma Karla Poppera

Bardziej szczegółowo

Wymagania kl. 3. Zakres podstawowy i rozszerzony

Wymagania kl. 3. Zakres podstawowy i rozszerzony Wymagania kl. 3 Zakres podstawowy i rozszerzony Temat lekcji Zakres treści Osiągnięcia ucznia 1. RACHUNEK PRAWDOPODOBIEŃSTWA 1. Reguła mnożenia reguła mnożenia ilustracja zbioru wyników doświadczenia za

Bardziej szczegółowo

Transformacja wiedzy w budowie i eksploatacji maszyn

Transformacja wiedzy w budowie i eksploatacji maszyn Uniwersytet Technologiczno Przyrodniczy im. Jana i Jędrzeja Śniadeckich w Bydgoszczy Wydział Mechaniczny Transformacja wiedzy w budowie i eksploatacji maszyn Bogdan ŻÓŁTOWSKI W pracy przedstawiono proces

Bardziej szczegółowo

AKADEMIA GÓRNICZO-HUTNICZA Wydział Matematyki Stosowanej ROZKŁAD NORMALNY ROZKŁAD GAUSSA

AKADEMIA GÓRNICZO-HUTNICZA Wydział Matematyki Stosowanej ROZKŁAD NORMALNY ROZKŁAD GAUSSA AKADEMIA GÓRNICZO-HUTNICZA Wydział Matematyki Stosowanej KATEDRA MATEMATYKI TEMAT PRACY: ROZKŁAD NORMALNY ROZKŁAD GAUSSA AUTOR: BARBARA MARDOSZ Kraków, styczeń 2008 Spis treści 1 Wprowadzenie 2 2 Definicja

Bardziej szczegółowo

POLITECHNIKA OPOLSKA

POLITECHNIKA OPOLSKA POLITECHNIKA OPOLSKA WYDZIAŁ MECHANICZNY Katedra Technologii Maszyn i Automatyzacji Produkcji Laboratorium Podstaw Inżynierii Jakości Ćwiczenie nr 4 Temat: Analiza korelacji i regresji dwóch zmiennych

Bardziej szczegółowo

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010 Materiały/konsultacje Automatyczna predykcja http://www.ibp.pwr.wroc.pl/kotulskalab Konsultacje wtorek, piątek 9-11 (uprzedzić) D1-115 malgorzata.kotulska@pwr.wroc.pl Co to jest uczenie maszynowe? Uczenie

Bardziej szczegółowo

parametrów strukturalnych modelu = Y zmienna objaśniana, X 1,X 2,,X k zmienne objaśniające, k zmiennych objaśniających,

parametrów strukturalnych modelu = Y zmienna objaśniana, X 1,X 2,,X k zmienne objaśniające, k zmiennych objaśniających, 诲 瞴瞶 瞶 ƭ0 ƭ 瞰 parametrów strukturalnych modelu Y zmienna objaśniana, = + + + + + X 1,X 2,,X k zmienne objaśniające, k zmiennych objaśniających, α 0, α 1, α 2,,α k parametry strukturalne modelu, k+1 parametrów

Bardziej szczegółowo

Przykładowe funkcje przejścia używane przy budowie sztucznych neuronów

Przykładowe funkcje przejścia używane przy budowie sztucznych neuronów Przykładowe funkcje przejścia używane przy budowie sztucznych neuronów Funkcja Wzór funkcji Wzór pochodnej Sigmoida f(s)=1/(1+e -(β*s) ) f (s)=β*(1- f(s))* f(s) Funkcje przejścia neuronu powinno się rozpatrywać

Bardziej szczegółowo

Jeśli X jest przestrzenią o nieskończonej liczbie elementów:

Jeśli X jest przestrzenią o nieskończonej liczbie elementów: Logika rozmyta 2 Zbiór rozmyty może być formalnie zapisany na dwa sposoby w zależności od tego z jakim typem przestrzeni elementów mamy do czynienia: Jeśli X jest przestrzenią o skończonej liczbie elementów

Bardziej szczegółowo

Dopasowywanie modelu do danych

Dopasowywanie modelu do danych Tematyka wykładu dopasowanie modelu trendu do danych; wybrane rodzaje modeli trendu i ich właściwości; dopasowanie modeli do danych za pomocą narzędzi wykresów liniowych (wykresów rozrzutu) programu STATISTICA;

Bardziej szczegółowo

Egzamin gimnazjalny z matematyki 2016 analiza

Egzamin gimnazjalny z matematyki 2016 analiza Egzamin gimnazjalny z matematyki 2016 analiza Arkusz zawierał 23 zadania: 20 zamkniętych i 3 otwarte. Dominowały zadania wyboru wielokrotnego, w których uczeń wybierał jedną z podanych odpowiedzi. W pięciu

Bardziej szczegółowo

Wprowadzenie do uczenia maszynowego

Wprowadzenie do uczenia maszynowego Wprowadzenie do uczenia maszynowego Agnieszka Ławrynowicz 12 stycznia 2017 Co to jest uczenie maszynowe? dziedzina nauki, która zajmuje się sprawianiem aby komputery mogły uczyć się bez ich zaprogramowania

Bardziej szczegółowo

1 Metody rozwiązywania równań nieliniowych. Postawienie problemu

1 Metody rozwiązywania równań nieliniowych. Postawienie problemu 1 Metody rozwiązywania równań nieliniowych. Postawienie problemu Dla danej funkcji ciągłej f znaleźć wartości x, dla których f(x) = 0. (1) 2 Przedział izolacji pierwiastka Będziemy zakładać, że równanie

Bardziej szczegółowo

Statystyka i Analiza Danych

Statystyka i Analiza Danych Warsztaty Statystyka i Analiza Danych Gdańsk, 20-22 lutego 2014 Zastosowania analizy wariancji w opracowywaniu wyników badań empirycznych Janusz Wątroba StatSoft Polska Centrum Zastosowań Matematyki -

Bardziej szczegółowo

Statystyka w pracy badawczej nauczyciela

Statystyka w pracy badawczej nauczyciela Statystyka w pracy badawczej nauczyciela Wykład 1: Terminologia badań statystycznych dr inż. Walery Susłow walery.suslow@ie.tu.koszalin.pl Statystyka (1) Statystyka to nauka zajmująca się zbieraniem, badaniem

Bardziej szczegółowo

5. Rozwiązywanie układów równań liniowych

5. Rozwiązywanie układów równań liniowych 5. Rozwiązywanie układów równań liniowych Wprowadzenie (5.1) Układ n równań z n niewiadomymi: a 11 +a 12 x 2 +...+a 1n x n =a 10, a 21 +a 22 x 2 +...+a 2n x n =a 20,..., a n1 +a n2 x 2 +...+a nn x n =a

Bardziej szczegółowo

Wykład 4: Statystyki opisowe (część 1)

Wykład 4: Statystyki opisowe (część 1) Wykład 4: Statystyki opisowe (część 1) Wprowadzenie W przypadku danych mających charakter liczbowy do ich charakterystyki można wykorzystać tak zwane STATYSTYKI OPISOWE. Za pomocą statystyk opisowych można

Bardziej szczegółowo

Wykład z Technologii Informacyjnych. Piotr Mika

Wykład z Technologii Informacyjnych. Piotr Mika Wykład z Technologii Informacyjnych Piotr Mika Uniwersalna forma graficznego zapisu algorytmów Schemat blokowy zbiór bloków, powiązanych ze sobą liniami zorientowanymi. Jest to rodzaj grafu, którego węzły

Bardziej szczegółowo

Wykład 4: Wnioskowanie statystyczne. Podstawowe informacje oraz implementacja przykładowego testu w programie STATISTICA

Wykład 4: Wnioskowanie statystyczne. Podstawowe informacje oraz implementacja przykładowego testu w programie STATISTICA Wykład 4: Wnioskowanie statystyczne Podstawowe informacje oraz implementacja przykładowego testu w programie STATISTICA Idea wnioskowania statystycznego Celem analizy statystycznej nie jest zwykle tylko

Bardziej szczegółowo

Statystyka od podstaw Janina Jóźwiak, Jarosław Podgórski

Statystyka od podstaw Janina Jóźwiak, Jarosław Podgórski Statystyka od podstaw Janina Jóźwiak, Jarosław Podgórski Książka jest nowoczesnym podręcznikiem przeznaczonym dla studentów uczelni i wydziałów ekonomicznych. Wykład podzielono na cztery części. W pierwszej

Bardziej szczegółowo

Szukanie rozwiązań funkcji uwikłanych (równań nieliniowych)

Szukanie rozwiązań funkcji uwikłanych (równań nieliniowych) Szukanie rozwiązań funkcji uwikłanych (równań nieliniowych) Funkcja uwikłana (równanie nieliniowe) jest to funkcja, która nie jest przedstawiona jawnym przepisem, wzorem wyrażającym zależność wartości

Bardziej szczegółowo

Statystyka i eksploracja danych

Statystyka i eksploracja danych Wykład XII: Zagadnienia redukcji wymiaru danych 12 maja 2014 Definicja Niech X będzie zmienną losową o skończonym drugim momencie. Standaryzacją zmiennej X nazywamy zmienną losową Z = X EX Var (X ). Definicja

Bardziej szczegółowo

STATYSTYKA I DOŚWIADCZALNICTWO Wykład 4

STATYSTYKA I DOŚWIADCZALNICTWO Wykład 4 STATYSTYKA I DOŚWIADCZALNICTWO Wykład 4 Inne układy doświadczalne 1) Układ losowanych bloków Stosujemy, gdy podejrzewamy, że może występować systematyczna zmienność między powtórzeniami np. - zmienność

Bardziej szczegółowo

P R Z E T W A R Z A N I E S Y G N A Ł Ó W B I O M E T R Y C Z N Y C H

P R Z E T W A R Z A N I E S Y G N A Ł Ó W B I O M E T R Y C Z N Y C H W O J S K O W A A K A D E M I A T E C H N I C Z N A W Y D Z I A Ł E L E K T R O N I K I Drukować dwustronnie P R Z E T W A R Z A N I E S Y G N A Ł Ó W B I O M E T R Y C Z N Y C H Grupa... Data wykonania

Bardziej szczegółowo

PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH

PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH Wykład 3 Liniowe metody klasyfikacji. Wprowadzenie do klasyfikacji pod nadzorem. Fisherowska dyskryminacja liniowa. Wprowadzenie do klasyfikacji pod nadzorem. Klasyfikacja pod nadzorem Klasyfikacja jest

Bardziej szczegółowo

Rozkłady zmiennych losowych

Rozkłady zmiennych losowych Rozkłady zmiennych losowych Wprowadzenie Badamy pewną zbiorowość czyli populację pod względem występowania jakiejś cechy. Pobieramy próbę i na podstawie tej próby wyznaczamy pewne charakterystyki. Jeśli

Bardziej szczegółowo

Metody Prognozowania

Metody Prognozowania Wprowadzenie Ewa Bielińska 3 października 2007 Plan 1 Wprowadzenie Czym jest prognozowanie Historia 2 Ciągi czasowe Postępowanie prognostyczne i prognozowanie Predykcja długo- i krótko-terminowa Rodzaje

Bardziej szczegółowo

Data Mining Wykład 9. Analiza skupień (grupowanie) Grupowanie hierarchiczne O-Cluster. Plan wykładu. Sformułowanie problemu

Data Mining Wykład 9. Analiza skupień (grupowanie) Grupowanie hierarchiczne O-Cluster. Plan wykładu. Sformułowanie problemu Data Mining Wykład 9 Analiza skupień (grupowanie) Grupowanie hierarchiczne O-Cluster Plan wykładu Wprowadzanie Definicja problemu Klasyfikacja metod grupowania Grupowanie hierarchiczne Sformułowanie problemu

Bardziej szczegółowo

METODY INŻYNIERII WIEDZY

METODY INŻYNIERII WIEDZY METODY INŻYNIERII WIEDZY WALIDACJA KRZYŻOWA dla ZAAWANSOWANEGO KLASYFIKATORA KNN ĆWICZENIA Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Bardziej szczegółowo

STATYSTYKA MATEMATYCZNA

STATYSTYKA MATEMATYCZNA Zał. nr 4 do ZW WYDZIAŁ ELEKTRONIKI KARTA PRZEDMIOTU Nazwa w języku polskim STATYSTYKA MATEMATYCZNA Nazwa w języku angielskim Mathematical Statistics Kierunek studiów (jeśli dotyczy): Specjalność (jeśli

Bardziej szczegółowo

7. Estymacja parametrów w modelu normalnym(14.04.2008) Pojęcie losowej próby prostej

7. Estymacja parametrów w modelu normalnym(14.04.2008) Pojęcie losowej próby prostej 7. Estymacja parametrów w modelu normalnym(14.04.2008) Pojęcie losowej próby prostej Definicja 1 n-elementowa losowa próba prosta nazywamy ciag n niezależnych zmiennych losowych o jednakowych rozkładach

Bardziej szczegółowo

Rachunek prawdopodobieństwa WZ-ST1-AG--16/17Z-RACH. Liczba godzin stacjonarne: Wykłady: 15 Ćwiczenia: 30. niestacjonarne: Wykłady: 9 Ćwiczenia: 18

Rachunek prawdopodobieństwa WZ-ST1-AG--16/17Z-RACH. Liczba godzin stacjonarne: Wykłady: 15 Ćwiczenia: 30. niestacjonarne: Wykłady: 9 Ćwiczenia: 18 Karta przedmiotu Wydział: Wydział Zarządzania Kierunek: Analityka gospodarcza I. Informacje podstawowe Nazwa przedmiotu Rachunek prawdopodobieństwa Nazwa przedmiotu w j. ang. Język prowadzenia przedmiotu

Bardziej szczegółowo

Algorytm indukcji klasyfikatora za pomocą EA z automatycznym przełączaniem ukierunkowań

Algorytm indukcji klasyfikatora za pomocą EA z automatycznym przełączaniem ukierunkowań Algorytm indukcji klasyfikatora za pomocą EA z automatycznym przełączaniem ukierunkowań Anna Manerowska, Michal Kozakiewicz 2.12.2009 1 Wstęp Jako projekt na przedmiot MEUM (Metody Ewolucyjne Uczenia Maszyn)

Bardziej szczegółowo

KORELACJE I REGRESJA LINIOWA

KORELACJE I REGRESJA LINIOWA KORELACJE I REGRESJA LINIOWA Korelacje i regresja liniowa Analiza korelacji: Badanie, czy pomiędzy dwoma zmiennymi istnieje zależność Obie analizy się wzajemnie przeplatają Analiza regresji: Opisanie modelem

Bardziej szczegółowo

Pattern Classification

Pattern Classification Pattern Classification All materials in these slides were taken from Pattern Classification (2nd ed) by R. O. Duda, P. E. Hart and D. G. Stork, John Wiley & Sons, 2000 with the permission of the authors

Bardziej szczegółowo

Populacja generalna (zbiorowość generalna) zbiór obejmujący wszystkie elementy będące przedmiotem badań Próba (podzbiór zbiorowości generalnej) część

Populacja generalna (zbiorowość generalna) zbiór obejmujący wszystkie elementy będące przedmiotem badań Próba (podzbiór zbiorowości generalnej) część Populacja generalna (zbiorowość generalna) zbiór obejmujący wszystkie elementy będące przedmiotem badań Próba (podzbiór zbiorowości generalnej) część populacji, którą podaje się badaniu statystycznemu

Bardziej szczegółowo

Prof. Stanisław Jankowski

Prof. Stanisław Jankowski Prof. Stanisław Jankowski Zakład Sztucznej Inteligencji Zespół Statystycznych Systemów Uczących się p. 228 sjank@ise.pw.edu.pl Zakres badań: Sztuczne sieci neuronowe Maszyny wektorów nośnych SVM Maszyny

Bardziej szczegółowo