POLITECHIKA ŚLĄSKA Wydzał Inżyner Materałowej Metalurg Zakład Informatyk w Procesach Technologcznych Katedra Elektrotechnolog Kerunek: Zarządzane Inżynera Produkcj Specjalzacja: Informatyka w Zarządzanu Praca magsterska Krzysztof Gałda Zastosowane algorytmów genetycznych do optymalzacj modelu SVM procesu stalownczego Recenzent: dr hab. Tadeusz Weczorek, prof. nzw. w Pol. Śl. Promotor: dr nż. Marcn Blachnk Katowce 2009
Sps treśc 1 Wstęp...3 Cel pracy...4 2 Optymalzacja genetyczna model SVM...5 2.1 Algorytmy genetyczne...5 2.1.1 Kodowane Chromosomu...6 2.1.2 Kod Gray a...7 2.1.3 Tworzene populacj początkowej...8 2.1.4 Funkcja przystosowana...9 2.1.5 Operatory genetyczne...9 2.2 Elementy składowe złożonych model ntelgencj oblczenowej...12 2.2.1 Usuwane danych odstających...13 2.2.2 Standaryzacja...14 2.2.3 Selekcja cech...15 2.2.3.1 Stratege przeszukwana przestrzen cech...16 2.2.3.1.1 Algorytmy wykładncze...16 2.2.3.1.2 Algorytmy sekwencyjne...16 2.2.3.1.3 Algorytmy losowe...17 2.2.3.1.4 Stratege oceny wybranych cech...17 2.2.4 SVM...19 2.2.4.1 Funkcje jądrowe...19 2.2.4.2 Konstrukcja optymalnej hperpłaszczyzny...20 2.2.4.3 Konstrukcja hperpłaszczyzny dla przypadków neseparowalnych...22 2.2.4.4 Problem regresj...24 2.2.4.5 Weloklasowy SVM...26 2.2.4.6 Ocena dokładnośc modelu...27 2.3 Integracja algorytmów genetycznych z optymalzacją modelu...28 2.4 Wynk porównawcze...31 2.4.1 Zbory danych...31 2.4.2 Wynk...32 2.4.2.1 Cukrzyca...32 2.4.2.2 Sonar...33 2.4.2.3 Jonosfera...34 2.4.2.4 Choroby serca...35 2.4.3 Wnosk...36 3 Modelowane danych stalownczych...37 3.1 Proces stalownczy...37 3.2 Dane Dośwadczalne...41 3.3 Wynk...42 3.3.1 Zawartość C...42 3.3.2 Zawartość Mn...43 3.3.3 Zawartość S...44 3.4 Wnosk...45 4 Podsumowane...46 Lteratura...47 Sps tabel...49 Sps rysunków...50 2
1 Wstęp Optymalzacja to w obecnych czasach klucz do sukcesu, jeśl można zrobć coś lepej, szybcej, a przy tym zmnejszyć wykorzystane zasobów to ma to wymerne korzyśc fnansowe. Pommo dynamcznego rozwoju materałów kompozytowych rynek metalurgczny jego produkty to nadal ogromne nakłady fnansowe duże zysk. Można powedzeć, że proces metalurgczny to czysta chema, gdze substraty pod wpływem temperatury zamenają sę w produkty, lecz ten oczywsty cąg przyczynowo-skutkowy wydaje sę ne meć pokryca w rzeczywstych warunkach. Modele oparte na stechometr ne dają najlepszy rezultatów z uwag na stochastyczny charakter procesów metalurgcznych jak dużą nepewność danych wejścowych jak np. skład chemczny wsadu tp.. W sytuacj, gdy modelowane matematyczne jak metody klasycznej statystyk równeż zawodzą warto spróbować metod wywodzących sę z ntelgencj oblczenowej. Wymagają one jednak doboru odpowednch wartośc parametrów wstępnych, które mają stotny wpływ na dokładność ch dzałana. Dlatego też nezbędna jest ntegracja komputerowych metod optymalzacj z nowoczesnym metodam modelowana danych w celu dobrana odpowednch wartośc hyper-parametrów. Dane metalurgczne to często bardzo duże zbory nformacj, co wąże sę z użycem dużych nakładów mocy oblczenowej na ch przetworzene. W takej sytuacj naturalne jest zastosowane różnych technk wstępnej obróbk danych, które wyłoną stotne dla nas nformacje. Lecz tu pojawa sę kolejny problem ne można stwerdzć z całą pewnoścą, które operacje będą najskutecznejsze, wec do problemu doboru parametrów model procesu dochodz także problem: stosować czy ne stosować operacje wstępnego przetwarzana danych? Jako, że algorytmy genetyczne (ang. Genetc algorthm, GA) operają sę na cągach btowych daje to naturalne pole do zakodowana nformacj o użycu lub ne użycu danego algorytmu. a cągach btowych równe swobodne można zapsywać lczby rzeczywste, co pozwala na zakodowane nformacj o parametrach algorytmów. Wydaje sę wec, że odpowednm narzędzem do rozwązana tego typu problemu są właśne algorytmy genetyczne, które u podstaw swego dzałana równeż posadają elementy losowe, co w jakmś drobnym stopnu upodabna je do procesu metalurgcznego. 3
Cel pracy Celem pracy jest przetestowane algorytmu genetycznego jako narzędza optymalzacj parametrów dla złożonych model ntelgencj oblczenowej (ang. Computatonal ntellgence, CI) porównane jego rezultatów z modelam optymalzowanym z wykorzystanem algorytmu przeszukwana zupełnego w zastosowanu do modelowana procesu stalownczego na przykładze predykcj lośc perwastków chemcznych nezbędnych do uzyskana określonego gatunku stal. W ramach pracy wykorzystując środowsko oblczenowe, jakm jest Matlab stworzony przez frmę MathWorks, zostane zbudowany model ntelgencj oblczenowej, którego składowym będą: Algorytm wstępnego przetwarzana danych - standaryzacj. Algorytm selekcj cech operający sę na metodze rankngowej. Model SVM. Zadanem algorytmu genetycznego będze optymalzacja parametrów model składowych modelu ntelgencj oblczenowej. Rozdzał drug jest, krótkm przeglądem wedzy z dzedzny algorytmów genetycznych modelu SVM, a także operacj wstępnego przetwarzana danych oraz selekcj cech. Przedstawono w nm równeż wynk dla klku zborów danych nezwązanych z metalurgą. Rozdzał trzec jest pośwecony analze danych metalurgcznych, przedstawono w nm wynk z prób wyznaczena nezbędnych lośc dodatków chemcznych rozbtych na perwastk potrzebne do uzyskana odpowednego gatunku stal w oparcu o model SVM optymalzowany przez algorytm genetyczny algorytm przeszukwana zupełnego. 4
2 Optymalzacja genetyczna model SVM 2.1 Algorytmy genetyczne Za twórców matematycznej teor algorytmów genetycznych należy uznać J. von eumanna J. Hollanda. Algorytmy genetyczne są to algorytmy przeszukwana oparte na mechanzmach doboru naturalnego oraz dzedzczena, które łączą w sobe ewolucyjną zasadę przeżyca najlepej przystosowanych jednostek, z systematyczną, choć posadającą elementy losowe wymaną nformacj [Goldberg 1995]. Równeż z genetyk pochodz nazewnctwo używane w teor algorytmów genetycznych. Każdy element przestrzen decyzyjnej (populacj) jest nazywany chromosomem, a składowe chromosomu genam. Dzęk zastosowanu ewolucyjnych metod doboru naturalnego powstała metoda poszukwana, która keruje sę ludzkm perwastkem ntelgencj w swym dzałanu. W każdym pokolenu powstaje nowy zespół sztucznych organzmów, dzęk wykorzystanu fragmentów najlepej przystosowanych przedstawcel poprzednego pokolena jednocześne wypróbowuje sę nową część składową. Korzystane z przeszłych dośwadczeń pomaga w określenu obszaru poszukwań gdze spodzewamy sę znaleźć bardzej optymalne rozwązane. W tym mejscu należy podkreślć fakt, ż algorytmy genetyczne są narzędzem do optymalzacj, czyl poprawenu obecnego wynku. Ich celem ne jest osągnece dealnego rozwązana, co oczywśce może sę stać, lecz głównym celem jest zblżene sę do nego możlwe jak najblżej rozwązane suboptymalne. Dobrą cechą algorytmów genetycznych jest fakt, ż są one wolne od matematycznych ogranczeń (cągłość funkcj, stnena pochodnych tp.), jakm są obarczone analtyczne metody gradentowe. Metody przeglądowe metody poszukwana losowego np. metoda Monte Carlo równeż są wolne od matematycznych ogranczeń, jednak każda z nch ma swoje własne ogranczena, które mogą unemożlwć uzyskane optymalnego rozwązana, a których ne posadają algorytmy genetyczne. Ważnym zagadnenem dotyczącym algorytmów genetycznych jest ch odporność, czyl komproms medzy efektywnoścą, a skutecznoścą koneczna do przeżyca w różnorakch środowskach [Goldberg 1995]. Dowedzono teoretyczne empryczne, że algorytmy genetyczne stanową odporną metodę poszukwana w skomplkowanych przestrzenach. Podstawową monografą na ten temat jest praca Hollanda z 1975 Adaptaton In atural and Artfcal Systems. W welu artykułach rozprawach naukowych dowedzono, że algorytmy genetyczne są dobra metodą poszukwana optmum w zagadnenach zwązanych z optymalzacją sterowanem. 5
Algorytmy genetyczne uzyskują swój pozom odpornośc dzęk [Goldberg 1995]: e przetwarzanu bezpośredno parametrów zadana lecz ch zakodowananej postac (cąg znaków 0, 1). Prowadzenu poszukwań, wychodząc ne z pojedynczego punktu, lecz z pewnej ch populacj. Korzystanu tylko z funkcj celu, ne korzystanu z nnych danych pomocnczych. Stosowanu probablstycznych, a ne determnstycznych reguł wyboru. Dla konstrukcj algorytmu genetycznego należy określć sześć składowych [Cytowsk 1996]: Budowę chromosomu, który jest genetyczną reprezentacją potencjalnych rozwązań problemu. Metody generowana populacj rozwązań początkowych. Funkcj dopasowana (ocena potencjalnych rozwązań). Operatory genetyczne zmenające geny w chromosomach. Pewne lczby stałych parametrów charakteryzujących algorytm (rozmar populacj, prawdopodobeństwo zastosowana operatorów genetycznych tp.) 2.1.1 Kodowane Chromosomu Perwszym zagadnenem przy tworzenu algorytmu genetycznego jest określene kodu chromosomu. Chromosom jest to zakodowana do postac bnarnej reprezentacja parametrów zadana, które przetwarza algorytm genetyczny. Algorytm wymaga by chromosomy były kodowane za pomocą łańcuchów skończonej długośc w określonym skończonym alfabece, w którym najczęścej przyjmuje sę geny bnarne (zero-jedynkowe). Taka reprezentacja jest unwersalna, łatwa do przetworzena oraz stneje dla nej wele operatorów genetycznych. Teora nformacj stwerdza, że alfabet bnarny ma najwększą pojemność nformacyjną [Jarek 2006]. Istneją oczywśce problemy, dla których koneczne jest określene nnych reprezentacj, co pocąga za sobą stworzene odpowednch operatorów genetycznych. 6
2.1.2 Kod Gray a Kod Gray a znany równeż, jako lustrzany kod bnarny został opatentowany przez Franka Gray a pracownka Bell Labs w 1947. Podstawową zaletą kodowana Gray a jest to, że reprezentacje bnarne dwóch kolejnych lczb różną sę tylko jednym btem. Tab.1 Przykładowe wartośc naturalnego kodu bnarnego odpowadające m wartośc w kodze Gray a. Lczba Kod Kod Gray a naturalny bnarny 0 0000 0000 1 0001 0001 2 0010 0011 3 0011 0010 4 0100 0110 5 0101 0111 6 0110 0101 7 0111 0100 8 1000 1100 9 1001 1101 10 1010 1111 Zaps bnarny chromosomów przy pomocy kodowana Gray a zachowuje pewną symetrę. Stosowane operatora mutacj dla chromosomów z genam wyznaczonym przez kod Gray a zapewna m neco wększą dynamkę w przeszukwanu przestrzen rozwązań [Cytowsk 1996]. Procedury konwersj pomędzy naturalnym kodem bnarnym a kodem Gray a przedstawono na rysunkach 1 2. 7
Rys.1 Procedura konwersj pomędzy naturalnym kodem bnarnym, a kodem Gray a. Rys.2 Procedura konwersj pomędzy kodem Gray a, a naturalnym kodem bnarnym. 2.1.3 Tworzene populacj początkowej Wyznaczene perwszej populacj jest bardzo ważnym elementem, jest równeż perwszym etapem dzałana algorytmu co wdać na rysunku 3. Populacja pownna charakteryzować sę dużym pozomem entrop (chaotycznośc), w praktyce efektywność algorytmu genetycznego w dużej merze zależy właśne od stopna ne zorganzowana początkowej populacj. Jeśl jeden z chromosomów, o szczególne korzystnej postac, występuje w nej zbyt często, stneje obawa, ż zdomnuje on kolejne populacje. To może prowadzć do przedwczesnego zakończena dzałana algorytmu wypaczena 8
wynku. Początkową populację można oczywśce wyznaczyć w sposób całkowce losowy, jednak w praktyce buduje sę ją w oparcu o wstępną analzę problemu, a także wynk uzyskane nnym sposobam. 2.1.4 Funkcja przystosowana Znana równeż jako funkcja dopasowana lub celu, jest funkcją, która oddaje charakter optymalzowanego problemu. Zadanem tej funkcj jest przetwarzane poszczególnych chromosomów ch osąd: jak dobrze dany chromosom poradzł sobe z optymalzowanym problemem. Wartoścą wejścową dla nej jest cąg btowy, a wyjścem wartość cągła. W początkowym okrese dzałana, gdy populacja jest różnorodna, występuje duże zróżncowane pomędzy wartoścam funkcj dla poszczególnych chromosomów, lecz sytuacja ta ulega zmane w marę dzałana algorytmu skupana sę chromosomów wokół ekstremów. Da sę zauważyć, że pod konec dzałana algorytmu wartośc funkcj celu wykazują małą różnorodność dla chromosomów w całej populacj. Dobrze skonstruowana funkcja celu pownna [Jarek 2006]: Pozwolć wydzelć chromosomy wyznaczające najlepsze rozwązane problemu. e być zbyt ostro selekcjonująca. Łączyć wymagane zbeżnośc z konecznoścą zbadana jak najwększego obszaru przestrzen rozwązań. 2.1.5 Operatory genetyczne Do zadań operatorów genetycznych należy równeż przetwarzane chromosomów jednak ne są one poddawane ocene, a jedyne zmenają swoja postać. Dzęk nm otrzymujemy nowe rozwązana. Główne operatory to [Jarek 2006]: Reprodukcja jest procesem, w którym ndywdualne cąg kodowe zostają powelone w stosunku zależnym od wartośc uzyskanej dla nch funkcj celu. Używa sę do tego metody ruletk, która przypomna znaną wersję ruletk prowadzoną w kasynach ślepy traf, z tą różncą, że w przypadku operatora reprodukcj welkość sektorów tarczy ruletk zależy od wartośc funkcj przystosowana. Lepej przystosowan mają wększe szanse byca wylosowanym, co jednocześne jest odzwercedlenem darwnowskej zasady. Efektem reprodukcj jest stworzene pul rodzcelskej. Krzyżowane proces krzyżowana prostego przebega w dwóch etapach. 1. ajperw kojarzy w losowy sposób cąg z pul rodzcelskej w pary. 9
2. astępne wyberamy losowo (z jednakowym prawdopodobeństwem dla wszystkch par) jedną z pozycj (punkt krzyżowana k) spośród j-1 początkowych pozycj w cągu kodowym (gdze j jest długoścą cągu), po czym zamenamy mejscam znak od pozycj k+1 do j włączne w obu elementach pary, tworząc w ten sposób dwa nowe cąg (chromosomy) Mutacja proces ten polega na sporadycznej (zachodzącej z bardzo małym prawdopodobeństwem) zmane wartośc elementu w cągu kodowym. Zakłada sę, że mutacja pownna przebegać z prawdopodobeństwem 1:1000, czyl na 1000 skopowanych btów jeden podlega mutacj. Podobne jak w przyrodze mutacja jest bardzo rzadka, ale nezwykle potężna, poneważ wnos perwastek nowośc genuszu do całego rozwązana - może być tym, co wskaże nową lepszą lub gorszą drogę. Inwersja polega na odwrócenu kolejnośc występowana pewnych genów w chromosome, można powedzeć, że jest odmaną mutacj pełn podobną do nej rolę wprowadza nnowacyjność. Jest szczególne ważna w chromosomach, gdze kolejność btów pełn stotną rolę. Uwzględnając opsane powyżej operatory genetyczne procedurę algorytmu genetycznego można opsać tak jak lustruje to rysunek 3. 10
Rys.3 Przykładowy schemat dzałana algorytmu genetycznego. 11
2.2 Elementy składowe złożonych model ntelgencj oblczenowej Intelgencja oblczenowa zajmuje sę problemam, które ne są efektywne algorytmzowane np. rozumene sensu zdań, rozpoznawane psma odręcznego, dagnostyka medyczna, planowane terap, modelowane procesów przemysłowych, rozwązywane netypowych problemów. Do tak różnorodnych zadań CI czerpe nspracje z równe różnorodnych dzedzn takch jak statystyka, teora wnoskowana, teora nformacj, matematyka stosowana, fzyka, bologa, nformatyka, nauk technczne. W śwetle tak welu różnorakch dyscypln można zadać pytane, co jest celem ntelgencj oblczenowej. O tyle o le przed sztuczną ntelgencją sto wyzwane zwane testem Turnga to przed ntelgencją oblczenową postawono cel, który najlepej można opsać jako przetrwane adaptacja do środowska, wymaga percepcj, kontrol, pamęc skojarzenowej, planowana [Duch 2009]. Osągnece takego stanu przez sztuczny organzm (program) wymaga pozyskana przetworzena ogromnej lośc danych. Rys.4 Schemat przetwarzana danych wg [Blachnk 2009 a]. Rysunek 4 demonstruje jak może wyglądać przykładowy schemat przetwarzana danych. I tak perwszym krokem w przetwarzanu danych jest ch pozyskane, co zazwyczaj jest jednoznaczne ze zmerzenem pewnym nteresujących nas wartośc. Istneje też możlwość, że nasze dane będą wynkem z nnego procesu przetwarzana danych. Po pozyskanu danych następuje ch wstępne przetworzene, a w ramach nego przetworzene wartośc odstających oraz wstępna transformacja danych. Etap selekcj nformacj to moment, w którym decydujemy, jake nformacje są ważne dla rozwązana zadana. Celem selekcj jest stworzene zboru uczącego. Po selekcj cech można zacągnąć do pracy model decyzyjny z danym, które zostały przygotowane w poprzednch krokach. Każdy z etapów przetwarzana danych charakteryzuje sę odpowednm parametram, które dobrze lub źle dobrane mogą poprawć lub pogorszyć wynk. Posadając wynk modelu decyzyjnego można na jego podstawe ocenć dzałane całego modelu ntelgencj oblczenowej, a następne poddać korekcj parametry poszczególnych model składowych, które w tym wypadku odpowadają odpowedno wstępnemu przetwarzanu danych, selekcj nformacj modelow decyzyjnemu. Korekcja parametrów 12
model składowych ma na celu poprawene całego układu co oczywśce ne może przebegać w neskończoność koneczne jest określene pewnego stanu, który jest dla nas zadowalający. 2.2.1 Usuwane danych odstających Dane odstające (ang. Outler) defnuje sę jako dane, których wartośc znaczne różną sę od pozostałych. Idąc tą drogą decyzja o tym, co uznamy za znaczne różnące sę należy do analtyka lub programu analzującego. Jednym z możlwych rozwązań jest posłużene sę kwartylam. Zakładając, że nasz zbór jest elementowy cały proces można zrealzować w klku krokach. 1. Uszeregowane danych w porządku rosnącym. 2. Wyznaczene wartośc medany M a. Jeśl jest neparzyste to wyberamy wartość znajdującą sę w środku zboru. b. Jeśl jest parzyste to wyberamy dwe wartośc leżące najblżej środka oblczamy ch średną. 3. astępne wyznacza sę górny (Q H ) dolny kwartyl (Q L ) a. W celu wyznaczena wartośc dolnego kwartyla należy wyznaczyć element o ndekse 0.25* 1. b. W celu wyznaczena wartośc górnego kwartyla należy wyznaczyć element o ndekse 0.75* 1. 4. W następnym kroku wyznacza sę odstęp medzykwartylowy (ang. Interquartle Range, IQR) IQR Q H Q L. 5. W ostatnm kroku należy wyznaczyć a. Dolny wewnętrzny próg (ang Lower nner fence) z równana M 1.5 *QL. b. Górny wewnętrzny próg (ang Upper nner fence) z równana M 1.5*QH. c. Dolny zewnętrzny próg (ang Lower outer fence) z równana M 3*QL. d. Górny zewnętrzny próg (ang Upper outer fence) z równana M 3*QH. 6. astępne w zależnośc od kryterum, które przyjmemy usuwamy ze zboru wszystke lczby leżące poza progam wewnętrznym lub zewnętrznym według zasady a. Wszystke powyżej górnego progu odpadają. b. Wszystke ponżej dolnego równeż. Wartośc leżące poza wewnętrznym progem nazywamy mękkm (ang mld) wartoścam odstającym, a poza zewnętrznym ekstremalnym (ang. extreme). Możlwe jest też podejśce w postac M k * Q L 13
M k * w takej sytuacj dobera sę współczynnk k tak, aby jak najlepej pasował do naszego Q H zagadnena. W wypadku, gdy ne możemy sobe pozwolć na usunece danych można rozważyć przeprowadzene regularyzacj [Jankowsk 2003] danych odstających. Inna sytuacją jest, gdy są one efektem specjalnej postac rozkładu wtedy należy stosować klasyfkatory, które są mało podatne na dane odstające. 2.2.2 Standaryzacja Przeprowadza sę ją w celu wyrównana wypływu wartośc poszczególnych cech w wektorze, które w sposób znaczący różną sę pod względem welkośc lub zakresem zmennośc [Stąpor 2005]. Taka sytuacja mogłaby zakłócć prace algorytmów klasyfkujących, które mogłyby uznać cechy o wększych wartoścach za ważnejsze, choć wcale take ne muszą być, a pomnąć te, które mają małe wartośc, choć potencjalne mogą być ważnejsze z punktu wdzena danego problemu. Przekształcene cechy wejścowej x do x przeprowadza sę w następujący sposób: gdze: xj - jest j-tą wartoścą w -tym wektorze cech, x j - średna wartość j-tej cechy, x x x, (1) ' j j j j j - odchylene standardowe j-tej cechy dane wzorem: 1 2. (2) j n 1 1 n xj x j Take przekształcene nazywamy standaryzacją - dane wejścowe posadają wartość średną 0 odchylene standardowe 1. atomast normalzacj dokonuje sę wg zależnośc: gdze: x j x ' j x max j max x j x j mn x j max - maksymalna wartość z j-tego wektora cech. mn - mnmalna wartość z j-tego wektora cech. x j xj - jest j-tą wartoścą w -tym wektorze cech. Dane wyjścowe w takm przypadku są sprowadzone do przedzału <0,1>., (3) 14
2.2.3 Selekcja cech Wraz z pojawenem sę termnu uczene maszyn (ang. Machne learnng) w latach 50-tych ubegłego stuleca zaczęto prowadzć badana na temat analzy szukana zależnośc pomędzy danym, z którym zwązane jest pojęce selekcj cech (ang. Feature selecton). Selekcja cech jest jedną ze składowych problemu ekstrakcj cech (ang. Feature extracton). Głównym celem selekcj cech jest wyłonene ważnych wartoścowych danych np. dla systemów klasyfkujących. Innym korzyścam wynkającym z selekcj cech są [Gyuon Gunn kravesh 2006] Zmnejszene zboru danych dzęk temu zmnejszamy lość zasobów potrzebnych do trzymana danych, także zwększamy prędkość algorytmu przetwarzającego dane. Zmnejszene zestawu cech może to pozwolć na zaoszczędzene zasobów podczas kolejnych tur wykonywana pomarów tp. Poprawa wydajnośc dzęk ogranczenu zboru danych klasyfkatory mają mnejsze tendencje do przeuczana sę, co za tym dze posadają wększe zdolnośc generalzacj (uogólnana). Rozumene danych pozwala zdobyć wedzę na temat procesu, w którym dane powstały lub w prostszy sposób dokonać wzualzacj danych W procese selekcj cech stneją cztery podstawowe etapy: Określene punktu startowego w przestrzen przeszukwań, jak kerunku przeszukwań ( w przód lub w tył ). Określene strateg przeszukwana dla odpowednego wyboru podzborów cech do oceny [Doak 1992]. o Algorytmy wykładncze (optymalne). o Sekwencyjne (suboptynalme). o Stochastyczne (losowe). Określene metody ocenającej wybrany podzbór: o Metody fltrujące (ang. Flter methods). o Metody opakunkowe (ang. Wrappers methods). o Metody wbudowane (ang. Embedded methods) Określene momentu zatrzymana algorytmu. 15
2.2.3.1 Stratege przeszukwana przestrzen cech 2.2.3.1.1 Algorytmy wykładncze W tej grupe algorytmów znajdują sę algorytmy: Algorytm przeszukwana wyczerpującego. Algorytm branch&bound. Metody tej grupy z uwag na swą złożoność rzadko znajdują praktyczne zastosowana. 2.2.3.1.2 Algorytmy sekwencyjne Przykładam w tej grupe są: Selekcja w przód (ang. Sequental Forward Selecton (SFS)) proces selekcj zaczyna sę od zboru pustego, do którego kolejno dodawane są cechy, a następne przeprowadza sę sprawdzene czy dana cecha poprawa skuteczność algorytmu uczącego, jeśl tak, dana cecha zostaje, jeśl ne to odpada. Elmnacja wsteczna (ang. Sequental Backward Selecton (SBS)) proces rozpoczyna sę od zboru pełnego, z którego kolejno zostają usuwane kolejne cechy, jeśl algorytm stwerdz, że pogarszają wynk algorytmu uczącego. Szukane dwukerunkowe jest połączenem dwóch wyżej przedstawonych metod, posada dwa ważne parametry L R, które oznaczają lość cech dodanych lość cech odjętych. W wypadku, gdy L>R rozpoczynamy przeszukwane ze zborem pustym, jeśl L<R to ze zborem pełnym. Algorytmy rankngowe są najszybszym metodam selekcj cech. Podstawą tej metody jest wyznaczene wartośc funkcj kryteralnej J (), która określa zdolność dyskrymnacj lub zależność pomędzy cechą f a klasą C. Typowy algorytm rankngowy składa sę z czterech etapów: 1. Zancjowane zboru F, który jest zborem cech f oraz zbór S, który jest zborem pustym. 2. Dla wszystkch f F,oblczene wartość funkcj kryteralnej J ( f ). 3. Znalezene cechy f, która maksymalzuje J ( f ) przenos ją do S S { f }, F F \{ f }. 4. Proces powtarza sę dopók ne zapełn sę zboru S. W lteraturze można spotkać funkcje kryteralne wynkające z teor nformacj mar statystycznych, przykładem tego jest współczynnk korelacj lnowej określony zależnoścą: 16
gdze: r 1,1, xy r xy 1 x x y y 2 2 x x y y 1 1, (4) x y są -tym wartoścam wektorów x y. 2.2.3.1.3 Algorytmy losowe Algorytm genetyczny dzałane algorytmów genetycznych zostało opsane w rozdzale perwszym. Jednak należy tu wspomneć, że jeden bt w chromosome odpowada jednej z cech, wartość 1 oznacza, ż cecha przechodz dalej, a 0 że odpada [Gyuon Gunn kravesh 2006] Symulowane wyżarzane metoda ta została zaproponowana przez [Hyakn 1994] jako kolejna metoda losowej optymalzacj szukana w selekcj cech. W tym podejścu stan układu zmena sę o małą losową wartość. owy stan jest akceptowany, jeśl jest lepszy nż poprzedn lub akceptowany jest stan pogorszony z prawdopodobeństwem exp( E / T), gdze T to temperatura, a E oznacza stan energ. W przypadku selekcj cech transformacja polega na dodanu lub usunęcu danej cechy. 2.2.3.1.4 Stratege oceny wybranych cech Metoda fltra U podłoża dzałana tej metody leży zastosowane różnych statystyk, co wymusza estymacje welowymarowych rozkładów prawdopodobeństwa. Jest to metoda nezależna od klasyfkatora, dzęk czemu jest w stane wygenerować zbór danych bardzej unwersalny, który będze mógł współpracować z różnym klasyfkatoram, jest też bardzo szybka, bo jej złożoność oblczenowa jest mnejsza nż metod współpracujących z docelowym klasyfkatorem. Jest to metoda unwersalna, która może być wykorzystywana do każdego problemu klasyfkacyjnego. Rys.5 Przykładowy schemat użyca fltra w modelu decyzyjnym wg [Blachnk 2009 b]. Metoda opakunkowa charakterystyczną cechą tej metody selekcj jest fakt, że do oceny jakośc nowego zboru cech używamy wynku klasyfkatora (rysunek 6). Metoda ta jest bardzej 17
złożona pod względem oblczenom, lecz daje równeż lepsze wynk [John Kohav Peger 1994]. Tę metodę można wykorzystać do każdego problemu klasyfkacyjnego. Rys.6 Przykładowy schemat użyca metody opakowanej w modelu decyzyjnym wg [Blachnk 2009 b]. Metody wbudowane są to klasyfkatory z wbudowanym mechanzmam selekcj cech. Zaletą tej metody jest jej dokładność, poneważ są one projektowane z myślą o konkretnym algorytme oraz szybkość. Przykładem takego algorytmu jest drzewo decyzyjne [Qunlan 1987]. Możlwe jest także podejśce, w którym łączy sę wyżej podane metody gdze wynk dzałana fltra są ocenane przez klasyfkator, a na tej podstawe następuje adaptacja parametrów wewnętrznych fltru. Dzęk temu sam klasyfkator ma wpływ na zbór danych mu dostarczonych, co oczywśce powoduje, że zbór ten może być dobry jedyne dla danego klasyfkatora, ale jednocześne można sę spodzewać poprawy jakośc jego dzałana. Take podejśce określa sę manem frappera. Rys.7 Przykład możlwej konstrukcj frappera wg [Blachnk 2009 b]. 18
2.2.4 SVM Model SVM znany równeż pod nazwą Maszyna wektorów podperających (lub wsperających) został przedstawony przez Vladmra Vapnka, obecne jest on używany do rozwązywana problemów klasyfkacj regresj, a jego stotą jest stworzene optymalnej hperpłaszczyzny (rysunek 8), która umożlw odseparowane danych należących do różnych klas, z możlwe jak najwększym margnesem zaufana. Poprzez margnes rozume sę tu odległość mędzy płaszczyzną, a najblższym jej wektorem. Rys.8 Optymalna hperpłaszczyzna [Jankowsk 2003]. 2.2.4.1 Funkcje jądrowe Z powodu możlwośc wystąpena lnowej neseparowalnośc w przestrzen wejścowej, deą SVM stała sę konstrukcja hperpłaszczyzny w pewnej wysokowymarowej przestrzen cech Z, która jest, nelnowym loczynem pewnych funkcj bazowych (x), określonych w przestrzen wejścowej. Wtedy równane hperpłaszczyzny przyjmuje postać: T F( x) y x x b (5) 1 19
Kx x b F( x ) a y, 1, (6) gdze K (x,x) jest jądrem loczynu skalarnego funkcj bazowych (przestrzen cech Z) j (x), j=1,2..,m, a jest mnożnkem Lagrange a, odpowadającym wadze neuronu w sztucznej sec neuronowej, y przyjmuje wartośc 1 lub -1 co jest odzwercedlenem klasy perwszej (1) drugej (-1), b jest to odległość hperpłaszczyzny od środka układu. Iloczyn skalarny może być zdefnowany jako x ' T K( x, x') x. (7) Dzęk takemu zabegow rozwązana poszukujemy już w zupełne nnej przestrzen, w której poszukwane jest znaczne efektywnejsze, można rozwązywać problemy, które w wejścowej przestrzen ne były lnowo separowane. Zgodne z teorą przestrzen Hlberta [Luenberg 1974], funkcje jądrowe K reprezentujące loczyn skalarny muszą być dodatno określone: 2 x x' f x' dxdx' 0 dla f 0, f x K dx,. (8) Istneją różne typy funkcj jądrowych, gdze do najpopularnejszych należą: q Funkcja welomanowa K, x' x ' T x gdze q R, 0, 1 Funkcja gaussowska x. (9) 2 x x' K x, x ' exp gdze 0. 2 (10) T Funkcja tangensa hperbolcznego x x' tanh x x' T q 1 Funkcja welomanu Vovka x x' K, x' T 1 x x' 2.2.4.2 Konstrukcja optymalnej hperpłaszczyzny K,. (11) x gdze q (12) Uzyskane możlwe najwększego margnesu pomędzy dwema klasam wymaga maksymalzacj odległośc punktów (najblższych) od hperpłaszczyzny. Tak cel może być zapsany w następujący sposób: przy czym w T x b 0 max mn w, b T x x : w x b 0, 1,...,, (13) to równane hperpłaszczyzny, gdze w to wektor prostopadły do nej, a b to odległość od środka układu współrzędnych. Stosując klka przekształceń otrzymujemy funkcję celu zdefnowaną jako: 20
zakładając że: mn w, b 1 2 w w, (14) 2 y T x b 1 1,...,. w (15) astępne stosując metodę mnożnków Lagrange a, otrzymujemy lagrangana zdefnowanego jako: L 1 2 T w, b, w yx w b 1 1, (16) 2 gdze 0 są mnożnkam Lagrange a. W takm wypadku naszym celem staje sę maksymalzacja lagrangana L ze względu na mnmalzacje ze względu na w b. To prowadz do warunków, w których pochodne L ze względu na te współczynnk zankają otrzymujemy: w x, (17) 1 1 y 0. (18) y ależy jednak pamętać, że rozwązane takego zadana może ne stneć ze względu na brak lnowej separowalnośc. Wektory x, dla których >0, nazywane są wektoram podperającym bądź wsperającym. Zgodne z twerdzenem Karush-Kuhn-Thuckera teor optymalzacj w punkce sodłowym lagrangana L nezerowe są tylko te współczynnk T y x w b1 0 1,...,, dla których mamy:. (19) Powyższy wzór pokazuje, ż wektory podperające leżą dokładne na margnese. Lagrangan L możemy rozpsać jako 1 T T L( w, b, ) w w yw x b y, (20) 2 1 1 1 Stosując kolejne przekształcena właścwość zankana pochodnych L elmnujemy zmenną w oraz b otrzymujemy dualny problem optymalzacyjny z ogranczenam max W ( ) 1 2 1, j1 y y x x j j T j, (21) 0 1,...,, (22) y 0. (23) 1 21
Dzęk temu funkcja klasyfkacyjna przyjmuje postać: T Fˆ x sgn yx x b. (24) 1 Problem dualny z wykorzystanem funkcj jądrowej przyjmuje postać max 1 j y y jkx, x j W, (25) 1 2, j 1 w śwetle czego funkcja decyzyjna poszukująca rozwązana w przestrzen () ma postać sgn y Kx, x b Fˆ x (26) 1 przyjmuje wartośc wększe od 0 dla jednej z klas mnejsze dla drugej. 2.2.4.3 Konstrukcja hperpłaszczyzny dla przypadków neseparowalnych eseparowalność oznacza nemożlwość spełnena warunku T y w x b 1. (27) 1,..., Cortes Vapnk zaproponowal rozwązane polegające na wprowadzenu zmennych rozluźnających węz nerównośc: T 1,..., y w x b 1 0 (28) dopuszczają, by pewne wektory x (te, dla których 0 ) leżały po newłaścwej strone płaszczyzn określających margnes. Jednak by algorytm dobrze generalzował, należy zadbać, aby współczynnk były pewnym karam, czyl klasyfkator pownen kontrolować szerokość margnesu w, jak wysokość. Powyższe rozważane prowadz do nowej funkcj celu: 1 2 w C (29) w, b, 2 1 mn z ogranczenam zaproponowanym przez Cortesa Vapnka gdze C jest parametrem modelu defnowanym przez użytkownka. Zgodne z twerdzenem Karush-Kuhn-Tuckera lagrangan przyjme postać: 1 2 T b,, w C yx w b1 L w,, (30) 2 1 1 1. są mnożnkam Lagrange a wymuszającym dodatność 22
W tym wypadku pochodne L równeż zankają, co prowadz nas do: z warunkam w y x 1 1 0, (31) y Lw, b,, C 0, (32) T y w x b 1 0, (33), b,, C 0 L w, (34) 0, (35) 0, (36) 0, (37) co ostateczne prowadz do dualnego problemu optymalzacj: z ogranczenam: T y x w b 1 0, (38) w y x max W 1 0, (39) 1 1 2, j 1 y y x x j j T j, (40) 0 C 1,...,, (41) y 0. (42) 1 Można zauważyć, że postać funkcj jest dentyczna jak w przypadku funkcj problemu separowanych, jednak ogranczene jest trochę nne. 23
2.2.4.4 Problem regresj SVM może być także używany do rozwązywana problemów regresyjnych. W tym wypadku ważne jest, aby odpowedno sformułować funkcję błędu (rysunek 9). ajstotnejszą cechą tej - newrażlwej funkcj jest zerowy wpływ przy odpowedno małym błędze absolutnym: x y, f x y f x max 0 y f x c,,. (43) Rys.9 Ilustracja funkcj błędu [Jankowsk 2003]. Podobne jak rob sę to w przypadku klasyfkacj, można zawęzć poszukwana do przypadku T lnowego poszukwać rozwązana problemu regresj lnowej f ( x) x w b poprzez zastosowane mnmalzacj 1 2 w C y f ( x ). (44) 2 1 Podobne jak to mało mejsce przy konstrukcj hperpłaszczyzny dla problemów neseparowalnych * stosuje sę tutaj zmenne łagodzące nerównośc. Dokładnej dwe ( ), jedną dla przypadku f ( x ) y drugą, gdy y f x ). Wtedy problem regresj przechodz w problem optymalzacj: z ogranczenam mn * ( * 1 2 *,, w C w (45) w,,, b 2 1 1,...,, f x y (46) *, y f x (47) 24
25 *, 0. (48) Przechodząc do postac SVM z funkcjam jądrowym, następne do postac dualnego problemu optymalzacj otrzymujemy: j j j j K y W 1 1, * * * 1 * *,, 2 1, max * x x (49) z ogranczenam: * 0, 1,...,, C (50) * 1 0. (51) Funkcja regresj przyjme postać: b K f 1 *,x x x. (52)
2.2.4.5 Weloklasowy SVM Modele SVM do rozwązywana problemów klasyfkacj weloklasowej stosuje sę tam gdze lczba klas przekracza dwe jak zostało to zlustrowane na rysunku 10. Rys.10 Przykład problemu weloklasowego. Całe rozwązane problemu weloklasowego sprowadza sę do rozbca go na problemy dwu-klasowe. W tym momence, możemy przeprowadzć rozwązana na klka sposobów gdze dwa najpopularnejsze to: każdy z każdym (ang. one-vs-one) ta metoda sprowadza sę faktyczne do porównana każdy z każdym, wec każda klasa jest porównywana z wszystkm nnym z osobna, Rys.11 Przykład metody każdy z każdym. jeden kontra reszta (ang. one-versus-all) tutaj klasyfkacja przebega na zasadze jesteś z nam albo przecwko nam, czyl porównane danej klasy z pozostałym klasam, a następne stwerdzene czy dany element należy do tej klasy czy ne. W tej metodze ne stwerdza sę, do której z nnych klas należy dany element. Rys.12 Przykład metody jeden kontra reszta. 26
Oczywśce dla zborów danych gdze lczba klas jest wększa nż 3 metoda każdy z każdym jest rozwązanem bardzej czasochłonnym, poneważ rośne lość pojedynczych porównań, które należy przeprowadzć. W przypadku metody jeden kontra reszta lość pojedynczych porównań zawsze jest równa lczbe klas. 2.2.4.6 Ocena dokładnośc modelu Do oceny problemów klasyfkacyjnych używa sę współczynnka poprawnośc err lczba poprawne sklasyfkowanych wektorów 1 m WP (53) lczba wektorów m lub błędu klasyfkacj err lczba nepoprawne sklasyfkowanych wektorów m WB 1 WP lczba wektorów m, (54) gdze m to lczba wszystkch przypadków w zborze danych, przypadków. err m to lczba błędne oszacowanych Ważnym zagadnenam pojawającym sę podczas oceny modelów klasyfkujących jest problem nezbalansowanego zboru (rysunek 13). Tak zbór można opsać jako zbór, w którym lość przedstawcel wszystkch klas ne jest taka sama lub nawet podobna. Oczywśce taka sytuacja pozwol klasyfkatorow na dzałane, ale jak werzyć w wynk testowy, jeśl zbór uczący składał sę w przeważającej lośc z przypadków należącej do jednej z klas. Zbór nezbalansowany klasa 4 17% klasa 1 17% Zbór zbalansowany klasa 4 21% klasa 1 24% klasa 3 43% klasa 2 23% klasa 3 29% klasa 2 26% Rys.13 Przykład zboru 4-ro klasowego nezbalansowanego zbalansowanego. W takej sytuacj oblcza sę wskaźnk błędu zbalansowanego c err 1 m BErr, (55) c 1 m gdze c jest to lczba klas, m to lczba wszystkch przypadków w klase, to lczba błędne oszacowanych przypadków w klase. err m 27
Marą błędu dla problemów regresyjnych może być sumaryczny błąd kwadratowy (ang. Sum Squared Error, SSE) dany wzorem: SSE n F y 1 2 x, (56) lub częścej używany średn błąd kwadratowy (ang. Mean Squared Error, MSE): MSE 1 SSE, (57) n czy tez perwastek średnego błędu kwadratowego (ang. Root Mean Squared Error, RMSE): RMSE MSE. (58) 2.3 Integracja algorytmów genetycznych z optymalzacją modelu Zadanem algorytmu genetycznego ma być wybór jednej z podanych powyżej metod dla model składowych modelu CI. Optymalzacj poddano parametry model składowych, czyl algorytmu wstępnego przetwarzana danych, selekcj cech modelu SVM. W przypadku wstępnego przetwarzana danych parametrem jest typ metody, jakej chcemy użyć do standaryzacj danych. Algorytm genetyczny decyduje o wyborze jednej z czterech metod: e przeprowadzane wstępnego przetwarzana danych. Standaryzacja kolumn. ormalzacja kolumn. Standaryzacja werszy. Aby algorytm genetyczny mógł wybrać pomędzy czterema opcjam do zakodowana tego parametru użyto 2 btów. Po tym następuje selekcja cech. Zastosowany w pracy model selekcj cech opera sę o algorytm rankngowy wykorzystujący współczynnk korelacj lnowej, który wszystkm cechom przyporządkowuje pewną rangę. astępne, na podstawe rankngu cech, tworzony jest nowy zbór danych, gdze wszystke cechy, które posadają rangę wyższą od pewnego progu th zostają dodane do zboru trenngowego, przy czym wartość th jest wartoścą progu stotnośc cech jest optymalzowana przez algorytm genetyczny. Parametr th jest zapsany na 6 btach. Kolejnym krokem po selekcj cech jest uruchomene modelu SVM z nowym zborem wyselekcjonowanych danych. W modelu SVM optymalzacj zostały poddane parametry C, oraz parametr funkcj jądrowej. Użytą funkcją jądrową jest funkcja gaussowska (10). a podstawe wynku modelu SVM algorytm genetyczny dokonuje optymalzacj parametrów poszczególnych częśc składowych całego modelu ntelgencj oblczenowej. Dzęk takemu zabegow SVM może ocenć zbór danych, z którym pracuje, co jest odwzorowanem de frappera, o którym psano wcześnej. Praca algorytmu genetycznego jest 28
zatrzymywana, jeśl w obrębe trzech kolejnych populacj wynk ne ulegne poprawe lub lczba generacj przekroczy 50. Aby algorytm genetyczny mógł optymalzować parametry modelu SVM, wstępnego przetwarzana danych selekcj cech, operacje te ch parametry zagneżdżono wewnątrz funkcj kosztu. W celu unknęca zbyt dużych skoków wartośc parametrów podanych wcześnej operacj kod bnarny wewnątrz funkcj kosztu został przekształcony do kodu Gray a. Wyjścem z funkcj kosztu optymalzowanej przez algorytm genetyczny jest średn błąd klasyfkacj dla wynku z pęcokrotnego testu krzyżowego. Zadane optymalzacj zostało rozbte na dwa przypadk: Problem regresj - w którym podstawowy cąg bnarny przenoszący nformacje o parametrach, C posada 18 (rysunek 14) znaków oraz dodatkową, zmenną lość btów zależną od użyca odpowednch zabegów zwązanych z wstępnym przetwarzanem danych. Zastosowane zmennej lośc btów jest spowodowane faktem, że użytkownk może wykorzystać lub ne wykorzystać algorytmy wstępnego przetwarzana danych selekcj cech. Ostateczne problem regresj został rozbty na 3 waranty: o Optymalzacja modelu SVM o Optymalzacja modelu SVM oraz algorytmu selekcj cech o Optymalzacja modelu SVM oraz algorytmu selekcj cech wstępnego przetwarzana danych. Rys.14 Postać cągu bnarnego dla problemu regresj. Problem klasyfkacyjny podobne jak problem regresj został rozbty na trzy przypadk. Jednak jak wdać na rysunku 15 w chromosome dla problemu klasyfkacj ne jest obecny parametr, węc jest on krótszy o 6 btów. 29
Rys.15 Postać cągu bnarnego dla problemu klasyfkacj. Take podejśce wymagało stworzena dwóch funkcj kosztu, jednej dla problemu regresj jednej dla klasyfkacj. Rys.16 przedstawa uproszczony schemat dzałana funkcj kosztu. Rys.16 Uproszczony schemat dzałana funkcj kosztu. W trakce przeprowadzana testów sprawdzono równeż warant gdze zmenne C zostały poddane przekształcenom matematycznym, które mały na celu w pewnym stopnu ukerunkowane pracy algorytmu: ` 1/, (59) C C` 2, (60) gdze C są wartoścam wydobytym z chromosomu a ` C` są wartoścam podanym do modelu SVM. Model z przekształcenam (59) (60) w częśc przedstawającej wynk został oznaczony jako SVM+, a model korzystający z algorytmu przeglądu zupełnego jako grdsel. Przedzał optymalzowanych wartośc parametru zawerał sę pomędzy wartoścam 0 do v 1, przy czym wartość v 1 jest to najwększa odległość mędzy punktam w zborze trenngowym. Wartośc parametru C zawerają sę w przedzale od 0 do 1000. atomast parametr zawerał sę w przedzale wartośc wększych od 0, aż do wartośc v 2, gdze v 2 jest równe 80% rozpętośc wartośc wyjścowej ze zboru 30
trenngowego. Optymalzowany przedzał wartośc parametrów jest typowym przedzałem wartośc stosowanym w modelach SVM. 2.4 Wynk porównawcze Model ntelgencj oblczenowej oparty o algorytm genetyczny został porównany z podobnym modelem opartym o algorytm przeszukwana zupełnego realzującym te same zadana, czyl wstępne przetwarzane danych a także selekcje cech. Algorytm przeszukwana zupełnego pozwala na szukane ekstremów globalnych funkcj, dlatego zastosowane go do porównana wydaje sę być rozsądnym postępowanem. Algorytmy przeszukwana zupełnego operają sę na pewnym kroku, z którym zmenają swą wartość w nnejszej pracy krok został dobrany na podstawe lośc wywołań funkcj kosztu algorytmu genetycznego tak, aby model z algorytmem przeszukwana zupełnego został wywołany podobną lość razy. 2.4.1 Zbory danych Próby przeprowadzono na czterech zborach, które zostały pobrane z repozytorum UCI [2009]: Cukrzyca (ang. pma ndan dabetes) to zbór określający podejrzene o cukrzyce według kryterum Śwatowej Organzacj Zdrowa. Każdy pacjent jest opsany przy pomocy 8 cech. Zbór składa sę z 768 pacjentów, gdze 500 uznano za zdrowych, a 268 jako chorych. Sonar jest to zbór, który przedstawa problem klasyfkacj sygnałów sonaru odbtych od skał oraz obektów metalowych o cylndrycznych kształtach, które w realnych warunkach mogłyby być mnam głębnowym. Zbór składa sę z 208 przypadków gdze 111 to odbca od przedmotów metalowych 97 to odbca skalne. Każdy z przypadków jest opsany przez 60 cech. Jonosfera (ang. onosphere) powstała jako zbór, którego celem jest możlwość oceny radaru poprzez jakość uzyskanych obrazów z jonosfery. Zbór składa sę z 351 przypadków opsanych przez 34 cechy. Choroby serca (ang. cleveland heart dsease) jest opsem pacjentów z chorobam serca. Orygnalne posadał on 76 cech jednak autorzy zdecydowal, że 14 jest najbardzej stotnych, poneważ powszechne służą do testów porównawczych. Zbór składa sę z opsu 303 pacjentów, z czego 164 osoby to zdrow pacjenc, a 139 to osoby chore. 31
2.4.2 Wynk 2.4.2.1 Cukrzyca Rys.17 Rezultaty uzyskane przez model CI oparty na algorytme genetycznym (zelony czerwony) oraz algorytme przeszukwana zupełnego (nebesk) dla zboru Cukrzyca. Tab.2 Wartośc błędu klasyfkacj jego odchylena standardowego uzyskane przez poszczególne metody optymalzacj dla zboru Cukrzyca. Rozmar populacj 10 25 50 75 100 grdsel błąd 0,23311 0,24742 0,23963 0,23963 0,24742 od.std 0,038576 0,0259 0,040255 0,040255 0,031751 SVM+ błąd 0,23311 0,24857 0,24096 0,24356 0,24096 od.std 0,038576 0,039763 0,046262 0,045662 0,047104 SVM błąd 0,24874 0,24486 0,24356 0,24255 0,24613 od.std 0,045626 0,040757 0,042307 0,045821 0,043246 Dla zboru Cukrzycy ne da sę wyłonć jednej najlepszej metody, poneważ dla różnych rozmarów populacj różne metody uzyskwały najlepszy wynk. Zakres uzyskanych wartośc błędu dla wszystkch 3 metod jest podobny jak zakresy odchyleń standardowych. 32
2.4.2.2 Sonar Rys.18 Rezultaty uzyskane przez model CI oparty na algorytme genetycznym (zelony czerwony) oraz algorytme przeszukwana zupełnego (nebesk) dla zboru Sonar. Tab.3 Wartośc błędu klasyfkacj jego odchylena standardowego uzyskane przez poszczególne metody optymalzacj dla zboru Sonar. Rozmar populacj 10 25 50 75 100 grdsel Błąd 0,13461 0,13473 0,13473 0,13473 0,13473 od.std 0,043563 0,044312 0,040989 0,040989 0,040989 SVM+ Błąd 0,15877 0,16341 0,14913 0,14925 0,14925 od.std 0,040558 0,051703 0,039917 0,032559 0,036654 SVM Błąd 0,16318 0,18258 0,15401 0,15401 0,14448 od.std 0,084801 0,035563 0,03716 0,040796 0,048819 Dla zboru Sonar w wynku przeprowadzonych prób najlepszą metodą optymalzacj wydaje sę być metoda wykorzystująca algorytm przeszukwana zupełnego. e da sę jednak ne zauważyć faktu, że wynk tego modelu ma postać stałej wartośc, można przypuszczać, ze jest to spowodowane charakterystyką zmennych opsujących dany zbór. Obe metody oparte o algorytm genetyczny uzyskały podobne wynk. 33
2.4.2.3 Jonosfera Rys.19 Rezultaty uzyskane przez model CI oparty na algorytme genetycznym (zelony czerwony) oraz algorytme przeszukwana zupełnego (nebesk) dla zboru Jonosfera. Tab.4 Wartośc błędu klasyfkacj jego odchylena standardowego uzyskane przez poszczególne metody optymalzacj dla zboru Jonosfera. Rozmar populacj 10 25 50 75 100 grdsel błąd 0,056942 0,048491 0,045553 0,045553 0,04837 od.std 0,00975 0,016412 0,011764 0,011764 0,015938 SVM+ błąd 0,059799 0,056982 0,071187 0,071187 0,06841 od.std 0,027378 0,010108 0,030167 0,028425 0,027565 SVM błąd 0,096861 0,071227 0,079799 0,065513 0,074124 od.std 0,011885 0,022592 0,026038 0,021604 0,027607 Ponowne najlepszą metodą optymalzacj wydaje sę być wykorzystane algorytmu przeszukwana zupełnego. Wszystke 3 metody uzyskały wynk w różnych przedzałach wartośc. 34
2.4.2.4 Choroby serca Rys.20 Rezultaty uzyskane przez model CI oparty na algorytme genetycznym (zelony czerwony) oraz algorytme przeszukwana zupełnego (nebesk) dla zboru Chorób serca. Tab.5 Wartośc błędu klasyfkacj jego odchylena standardowego uzyskane przez poszczególne metody optymalzacj dla zboru Chorób serca. Rozmar populacj 10 25 50 75 100 grdsel błąd 0,16508 0,16859 0,16175 0,16175 0,19192 od.std 0,04068 0,045654 0,043071 0,043071 0,019234 SVM+ błąd 0,17175 0,20215 0,19876 0,12803 0,1718 od.std 0,030438 0,038379 0,023095 0,035862 0,040107 SVM błąd 0,18876 0,17192 0,17531 0,17181 0,16164 od.std 0,058565 0,044659 0,036237 0,035069 0,030725 Dla zboru chorób serca równeż ne można wyłonć najlepszej metody. Wszystke trzy metody uzyskały wynk w podobnych przedzałach wartośc. 35
2.4.3 Wnosk Proponowany w pracy model CI oparty o algorytm genetyczny radzł sobe gorzej z zadanem klasyfkacj nż podobny model CI oparty o algorytm przeglądu zupełnego. Jednak w dwóch z czterech wypadków algorytm genetyczny był w stane dorównać metodze przeglądowej, co ne pozwala go spsywać na straty, a każe sę zastanawać, dlaczego akurat w tych wypadkach wynk były porównywalne? W śwetle tego, co pokazują wynk (2.4.2) rozsądnym wnoskem jest, że dla problemów klasyfkacj systematyczne metody przeszukwana przestrzen rozwązań są lepsze nż metody stochastyczne (AG). Może być to spowodowane faktem, ż metody stochastyczne na pewnym etape lub wręcz na samym początku mogą pomnąć pewen obszar rozwązań ne wrócć do nego w trakce dzałana algorytmu. Innym problemem jest powtarzalność uzyskanych rozwązań, który w przypadku optymalzacj ne jest bez znaczena. Stosowane metod systematycznych pozwala uzyskwać bardzej powtarzalne wynk. Do tej pory przedstawono wynk zadań polegających wyłączne na klasyfkacj w dalszej częśc pracy przedstawono wynk z prób regresj. 36
3 Modelowane danych stalownczych 3.1 Proces stalownczy Badany proces jest procesem elektrostalownczym (rysunek 21), w którym kolejno po sobe następuje stopene złomu, dodane odpowednch dodatków stopowych, a następne odlane stal. I tak perwszy etap to etap dobrana wsadu. Podstawą wsadu jest odpowedno przygotowany posortowanym złom stalowy. Sortowane wykonuje sę zgodne z Polską ormą[p-85/h-15000], która rozróżna złom ze względu na skład chemczny na złom stalowy stopowy nestopowy, odpady produkcyjne, złom poamortyzacyjny, złom nebesk. Defnuje ona równeż złom wsadowy ne wsadowy. Złom dzel sę równeż na klasy oznaczane symbolam W1-W19 dla złomu nestopowego S1-S9 dla stopowego w zależnośc od jego postac, wymarów, masy, stopna skorodowana oraz dopuszczalnych zaneczyszczeń. Oprócz klas złom dzel sę też na kategore, oznaczane np.: A złom nestopowy o ogranczonej zawartośc nektórych perwastków. B złom stopowy z zawartoścą manganu /lub krzemu. C złom stopowy z zawartoścą chromu. I nne z zawartoścą nnych perwastków. Kolejnego podzału złomu można dokonać ze względu na stopeń skorodowana na: ne zardzewały, zardzewały powerzchnowo przerdzewały. Złom jest poddany oględznom zewnętrznym, badana chemczne wykonuje sę tylko w wypadku złomów stopowych. Oprócz złomu w procese elektrostalowncznym wykorzystuje sę: Topnk materały żużlotwórcze(palone wapno wapno dolomtowe). awęglacze(węgel, złom elektrod węglowych, koks). Dodatk stopowe(główne żelazostopy). Odtlenacze(gln, żelazokrzem żelazo-krzemo-mangan). Spenacze żużla(rozdrobnone materały węglowe). Ładowane wsadu do peców łukowych odbywa sę przy pomocy koszy. Po umeszczenu złomu w pecu łukowym (EAF ang. electrc arc furnace) następuje roztopene materałów wsadowych, śweżene częścowa rafnacja. Jako wsad stosuje sę tu złom nestopowy lub nskostopowy. Roztapane wsadu rozpoczyna sę po załadowanu perwszej part złomu, przykrycu peca sklepenem, opuszczenem elektrod włączenu prądu. Łuk elektryczny jarzy sę medzy elektrodą, a metalem. Początkowe etapy procesu topena wsadu są bardzo dynamczne z uwag na fakt, że łuk elektryczny w tym czase jest bardzo nestablny, co jest powodowane zmanam ułożena wsadu w 37
pecu zawalane sę wsadu, powstawane kraterów w wynku topena oraz ch poszerzane. ad stablnoścą łuku czuwa system automatycznego sterowana elektrodam. Wraz ze wzrostem lośc cekłego metalu w pecu rośne stablność łuku elektrycznego. Podczas roztapana wytwarzają sę tlenk, które powstają przez połączene roztoponych domeszek z tlenem z powetrza lub tlenem dodawanym do peca. Z tych tlenków wapna (CaO) tworzy sę żużel, który chron kąpel przez zagazowanem. Celem śweżena jest utlenene węgla, fosforu, odgazowane sark oraz dogrzane kąpel do temperatury odlewana, po czym następuje ścągane żużla zlane metalu do peco-kadz LHF (ang. ladle heat furnace) gdze przeprowadza sę jej rafnację w celu uzyskana pożądanego składu chemcznego. Dodatk stopowe dodawane w trakce procesu rafnacj można podzelć na: Dodatk używane dla każdego gatunku stal take jak antracyt, węglk krzemu, slkomangan, żelazomangan, żelazokrzem. Mkrododatk take jak żelazonob, żelazobor, żelazochrom, żelazotytan. W zależnośc od etapu procesu rafnacj dodatk wprowadza sę: a dno kadz przed spustem. a spust. a początku wyrabana. W środku wyrabana. a konec wyrabana. W trakce zlewana przy pomocy alumnum przeprowadza sę odtlenane kąpel. Stal może być spuszczana przez rynnę spustową lub przez otwór spustowy w trzone peca. Peco-kadź zazwyczaj wykorzystuje łuk elektryczny do grzana kąpel. Wsad w peco-kadz występuje w stane cekłym, co powoduje, że łuk elektryczne są stosunkowo stablne. Podczas rafnacj cekły metal jest meszany przy pomocy gazów obojętnych np. argonu. Rolą peco-kadz jest: Uzyskane żądanego składu chemcznego stal, Usunęce nepożądanych perwastków wtrąceń nemetalcznych, Homogenzacja kąpel metalowej. 38
Pokrywa peco-kadz dzęk swojej konstrukcj umożlwa mędzy nnym [Ls 2000]: Wprowadzane dodatków stopowych. Wprowadzane drutu rdzenowego. Przedmuchwane. Pomar temperatury. Poberane próbek. W zwązku z tym stanowsko do obróbk poza pecowej mus zapewnć możlwość: agrzewana kąpel. Meszana. Wprowadzana dodatków stopowych. Regulacj cśnena składu atmosfery nad powerzchną kąpel. Po otrzymanu kąpel o odpowednej zawartośc dodatków stopowych następuje odlane stal metodą cągłą lub syfonową do wlewnc. 39