METODY INTELIGENCJI OBLICZENIOWEJ. ZASTOSOWANIE SIECI NEURONOWYCH W PROGNOZOWANIU
|
|
- Wacław Kaczmarek
- 8 lat temu
- Przeglądów:
Transkrypt
1 FOLIA UNIVERSITATIS AGRICULTURAE STETINENSIS Folia Univ. Agric. Stetin. 2007, Oeconomica 258 (49), Henryk MARJAK METODY INTELIGENCJI OBLICZENIOWEJ. ZASTOSOWANIE SIECI NEURONOWYCH W PROGNOZOWANIU METHODS OF COMPUTATIONAL INTELLIGENCE. USING NEURAL NETWORKS IN FORECASTING Zakład Informatyki, Akademia Rolnicza ul. Monte Cassino 16, Szczecin Abstract. In the paper are presented basic problems contained with artificial intelligence and computational intelligence. Functioning of computational intelligence methods eg. multi-layered neural net, evolutionary computing, swarm intelligence and fuzzy systems were explained. Errors of forecasting dependent on neural network s architecture and used learning algorithms were presented. Graphically was compared quality of forecasts for selected neural structures. Słowa kluczowe: inteligencja obliczeniowa, sieci neuronowe. Key words: computational intelligence, neural networks. WSTĘP Termin sztuczna inteligencja (AI), używany głównie w USA, budzi z powodu słowa sztuczna wiele kontrowersji. Z tego powodu używa się innych pojęć, takich jak inteligencja maszynowa, inteligencja obliczeniowa (CI), czy soft computing. Inteligencję obliczeniową postrzega się, z jednej strony, jako subdyscyplinę sztucznej inteligencji, z drugiej strony jako dyscyplinę oddzielną, zależną od danych numerycznych, nieopartą na wiedzy. Inne częste pojęcie soft computing odpowiada dyscyplinie łączącej kilka odrębnych metodologi, takich jak: fuzzy logic, neural network i rozumowanie probabilistyczne, a także algorytmy ewolucyjne i teoria chaosu. Jeżeli chodzi o zakres podejmowanych tematów, terminy soft computing i inteligencja obliczeniowa pokrywają się znaczeniowo. Jednak pochodzenie terminu soft computing, wskazujące na narzędzia, powoduje, że w przypadku próby naśladowania za pomocą komputera sposobu podejmowania decyzji przez człowieka bardziej odpowiednie będzie użycie terminu inteligencja obliczeniowa. Inteligencja obliczeniowa definiowana była jako nauka o zmuszaniu maszyny do rozwiązywania problemów, które wymagałyby inteligencji, gdyby rozwiązywane były przez ludzi. Inne, bardziej konkretne, definicje to definicje, według których inteligencja obliczeniowa to studia nad skonstruowaniem inteligentnego agenta. Agent to konstrukcja, która postrzega i reaguje. Inteligencja obliczeniowa obejmuje cztery dziedziny, często ze sobą powiązane, tworząc systemy hybrydowe, a także powiązane z metodami probabilistycznymi (rys. 1). Dziedziny te to: sztuczne sieci neuronowe, obliczenia ewolucyjne, inteligencja grup i systemy rozmyte. Zasady funkcjonowania każdej z wymienionych dziedzin inteligencji obliczeniowej wywodzą się z systemów biologicznych: sztuczne sieci neuronowe powstały w oparciu o badania rzeczywistego systemu nerwowego, obliczenia ewolucyjne modelują naturalną ewo-
2 108 H. Marjak lucje, inteligencja grup modeluje zachowania organizmów żyjących w grupach i koloniach, a systemy rozmyte opierają się na badaniach dotyczących interakcji między organizmami (Engelbrecht 2002). Sieci neuronowe Obliczenia ewolucyjne Systemy rozmyte Inteligencja grup Metody probabilistyczne Rys. 1. Dziedziny inteligencji obliczeniowej Źródło: opracowano na podstawie: Engelbrecht (2002). Systemy eksperckie Systemy regułowe Sieci Bayesa, teoria pewności, logika rozmyta Sieci neuronowe Algorytmy ewolucyjne Obiekty, ramki i agenci Symulowane wyżarzanie Systemy oparte na wiedzy Inteligencja obliczeniowa Rys. 2. Kategorie systemów inteligentnych Źródło: opracowano na podstawie: Hopgood (2001).
3 Metody inteligencji obliczeniowej. Zastosowanie sieci Systemy inteligencji obliczeniowej operują na danych numerycznych. Systemami, w których działania prowadzone są na reprezentacji symbolicznej, są systemy oparte na wiedzy (ang. knowledge-based systems). Według tej klasyfikacji (rys. 2) sieci Bayesa, logika rozmyta i teoria pewności to części wspólne dwóch kategorii systemów, tj. systemów opartych na wiedzy i inteligencji obliczeniowej (Hopgood 2001). Celem pracy jest prezentacja metod inteligencji obliczeniowej oraz zastosowanie jednej z tych metod, tj. sieci neuronowych w prognozowaniu wartości kontraktów terminowych notowanych na Warszawskiej Giełdzie Towarowej. MATERIAŁ I METODY W rozważaniach empirycznych wykorzystano metodykę sztucznych sieci neuronowych. Rozważania dotyczące metod inteligencji obliczeniowej przeprowadzono na podstawie literatury przedmiotu. Sieci neuronowe wykorzystywane są m.in. jako systemy wspomagające podejmowanie decyzji na rynkach finansowych. Związki i zasady, pojawiające się pomiędzy neuronami w sieci neuronowej, również dobrze sprawdzają się w przestrzeniach wielowymiarowych. Zakres pracy obejmował analizę i ocenę możliwości uzyskania użytecznego narzędzia do prognozowania na giełdach towarowych, w szczególności prognozowania wartości cen kontraktów terminowych, z wykorzystaniem metod sztucznych sieci neuronowych, a także innych metod zaliczanych do metod inteligencji obliczeniowej. Materiał empiryczny stanowiły dane, podzielone na kilka grup: 1. Dane dotyczące badanych kontraktów terminowych, tj. kontraktów terminowych na dolara amerykańskiego notowanego na WGT, zawierające dzienne ceny: otwarcia, najniższą, najwyższą i zamknięcia. 2. Dane związane bezpośrednio z notowanymi kontraktami, tj. średni kurs dolara określany przez NBP, który był kursem rozliczenia badanych kontraktów. 3. Dane wpływające na kurs dolara w stosunku do złotego, tj. stopy procentowe na rynku międzybankowym WIBOR 1M i LIBOR 1M. 4. Wybrane indeksy giełdowe: WIG, S&P500, DJIA. Dane wymienione w pkt. 1 i 2 dotyczą bezpośrednio prognozowanej ceny zamknięcia w dniu następnym, natomiast zbiory danych wymienione w pkt. 3 i 4 użyte zostały na podstawie przeprowadzonych dyskusji w środowisku praktyków zajmujących się tym rynkiem. Zbiory te obejmują okres od stycznia 1999 do grudnia 2000 r. Dane z roku 1999 podzielono na zbiór uczący i zbiór testowy. Zbiór uczący wykorzystano do optymalizacji wag połączeń międzyneuronowych. Na podstawie zbioru testowego dokonano weryfikacji i wyboru struktur o najlepszych walorach prognostycznych. Wartości z tego okresu wykorzystane zostały w celu wyłonienia najlepiej generalizujących architektur. Dalsze prace prowadzono na danych z roku 2000, które podzielono na 5 części. Każdą z tych części podzielono na zbiory uczący i zbiór testujący. Ta część badań miała za zadanie odnalezienie optymalnych wartości wag w tym okresie, a następnie sprawdzenie ich w krótkim czasie na podstawie danych testowych. Na podstawie danych z roku 2000 podjęto próbę opracowania strategii zawierania transakcji.
4 110 H. Marjak W pierwszym etapie badań sieci użyto klasycznego algorytmu propagacji wstecznej. Wybrane do analizy w krótkim okresie sieci badano, wykorzystując cztery metody uczenia: podstawowy algorytm propagacji wstecznej, algorytmy wykorzystujące pewną dozę wiedzy heurystycznej Quickprop oraz RPROP. Inną metodą jest metoda gradientów sprzężonych z regularyzacją SCG (ang. scaled conjugate gradient). Zbudowanie poprawnie działającej sieci wiąże się z koniecznością rozwiązania licznych problemów. Dotyczą one już na początku określenia zbiorów uczącego i testowego. Analogicznie jak w większości podobnych przypadków konieczne stało się przetworzenie posiadanych danych w wartości z zakresu od 0,1 do 0,9. Ocenę jakości sieci oraz jakości prognoz, uzyskiwanych za pomocą tych sieci, przeprowadzono z wykorzystaniem dwóch miar błędów SSE (sumy kwadratów odchyleń) i RSQ (kwadratu wskaźników korelacyjnych Pearsona): gdzie: t i wartości rzeczywiste, σ wartości otrzymane, i n 1 t i i= 0 SSE = ( σ ) RSQ n 1 i= 0 ( t i i= 0 = 1 n 1 ( t t średnia szeregu wartości rzeczywistych, n liczba próbek. i 2 σ ) i i t ) 2 2 METODY INTELIGENCJI OBLICZENIOWEJ Inteligencja rojowa Inteligencja rojowa opracowana została na podstawie studiów nad organizmami żyjącymi w rojach lub koloniach. Studia nad społecznymi zachowaniami organizmów w takich grupach umożliwiły zaprojektowanie efektywnych algorytmów klasyfikacji i optymalizacji. Systemy wielocząsteczkowe PSO (ang. particle swarm optimization) to metoda optymalizacji oparta na studiach obserwacji stad ptaków. PSO jest procedurą przeszukiwania, gdzie element pojedynczy grupy odnajduje swoje miejsce, wybierając najlepsze sąsiedztwo. Każda cząstka w grupie odpowiada propozycji rozwiązania problemu optymalizacji. W systemach wielocząsteczkowych każda cząstka krąży w wielowymiarowej przestrzeni przeszukiwań, dostosowując swoje miejsce w przestrzeni zgodnie ze swoim doświadczeniem i z doświadczeniem cząstek sąsiednich. Cząstka krąży wokół globalnego minimum, ciągle szukając najlepszego rozwiązania. Wydajność każdej cząstki mierzona jest za pomocą wcześniej zdefiniowanej, charakterystycznej dla rozwiązywanego problemu, funkcji dopasowania (Engelbrecht 2002).
5 Metody inteligencji obliczeniowej. Zastosowanie sieci Sieci neuronowe Sieć neuronowa składa się z pewnej liczby jednostek elementarnych, nazywanych sztucznymi neuronami, przetwarzających dane. Często są one pogrupowane w warstwę wejściową, warstwy ukryte oraz warstwę wyjściową. Topologia i parametry połączeń stanowią program działania sieci. Sygnały pojawiające się na wyjściach, jako odpowiedź na macierze wejściowe, są rozwiązaniami problemów. Przykładem takiej struktury może być sieć trzywarstwowa, wykorzystująca do uczenia się algorytm propagacji wstecznej, działający wg schematu (Osowski 1996): analiza sieci neuronowych dla aktualnego wektora wejściowego; utworzenie sieci propagacji wstecznej, zastąpienie funkcji aktywacji ich pochodnymi, doprowadzenie na wyjścia z poprzedniego etapu, obecnie wejścia, sygnałów będących różnicami między odpowiednimi wartościami uzyskanymi a wymaganymi; adaptacja wag na podstawie poprzednich etapów; kontynuacja uczenia się dla wszystkich wektorów uczących do czasu spełnienia warunku zatrzymania. Obliczenia ewolucyjne Algorytmy genetyczne to techniki rozwiązujące zadania, wykorzystujące ocenę proponowanych rozwiązań, podobnie jak dzieje się to w naturalnych warunkach. Metoda ta pojawiła się w latach 70. za sprawą Hollanda, który zainspirowany teorią ewolucji utworzył na jej podstawie algorytm komputerowy naśladujący proces ewolucji w celu wyłaniania lepiej przystosowanych organizmów. Ewolucja i naturalna selekcja w populacjach organizmów żywych to dziedzina, na podstawie której badacze opracowali algorytmy genetyczne. Potrzeba opisania zjawisk, posiadających charakter wieloznaczny i nieprecyzyjny, była podstawą do stworzenia teorii zbiorów rozmytych. Sztuczne sieci neuronowe naśladują procesy myślowe i struktury występujących w rzeczywistości układów nerwowych żywych organizmów. Jakkolwiek zagadnienia wymienione powyżej mogą być rozpatrywane oddzielnie, to nie sposób nie wspomnieć o związkach łączących wszystkie te metody. Cechą cenioną przez projektantów systemów jest odporność na zakłócenia oraz zdolność do adaptacji, co charakterystyczne jest dla algorytmów genetycznych (Holland 1992). Metoda ta wykorzystuje przeszłe doświadczenia do określenia obszarów o większym prawdopodobieństwie zaistnienia obszarów o większej wydajności. Choć algorytmy genetyczne wykorzystują elementy losowości, nie ograniczają się jednak do błądzenia przypadkowego. Sztuczne sieci neuronowe (Tadeusiewicz 1995) są stosowane tam, gdzie ważne jest zwiększenie wydajności przez równoległe przetwarzanie, gdzie ważna jest odporność układu na zakłócenia oraz gdy nie jest znana charakterystyka badanego obiektu. Algorytmy genetyczne można stosować do znalezienia wag oraz topologii sieci neuronowych, a także do tworzenia baz reguł i funkcji przynależności w systemach rozmytych. Sieci neuronowe umożliwiają wyspecyfikowanie charakterystycznych dla algorytmów genetycznych parametrów krzyżowania i mutacji, a zastosowane w systemach rozmytych przekształcają je w systemy uczące się.
6 112 H. Marjak Algorytmy genetyczne wykorzystują wiele pojęć z genetyki. Zakodowany w postaci chromosomów zbiór parametrów zadania to organizm (osobnik). Chromosomy to uporządkowane ciągi genów, które z kolei są znacznikami (detektorami) pojedynczego elementu genotypu. Genotyp to struktura osobnika, składająca się z wielu chromosomów lub z jednego chromosomu. Fenotyp jest zdekodowaną strukturą osobnika powstałą na podstawie genotypu. Gen ma swoją wartość, czyli allel oraz pozycję locus w ramach chromosomu. Symulacja ewolucji prowadzona jest przez badanie, jak kolejne osobniki przystosowują się do warunków; wybierają do dalszej reprodukcji tylko osobniki najlepiej przystosowane. Miarą przystosowania jest funkcja przystosowania (ang. fitness function) Rutkowska i in. (1997). Na proces symulacji składają się wielokrotnie powtarzane cztery etapy (rys. 3): reprodukcja i wybór najlepiej przystosowanych organizmów; modyfikacja nowych organizmów, np. mutacja; ocena nowych organizmów za pomocą funkcji dopasowania oraz odrzucenie osobników najsłabszych, najgorzej dopasowanych. Chromosomy w algorytmach genetycznych, zaproponowanych przez Hollanda, składały się z ciągu zer i jedynek. Przy wyborze najlepiej przystosowanych osobników do reprodukcji wykorzystuje się najczęściej metodę koła ruletki. Podstawowymi operatorami genetycznymi, stosowanymi w celu utworzenia nowej populacji, są operator krzyżowania i mutacji. Pary rodzicielskie wybierane są z puli rodzicielskiej losowo. Podobnie losowo wybiera się punkt krzyżowania (locus). W przypadku mutacji następuje z określonym prawdopodobieństwem zamiana genu z określonej pozycji na wartość przeciwną. Potomstwo Reprodukcja Modyfikacja Rodzice Potomstwo ocenione Zmodyfikowane potomstwo Populacja Ocena Organizmy odrzucone Odrzucenie Rys. 3. Etapy reprodukcji Źródło: opracowano na podstawie: Davis (1994). Systemy rozmyte Logika rozmyta (Rutkowska i in. 1997) dobrze funkcjonuje w sytuacjach, gdy niemożliwe jest inną drogą efektywne zaadaptowanie pewnych informacji w postaci numerycznej. Chodzi tu głównie o informację lingwistyczną, np. deskryptory mały, duży, mniejszy mogą one mieć różne znaczenie dla różnych odbiorców. Ludzkie postrzeganie nie jest dokładne. Nasze obserwacje i myślenie zawiera element niepewności, który nie byłby możliwy do zaprezentowania w tradycyjnej teorii zbiorów i zrozumiały przez system komputerowy.
7 Metody inteligencji obliczeniowej. Zastosowanie sieci WYNIKI BADAŃ EMPIRYCZNYCH Wybór struktury sieci neuronowej Wstępnie przetestowano sieci z dużego przedziału architektur od struktury najprostszej z 12 węzłami wejściowymi i 1 neuronem wyjściowym do struktury wielowarstwowej: 12 neuronów wejściowych, 12 neuronów w I warstwie ukrytej, 12 neuronów w II warstwie ukrytej i 1 neuron wyjściowy. Proces uczenia się polega na wielokrotnym przedstawianiu wzorców danych uczących. Liczba cykli uczenia się zależna jest od postępu uczenia. Uczenie przerywane jest, gdy wartość błędu osiągnie założoną wartość lub gdy dalszy trening nie powoduje zmniejszania się miary minimalizowanego błędu. W tabeli 1 porównano błędy SSE i RSQ prognoz uzyskanych na podstawie danych uczących i testowych. Tabela 1. Porównanie miar błędów badanych struktur Architektura Trening Testowanie sse rsq sse rsq ,8284 0,5551 2,2127 0, ,7858 0,5780 1,7908 0, ,8266 0,5561 2,1114 0, ,8163 0,5616 1,9792 0, ,8212 0,5590 1,9270 0, ,7395 0,6029 1,1293 0, ,7882 0,5767 1,6473 0, ,7994 0,5707 1,7292 0, ,7598 0,5920 1,2768 0, ,7827 0,5797 1,7448 0, ,7316 0,6071 1,9491 0, ,7789 0,5817 1,0857 0, ,8492 0,5439 1,1435 0, ,8397 0,5491 1,6988 0, ,8597 0,5383 1,9970 0, ,8223 0,5584 1,5286 0, ,7459 0,5994 1,4498 0, ,8049 0,5678 1,7039 0, ,8779 0,5285 2,4780 1, ,7948 0,5732 1,1480 0, ,7984 0,5713 1,5583 0, ,7137 0,6167 1,3798 0, ,7555 0,5943 1,9398 0, ,7289 0,6086 1,4620 0, ,8348 0,5517 1,9239 0,6015 Na podstawie powyższych wyników można stwierdzić, że poziom błędu SSE w fazie treningu nie przekłada się we wszystkich przypadkach na wartość SSE w trakcie testowania. Najmniejszą wartość SSE w fazie treningu uzyskano dla sieci (0,7137), wartość SSE w fazie testowania dla tej struktury wyniosła 1,3798, co nie jest wartością naj-
8 114 H. Marjak mniejszą wśród badanych sieci. Najmniejszą wartość SSE w fazie testowania uzyskano dla sieci (1,0857), dla której SSE w fazie treningu wyniósł 0,7789. Podobne wnioski można wyciągnąć z analizy błędów RSQ, przy czym należy zauważyć, że wyjątkiem jest tu struktura , dla której błędy SSE i RSQ w fazie treningu i testowania osiągnęły wartości najgorsze spośród badanych sieci. Analizując wyniki sieci najlepszych ze względu na błąd RSQ, znajdujemy potwierdzenie poprzednich obserwacji. Najmniejszą wartość błędu RSQ w fazie treningu zaobserwowano dla sieci (0,6167). W tym przypadku, podobnie jak dla SSE, wartość RSQ w fazie testowania nie była najmniejsza (-0,1485). Analogicznie najmniejszą wartość RSQ w fazie testowania uzyskano dla sieci (1,0857), dla której RSQ w fazie uczenia wynosiło 0,5817. Powyższe rozważania przedstawiono graficznie na rys. 4, 5. sse See trening trening Sse trening ,86 0,84 0,82 0,80 0,78 0,76 0,74 0,72 sse trening sse testowanie 2, ,2 2 2, , ,6 1, ,2 1.2 sse See testowanie Sse testowanie 0, ,0 1 Rys. 4. Porównanie błędów sse dla zbioru uczącego i dla zbioru testowego Jeżeli chodzi o wyniki (tab. 1), do dalszych prac zakwalifikowano takie sieci, dla których błędy RSQ i SSE w fazach uczenia i testowania wykazywały podobne tendencje; odrzucono te, dla których miara błędu była wprawdzie najlepsza, ale tylko dla jednej z faz badania lub tylko dla jednej z miar błędów. Dalsze prace podjęto z następującymi 4 strukturami: 3-warstwowymi 12 węzłów wejściowych, 5 lub 10 neuronów warstwy ukrytej oraz 1 neuron warstwy wyjściowej; 4-warstwowymi 12 węzłów wejściowych, 12 neuronów 1. warstwy ukrytej, 9 lub 11 neuronów 2. warstwy ukrytej oraz 1 neuron warstwy wyjściowej. Wybrane modele sieci przedstawiono na rys. 6.
9 Metody inteligencji obliczeniowej. Zastosowanie sieci rsq trening rsq trening , , , , , , , ,54 0, , rsq trening rsq testowanie , ,2 0, , ,8 1,0-1 1,2-1.2 rsq testowanie rsq testowanie Rys. 5. Porównanie błędów rsq dla zbioru uczącego i dla zbioru testowego a) b) Rys. 6. Wybrane struktury sieci a) i b)
10 116 H. Marjak Na podstawie osiągniętych wyników można wstępnie porównać dokładności prognozy uzyskane na podstawie zbioru testowego dla wybranych modeli sieci neuronowych i dłuższego horyzontu prognozy (rys. 7, 8) , Rzeczywiste 4.2 4, ,1 4, , / / / /1999 Rys. 7. Porównanie prognoz uzyskanych za pomocą sieci 3-warstwowych: i , Rzeczywiste 4.2 4,2 4, ,0 4 3, / / / /1999 Rys. 8. Porównanie prognoz uzyskanych za pomocą sieci 4-warstwowych: i Można zauważyć, że w początkowym okresie prognozowania (sierpień-wrzesień 1999 r.) prognozy są bliskie wartościom rzeczywistym. W dłuższym okresie wartości te ulegają dyspersji. Z rysunków 7, 8 wynika również, że dla wszystkich struktur uzyskano optymalne wartości wag dla prezentowanych danych uczących prognozy dla tych struktur są podobne.
11 Metody inteligencji obliczeniowej. Zastosowanie sieci Na podstawie prognoz, biorąc pod uwagę rozbieżność prognoz w dłuższym horyzoncie czasowym, zdecydowano o optymalizowaniu wag wybranych sieci w krótkim okresie dla zbiorów danych obejmujących rok Optymalizacja wybranych architektur sieci neuronowych Zbiór danych z roku 2000 podzielono na 5 zestawów, każdy z nich podzielono z kolei na zbiór treningowy i zbiór testowy. Zbiory testowe, które będą podstawą prognoz i budowania strategii inwestycyjnych, obejmowały następujące okresy i serie kontraktów: zestaw I: , seria USJ0; zestaw II: , seria USM0; zestaw III: , seria USQ0; zestaw IV: , seria USX0; zestaw V: , seria USZ0. Wybrane struktury sieci były uczone za pomocą następujących algorytmów: podstawowego algorytmu propagacji wstecznej (Std_Prop), algorytmu Quickprop, algorytmu RPROP, algorytmu gradientów sprzężonych z regularyzacją (SCG). Dla zbiorów testowych, optymalizowanych dla krótkiego okresu z roku 2000, uzyskano miary błędów, które podano w tab. 2. Tabela 2. Błędy SSE dla wybranych architektur i krótkich serii danych Architektura i algorytm uczenia Zestaw I Zestaw II trening testowanie trening testowanie Std_Prop 0,0131 0,0464 0,0194 0, QuickP 0,0101 0,0681 0,0164 0,6048 Rprop 0,0083 0,0793 0,0142 0,6476 SCG 0,0045 0,0439 0,0113 0,8573 Std_Prop 0,0106 0,0553 0,0169 0, QuickP 0,0099 0,0509 0,0147 0,8886 Rprop 0,0068 0,0795 0,0126 0,7715 SCG 0,0034 0,0597 0,0112 0,8366 Std_Prop 0,0116 0,0618 0,0191 0, QuickP 0,0098 0,0627 0,0169 0,6600 Rprop 0,0074 0,0692 0,0134 0,6607 SCG 0,0046 0,0414 0,0111 0,8864 Std_Prop 0,0105 0,0350 0,0220 0, QuickP 0,0112 0,1155 0,0168 0,8796 Rprop 0,0073 0,0745 0,0137 0,5999 SCG 0,0049 0,0448 0,0117 0,5740 sse średnie 0,0084 0,0618 0,0151 0,7468 Std_Prop 0,0588 0,0158 0,0274 0, QuickP 0,0616 0,0128 0,0090 0,0416 Rprop 0,0637 0,0155 0,0072 0,0231 SCG 0,0355 0,0311 0,0040 0,1874
12 118 H. Marjak cd. tab. 2 Zestaw III Zestaw IV Architektura i algorytm uczenia trening testowanie trening testowanie Std_Prop 0,0581 0,0168 0,0155 0, QuickP 0,0662 0,0327 0,0084 0,0447 Rprop 0,0604 0,0255 0,0073 0,0234 SCG 0,0463 0,0152 0,0053 0,0348 Std_Prop 0,0549 0,0149 0,0273 0, QuickP 0,0607 0,0246 0,0094 0,0828 Rprop 0,0528 0,0104 0,0067 0,0193 SCG 0,0483 0,0111 0,0046 0,1538 Std_Prop 0,0576 0,0129 0,0169 0, QuickP 0,0637 0,0148 0,0083 0,0321 Rprop 0,0589 0,0109 0,0066 0,0197 SCG 0,0493 0,0105 0,0051 0,0993 sse średnie 0,0561 0,0172 0,0106 0,1019 Zestaw V sse średnie dla zestawów I V Std_Prop 0,0188 0,1515 0,0275 0, QuickP 0,0096 0,2166 0,0213 0,1888 Rprop 0,0091 0,2529 0,0205 0,2037 SCG 0,0078 0,3633 0,0126 0,2966 Std_Prop 0,0129 0,1407 0,0228 0, QuickP 0,0092 0,2896 0,0217 0,2613 Rprop 0,0089 0,2297 0,0192 0,2259 SCG 0,0080 0,3421 0,0148 0,2577 Std_Prop 0,0152 0,0969 0,0256 0, QuickP 0,0091 0,1962 0,0212 0,2053 Rprop 0,0090 0,1974 0,0179 0,1914 SCG 0,0078 0,3464 0,0153 0,2878 Std_Prop 0,0167 0,1346 0,0247 0, QuickP 0,0095 0,1998 0,0219 0,2484 Rprop 0,0092 0,2078 0,0191 0,1826 SCG 0,0082 0,3262 0,0158 0,2110 sse średnie 0,0106 0,2307 Najmniejszy błąd SSE, w fazie treningu, uzyskano dla zestawu I, architektury , w której wagi optymalizowane były za pomocą algorytmu SCG (0,0034). Najmniejszy błąd SSE w fazie testowania uzyskano dla zestawu III, architektury , w której wagi optymalizowano za pomocą algorytmu Rprop (0,0104). Średni błąd SSE dla wszystkich zestawów (I-V) wyniósł: dla treningu 0,0201, dla testowania 0,2317. W przypadku zestawu I najmniejsze wartości SSE w fazie treningu uzyskano dla algorytmu SCG architektur (0,0034), (0,0045), (0,0046). Najmniejsze wartości SSE w fazie testowania uzyskano dla następujących struktur: trening za pomocą klasycznego algorytmu propagacji wstecznej (0,0350) oraz dla następujących sieci uczonych za pomocą algorytmu SCG: (0,0414) i (0,0439). Średnie SSE dla zestawu I wyniosły w czasie uczenia 0,0084, w fazie testowania 0,0618.
13 Metody inteligencji obliczeniowej. Zastosowanie sieci Podobnie jak w przypadku zestawu I, także w przypadku zestawu II najmniejsze wartości SSE w fazie treningu uzyskano dla algorytmu SCG i tych samych struktur: (0,0111), (0,0112), (0,0113). Testowanie wykazało, że najmniejsze błędy SSE uzyskano dla architektury uczonej za pomocą algorytmów: SCG (0,5740) i Rprop (0,5999) oraz architektury algorytm Quickprop (0,6048). Średnie SSE dla tej serii to w fazie treningu 0,151, podczas testowania 0,7468. W przypadku zestawu III w fazie treningu najmniejsze wartości SSE uzyskano dla architektur (0,0355), (0,0549), (0,0483), gdzie wagi optymalizowano za pomocą algorytmu SCG. Podczas testowania, podobnie jak w poprzednim zestawie, bardzo dobre wyniki uzyskano dla architektur uczonych za pomocą algorytmów SCG (0,0105) i Rprop (0,0109). Najmniejszy błąd uzyskano jednak dla architektury i algorytmu Rprop (0,0104). SSE średnie dla tego zestawu uzyskano w fazie treningu 0,0561, dla testowania 0,0172. Należy zwrócić uwagę, że średni błąd SSE dla testowania był ponad 3 razy mniejszy niż dla okresu, na podstawie którego sieć była optymalizowana. Najmniejsze wartości SSE dla zestawu IV w fazie treningu uzyskano dla następujących sieci uczonych za pomocą algorytmu SCG: (0,0040), (0,0046), (0,0051). Testowanie wykazało, że najmniejsze wartości SSE uzyskano dla następujących sieci trenowanych za pomocą algorytmu Rprop: (0,0183), (0,0197), (0,0231). SSE średnie wyniosło dla treningu 0,0106, a dla testowania 0,0119. Tak jak w poprzednich przypadkach, tak i w przypadku zestawu V najniższe SSE podczas treningu uzyskano dla sieci uczonych za pomocą algorytmu SCG i następujących architektur: (0,0078), (0,0078), (0,0080). Najlepiej wytrenowanymi sieciami, podczas sprawdzania na zbiorze testowym, okazały się sieci: (0,0969), (0,1346), (0,1407), które uczono za pomocą klasycznego algorytmu propagacji wstecznej. Średnie SSE dla zestawu V wyniosły w fazie treningu 0,0106, w fazie testowania 0,2307. Podczas analizy wyników wszystkich zestawów danych (I V) można zauważyć, że najlepsze SSE w fazie treningu uzyskiwano dla sieci uczonych za pomocą algorytmu SCG; najmniejsze SSE dla wszystkich zestawów uzyskano dla architektury (0,0126). Najmniejsze wartości SSE w fazie testowania dla wszystkich zestawów (I V) uzyskano w przypadku sieci uczonych za pomocą algorytmu Rprop (0,1826). Wyżej wymienione struktury ( SCG i Rprop) zakwalifikowano do dalszej analizy. Ponadto dalszym badaniom poddany zostanie także przypadek najbardziej zbliżony do wyniku średniego dla wszystkich zestawów (I V), tj. struktura , trenowana za pomocą algorytmu Rprop. Na rysunkach 9 i 10 porównano prognozy dla wybranych struktur, zestawów badanych w krótkim okresie, dla których osiągnięte zostały najmniejsze błędy średnie SSE w fazie treningu zestaw I (rys. 9) oraz w fazie testowania zestaw III (rys. 10). Można zauważyć, że dla zestawu II, dla którego uzyskano największy średni błąd SSE (0,7468), prognozy uzyskane za pomocą wybranych sieci wyraźnie odbiegają od wartości rzeczywistych. Podobną właściwość zauważymy dla zestawu IV i sieci SCG, w szczególności w okresie obejmującym październik 2000 r. W wielu obserwowanych przypadkach prognozy, które uzyskano za pomocą różnych struktur, były porównywalne. Dotyczy to szczególnie prognoz uzyskanych przez optymalizowanie za pomocą tego samego algorytmu Rprop.
14 120 H. Marjak 4, , , , , Rzeczywiste SCG Rprop Rprop /21/ /28/ /06/ /13/ /20/ /27/ /03/ /10/ /17/2000 Rys. 9. Porównanie prognoz cen zamknięcia kontraktów terminowych na USD, serii USJ0, z wartościami rzeczywistymi dla badanych sieci 4, , Rzeczywiste SCG Rprop Rprop , , , , , /24/ /31/ /07/ /14/ /21/ /28/ /04/ /11/ /18/2000 Rys. 10. Porównanie prognoz cen zamknięcia kontraktów terminowych na USD, serii USQ0, z wartościami rzeczywistymi dla badanych sieci PODSUMOWANIE Osiągnięte wyniki pozwalają przypuszczać, że w przypadku kontynuacji badań nad przedstawioną tematyką, poprzez rozszerzenie zbioru uczącego, możliwe jest osiągnięcie
15 Metody inteligencji obliczeniowej. Zastosowanie sieci wyników obarczonych nie tylko mniejszym błędem, ale także dokładniej odwzorowujących rzeczywiste wartości prognozowanych cen. Kolejny obszar badań dotyczyć może wykorzystania przedstawionych wyników do stworzenia efektywnej strategii inwestycyjnej. Najlepsze wyniki uzyskano dla sieci o architekturze Istotny był także algorytm uczenia w naszym przypadku był to algorytm Rprop. PIŚMIENNICTWO Davis L Genetic Algorithms and Financial Application [in: Trading on the edge: neural, genetic, and fuzzy systems for chaotic and financial markets]. Ed. G.J. Deboeck. John Wiley&Sons, Chichester. Engelbrecht A.P Computational Intelligence: An Introduction. John Wiley&Sons, Chichester. Holland J Adaptation in Natural and Artificial Systems. MIT Press, Cambridge. Hopgood A. A Intelligent Systems for Engineers and Scientists. CRC Press, Boca Raton. Osowski S Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa. Rutkowska D., Piliński M., Rutkowski L Sieci neuronowe, algorytmy genetyczne i systemy rozmyte. PWN, Warszawa. Tadeusiewicz R Sieci neuronowe. Akademicka Oficyna PLJ, Warszawa.
Algorytm Genetyczny. zastosowanie do procesów rozmieszczenia stacji raportujących w sieciach komórkowych
Algorytm Genetyczny zastosowanie do procesów rozmieszczenia stacji raportujących w sieciach komórkowych Dlaczego Algorytmy Inspirowane Naturą? Rozwój nowych technologii: złożone problemy obliczeniowe w
Zastosowanie sztucznych sieci neuronowych w prognozowaniu szeregów czasowych (prezentacja 2)
Zastosowanie sztucznych sieci neuronowych w prognozowaniu szeregów czasowych (prezentacja 2) Ewa Wołoszko Praca pisana pod kierunkiem Pani dr hab. Małgorzaty Doman Plan tego wystąpienia Teoria Narzędzia
Algorytmy genetyczne
9 listopada 2010 y ewolucyjne - zbiór metod optymalizacji inspirowanych analogiami biologicznymi (ewolucja naturalna). Pojęcia odwzorowujące naturalne zjawiska: Osobnik Populacja Genotyp Fenotyp Gen Chromosom
Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego
IBS PAN, Warszawa 9 kwietnia 2008 Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego mgr inż. Marcin Jaruszewicz promotor: dr hab. inż. Jacek Mańdziuk,
Tomasz Pawlak. Zastosowania Metod Inteligencji Obliczeniowej
1 Zastosowania Metod Inteligencji Obliczeniowej Tomasz Pawlak 2 Plan prezentacji Sprawy organizacyjne Wprowadzenie do metod inteligencji obliczeniowej Studium wybranych przypadków zastosowań IO 3 Dane
Algorytm genetyczny (genetic algorithm)-
Optymalizacja W praktyce inżynierskiej często zachodzi potrzeba znalezienia parametrów, dla których system/urządzenie będzie działać w sposób optymalny. Klasyczne podejście do optymalizacji: sformułowanie
WYKORZYSTANIE SZTUCZNYCH SIECI NEURONOWYCH W PROGNOZOWANIU
WYKORZYSTANIE SZTUCZNYCH SIECI NEURONOWYCH W PROGNOZOWANIU THE USE OF ARTIFICIAL NEURAL NETWORKS IN FORECASTING Konrad BAJDA, Sebastian PIRÓG Resume Artykuł opisuje wykorzystanie sztucznych sieci neuronowych
1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda
Sieci neuropodobne 1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN Agenda Trochę neurobiologii System nerwowy w organizmach żywych tworzą trzy
WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice)
WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO Stanisław Kowalik (Poland, Gliwice) 1. Wprowadzenie Wstrząsy podziemne i tąpania występujące w kopalniach
PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH**
Górnictwo i Geoinżynieria Rok 31 Zeszyt 3 2007 Dorota Pawluś* PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH** 1. Wstęp Eksploatacja górnicza złóż ma niekorzystny wpływ na powierzchnię
Optymalizacja optymalizacji
7 maja 2008 Wstęp Optymalizacja lokalna Optymalizacja globalna Algorytmy genetyczne Badane czasteczki Wykorzystane oprogramowanie (Algorytm genetyczny) 2 Sieć neuronowa Pochodne met-enkefaliny Optymalizacja
Wprowadzenie do teorii systemów ekspertowych
Myślące komputery przyszłość czy utopia? Wprowadzenie do teorii systemów ekspertowych Roman Simiński siminski@us.edu.pl Wizja inteligentnych maszyn jest od wielu lat obecna w literaturze oraz filmach z
KARTA MODUŁU KSZTAŁCENIA
KARTA MODUŁU KSZTAŁCENIA I. Informacje ogólne 1 Nazwa modułu kształcenia Sztuczna inteligencja 2 Nazwa jednostki prowadzącej moduł Instytut Informatyki, Zakład Informatyki Stosowanej 3 Kod modułu (wypełnia
Sieci Neuronowe - Rok III - kierunek IS w IFAiIS UJ 2008/2009. Sieci Neuronowe. Wykład 11 Algorytmy genetyczne; Systemy rozmyte
Sieci Neuronowe Wykład 11 Algorytmy genetyczne; Systemy rozmyte wykład przygotowany na podstawie. S. Osowski, Sieci Neuronowe w ujęciu algorytmicznym, Rozdz. 4, PWNT, Warszawa 1996. W. Duch, J. Korbicz,
Uczenie sieci typu MLP
Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik
ID1SII4. Informatyka I stopień (I stopień / II stopień) ogólnoakademicki (ogólno akademicki / praktyczny) stacjonarne (stacjonarne / niestacjonarne)
Załącznik nr 7 do Zarządzenia Rektora nr 10/12 z dnia 21 lutego 2012r. KARTA MODUŁU / KARTA PRZEDMIOTU Kod modułu ID1SII4 Nazwa modułu Systemy inteligentne 1 Nazwa modułu w języku angielskim Intelligent
Sztuczna Inteligencja Tematy projektów Sieci Neuronowe
PB, 2009 2010 Sztuczna Inteligencja Tematy projektów Sieci Neuronowe Projekt 1 Stwórz projekt implementujący jednokierunkową sztuczną neuronową złożoną z neuronów typu sigmoidalnego z algorytmem uczenia
PRZEWODNIK PO PRZEDMIOCIE
Nazwa przedmiotu: Kierunek: Informatyka Rodzaj przedmiotu: obowiązkowy w ramach treści kierunkowych, moduł kierunkowy oólny Rodzaj zajęć: wykład, laboratorium I KARTA PRZEDMIOTU CEL PRZEDMIOTU PRZEWODNIK
Algorytmy genetyczne. Materiały do laboratorium PSI. Studia stacjonarne i niestacjonarne
Algorytmy genetyczne Materiały do laboratorium PSI Studia stacjonarne i niestacjonarne Podstawowy algorytm genetyczny (PAG) Schemat blokowy algorytmu genetycznego Znaczenia, pochodzących z biologii i genetyki,
Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, Spis treści
Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, 2012 Spis treści Przedmowa do wydania drugiego Przedmowa IX X 1. Wstęp 1 2. Wybrane zagadnienia sztucznej inteligencji
Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym
Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym Jan Karwowski Wydział Matematyki i Nauk Informacyjnych PW 17 XII 2013 Jan Karwowski
Algorytmy genetyczne. Materiały do laboratorium PSI. Studia niestacjonarne
Algorytmy genetyczne Materiały do laboratorium PSI Studia niestacjonarne Podstawowy algorytm genetyczny (PAG) Schemat blokowy algorytmu genetycznego Znaczenia, pochodzących z biologii i genetyki, pojęć
Dobór parametrów algorytmu ewolucyjnego
Dobór parametrów algorytmu ewolucyjnego 1 2 Wstęp Algorytm ewolucyjny posiada wiele parametrów. Przykładowo dla algorytmu genetycznego są to: prawdopodobieństwa stosowania operatorów mutacji i krzyżowania.
Wstęp do Sztucznej Inteligencji
Wstęp do Sztucznej Inteligencji Algorytmy Genetyczne Joanna Kołodziej Politechnika Krakowska Wydział Fizyki, Matematyki i Informatyki Metody heurystyczne Algorytm efektywny: koszt zastosowania (mierzony
Zadania laboratoryjne i projektowe - wersja β
Zadania laboratoryjne i projektowe - wersja β 1 Laboratorium Dwa problemy do wyboru (jeden do realizacji). 1. Water Jug Problem, 2. Wieże Hanoi. Water Jug Problem Ograniczenia dla każdej z wersji: pojemniki
ALGORYTMY GENETYCZNE ćwiczenia
ćwiczenia Wykorzystaj algorytmy genetyczne do wyznaczenia minimum globalnego funkcji testowej: 1. Wylosuj dwuwymiarową tablicę 100x2 liczb 8-bitowych z zakresu [-100; +100] reprezentujących inicjalną populację
FOLIA POMERANAE UNIVERSITATIS TECHNOLOGIAE STETINENSIS Folia Pomer. Univ. Technol. Stetin. 2009, Oeconomica 275 (57), 53 58
FOLIA POMERANAE UNIVERSITATIS TECHNOLOGIAE STETINENSIS Folia Pomer. Univ. Technol. Stetin. 2009, Oeconomica 275 (57), 53 58 Anna LANDOWSKA ROZWIĄZANIE PROBLEMU OPTYMALNEGO PRZYDZIAŁU ZA POMOCĄ KLASYCZNEGO
ALGORYTMY GENETYCZNE (wykład + ćwiczenia)
ALGORYTMY GENETYCZNE (wykład + ćwiczenia) Prof. dr hab. Krzysztof Dems Treści programowe: 1. Metody rozwiązywania problemów matematycznych i informatycznych.. Elementarny algorytm genetyczny: definicja
Obliczenia ewolucyjne - plan wykładu
Obliczenia ewolucyjne - plan wykładu Wprowadzenie Algorytmy genetyczne Programowanie genetyczne Programowanie ewolucyjne Strategie ewolucyjne Inne modele obliczeń ewolucyjnych Podsumowanie Ewolucja Ewolucja
Inżynieria danych I stopień Praktyczny Studia stacjonarne Wszystkie specjalności Katedra Inżynierii Produkcji Dr Małgorzata Lucińska
KARTA MODUŁU / KARTA PRZEDMIOTU Kod modułu Nazwa modułu Nazwa modułu w języku angielskim Obowiązuje od roku akademickiego 205/206 Z-ID-602 Wprowadzenie do uczenia maszynowego Introduction to Machine Learning
6. Klasyczny algorytm genetyczny. 1
6. Klasyczny algorytm genetyczny. 1 Idea algorytmu genetycznego została zaczerpnięta z nauk przyrodniczych opisujących zjawiska doboru naturalnego i dziedziczenia. Mechanizmy te polegają na przetrwaniu
Algorytmy ewolucyjne NAZEWNICTWO
Algorytmy ewolucyjne http://zajecia.jakubw.pl/nai NAZEWNICTWO Algorytmy ewolucyjne nazwa ogólna, obejmująca metody szczegółowe, jak np.: algorytmy genetyczne programowanie genetyczne strategie ewolucyjne
PRZEWODNIK PO PRZEDMIOCIE
Nazwa przedmiotu: INTELIGENTNE SYSTEMY OBLICZENIOWE Systems Based on Computational Intelligence Kierunek: Inżynieria Biomedyczna Rodzaj przedmiotu: obowiązkowy moduł specjalności informatyka medyczna Rodzaj
Algorytmy genetyczne. Dariusz Banasiak. Katedra Informatyki Technicznej Wydział Elektroniki
Dariusz Banasiak Katedra Informatyki Technicznej Wydział Elektroniki Obliczenia ewolucyjne (EC evolutionary computing) lub algorytmy ewolucyjne (EA evolutionary algorithms) to ogólne określenia używane
PRZEWODNIK PO PRZEDMIOCIE
Nazwa przedmiotu: Kierunek: Mechatronika Rodzaj przedmiotu: obowiązkowy Rodzaj zajęć: wykład, laboratorium I KARTA PRZEDMIOTU CEL PRZEDMIOTU PRZEWODNIK PO PRZEDMIOCIE C1. Zapoznanie studentów z inteligentnymi
FOLIA POMERANAE UNIVERSITATIS TECHNOLOGIAE STETINENSIS Folia Pomer. Univ. Technol. Stetin. 2011, Oeconomica 285 (62), 45 50
FOLIA POMERANAE UNIVERSITATIS TECHNOLOGIAE STETINENSIS Folia Pomer. Univ. Technol. Stetin. 2011, Oeconomica 285 (62), 45 50 Anna Landowska KLASYCZNY ALGORYTM GENETYCZNY W DYNAMICZNEJ OPTYMALIZACJI MODELU
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska
IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ
IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ Celem ćwiczenia jest zapoznanie się ze sposobem działania sieci neuronowych typu MLP (multi-layer perceptron) uczonych nadzorowaną (z nauczycielem,
PROGNOZOWANIE CENY OGÓRKA SZKLARNIOWEGO ZA POMOCĄ SIECI NEURONOWYCH
InŜynieria Rolnicza 14/2005 Sławomir Francik Katedra InŜynierii Mechanicznej i Agrofizyki Akademia Rolnicza w Krakowie PROGNOZOWANIE CENY OGÓRKA SZKLARNIOWEGO ZA POMOCĄ SIECI NEURONOWYCH Streszczenie W
LABORATORIUM 4: Algorytmy ewolucyjne cz. 2 wpływ operatorów krzyżowania i mutacji na skuteczność poszukiwań AE
Instytut Mechaniki i Inżynierii Obliczeniowej Wydział Mechaniczny Technologiczny, Politechnika Śląska www.imio.polsl.pl METODY HEURYSTYCZNE LABORATORIUM 4: Algorytmy ewolucyjne cz. 2 wpływ operatorów krzyżowania
SCHEMAT ROZWIĄZANIA ZADANIA OPTYMALIZACJI PRZY POMOCY ALGORYTMU GENETYCZNEGO
SCHEMAT ROZWIĄZANIA ZADANIA OPTYMALIZACJI PRZY POMOCY ALGORYTMU GENETYCZNEGO. Rzeczywistość (istniejąca lub projektowana).. Model fizyczny. 3. Model matematyczny (optymalizacyjny): a. Zmienne projektowania
SZTUCZNA INTELIGENCJA
SZTUCZNA INTELIGENCJA SYSTEMY ROZMYTE Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii Biomedycznej Laboratorium
Algorytm indukcji klasyfikatora za pomocą EA z automatycznym przełączaniem ukierunkowań
Algorytm indukcji klasyfikatora za pomocą EA z automatycznym przełączaniem ukierunkowań Anna Manerowska, Michal Kozakiewicz 2.12.2009 1 Wstęp Jako projekt na przedmiot MEUM (Metody Ewolucyjne Uczenia Maszyn)
Budowa sztucznych sieci neuronowych do prognozowania. Przykład jednostek uczestnictwa otwartego funduszu inwestycyjnego
Budowa sztucznych sieci neuronowych do prognozowania. Przykład jednostek uczestnictwa otwartego funduszu inwestycyjnego Dorota Witkowska Szkoła Główna Gospodarstwa Wiejskiego w Warszawie Wprowadzenie Sztuczne
Informatyka I stopień (I stopień / II stopień) ogólno akademicki (ogólno akademicki / praktyczny) kierunkowy (podstawowy / kierunkowy / inny HES)
Załącznik nr 7 do Zarządzenia Rektora nr 10/12 z dnia 21 lutego 2012r. KARTA MODUŁU / KARTA PRZEDMIOTU Kod modułu Zastosowanie sztucznych sieci neuronowych Nazwa modułu w informatyce Application of artificial
FORECASTING THE DISTRIBUTION OF AMOUNT OF UNEMPLOYED BY THE REGIONS
FOLIA UNIVERSITATIS AGRICULTURAE STETINENSIS Folia Univ. Agric. Stetin. 007, Oeconomica 54 (47), 73 80 Mateusz GOC PROGNOZOWANIE ROZKŁADÓW LICZBY BEZROBOTNYCH WEDŁUG MIAST I POWIATÓW FORECASTING THE DISTRIBUTION
Nazwa przedmiotu: METODY SZTUCZNEJ INTELIGENCJI W ZAGADNIENIACH EKONOMICZNYCH Artificial intelligence methods in economic issues Kierunek:
Nazwa przedmiotu: METODY SZTUCZNEJ INTELIGENCJI W ZAGADNIENIACH EKONOMICZNYCH Artificial intelligence methods in economic issues Kierunek: Forma studiów: Informatyka Stacjonarne Rodzaj przedmiotu: obowiązkowy
Uniwersytet Zielonogórski Wydział Elektrotechniki, Informatyki i Telekomunikacji Instytut Sterowania i Systemów Informatycznych
Uniwersytet Zielonogórski Wydział Elektrotechniki, Informatyki i Telekomunikacji Instytut Sterowania i Systemów Informatycznych ELEMENTY SZTUCZNEJ INTELIGENCJI Laboratorium nr 6 SYSTEMY ROZMYTE TYPU MAMDANIEGO
O badaniach nad SZTUCZNĄ INTELIGENCJĄ
O badaniach nad SZTUCZNĄ INTELIGENCJĄ Wykład 7. O badaniach nad sztuczną inteligencją Co nazywamy SZTUCZNĄ INTELIGENCJĄ? szczególny rodzaj programów komputerowych, a niekiedy maszyn. SI szczególną własność
Inspiracje soft computing. Soft computing. Terminy genetyczne i ich odpowiedniki w algorytmach genetycznych. Elementarny algorytm genetyczny
Soft computing Soft computing tym róŝni się od klasycznych obliczeń (hard computing), Ŝe jest odporny na brak precyzji i niepewność danych wejściowych. Obliczenia soft computing mają inspiracje ze świata
PRZEWODNIK PO PRZEDMIOCIE
Nazwa przedmiotu: Kierunek: Inżynieria Biomedyczna Rodzaj przedmiotu: obowiązkowy moduł specjalności informatyka medyczna Rodzaj zajęć: wykład, laboratorium BIOCYBERNETYKA Biocybernetics Forma studiów:
Algorytmy genetyczne
Algorytmy genetyczne Motto: Zamiast pracowicie poszukiwać najlepszego rozwiązania problemu informatycznego lepiej pozwolić, żeby komputer sam sobie to rozwiązanie wyhodował! Algorytmy genetyczne służą
O badaniach nad SZTUCZNĄ INTELIGENCJĄ
O badaniach nad SZTUCZNĄ INTELIGENCJĄ Jak określa się inteligencję naturalną? Jak określa się inteligencję naturalną? Inteligencja wg psychologów to: Przyrodzona, choć rozwijana w toku dojrzewania i uczenia
Algorytmy ewolucyjne 1
Algorytmy ewolucyjne 1 2 Zasady zaliczenia przedmiotu Prowadzący (wykład i pracownie specjalistyczną): Wojciech Kwedlo, pokój 205. Konsultacje dla studentów studiów dziennych: poniedziałek,środa, godz
Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16
Spis treści Przedmowa.......................... XI Rozdział 1. Pomiar: jednostki miar................. 1 1.1. Wielkości fizyczne i pozafizyczne.................. 1 1.2. Spójne układy miar. Układ SI i jego
Projekt Sieci neuronowe
Projekt Sieci neuronowe Chmielecka Katarzyna Gr. 9 IiE 1. Problem i dane Sieć neuronowa miała za zadanie nauczyć się klasyfikować wnioski kredytowe. W projekcie wykorzystano dane pochodzące z 110 wniosków
Wykorzystanie metod ewolucyjnych w projektowaniu algorytmów kwantowych
Wykorzystanie metod ewolucyjnych w projektowaniu algorytmów kwantowych mgr inż. Robert Nowotniak Politechnika Łódzka 1 października 2008 Robert Nowotniak 1 października 2008 1 / 18 Plan referatu 1 Informatyka
Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ
optymalizacje podejmowanych decyzji Tomasz Karczyoski Wydział W-08 IZ Czym są sieci neuronowe Struktura matematycznych oraz programowy lub sprzętowy model, realizujących obliczenia lub przetwarzanie sygnałów
Algorytmy ewolucyjne - algorytmy genetyczne. I. Karcz-Dulęba
Algorytmy ewolucyjne - algorytmy genetyczne I. Karcz-Dulęba Algorytmy klasyczne a algorytmy ewolucyjne Przeszukiwanie przestrzeni przez jeden punkt bazowy Przeszukiwanie przestrzeni przez zbiór punktów
Podstawy Sztucznej Inteligencji (PSZT)
Podstawy Sztucznej Inteligencji (PSZT) Paweł Wawrzyński Uczenie maszynowe Sztuczne sieci neuronowe Plan na dziś Uczenie maszynowe Problem aproksymacji funkcji Sieci neuronowe PSZT, zima 2013, wykład 12
Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań
Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań Jan Karwowski Wydział Matematyki i Nauk Informacyjnych PW
PODSTAWY BAZ DANYCH. 19. Perspektywy baz danych. 2009/2010 Notatki do wykładu "Podstawy baz danych"
PODSTAWY BAZ DANYCH 19. Perspektywy baz danych 1 Perspektywy baz danych Temporalna baza danych Temporalna baza danych - baza danych posiadająca informację o czasie wprowadzenia lub czasie ważności zawartych
O badaniach nad SZTUCZNĄ INTELIGENCJĄ
O badaniach nad SZTUCZNĄ INTELIGENCJĄ SZTUCZNA INTELIGENCJA dwa podstawowe znaczenia Co nazywamy sztuczną inteligencją? zaawansowane systemy informatyczne (np. uczące się), pewną dyscyplinę badawczą (dział
8. Neuron z ciągłą funkcją aktywacji.
8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i
Systemy uczące się Lab 4
Systemy uczące się Lab 4 dr Przemysław Juszczuk Katedra Inżynierii Wiedzy, Uniwersytet Ekonomiczny 26 X 2018 Projekt zaliczeniowy Podstawą zaliczenia ćwiczeń jest indywidualne wykonanie projektu uwzględniającego
ALGORYTMY SZTUCZNEJ INTELIGENCJI
ALGORYTMY SZTUCZNEJ INTELIGENCJI Sieci neuronowe 06.12.2014 Krzysztof Salamon 1 Wstęp Sprawozdanie to dotyczy ćwiczeń z zakresu sieci neuronowych realizowanym na przedmiocie: Algorytmy Sztucznej Inteligencji.
WYKORZYSTANIE SZTUCZNYCH SIECI NEURONOWYCH DO PROGNOZOWANIA CEN NA GIEŁDZIE ENERGII
WYKORZYSTANIE SZTUCZNYCH SIECI NEURONOWYCH DO PROGNOZOWANIA CEN NA GIEŁDZIE ENERGII Autor: Katarzyna Halicka ( Rynek Energii nr 1/2010) Słowa kluczowe: giełda energii, prognozowanie cen energii elektrycznej,
Nowoczesne techniki informatyczne Program: 1. Sztuczna inteligencja. a) definicja; b) podział: Systemy ekspertowe Algorytmy ewolucyjne Logika rozmyta Sztuczne sieci neuronowe c) historia; 2. Systemy eksperckie
Aproksymacja funkcji a regresja symboliczna
Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą
Sztuczna inteligencja
Sztuczna inteligencja Przykładowe zastosowania Piotr Fulmański Wydział Matematyki i Informatyki, Uniwersytet Łódzki, Polska 12 czerwca 2008 Plan 1 Czym jest (naturalna) inteligencja? 2 Czym jest (sztuczna)
Program "FLiNN-GA" wersja 2.10.β
POLSKIE TOWARZYSTWO SIECI NEURONOWYCH POLITECHNIKA CZĘSTOCHOWSKA Zakład Elektroniki, Informatyki i Automatyki Maciej Piliński Robert Nowicki - GA Program "FLiNN-GA" wersja 2.10.β Podręcznik użytkownika
Plan. Zakres badań teorii optymalizacji. Teoria optymalizacji. Teoria optymalizacji a badania operacyjne. Badania operacyjne i teoria optymalizacji
Badania operacyjne i teoria optymalizacji Instytut Informatyki Poznań, 2011/2012 1 2 3 Teoria optymalizacji Teoria optymalizacji a badania operacyjne Teoria optymalizacji zajmuje się badaniem metod optymalizacji
PRÓBA ZASTOSOWANIA SIECI NEURONOWYCH DO PROGNOZOWANIA OSIADAŃ POWIERZCHNI TERENU POWSTAŁYCH NA SKUTEK EKSPLOATACJI GÓRNICZEJ**
Górnictwo i Geoinżynieria Rok 30 Zeszyt 4 2006 Dorota Pawluś* PRÓBA ZASTOSOWANIA SIECI NEURONOWYCH DO PROGNOZOWANIA OSIADAŃ POWIERZCHNI TERENU POWSTAŁYCH NA SKUTEK EKSPLOATACJI GÓRNICZEJ** 1. Wstęp Na
Wstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.
Wstęp do teorii sztucznej inteligencji Wykład III Modele sieci neuronowych. 1 Perceptron model najprostzszy przypomnienie Schemat neuronu opracowany przez McCullocha i Pittsa w 1943 roku. Przykład funkcji
Sztuczna inteligencja stan wiedzy, perspektywy rozwoju i problemy etyczne. Piotr Bilski Instytut Radioelektroniki i Technik Multimedialnych
Sztuczna inteligencja stan wiedzy, perspektywy rozwoju i problemy etyczne Piotr Bilski Instytut Radioelektroniki i Technik Multimedialnych Plan wystąpienia Co to jest sztuczna inteligencja? Pojęcie słabej
Gospodarcze zastosowania algorytmów genetycznych
Marta Woźniak Gospodarcze zastosowania algorytmów genetycznych 1. Wstęp Ekonometria jako nauka zajmująca się ustalaniem za pomocą metod statystycznych ilościowych prawidłowości zachodzących w życiu gospodarczym
Równoważność algorytmów optymalizacji
Równoważność algorytmów optymalizacji Reguła nie ma nic za darmo (ang. no free lunch theory): efektywność różnych typowych algorytmów szukania uśredniona po wszystkich możliwych problemach optymalizacyjnych
ZACHODNIOPOMORSKI UNIWERSYTET TECHNOLOGICZNY W SZCZECINIE
ZACHODNIOPOMORSKI UNIWERSYTET TECHNOLOGICZNY W SZCZECINIE INSTYTUT TECHNOLOGII MECHANICZNEJ Metody Sztucznej Inteligencji Sztuczne Sieci Neuronowe Wstęp Sieci neuronowe są sztucznymi strukturami, których
Sztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311
Sztuczne sieci neuronowe Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311 Wykład 7 PLAN: - Repetitio (brevis) -Algorytmy miękkiej selekcji: algorytmy ewolucyjne symulowane wyżarzanie
Algorytm hybrydowy dla alokacji portfela inwestycyjnego przy ograniczonych zasobach
Adam Stawowy Algorytm hybrydowy dla alokacji portfela inwestycyjnego przy ograniczonych zasobach Summary: We present a meta-heuristic to combine Monte Carlo simulation with genetic algorithm for Capital
Uniwersytet w Białymstoku Wydział Ekonomiczno-Informatyczny w Wilnie SYLLABUS na rok akademicki 2012/2013 http://www.wilno.uwb.edu.
SYLLABUS na rok akademicki 01/013 Tryb studiów Studia stacjonarne Kierunek studiów Informatyka Poziom studiów Pierwszego stopnia Rok studiów/ semestr /3 Specjalność Bez specjalności Kod katedry/zakładu
PLAN WYKŁADU OPTYMALIZACJA GLOBALNA OPERATOR KRZYŻOWANIA ETAPY KRZYŻOWANIA
PLAN WYKŁADU Operator krzyżowania Operator mutacji Operator inwersji Sukcesja Przykłady symulacji AG Kodowanie - rodzaje OPTYMALIZACJA GLOBALNA Wykład 3 dr inż. Agnieszka Bołtuć OPERATOR KRZYŻOWANIA Wymiana
Relacja: III Seminarium Naukowe "Inżynierskie zastosowania technologii informatycznych"
Relacja: III Seminarium Naukowe "Inżynierskie zastosowania technologii informatycznych" W dniu 18.04.2015 odbyło się III Seminarium Naukowe Inżynierskie zastosowania technologii informatycznych. Organizatorzy
KARTA PRZEDMIOTU. 17. Efekty kształcenia:
Z1-PU7 WYDANIE N1 Strona 1 z 4 (pieczęć wydziału) KARTA PRZEDMIOTU 1. Nazwa przedmiotu: CYBERNETYKA 2. Kod przedmiotu: CYB 3. Karta przedmiotu ważna od roku akademickiego: 2012/2013 4. Forma kształcenia:
Algorytmy genetyczne (AG)
Algorytmy genetyczne (AG) 1. Wprowadzenie do AG a) ewolucja darwinowska b) podstawowe definicje c) operatory genetyczne d) konstruowanie AG e) standardowy AG f) przykład rozwiązania g) naprawdę bardzo,
ĆWICZENIE 5: Sztuczne sieci neuronowe
Instytut Mechaniki i Inżynierii Obliczeniowej Wydział Mechaniczny Technologiczny, Politechnika Śląska www.imio.polsl.pl METODY HEURYSTYCZNE ĆWICZENIE 5: Sztuczne sieci neuronowe opracował: dr inż. Witold
Sztuczne Sieci Neuronowe. Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW
Sztuczne Sieci Neuronowe Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW SN są częścią dziedziny Sztucznej Inteligencji Sztuczna Inteligencja (SI) zajmuje się
w analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych, w analizie obserwacji statystycznych.
Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(), zwaną funkcją aproksymującą
Sieci neuronowe i algorytmy uczenia Czyli co i jak andrzej.rusiecki.staff.iiar.pwr.wroc.pl s.
Sieci neuronowe i algorytmy uczenia Czyli co i jak 2016 andrzej.rusiecki@pwr.edu.pl andrzej.rusiecki.staff.iiar.pwr.wroc.pl s. 230/C-3 O co chodzi? Celem przedmiotu jest ogólne zapoznanie się z podstawowymi
Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych.
Metody Sztucznej Inteligencji 2 Projekt Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych. Autorzy: Robert Wojciechowski Michał Denkiewicz Mateusz Gągol Wstęp Celem projektu
Temat: ANFIS + TS w zadaniach. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE
Temat: ANFIS + TS w zadaniach Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE Dr inż. Barbara Mrzygłód KISiM, WIMiIP, AGH mrzyglod@ agh.edu.pl 1. Systemy neuronowo - rozmyte Systemy
Wstęp do teorii sztucznej inteligencji Wykład II. Uczenie sztucznych neuronów.
Wstęp do teorii sztucznej inteligencji Wykład II Uczenie sztucznych neuronów. 1 - powtórzyć o klasyfikacji: Sieci liniowe I nieliniowe Sieci rekurencyjne Uczenie z nauczycielem lub bez Jednowarstwowe I
PRZEWODNIK PO PRZEDMIOCIE
Nazwa przedmiotu: SYSTEMY INFORMATYCZNE WSPOMAGAJĄCE DIAGNOSTYKĘ MEDYCZNĄ Kierunek: Inżynieria Biomedyczna Rodzaj przedmiotu: obowiązkowy moduł specjalności informatyka medyczna Rodzaj zajęć: wykład, projekt
kierunkowy (podstawowy / kierunkowy / inny HES) nieobowiązkowy (obowiązkowy / nieobowiązkowy) polski drugi semestr letni (semestr zimowy / letni)
Załącznik nr 7 do Zarządzenia Rektora nr 10/12 z dnia 21 lutego 2012r. KARTA MODUŁU / KARTA PRZEDMIOTU Kod modułu Nazwa modułu Nazwa modułu w języku angielskim Obowiązuje od roku akademickiego 2012/2013
Metody przeszukiwania
Metody przeszukiwania Co to jest przeszukiwanie Przeszukiwanie polega na odnajdywaniu rozwiązania w dyskretnej przestrzeni rozwiązao. Zwykle przeszukiwanie polega na znalezieniu określonego rozwiązania
Widzenie komputerowe
Widzenie komputerowe Uczenie maszynowe na przykładzie sieci neuronowych (3) źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Zdolność uogólniania sieci neuronowej R oznaczenie
Metody Sztucznej Inteligencji II
17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału
Rozdział 1 Sztuczne sieci neuronowe. Materiały do zajęć dydaktycznych - na podstawie dokumentacji programu Matlab opracował Dariusz Grzesiak
2 Rozdział 1 Sztuczne sieci neuronowe. 3 Sztuczna sieć neuronowa jest zbiorem prostych elementów pracujących równolegle, których zasada działania inspirowana jest biologicznym systemem nerwowym. Sztuczną
Przykład optymalizacji struktury sztucznej sieci neuronowej metodą algorytmów genetycznych
BIULETYN INSTYTUTU AUTOMATYKI I ROBOTYKI NR 23, 26 Przykład optymalizacji struktury sztucznej sieci neuronowej metodą algorytmów genetycznych Leszek Grad Zakład Automatyki, Instytut Teleinfo rmatyki i
Algorytmy genetyczne. Paweł Cieśla. 8 stycznia 2009
Algorytmy genetyczne Paweł Cieśla 8 stycznia 2009 Genetyka - nauka o dziedziczeniu cech pomiędzy pokoleniami. Geny są czynnikami, które decydują o wyglądzie, zachowaniu, rozmnażaniu każdego żywego organizmu.