Autoreferat dysertacji doktorskiej

Transkrypt

1 WYDZIAŁ INFORMATYKI Robert Rychcicki Autoreferat dysertacji doktorskiej Hybrydyzacja metod optymalizacyjnych jako narzędzie poprawy procesu optymalizacji i poszerzenia zbioru klas optymalizowanych funkcji Promotor rozprawy: Dr hab. inż. Leonard Rozenberg, prof. ZUT Recenzenci rozprawy: Dr hab. inż. Krzysztof Chmiel Politechnika Poznańska Prof. dr hab. inż. Andrzej Piegat Zachodniopomorski Uniwersytet Technologiczny Szczecin, 2014

2 Spis treści 1 Aktualność problemu Aktualność tematu rozprawy Dotychczasowe osiągnięcia, nisza naukowa Uzasadnienie celowości przeprowadzenia badań Związek rozprawy z tematyką Katedry Przedmiot badań Koncepcja systemu optymalizującego Metody naukowe stosowane podczas wykonania badań Główny cel rozprawy Zadania do rozwiązania Wartość teoretyczna Nowe ujęcie zagadnienia Pogłębienie podstaw teoretycznych Wartość praktyczna Menedżer procesu optymalizacji Akceptacja wyników przez społeczność naukową Osiągnięcia zgłaszane w ramach dysertacji Zawartość pracy Skrócona prezentacja struktury i układu pracy Teoria optymalizacji Rozwinięcie badań naukowych nad optymalizacją hybrydową Istota hybrydowych procedur optymalizacji Badania benchmarkowe Dobór danych doświadczalnych Potwierdzenie skuteczności metody w wariancie szeregowym Praktyczne zastosowanie hybrydy w problemach giełdowych Model portfela inwestycyjnego Sposób przeprowadzenia badania Wyniki badania Praktyczne zastosowanie hybrydy do problemu komiwojażera (TSP) Definicja problemu Metody stosowane obecnie Wyniki przeprowadzonego badania Zakończenie Bibliografia str. 2 -

3 1 Aktualność problemu 1.1 Aktualność tematu rozprawy Prezentowana dysertacja poświęcona jest badaniom nad skutecznością stosowania hybrydyzacji procedur i metod optymalizacyjnych, jako narzędzia służącego poprawie procesu optymalizacji i poszerzenia zbioru klas optymalizowanych funkcji. Badania prowadzone w ramach dysertacji obejmowały swym zakresem eksperymenty na różnego rodzaju funkcjach wzorcowych (benchmarkowych) oraz w warunkach rzeczywistych, wielowymiarowych problemów optymalizacyjnych, gdzie wskaźnik wydajności optymalizacji był wynikiem działania modelu optymalizowanego problemu. Tematyka rozprawy dotyczy szeroko pojętej problematyki meta-optymalizacji, czyli poprawy (produktywizacji) samej istoty procesu optymalizacyjnego, jego struktury, parametrów roboczych i samego procesu obliczeń. Zaproponowane i przebadane w pracy hybrydowe rozwiązania procesu optymalizacji pozwoliły na uzyskanie wyższej efektywności rozwiązywania zadań optymalizacji o dużej skali wymiarowości i wymiaru dziedziny, przy czym uzyskana poprawa wydajności i efektywności obliczeń (zdefiniowanych w pracy) jest wynikiem zastosowania hybrydyzacji, dodatkowo wykorzystującej wymienialność modułów obliczeniowych, zamiast użycia specjalizowanych i bardziej złożonych obliczeniowo algorytmów optymalizacji. Autor rozprawy może zanotować na swoim koncie osiągnięcia naukowe i zawodowe związane z optymalizacją nie tylko funkcji, ale i działania związane z optymalizacją oprogramowania komputerowego. Do wybranych osiągnięć, podkreślających spójną ścieżkę naukowo-zawodową należą: Kompletna realizacja portalu ewynajem z uwzględnieniem algorytmów optymalizacji adaptacyjnego powiększania obrazu, Obroniona dysertacja MBA z dziedziny optymalizacji struktury przedsiębiorstwa, Opracowanie sprawnych algorytmów optymalizacji modeli grafiki 3D (pod kątem ich przesyłania i renderingu przez sieć Internet) portalu Projektuj i Kupuj, Wdrożenie algorytmów optymalizujących pracę (kolejkowanie zadań, kolejność przygotowywania koszyka) w systemie zarządzania magazynami. - str. 3 -

4 1.2 Dotychczasowe osiągnięcia, nisza naukowa Podstawowa, modelowa definicja optymalizacji sprowadza się do określenia procedury (zadania) znalezienia minimum bądź maksimum funkcji przy zadanych ograniczeniach dla z góry określonego kryterium (zwanego też funkcją celu lub kryterium jakości). I choć definicja ta wydaje się być prosta, to w praktyce wyznaczenie ekstremum funkcji nie jest zadaniem trywialnym. W ramach działalności naukowej w obszarze zwanym badaniami operacyjnymi, na przestrzeni lat, powstało wiele algorytmów optymalizacji, najczęściej jako wynik potrzeby znalezienia optimum dla konkretnego problemu, dla którego nie sprawdzały się znane metody, czy też realizujące je algorytmy. Przyczyną podjęcia badań w ramach prezentowanego tematu był fakt, że coraz bardziej skomplikowane problemy, jakimi zajmuje się współczesna nauka (w tym w szczególności informatyka) wzmagają konieczność rozwoju złożonych algorytmów matematycznych pozwalających na ich rozwiązywanie. Z drugiej strony, rozwój wspomnianych algorytmów umożliwia rozwiązywanie kolejnych problemów, których jawne rozwiązanie (model obliczeniowy) jest coraz trudniejsze do uzyskania. Pojawianie się coraz bardziej złożonych problemów obliczeniowych, nawet z klasy problemów wielomianowych, skutkuje tym, że stosowanie znanych algorytmów oznacza w praktyce uzyskiwanie wyników w chwili, gdy nie są one potrzebne. Ma to np. miejsce przy stosowaniu skomplikowanych algorytmów szyfrowania informacji, ale także w superszybkich zastosowaniach algorytmów dla rynków HFT. Ten specyficzny wyścig stymuluje oczywiście powstawanie specjalizowanych metod, które z jednej strony dają bardzo dobre rezultaty w tych klasach problemów, do których są dopasowane, ale z drugiej strony wymagają często dodatkowej wiedzy o problemie. Ta wiedza warunkuje dopiero skuteczny dobór metod i algorytmów, ale najczęściej wymaga bardziej skomplikowanych systemów liczących. Dlatego w prezentowanej dysertacji podjęto próbę zastosowania innego podejścia konstrukcji samodopasowującego się algorytmu, który autonomicznie zarządza własnym procesem optymalizacji, a przy tym jest w miarę prosty, wykorzystuje znane metody łącząc je w nowy algorytm, przez co jak się wydaje uzyskano istotną wartość dodaną. W teorii złożoności obliczeniowej za kryterium praktycznej obliczalności algorytmów przyjęto odpowiedź na pytanie, czy liczba operacji, jakie wykonują, da się ograniczyć wielomianem zależnym od rozmiaru danych. - str. 4 -

5 Algorytmy takie nazywane są wielomianowymi, a klasa problemów, dla których algorytmy takie istnieją, oznaczana jest symbolem P. Niestety, dla dużej liczby ważnych problemów nie udało się dotychczas skonstruować algorytmów wielomianowych. Co gorsza, znaleziono też wiele przesłanek wskazujących, że problemy te nie należą do klasy P, czyli, że algorytmy wielomianowe dla nich nie istnieją. Niektóre zagadnienia (np. problem plecakowy) mają rozwiązania w postaci algorytmów klasy P jedynie wtedy, gdy przyjmie się pewne dodatkowe założenia. Założenia te wpływają zazwyczaj na kształt funkcji celu lub ograniczeń i zakładają, że optymalizowane zadanie da się wprost opisać analitycznie. W praktyce, z optymalizacyjnym problemem NP-trudnym spotkać się można stosunkowo często np. z problemem komiwojażera (TSP - ang. Traveling Salesman Problem) mamy do czynienia nie tylko w zadaniach logistycznych (optymalizacja transportu), ale także przy produkcji układów VLSI. Również układy o mniejszym stopniu złożoności mogą zostać poddane optymalizacji struktury (Rychcicki, 2010). Standardowo stosowanym w takim wypadku rozwiązaniem jest zastosowanie metod heurystycznych, często metod o gwarantowanej jakości, czyli takich w stosunku, do których udowodniono matematycznie, że osiągnięty wynik nie jest gorszy o więcej niż konkretny czynnik (normę) od rozwiązania optymalnego. Istnieje również grupa algorytmów, których wyniki poprawiane są wraz z każdą kolejną iteracją. Niewątpliwie ważną cechą (jak i zaletą) takich algorytmów jest akceptowalny czas działania. Dla pewnych algorytmów wadą jest brak jakichkolwiek gwarancji jakości znalezionego rozwiązania. Jakość algorytmu szacuje się zwykle na podstawie porównania wyników, jakie on produkuje z pewnym "wzorcowym" zestawem danych benchmarku lub z wynikami innych algorytmów. Bywa jednak tak, że wzorcowy zestaw nie jest reprezentatywny i wyciąganie na tej podstawie wniosków, co do zachowania się badanego algorytmu na innych zestawach niekoniecznie bywa zasadne. - str. 5 -

6 1.3 Uzasadnienie celowości przeprowadzenia badań Optymalizacja funkcji wielu zmiennych wykorzystywana jest nie tylko do wyznaczania ekstremów funkcji, które dane są w sposób jawny, ale także jako wynik obliczeń na konkretnym modelu zjawisk. Procedury optymalizacyjne służą w tym ostatnim przypadku do znajdowania rozwiązań suboptymalnych, spełniających pewne kryteria jakości (np. VtR). Jest to podejście bardzo przydatne w sytuacjach, w których poszukiwane jest przybliżone rozwiązanie problemów klasy NP, lub w przypadku konieczności uzyskania dobrego (np. w sensie szybkości podejmowania decyzji) rozwiązania. Patrząc na ostatnie dekady gwałtownego rozwoju komputerów, można odnieść wrażenie, że teoria i praktyka optymalizacji nie wykorzystują, w stopniu podobnym do modelowania, rozwoju mocy obliczeniowych. Wzrost mocy obliczeniowej procesorów przynajmniej dla klasy problemów rozważanych w pracy zwykle wykorzystywany był dla potrzeb zwiększenia dokładności modelowania, a dopiero później do procedur optymalizacji. Rozwój metod modelowania, takich, jak symulacja Monte Carlo czy metoda elementów skończonych, doskonale wykorzystały dostępne zasoby obliczeniowe. Rozwój nauki wymaga jednak teraz rozwoju samych procedur optymalizacji, obsługujących szczególnie skomplikowane, a więc najczęściej wielkowymiarowe procesy decyzyjne, znane z nauk ekonomicznych, biologicznych, fizyki czy medycyny. Celowość badań potwierdza także w pewnym stopniu stypendium Prezydenta Miasta Szczecina dla najlepszych doktorantów, przyznane autorowi pracy na podstawie przedstawionych komisji konkursowej dotychczasowych wyników. Także przegląd sugerowanej problematyki programu naukowego Horyzont 2020 w obszarze odejścia od metod analizy na zwierzętach na rzecz symulacji i optymalizacji matematycznej skutków działania substancji leczniczych pokazuje wielość zastosowań procedur optymalizacji. Z kolei badania prowadzone obecnie w Stanach Zjednoczonych (szczególnie w ośrodku badawczym Houston) zapowiadają szybkie wprowadzenie terapii zorientowanej na konkretnego pacjenta z jemu tylko właściwym genotypem i jej personalizację poprzez optymalizację działania leków. Nie ma więc czasu na badanie na zwierzętach, a pozostaje jedynie optymalizacja struktury substancji metodami numerycznymi. - str. 6 -

7 Już tych kilka przykładów orientuje w wielości potencjalnych obszarów zastosowań wyników rozprawy. 1.4 Związek rozprawy z tematyką Katedry Realizacja prezentowanej dysertacji została zapoczątkowana w Katedrze Inżynierii Zarządzania (po przekształceniach organizacyjnych jednostką obecnie występującą jest Katedra Inżynierii Systemów Informacyjnych), która ogniskuje swoje zainteresowania naukowe w obszarze problemów z dziedziny szeroko rozumianego wspomagania decyzji z użyciem narzędzi informatycznych wspomaganych komputerowo, optymalizacji, w tym także stosowaniu optymalizacji hybrydowej. Prezentowana praca jest kolejną w dorobku zespołu analiz Katedry, która dotyczy zagadnień związanych z optymalizacją i wspomaganiem decyzji w obszarze różnych zastosowań, choć pierwszą, w której obiekt badań stanowi optymalizacja struktury algorytmów optymalizacji. Działalność Katedry w zakresie metod optymalizacji oraz analizy działania metod hybrydowych potwierdzona została wieloma publikacjami (w tym publikacjami zbiorowymi), jak i samodzielnymi pracowników Katedry. Dla przykładu kilka z nich: Pietruszkiewicz Wiesław "Systemy informatyczne w procesie zarządzania (przegląd modeli)", Firma i rynek 4/2002-1/2003, Wydawnictwo Zachodniopomorskiej Szkoły Biznesu, Szczecin, 2003 Rozenberg Leonard, Trojczak Patrycja "System oceny sytuacji finansowej przedsiębiorstwa i ryzyka bankowego w działalności bankowej", konferencja "Zarządzanie Finansami", 2003 Twardochleb Michał: Propozycja algorytmizacji hybrydowej metody optymalizacji funkcji wielu zmiennych w zastosowaniu do systemów wspomagania decyzji; rozprawa doktorska; Szczecin 2005 Twardochleb Michał, Włoch Paweł, "Wspomaganie procesu podejmowania decyzji dla modelu zagadnienia inwestycyjnego z wykorzystaniem symulacji Monte Carlo" Konferencja InfoGryf, 2010, 20 maja 2010 roku. Rozenberg Leonard: Wykorzystanie podejścia rozmytego do konstrukcji wskaźników oceny stanu przedsiębiorstwa, XI Konferencja Naukowo- Dydaktyczna NTIE połączona z Jubileuszem 40-lecia Instytutu Informatyki Ekonomicznej we Wrocławiu, września Wrocław str. 7 -

8 Kieruzel Magdalena: Metoda oceny ryzyka realizacji oprogramowania do wspomagania działalności przedsiębiorstwa na przykładzie oprogramowania typu OPEN-SOURCE; XI Konferencja Naukowo-Dydaktyczna NTIE połączona z Jubileuszem 40-lecia Instytutu Informatyki Ekonomicznej we Wrocławiu, września Wrocław 2014 Leonard Rozenberg, Robert Rychcicki: Hybridization of the optimization process as an alternative way to find approximate solutions for NP-hard problems; 19th International Conference on Advanced Computer Systems - ACS 2014; Międzyzdroje, Poland, October 22-24, 2014 (artykuł zaakceptowany i przyjęty do druku w Przeglądzie Elektrotechnicznym) Król Tomasz, Rozenberg Leonard, Twardochleb Michał: The Jitter Use to Reduce EMI on the Power Lines for Multi-Core Processors; 19th International Conference on Advanced Computer Systems - ACS 2014; Międzyzdroje, Poland, October 22-24, 2014 (artykuł zaakceptowany i przyjęty na konferencję) Leonard Rozenberg: Badanie zdolności dyskryminacyjnej wybranych wskaźników finansowych przedsiębiorstwa z wykorzystaniem podejścia rozmytego; artykuł po pozytywnych recenzjach oczekuje na publikację w dziale Business Informatics w Folia Pomeranae Universitatis Technologiae Stetinensis seria Oeconomica; Szczecin Jest faktem, iż prezentowana dysertacja stanowi rozwinięcie badań prezentowanych w rozprawie M. Twardochleba: Propozycja algorytmizacji hybrydowej metody optymalizacji funkcji wielu zmiennych w zastosowaniu do systemów wspomagania decyzji; rozprawa doktorska; Szczecin W stosunku do tej pierwszej rozprawy: Zastosowano znaczne rozszerzenie algorytmów optymalizacji, co zaowocowało zastosowaniem nie tylko szeregowych algorytmów ze stałym przydziałem czasu, ale przede wszystkim algorytmów równoległych, Rozbudowano hybrydę szeregową do w praktyce dowolnej liczby komponentów, z tym, że badania przeprowadzono dla trójukładowej postaci algorytmu hybrydowego, Zrealizowano stosowanie algorytmów równoległych, co wymagało opracowania specyficznych algorytmów zarządzania samym procesem równoległej hybrydy optymalizacyjnej, gdyż w przeciwnym razie algorytmy równoległe nie byłyby w stanie działać, Oprócz badania skuteczności optymalizacji przy użyciu funkcji wzorcowych (benchmark) pokazano w rozprawie rozszerzone badania na problemach praktycznych, w tym bardzo ciekawe wyniki obliczeń dla znanego problemu NP.- trudnego, jakim jest problem komiwojażera. - str. 8 -

9 2 Przedmiot badań 2.1 Koncepcja systemu optymalizującego W pracy przedstawiono koncepcję systemu optymalizującego, wykorzystującego hybrydy optymalizacyjne: szeregową, równoległą i ich kombinacje, wspomagającego jednocześnie dobór i konfigurację metod składowych, stanowiącego podstawę do przeprowadzenia badań i eksperymentów obliczeniowych. Zadaniem przeprowadzonych eksperymentów było, w szczególności, zbadanie i określenie efektywności algorytmów optymalizacji wykorzystujących metody szeregowej i równoległej pracy algorytmów optymalizujących do liniowych i nieliniowych problemów optymalizacji, przy wykorzystaniu różnego rodzaju funkcji benchmarkowych. 2.2 Metody naukowe stosowane podczas wykonania badań W ramach przeprowadzonych badań oraz doświadczeń zostały wykorzystane następujące metody naukowe: Symulacje stochastyczne, Metody optymalizacji, Metody losowej generacji liczb, Optymalizacja hybrydowa, algorytmy hybrydowe, Symulacja komputerowa. 2.3 Główny cel rozprawy Hipotezę naukową rozprawy sformułowano następująco: Możliwe jest zastąpienie (suplementacja) złożonych metod optymalizacyjnych za pomocą hybrydy optymalizacyjnej, przy porównywalnej lub lepszej efektywności optymalizacji (zdefiniowanej i określonej poprzez odpowiednie kryteria, rozumianej także jako zmniejszenie eksploatowanych mocy obliczeniowych) w stosunku do obecnie wykorzystywanych podejść i metod. W badaniach zajęto się także wykazaniem istnienia i określeniem zależności pomiędzy zastosowanym algorytmem sterowania hybrydą optymalizacji (Optimization Manager), a osiągniętą efektywnością procesu dotarcia do ekstremum. - str. 9 -

10 Na podstawie przeprowadzonych badań wykazano także, że wykorzystanie struktur hybrydowych w zadaniach optymalizacyjnych pozwala nie tylko na polepszenie samego procesu optymalizacji, w sensie polepszenia (przyspieszenia) przebiegu zbieżności procesu generowania rozwiązań w stosunku do metod powszechnie stosowanych, ale także uzyskano zadawalające rozwiązania złożonych problemów optymalizacyjnych pod względem braku konieczności niepotrzebnego komplikowania procesu obliczeniowego. Naukowym i poznawczym celem rozprawy jest więc propozycja, opracowanie i przebadanie wielowymiarowej, uniwersalnej, hybrydowej metody optymalizacji, jako narzędzia polepszenia samego procesu optymalizacji, jak i poszerzenia zakresu klas optymalizowanych funkcji. 2.4 Zadania do rozwiązania Poniżej przedstawiono pomocnicze cele rozprawy (stanowią one zestaw zadań do wykonania): W oparciu o znane metody optymalizacji, wywodzące się z różnych grup metod optymalizacyjnych, opracowanie algorytmu hybrydowej optymalizacji globalnej, dedykowanego w szczególności problemom wielowymiarowych, Przetestowanie zaproponowanego algorytmu przy użyciu funkcji testowych (benchmarkowych); w szczególności przebadanie możliwości integracji różnych metod optymalizacji w strukturze hybrydy szeregowej i równoległej na wybranych funkcjach testowych, Implementacja środowiska badawczego silnik algorytmu optymalizacji globalnej z użyciem odpowiednio dobranego optimization managera, Przeprowadzenie badań z wykorzystaniem dostępnych zbiorów danych testowych, celem porównania skuteczności zaproponowanego rozwiązania z rozwiązaniami znanymi z literatury, Przebadanie wartości parametrów procesu optymalizacji w zależności od zastosowanych algorytmów sterowania procesem optymalizacyjnym (szeregowym i równoległym). - str. 10 -

11 3 Wartość teoretyczna 3.1 Nowe ujęcie zagadnienia Prezentowane w dysertacji podejście do opisywanej problematyki związane jest z kilkoma aspektami pracy: Zaproponowane podejście wykorzystuje wiele (strukturalnie dowolnie konfigurowalnych) grup algorytmów optymalizacji, zwanych algorytmami składowymi (krócej składowymi), poprawiając w ten sposób przede wszystkim efektywność hybrydy w stosunku do jej metod składowych, ale także w stosunku do innych, realizowanych pojedynczo metod, także bardzo złożonych procedur optymalizacyjnych, Proponowane rozwiązanie wykorzystuje podejście wielowarstwowe na poszczególnych poziomach (etapach przeszukiwania szczegółowego), Metoda wykazuje poprawne działanie dla wielu klas funkcji benchmarkowych, w tym także sprawdziła się zadawalająco w organizowanych na bieżąco konkursach optymalizacyjnych w skali światowej, Istnieje możliwość obiektywnego badania skuteczności, efektywności i dokładności (przy ograniczonych zasobach), Nie występuje konieczność wykonywania skomplikowanych analiz funkcji, ani wstępnego nawet doboru składowych metod przed rozpoczęciem procesu optymalizacji. 3.2 Pogłębienie podstaw teoretycznych Optymalizacja (matematyczna) odnosi się do problemu poszukiwania ekstremum (minimum lub maksimum) zadanej funkcji. Stanowi więc ona istotne pole badań w informatyce, bowiem ma zastosowanie w bardzo wielu dziedzinach, w tym jak to opisano wyżej także poza nią. - str. 11 -

12 Przy okazji badań prezentowanych w rozprawie omawiane są kwestie związane z różnymi typami algorytmów optymalizacji, traktowanych jako metody składowe, którymi zarządza Optimization Manager. Jedną z nich jest metoda Monte Carlo, której szczegółowy opis znaleźć można w publikacji pod takim właśnie tytułem (Buslenko & Golenko, 1966). Kolejną ważną grupą omawianych metod optymalizacji są algorytmy genetyczne (Smith, 1980). Metodzie tej poświęcona jest m.in. książka (Goldberg, 1989), która opisuje założenia algorytmów opartych o mechanizm doboru naturalnego oraz dziedziczności. Wspomina także o metodach ich konstrukcji wraz z implementacjami komputerowymi, a także zastosowania w zadaniach poszukiwania rozwiązań i optymalizacji. Podaje również przykłady zastosowań w systemach sztucznej inteligencji. Pozycją poświęconą współczesnym zagadnieniom bezgradientowych metod optymalizacji jest, dla przykładu (Sharif, 2007), a zaawansowane zagadnienia związane z gradientowymi metodami optymalizacji opisuje (Pytlak, 2009). Zagadnienia dotyczące optymalizacji rojem cząstek opisuje (Selvi, 1989) oraz (Zhang & Ishikawa, 2010), a przykład praktyczny omawia (Foryś, 2008). Jednym z analizowanych podczas badań przykładów jest problem doboru wag w portfelu inwestycyjnym (Markowitz, et al., 2000). Ze względu na tę tematykę, godną polecenia pozycją literatury jest (Jajuga & Jajuga, 1996) oraz inne publikacje tych autorów. Istnieje wiele podobnych pozycji literatury, natomiast jej wyróżnikiem jest próba odniesienia się do specyfikacji polskiego rynku, zasady tworzenia portfeli inwestycyjnych charakteryzujących się minimalnym ryzykiem oraz sposoby określania ryzyka związanego z inwestowaniem. - str. 12 -

13 4 Wartość praktyczna 4.1 Menedżer procesu optymalizacji Badania przeprowadzone w dysertacji potwierdzają celowość zastosowania procedury hybrydowej do zagadnień optymalizacyjnych w wariancie szeregowym, a także celowość zarządzania procesem optymalizacji poprzez algorytm Menedżera Procesu Optymalizacji. Liczba iteracji dla metody hybrydowej jest, co prawda, większa niż dla metod składowych stosowanych pojedynczo, ale wyższa skuteczność w osiąganiu punktu ekstremum globalnego pozwala na zaakceptowanie tego zjawiska, jako kosztu uzasadnionego, tym bardziej, że przewagę metody hybrydowej obserwuje się szczególnie wyraźnie wraz ze wzrostem wymiarowości problemu (liczby zmiennych). Drastyczny spadek wydajności metod stochastycznych przy rosnącej liczbie zmiennych (nawet dla prostych funkcji unimodalnych) pokazuje, że metoda hybrydowa jest mniej czuła na ten, ograniczający stosowanie prostych metod optymalizacyjnych, problem. Zorganizowanie wstępnej fazy poszukiwań w formie procedur losowych zmniejsza także ryzyko utknięcia ( zagnieżdżenia się ) w otoczeniu bliskiego ekstremum lokalnego, co jest istotnym mankamentem metod zorganizowanych (także bardzo popularnej i uznawanej za szczególnie dobrą, metody Rosenbrocka; metoda ta jest uznawana za najmniej czułą na punkt startowy, jednocześnie metodą stanowiącą ogniwo łączące metody bezgradientowe i gradientowymi). Wdrożenie zmienności (rozumianej w tym przypadku dynamicznie) przydziału zasobów dla poszczególnych składowych doprowadzić powinno do jeszcze większej poprawy efektywności hybrydy w stosunku do metod pojedynczych, przy zachowaniu osiągniętej dotychczas skuteczności i uniwersalności. Jest to niewątpliwie zaznaczenie kierunku dalszych badań, ale prowadzące do wyposażenia systemu optymalizacji w kolejny segment sterujący (w pewnym sensie optymalizujący wewnętrzna strukturę przydziału mocy dla procedury globalnej), w tym przypadku przydziałem czasu i mocy obliczeniowych dla różnych klas funkcji i optymalizowanych problemów. - str. 13 -

14 4.2 Akceptacja wyników przez społeczność naukową Wyniki przeprowadzonych badań oraz tematyki z nimi związanej, były zaprezentowane w poniżej wymienionych czasopismach oraz podczas wydarzeń naukowych: Akceptacja artykułu na konferencję ACS 2014 wraz z publikacją w czasopiśmie Przegląd Elektrotechniczny (artykuł został wygłoszony w formie referatu na konferencji); współautor L. Rozenberg. Akceptacja artykułu Poprawa efektywności portfela aktywów z wykorzystaniem optymalizacji hybrydowej w czasopiśmie Firma i Rynek; współautor L. Rozenberg Finalista międzynarodowego konkursu optymalizacyjnego Code of Duty w Paryżu, w którym optymalizacji poddawana była transformacja obrazu i wyznaczanie ich podobieństwa, Zwycięzca polsko-niemieckiego konkursu Inicjatywa wdrażania mediów szerokopasmowych Euroregionu Pomerania za projekt inteligentnego transportu miejskiego, wykorzystującego dynamiczną optymalizację tras. 11 miejsce w XI Akademickich Mistrzostwach Polski w Programowaniu Zespołowym, 12 miejsce w Ogólnopolskim konkursie OPSSesja Algorytmiczna, Stypendium Polskie Talenty dla najzdolniejszych studentów uczelni technicznych, 6 miejsce w Polsce w VII Ogólnopolskiej olimpiadzie języka angielskiego dla Wyższych Szkół Technicznych, Finalista konkursu Uniwersytet Ernst & Young, 26 miejsce w światowym półfinale ImagineCup 2006 Algorithm (7 miejsce w Polsce), Półfinalista konkursu ImagineCup 2007 (2 kategorie), 32 miejsce w światowym półfinale ImagineCup 2008 Algorithm. Finalista IX Ogólnopolskiej Olimpiady Informatycznej - str. 14 -

15 4.3 Osiągnięcia zgłaszane w ramach dysertacji W ramach prezentowanej dysertacji są zgłaszane następujące osiągnięcia oraz elementy nowości oraz innowacyjności wynikające z tego, że: Przebadano możliwości zastosowania hybrydyzacji metod optymalizacyjnych, wykazując ich przydatność, jako narzędzia poprawy procesu optymalizacji i poszerzenia zbioru klas optymalizowanych funkcji, Skonstruowano w pełni funkcjonalny, specjalistyczny konstruktor hybrydowych procedur optymalizacji, wyposażony w sporą bibliotekę procedur optymalizacyjnych, wybieranych poprzez proste czynności w graficznym interfejsie użytkownika, Opracowano i przeanalizowano podstawy teoretyczne działania algorytmu menedżera procesu optymalizacji. Zaproponowane podejście wykorzystuje wiele (dowolnie konfigurowalnych strukturalnie) grup algorytmów optymalizacji, zwanych algorytmami składowymi, poprawiając w ten sposób przede wszystkim efektywność hybrydy w stosunku do metod składowych, a także w stosunku do innych, realizowanych pojedynczo metod, także bardzo złożonych, Proponowane rozwiązanie wykorzystuje podejście wielowarstwowe w poszczególnych warstwach (etapach przeszukiwania szczegółowego), Metoda wykazuje poprawne działanie dla wielu klas funkcji benchmarkowych, w tym także sprawdziła się w organizowanych na bieżąco konkursach optymalizacyjnych w skali światowej, Istnieje możliwość obiektywnego badania skuteczności, efektywności i dokładności (przy ograniczonych zasobach), Nie występuje konieczność wykonywania skomplikowanych analiz funkcji ani doboru składowych metod przed rozpoczęciem procesu optymalizacji. - str. 15 -

16 5 Zawartość pracy 5.1 Skrócona prezentacja struktury i układu pracy Prezentowana dysertacja składa się z dwóch zasadniczych części: literaturowoteoretycznej i eksperymentalnej. W części pierwszej dokonano wyczerpującego przeglądu istniejącego stanu wiedzy (state-of-the-art) w dziedzinie szeroko pojętej teorii i praktyki optymalizacji, przy czym szczególny nacisk położony został na hybrydowe procedury optymalizacji. Opisano tu rozwój dziedziny oraz metod wykorzystywanych w optymalizacji trudnych obliczeniowo problemów, które stały się przedmiotem zainteresowania badaczy zajmujących się integrowaniem algorytmów optymalizacji. W drugiej eksperymentalnej części pracy szczegółowo opisano konstrukcję hybrydowych algorytmów i procedur optymalizacji, a także ich właściwości i zależności pomiędzy poszczególnymi elementami struktur algorytmicznych. W tej części nacisk położony został szczególnie na zarządzanie procesem optymalizacji (optimization manager), znaczenie algorytmu zarządzania na przebieg obliczeń i jego wpływ na właściwości powstałej w ten sposób hybrydy optymalizacyjnej. Charakterystyka dysertacji doktorskiej: (6) liczba stron 119; budowa pracy wstęp i 4 rozdziały tematyczne; liczba wykresów/ilustracji 41 liczba tabel Teoria optymalizacji W dysertacji, w ramach przeglądu aktualnego stanu wiedzy, który stanowi budowanie punktu wyjścia do konstrukcji hybryd optymalizacyjnych, przedstawiono informacje na temat ogólnego podziału metod optymalizacji oraz opis kluczowych cech metod takich jak: algorytmy stochastyczne, algorytmy genetyczne/ewolucyjne, metody bezgradientowe, metody gradientowe - str. 16 -

17 rożnego rodzaju modyfikacje powyższych metod. Połączenie różnych rodzajów algorytmów określa się mianem procedur hybrydowych (Witsenhausen, 1962), a ich zastosowanie jest zasadne wtedy, gdy odpowiednie połączenie składowych algorytmów doprowadza do wykorzystania ich mocnych stron, przy jednoczesnej eliminacji słabych (zjawisko synergii) Rozwinięcie badań naukowych nad optymalizacją hybrydową Pierwsze udokumentowane aplikacje hybrydowych procedur optymalizacji pochodzą z lat 60-tych XX wieku i choć analizy teoretyczne możliwości zastosowania procedur hybrydowych dotyczyły wówczas rozwiązywania klasycznych problemów algorytmicznych (Witsenhausen, 1962), to jednym z pierwszych praktycznych zastosowań tych aplikacji była optymalizacja układów elektrycznych i elektronicznych (Fleischer, 1968). Lata 70-te XX wieku przyniosły rozkwit badań nad zastosowaniem hybrydowych procedur optymalizacji w zarządzaniu ruchem miejskim (Gershwin & Tan, 1978). Zastosowanie procedur hybrydowych pozwoliło na uzyskanie lepszych wyników (dotyczących przepustowości sieci ulic miejskich), przy uwzględnieniu rozbudowanych ograniczeń dotyczących dopuszczalnych manewrów kierowców, sytuacji alarmowych oraz zależności pomiędzy uczestnikami ruchu. Tego typu ograniczenia skutecznie utrudniały wcześniejsze próby optymalizacji sieci ulic (i działania sygnalizacji) bez zastosowania hybrydowych procedur optymalizacji (Tan, et al., 1979). Na początku lat 80-tych badania te zostały rozszerzone o analizę efektywności wykorzystania zasobów, wpływu na środowisko naturalne oraz maksymalizację efektywności ekonomicznej inwestycji na rozbudowę sieci miejskich (Gartner, et al., 1980). Wskazane materiały opisują zróżnicowane zalety procedur hybrydowych i skupiają się między innymi na korzyściach płynących z ich zastosowania do rozwiązywania skomplikowanych algorytmicznie problemów życia codziennego. W pierwszej połowie lat 90-tych, pojawia się znacznie więcej prac na temat hybrydowych procedur optymalizacji. Hybrydy w pewnym sensie wypierają klasyczne algorytmy z dziedzin takich jak generowanie trajektorii ruchu robotów w otoczeniu z przeszkodami (Zhang & Knoll, 1995), co wspiera również tę dziedzinę nauki. - str. 17 -

18 Pod koniec lat 90-tych pojawiają się opracowania nowych hybrydowych procedur optymalizacji m.in. połączenie algorytmów genetycznych z metodą zagnieżdżania partycji (nested partitions) (Shi, et al., 1999) oraz obszerne opracowanie na temat zastosowania algorytmów genetycznych w problemach inżynieryjnych (Gen & Cheng, 1999) oraz takich jak harmonogramowanie, logistyka czy projektowanie komórek produkcyjnych. Na przestrzeni lat badania postępują wielotorowo, co pozwoliło na osiągnięcie m.in. wymienionych poniżej rezultatów. Podejście hybrydowe do poszukiwania rozwiązań przybliżonych w problemach NPtrudnych, takich, jak E2AUG (edge-biconnectivity augmentation) i V2AUG (vertexbiconnectivity augmentation) zostało zastosowane z sukcesem (Ljubić, et al., 2000) oraz (Raidl & Ljubić, 2002). Zastosowanie procedury hybrydowej na bazie algorytmu genetycznego do rozwiązania uogólnionego problemu przyporządkowania zadań (Feltl & Raidl, 2004) przy zadanych ograniczeniach zasobów oraz w celu minimalizacji kosztu takiego przypisania (GAP) pozwoliło na wyszukanie rozwiązań suboptymalnych przy znaczącej redukcji złożoności obliczeniowej. Dzięki kolejnym badaniom rozważania na temat problemu plecakowego pozwoliły na szczegółową analizę przypadku wielowymiarowego (MKP), którego rozwiązanie za pomocą hybrydowych procedur optymalizacji doprowadziło do zmniejszenia nakładów obliczeniowych potrzebnych do uzyskania zadowalających wyników (Puchinger, et al., 2010). Dodatkowe praktyczne zastosowania procedur hybrydowych powstały także dzięki badaniom prowadzonym na Uniwersytecie Technicznym we Wiedniu (Pirkwieser, 2012) Istota hybrydowych procedur optymalizacji Połączenie w jedną procedurę różnych rodzajów algorytmów optymalizacji określa się mianem hybrydowej procedury optymalizacji (dalej HPO), a zastosowanie takiego algorytmu staje się zasadne wtedy, gdy odpowiednie połączenie algorytmów składowych doprowadza do wykorzystania ich mocnych stron i eliminacji słabych (Twardochleb, 2003). - str. 18 -

19 Badania prowadzone w ramach prezentowanej dysertacji są w pewnym sensie kontynuacją myśli naukowej realizowanej od pewnego czasu w Katedrze, a dotyczącej zastosowań hybrydowych procesów optymalizacji do rozwiązywania różnych zadań, od zadań wspomagania decyzji w złożonych problemach ekonomicznych czy finansowych do prowadzonych z sukcesem prób optymalizacji struktur elektronicznych. Zawsze jednak podmiotem badań jest procedura (algorytm) optymalizacyjny, zaś przedmiotem optymalizacji są różne środowiska tej optymalizacji wymagające. Za naturalny punkt wyjścia niniejszej dysertacji przyjąć należy pracę doktorską dra inż. Michała Twardochleba, pod tytułem Propozycja algorytmizacji hybrydowej metody optymalizacji funkcji wielu zmiennych w zastosowaniu do systemów wspomagania decyzji. Ta praca, jak już wspomniano w części formalne autoreferatu dotyczyła szeregowej, równoczasowej procedury optymalizacji, ale stała się podstawa do dalszych badań i udoskonaleń. Hybrydowe Procedury Optymalizacji (HPO) można podzielić na grupy o zróżnicowanych zastosowaniach i właściwościach, zaś najprostszym (z perspektywy opisowej) wariantem HPO jest właśnie jej wariant szeregowy. W wariancie tym, kluczowym zadaniem dla menedżera procesu optymalizacji jest podejmowanie decyzji o momencie przełączeniu stopnia hybrydy. Dokonuje się tego, bazując na zestawie kryteriów należących do trzech grup: Lokalne kryteria przełączania, w tym: o Liczba iteracji aktualnie wykonywanej metody, o Zbieżność procesu optymalizacji, liczona jako różnice między wynikami obliczeń kolejnych iteracji metody, Globalne kryteria przełączania, w tym: o Zadana łączna liczba iteracji, o Baza wiedzy na temat oczekiwanej skuteczności poszczególnych metod składowych. Warunkowe kryteria przełączania, w tym: o Zbieżność procesu optymalizacji poprzednio wykonanych metod składowych. W celu właściwego modelowania wariantu szeregowego podczas budowy modelu procedury hybrydowej należy uwzględnić elementy, które pokazuje Rysunek 5:1. - str. 19 -

20 Rysunek 5:1 Konstrukcja Modelu HPO w wariancie szeregowym Źródło: opracowanie własne Równoległe wykonywanie tych samych (lub, co ciekawsze, różnych) metod optymalizacji jest przydatne wtedy, gdy zrównoleglenie obliczeń wpływa korzystnie na łączny czas wykonania HPO i/lub szybsze osiągnięcie celu. Równoległe realizowanie niejednorodnych metod składowych pozwala Menedżerowi Procesu Optymalizacji (OM) na uzyskanie efektu synergii wynikającego nie tylko ze współbieżnej realizacji obliczeń numerycznych, ale przede wszystkim z możliwości kierunkowania (wpływu na dalsze obliczenia) poszczególnych metod składowych na podstawie korzystnych wyników uzyskiwanych przez pozostałe, równolegle wykonywane metody. Schematycznie przedstawia to Rysunek 5:2. Rysunek 5:2 Schemat równoległego wariantu HPO Źródło: opracowanie własne Poziome bloki pokazane na rysunku wyżej oznaczają odpowiednio: Inicjalizację obliczeń dla poszczególnych metod składowych, - str. 20 -

21 Synchronizację wyników obliczeń ustalenie wyniku i wybór populacji wyjściowej HPO. W rzeczywistej implementacji algorytmu kolejne iteracje metod składowych mogą zostać zaszeregowane kolejno, bez konieczności wykonania na odrębnych rdzeniach procesora. Dla lepszego wykorzystania potencjału równoległego modelu HPO istotne jest jednak to, aby OM poza czynnościami jak w wariancie szeregowym dodatkowo: Nadzorował realizację poszczególnych metod składowych, Decydował o alokacji zasobów dla potrzeb realizacji metod składowych, Kierunkował wykonywanie kolejnych iteracji metod składowych, wpływając na ich parametry tak, aby jak najkorzystniej wykorzystać informacje płynące z realizacji wszystkich równolegle wykonywanych metod 1. Kierunkowanie obliczeń wykonywanych w metodach składowych może odbywać się m.in. poprzez: Wpływanie na populację poddawaną optymalizacji usuwanie i dodawanie do niej kandydatów, Modyfikację wewnętrznych parametrów metody (standardowo przyjmowanych za wartości stałe), Ograniczenie dziedziny (lub wyłączenie z niej pewnych obszarów), na której operują metody składowe. Przykładowo, równoległe wykonywanie metody Rosenbrocka i algorytmu genetycznego może wywierać większą presję selekcyjną (zwiększenie nieliniowych współczynników funkcji kary i uzupełnienie populacji o osobniki odpowiadające punktom wyznaczonym przez metodę Rosenbrocka) na populację. Założeniem leżącym u podstaw takiego działania jest konstatacja, iż metoda Rosenbrocka podąża w kierunku spadku wartości funkcji w sposób zorganizowany. Jeśli prowadzi to do uzyskania lepszych (według kryterium optymalizacji) wyników niż w przypadku algorytmu genetycznego, to zwiększenie presji selekcyjnej doprowadzi do szybszej zbieżności procesu optymalizacji tego algorytmu. Zasady kierunkowania obliczeń zaimplementowane zostały w modułach realizujących poszczególne algorytmy optymalizacji. 1 Podobny algorytm po raz pierwszy opisano roku 1995 w publikacji Kennedy J., Eberhard R.C., Particle Swaem Optimization w: Proceedings of the IEEE International Conference on Neural Network, Perth, 1995; - str. 21 -

22 Dzięki temu OM na podstawie porównania postępów procesu optymalizacji podczas działania poszczególnych metod składowych, dysponuje niezależnym (od konkretnej metody) interfejsem służącym do wsparcia przebiegu HPO. W celu powiększenia korzyści, jakie daje równoległa HPO, model procedury hybrydowej został rozszerzony o preferencje dotyczące reguł przełączania metod składowych modelu, co pokazuje Rysunek 5:3. Rysunek 5:3 Konstrukcja Modelu HPO w wariancie równoległym Źródło: opracowanie własne Wykorzystując prawidłowo przemyślany dobór funkcji testowych i problemów, wykazano wyższość rozwiązania będącego przedmiotem rozprawy i przedstawiono skoncentrowany zestaw doświadczeń (badań praktycznych) własnej konstrukcji. Opracowany na potrzeby realizacji dysertacji konstruktor hybryd pozwala na utworzenie (modelowanie i uruchomienie) dowolnej hybrydowej procedury optymalizacji. Dzięki tej nieograniczonej swobodzie konstrukcji możliwe było przebadanie wielu różnych struktur HPO i potwierdzenie zasadności przytoczonych w badaniu literatury zasad racjonalnego łączenia metod składowych w HPO. Choć więc istnieje praktycznie nieograniczony zbiór możliwych HPO, to skonstruowanie ich w sposób nieracjonalny nie prowadzi do uzyskania celów cząstkowych dysertacji. Co więcej, dla problemów badanych w pracy, wśród kilkunastu przebadanych racjonalnie zaimplementowanych HPO, różnice konstrukcyjne wpływały na uzyskiwane wyniki w stopniu minimalnym. - str. 22 -

23 5.3 Badania benchmarkowe Dobór danych doświadczalnych Dla sprawdzenia skuteczności proponowanej metody poddano ją szeregu testom z wykorzystaniem wielu funkcji benchmarkowych. Głównym źródłem pochodzenia tych funkcji były międzynarodowe turnieje optymalizacyjne ICEO (Bersini, et al., 1996). Miały one na celu wykazanie efektywności stosowania proponowanej metody hybrydowej przy rozwiązywaniu zadań optymalizacji o bardzo różnej charakterystyce. Badania te miały również na celu ocenę skuteczności proponowanej metody w porównaniu do innych metod optymalizacji). Założenia niezbędne do obiektywnego zbadania skuteczności proponowanej metody hybrydowej opierają się m.in. na pracy (Hellstrom & Holmstrom, 1998), która wyjaśnia pewne najważniejsze cechy, które powinny charakteryzować skuteczne metody predykcji i optymalizacji. Specjalne funkcje testowe zaprezentowane poniżej (tzw. funkcje De Jonga) używane są powszechnie do weryfikacji skuteczności i efektywności metod optymalizacji (Yuret, 1994) zostały one włączone do oceny proponowanej metody hybrydowej Potwierdzenie skuteczności metody w wariancie szeregowym Szeregowa hybryda optymalizacji jest stosunkowo prostą konstrukcją, w oparciu o którą można omówić najważniejsze własności całej klasy metod. Wyniki obliczeń kolejnych składowych procedury hybrydowej przekazywane są jako punkt startowy obliczeń (lub populacja początkowa) do następnych składowych. Szczegółowe tabelaryczne zestawienia zawierają załączniki do dysertacji. Pozwalają one obserwować i weryfikować działanie hybrydy szeregowej, działającej według określonych wcześniej założeniach. - str. 23 -

24 Skuteczność osiągania ekstremum Robert Rychcicki autoreferat dysertacji doktorskiej Wykres 5-1 przedstawia analizę skuteczności osiągania przez metodę hybrydową zadanego otoczenia ekstremum globalnego wybranych funkcji benchmarkowych, definiowanego euklidesową miarą odległości od ekstremum globalnego, nie większą niż 0, % oznacza osiągnięcie ekstremum Monte Carlo Genetyczny Rosenbrocka Hybrydowa Wykres 5-1 Skuteczność uzyskania przez metodę hybrydową zadanej dokładności Źródło: Opracowanie własne Wyniki działania optymalizacji po 500 iteracjach wskazują, że metoda hybrydowa dla każdej z funkcji benchmarkowych dotarła do ekstremum globalnego. Badania na funkcjach benchmarkowych dla wyższych wymiarowości (funkcja Ackley a określona w przestrzeni 6-wymiarowej) również wykazują przewagę hybrydy optymalizacyjnej. - str. 24 -

25 5.4 Praktyczne zastosowanie hybrydy w problemach giełdowych Model portfela inwestycyjnego Jako przykład systemu rzeczywistego użyty został model portfela inwestycyjnego na bazie teorii Markowitza (Markowitz, et al., 2000). Następnie zaprezentowane zostaną obliczenia wykonane w oparciu o metodę mnożników Lagrange a (jest to swoisty benchmark, stanowiący rozwiązanie analityczne) oraz wyniki uzyskane przy zastosowaniu hybrydowej optymalizacji. Zakładamy, że na portfel inwestycyjny składa się K różnych walorów (Wi), określonych przez: µi oczekiwana stopa zwrotu z waloru, σi odchylenie standardowe waloru. Dla każdego waloru określamy też: xi względny udział danego waloru w całym portfelu. Strukturę portfela opisują więc wagi xi, spełniające warunek: Dla każdej pary walorów określamy: K x i i=1 = 1 (6.1) ρij współczynnik korelacji walorów i, j, σij kowariancja walorów i, j= ρij σi σj Zadanie w zapisie macierzowym: σ 2 p = X T Σ (K K) X X min { μ p = X T μ X T 1 (1 K) = 1 (6.2) gdzie: X = [x 1 x K] T μ = [μ 1 μ K] T 1 = [1 1] T - str. 25 -

26 Zadania optymalizacji wymagają zazwyczaj opisania ograniczeń w postaci G(x) = 0, a te możemy zapisać: σ 2 p = X T Σ X min X { μ p X T μ = 0 1 X T 1 (1 K) = 0 (6.3) Dla zadań minimalizacji funkcji danych w powyższej postaci (kwadratowa funkcja celu i liniowe ograniczenia w postaci równości) można zastosować analityczną metodę obliczania rozwiązań zwaną metodą Karush Kuhn Tucker (to rozwiązanie analityczne będzie traktowane jako benchmark). W pierwszym kroku tej metody należy określić funkcję Lagrange dla układu równań. Dla tak postawionego zadania ma ona postać: L(λ, X) = X T Σ X + λ 1 (1 X T 1) + λ 2 (μ p X T μ) (6.4) Jak widać, jest to funkcja celu (wariancja portfela) z dodanymi do niej warunkami brzegowymi (które są zdefiniowane jako równe zero). Dlatego, szukając ekstremum funkcji Lagrange a znajdziemy jednocześnie ekstremum funkcji celu. Zgodnie z procedurą optymalizacji, obliczamy gradient funkcji Lagrange a (grad L - wektor pierwszych pochodnych funkcji), czyli funkcję Lagrange'a różniczkujemy względem każdej ze zmiennych. Warunkiem koniecznym (niewystarczającym) istnienia ekstremum w x0 jest: równość grad L w punkcie x0 z wektorem zerowym, zerowa wartość funkcji warunków brzegowych w punkcie x0 Z powyższych otrzymujemy układ macierzy: μ 1 μ K Γ = [λ 1 λ 2 X 0 ] 1 μ σ 1 2 σ 1K = [ 1 μ K 2 σ K1 2 σ 2 K ] [ 1 μ p 0 0 ] (6.5) - str. 26 -

27 Z powyższej równości wyznaczamy wprost wagi portfela (i współczynniki Lagrange a), czyli rozwiązanie danego problemu optymalizacji, pod warunkiem, że macierz jest dobrze określona μ p 0 0 μ 1 μ K Γ = [λ 1 λ 2 X 0 ] = 0 1 μ σ 1 2 σ 1K [ 0 ] [ 1 μ K 2 σ K1 2 σ 2 K ] 1 (6.6) Otrzymany punkt może nie być jednak punktem ekstremum, a tzw. punktem siodłowym. Rozwiązując zadanie znaleźliśmy jedynie wagi portfela, dla których gradient funkcji Lagrange a jest zerowy. Wykorzystując tzw. hesjan obrzeżony badamy następnie warunek wystarczający istnienia ekstremum w wyznaczonym punkcie. Gradient (macierz pierwszych pochodnych L), ma (po wyłączeniu λ1 λ2 x1 xk ) następującą postać: μ 1 μ K γ = [λ 1 λ 2 X 0 ] 1 μ 1 2 σ 1 σ 1K [ 1 μ K σ K1 σ 2 K ] (6.7) Macierz Hessego (drugich pochodnych L) ma więc bardzo podobną postać: μ 1 μ K H = 1 μ 1 2 σ 1 σ 1K [ 1 μ K σ K1 σ 2 K ] (6.8) Oznaczamy następnie przez Hk odpowiedni minor główny tej macierzy, czyli wyznacznik macierzy złożonej z k pierwszych wierszy i k pierwszych kolumn macierzy Hessego. Zgodnie z twierdzeniem, jeśli w punkcie P(x0, λ0): jest spełniony warunek konieczny oraz dla każdego k=(m+1) K zachodzi ( 1) m H k (P) > 0, gdzie m to liczba warunków brzegowych (tu: 2), to w punkcie P(x0, λ0) funkcja celu osiąga minimum warunkowe. - str. 27 -

28 5.4.2 Sposób przeprowadzenia badania Jako źródło danych do doświadczeń wykorzystano pełną bazę notowań ciągłych z Giełdy Papierów Wartościowych w Warszawie (wszystkie spółki notowane w podanych poniżej okresach). Dane giełdowe były przetwarzane przy wykorzystaniu metod opracowanych przez autora niniejszej rozprawy w (Twardochleb, et al., 2009). Notowania zostały zebrane z lat Badanie zostało przeprowadzone na przykładzie systemu wspomagania decyzji inwestora i polegało na: Wyborze 5 walorów spośród dostępnych na giełdzie, Wyznaczanie współczynników portfela minimalnowariancyjnego według teorii Markowitza metodą Lagrange a Wyznaczenie współczynników portfela za pomocą proponowanego hybrydowego algorytmu optymalizacji, Porównaniu otrzymanych wyników i wyciągnięciu wniosków. Procedura testowa została wykonana 450 razy, testowych (lata 2007, 2008, 2009). po 150 dla każdej z grup danych Wyniki badania Poniższe zestawienia przedstawiają charakterystyczne przypadki, w których efekt działania porównywanych metod (tj. metody standardowej i metody proponowanej) różni się. Tabela 5-1 Przypadek charakterystyczny mi σi cov XL XH MONNARI -0,1028 7, ,28 35,55 16,72 3,09 3,80-0,049 0 KOPEX -0,1565 9, ,55 49,02 19,48 3,27 4,63-0,045 0 ATLASEST -0,0683 3, ,72 19,48 10,27 1,46 2,10-0,042 0 GASTELZUR -0,0101 0,8593 3,09 3,27 1,46 0,33 0,36 0,319 0,999 MIT -0,0126 0,8272 3,80 4,63 2,10 0,36 0,50 0,817 0,001 y= 2008 µp= 0,0015-0,0101 z= 3 σp= 0,2038 0,5760 Źródło: Opracowanie własne - str. 28 -

29 Tabela 5-2 Przypadek charakterystyczny mi σi cov XL XH KOLASTYNA -0,0009 0,1236 0,02 6,46 0,01 0,50 0,04 0,773 0,677 WIG-INFO 1, ,1501 6, ,68 22, ,90 71,84-0,001 0 PONAR -0,0010 0,2399 0,01 22,02 0,06 1,63 0,14 0,256 0,323 DEBICA 0, ,7332 0, ,90 1,63 137,42 4,95 0,002 0 MMPPL -0,0012 0,7826 0,04 71,84 0,14 4,95 0,61-0,03 0 y= 2009 µp= -0,0015-0,0009 z= 3 σp= 0,1067 0,1382 Źródło: Opracowanie własne Tabela 5-3 Przypadek charakterystyczny mi σi cov XL XH COMARCH -0, , ,61 5,36 40,03 59,71-35,78-0,008 0 NOWAGALA 0,0018 0,8609 5,36 0,74 2,78 0,56 5,55 1,065 0,978 VARIANT -0,0157 4, ,03 2,78 18,54 7,17 37,52-0,122 0 EFEKT -0,0142 4, ,71 0,56 7,17 16,08 11,54 0,081 0,022 PAGED 0, , ,78 5,55 37,52 11,54 138,18-0,016 0 y= 2007 µp= 0,0028 0,0014 z= 3 σp= 0,6043 0,8605 Źródło: Opracowanie własne Objaśnienia do tabel: Pierwsza kolumna zawiera wybrane walory, Kolumna mi średnia oczekiwana stopa zwrotu na podstawie populacji, Kolumna σi odchylenie standardowe populacji, Cov macierz kowariancji, na przekątnej znajdują się kwadraty odchyleń standardowych poszczególnych walorów, XL udział poszczególnych walorów w portfelu, wyliczony metodą standardową, XH udział poszczególnych walorów w portfelu, wyliczony proponowaną metodą, µp oczekiwana wartość zwrotu portfela, σp oczekiwane odchylenie standardowe portfela, - str. 29 -

30 W demonstrowanych przypadkach metoda proponowana wyeliminowała krótką sprzedaż, a w konsekwencji zapewniła spełnienie ograniczeń udział żadnego waloru w portfelu inwestycyjnym nie spadł poniżej 0.0 i nie przekroczył wartości 1.0. Wyniki zbiorcze: Tabela 5-4 Wyniki zbiorcze z Liczba przypadków Procent przypadków 0 3 0,7% ,2% ,4% ,3% 4 6 1,3% Źródło: Opracowanie własne z liczba walorów usuniętych z portfela przez proponowaną metodę. 5.5 Praktyczne zastosowanie hybrydy do problemu komiwojażera (TSP) Definicja problemu Ogólny problem komiwojażera sformułowany jest następująco: dane jest n miejsc, a każde dwa z nich połączone są drogą o określonej długości. W jednym z miejsc znajduje się komiwojażer, który chce odwiedzić wszystkie miejsca w taki sposób, aby w każdym znaleźć się dokładnie jeden raz, a na koniec wędrówki powrócić do miejsca startowego. Optymalnym rozwiązaniem jest trasa, dla której koszt objazdu jest najmniejszy. Na podstawie teorii grafów problem komiwojażera można przedstawić jako zadanie polegające na znalezieniu minimalnego cyklu Hamiltona w pełnym grafie ważonym. Poszczególne miejsca są wierzchołkami grafu, trasy pomiędzy nimi to krawędzie z wagami. Waga krawędzi może odpowiadać odległości pomiędzy miejscami połączonymi tą krawędzią, czasowi podróży lub koszcie przejazdu. - str. 30 -

31 Zadanie sprowadza się do znalezienia permutacji miejsc (i 1, i 2,, i n ), dla której koszt jest minimalny. Dla problemu komiwojażera nie jest znany algorytm efektywny, tzn. rozwiązujący ten problem w czasie wielomianowym. Należy on do klasy problemów NP, w związku z tym praktycznie niemożliwy jest przegląd zupełny przestrzeni rozwiązań. Dlatego jest często wybierany do weryfikacji nowych pomysłów w dziedzinie algorytmów genetycznych. (Hrazdil, 2010) Decyzyjna wersja problemu TSP ( Czy w danym grafie pełnym istnieje cykl Hamiltona o długości nie większej niż x? ) jest dodatkowo problemem NP-zupełnym, czyli problemem NP-trudnym, który należy jednocześnie do klasy NP. Należy przy tym zwrócić uwagę, że przynależność problemu do klasy NP nie oznacza możliwości zweryfikowania rozwiązania (czyli słowa TAK / NIE ) w czasie wielomianowym, lecz możliwość zweryfikowania świadectwa (dowodu) poprawności rozwiązania (w tym przypadku takim świadectwem jest ciąg wierzchołków; w czasie wielomianowym jesteśmy w stanie sprawdzić zarówno, czy ciąg wierzchołków tworzy cykl Hamiltona, jak i czy długość trasy nie przekracza x) (Rychcicki, 2012) Metody stosowane obecnie Wśród powszechnie stosowanych algorytmów rozwiązujących problem komiwojażera (w wariancie opisywanym w dysertacji) można wyróżnić algorytmy heurystyczne (zazwyczaj ogólnego przeznaczenia) i algorytmy aproksymacyjne (dedykowane do rozwiązywania tego konkretnego problemu). Wyniki działania algorytmów heurystycznych mogą teoretycznie w dowolnym stopniu odbiegać od wyników optymalnych. W praktyce jednak często zwracają całkiem dobre 2 rozwiązania i to w dużo krótszym czasie, niż algorytmy dokładne. Spośród całej gamy algorytmów heurystycznych wybrano trzy, które dodatkowo należą do algorytmów sztucznej inteligencji: Algorytm genetyczny, Algorytm immunologiczny, Algorytm mrówkowy. 2 Tj. spełniające zadane kryterium optymalizacyjne - str. 31 -