Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(), zwaną funkcją aproksymującą lub przybliżeniem funkcji F(). Przybliżenie takie powoduje pojawienie się błędów i problem oszacowania tych błędów oraz ich wielkość mają istotny wpływ na wybór metody aproksymacji. Gdy zbiór, na którym jest mierzony błąd aproksymacji, jest zbiorem dyskretnym, aproksymacja jest nazywana punktową, gdy jest to przedział jest nazywana integralną. Klasyczne metody aproksymacji funkcji zakładają określony zbiór funkcji bazowych, z których jest budowana poszukiwana funkcja oraz sposób ich wykorzystania (na przykład zbudowanie z nich tak zwanego wielomianu uogólnionego). Z kolei regresja symboliczna jest procedurą indukcji symbolicznej postaci funkcji, która dopasowuje się do danych wejściowych określonych tablicą wartości. Poszukiwana funkcja jest budowana z symboli zdefiniowanych przez badacza bez założenia jej modelu. Potrzeba przeprowadzenia procesu aproksymacji pojawia się, na przykład: w analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych, w analizie obserwacji statystycznych.
Aproksymacja jest problemem przybliżania funkcji, polegającym na wyznaczaniu dla danej funkcji F() takich funkcji f(), które w określonym sensie najlepiej przybliżają funkcję F() dla danego zbioru wejściowego. Podstawowym problemem aproksymacji funkcji jest określenie jej postaci. Najczęściej przyjmuje się, że poszukiwana funkcja ma postać wielomianu uogólnionego: f()=a ϕ ()a ϕ ()...a n ϕ n () () gdzieϕ,ϕ,...,ϕ n są funkcjami bazowymin wymiarowej podprzestrzeni liniowejx n przestrzenix. Przy zadanych funkcjach bazowych należy więc wyznaczyć takie wartości współczynnikówa,a,...,a n, aby funkcja f() spełniała określone warunki, na przykład minimalizowała normę różnicy F() f(). Gdy funkcjaf() jest określona na dyskretnym zbiorze wartości, rozpatruje się normę: F = n i= [F( i )] Zagadnienie najlepszej aproksymacji przy wybranych funkcjach bazowychϕ k () sprowadza się do znalezienia wartości współczynnikówa k takich, aby otrzymać minimum wyrażenia: F() (a ϕ ()a ϕ ()...a n ϕ n ()) W zależności od przyjętego sposobu oszacowania błędów aproksymacji wyróżnia się trzy rodzaje aproksymacji: aproksymację interpolacyjną, aproksymację jednostajną, aproksymację średniokwadratową. W przypadku aproksymacji interpolacyjnej, podobnie jak w zagadnieniu interpolacji, wymaga się, aby dana funkcja, f(), i funkcja szukana, F(), przyjmowały dokładnie te same wartości na danym, dyskretnym zbiorze argumentówx.
Regresja symboliczna Zadaniem regresji symbolicznej jest znalezienie symbolicznej postaci wyrażenia matematycznego (funkcji), która dokładnie (lub w zadowalającym stopniu) odzwierciedla określone wartości zmiennej zależnej dla podanego zbioru wartości zmiennych niezależnych. Jest to więc, w istocie, zadanie punktowej aproksymacji funkcji, z tym, że w tym przypadku poszukuje się nie tylko zbioru parametrów (współczynników) dla założonego modelu funkcji, lecz również samego modelu. Tym właśnie regresja symboliczna różni się od konwencjonalnej liniowej, kwadratowej, wielomianowej, czy trygonometrycznej aproksymacji funkcji. W odróżnieniu od metod konwencjonalnych, gdzie zakłada się postać modelu rozwiązania, a zadaniem procesu jest znalezienie zbioru warości odpowiednich współczynników modelu, regresja symboliczna znajduje zarówno model, jak i odpowiednie wartości jego parametrów. Tak sformułowane zadanie aproksymacji można zdefiniować poprzez zbiór niezależnych zmiennych wejściowych,z, oraz zależną zmienną wynikową, y. Celem jest więc przybliżenie wartości zmiennej y używając zmiennych niezależnychz oraz współczynnikóww, w taki sposób, aby: =f(z,w)ǫ gdzie ǫ reprezentuje szum. W standardowych metodach aproksymacji postać funkcjif jest predefiniowana. Przykładowo, dla aproksymacji liniowej, funkcjaf ma założoną postać: f(z,w)=w w...w n n gdziew jest poszukiwanym zbiorem wartości współczynników. W przeciwieństwie do technik klasycznych metody takie, jak Programowanie Genetyczne, niektóre podejścia probabilistyczne, czy Programowanie Mrowiskowe nie zakładają predefiniowanego modelu rozwiązania. Używają za to zbioru funkcji elementarnych, których kombinacja daje w rezultacie pełną postać poszukiwanej funkcji. Na przykład, mając dane funkcje -argumentoweh,...,h u oraz -argumentoweg,...,g b, można z ich kombinacji utworzyć wiele różnych wyrażeń, przykładowo: f(z,w)=h (g (g ( 3,w ),h ( ))) () 3
Oczywiście dopuszczalna jest każda inna poprawna kombinacja zmiennych i funkcji. Zbiory H oraz G zwykle zawierają standardowe funkcje (lub operatory) arytmetyczne (dodawanie, odejmowanie, mnożenie, dzielenie), trygonometryczne (sinus, cosinus, tangens, itd.), logiczne (not, lub, i) czy logarytmiczne. W związku z tym zastąpienie symbolihig w funkcji () może dać wyrażenie: f(z,w)=log(( 3 w ) sin ) Tak więc w tym podejściu do aproksymacji funkcji poszukuje się kombinacji zmiennych, funkcji i współczynników tak, aby zminimalizować błąd funkcji dla danego zbioru danych wejściowych. Przy tym zarówno postać i wielkość funkcji, jak i wszystkie jej elementy składowe funkcje elementarne oraz liczba i wartości współczynników są automatycznie znajdowane przez algorytm. Regresja symboliczna ma więc tę przewagę nad podejściem klasycznem do aproksymacji funkcji, że równolegle poszukuje tak postaci funkcji jak i jej parametrów, co jest często kluczowym problemem w analizie danych eksperymentalnych, gdzie określenie z góry poszukiwanego modelu jest bardzo trudne, czy wręcz niemożliwe. Dodatkowo, zbiór funkcji elementarnych może być rozszerzony o zbiór instrukcji dowolnego języka programowania, dzięki czemu problem regresji symbolicznej można uogólnić na zadanie automatycznego programowania automatycznego znajdowania programu, który będzie realizował czynności zdefiniowane w jego specyfikacji. Można więc powiedzieć, że regresja symboliczna jest procedurą indukcji równania symbolicznego, funkcji lub programu, które dopasowują się do danych wejściowych. Poszukiwane wyrażenia są budowane z symboli zdefiniowanego przez badacza alfabetu. Mogą to być symbole matematyczne, lub instrukcje dowolnego języka programowania. Dobór alfabetu jest ściśle związany z rodzajem stawianego problemu. System przeprowadzający regresję symboliczną w każdej iteracji generuje wiele kandydujących rozwiązańf k, które podlegają ocenie na podstawie zbioru danych wejściowych. Istnieje wiele miar dopasowania, wśród których można znaleźć: 4
błąd bezwzględny będący sumą modułów różnic wartości funkcji w zbiorze wejściowym (funkcji poszukiwanej F) i wartości wyliczonej przez bieżące rozwiązanief k : f P = N i= F i f k i błąd kwadratowy: średni błąd procentowy: f p = N APE= N i= N i= ( Fi f k i F i f k i F i ) % gdzie N jest liczbą przypadków testowych w zbiorze wejściowym. Tak więc regresja symboliczna może być traktowana jako próba (re)konstrukcji lub przybliżenia funkcji na podstawie danej tabeli wartości zakładając: zbiór operatorów, funkcji i stałych, funkcję oceny jakości przybliżenia. 5
Programowanie genetyczne Struktura elementarnego algorytmu genetycznego jest taka sama, jak typowego programu ewolucyjnego. Przebieg tego algorytmu: Algorytm : Elementarny algorytm genetyczny t:= Utwórz populację początkową(p(t)) Oceń(P(t)) while (not warunek końca) do begin t:=t P(t) := Selekcja(P(t )) Krzyżuj(P(t)) Mutuj(P(t)) Oceń(P(t)) end { Koniec algorytmu } Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że: nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać, operują na dużej liczbie rozwiązań (osobników), poszukują rozwiązania metodą próbkowania, korzystają tylko z funkcji celu, a nie z innych pomocniczych informacji, opierają się na probabilistycznym a nie deterministycznym modelu działania. Cechy te odróżniają algorytmy genetyczne od konwencjonalnych technik optymalizacji. 6
Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne:. wybór końcówek (symboli terminalnych),. wybór funkcji operujących na końcówkach (dokładniej operatorów, funkcji i instrukcji), 3. określenie funkcji dopasowania, 4. ustalenie wartości parametrów, 5. zdefiniowanie kryterium zakończenia obliczeń. 7
Nr Wejście () Wyjście (y= ),,,4,8 3,6,48 4,8,7 5,, 6,,3 7,4,68 8,6,8 9,8,5, 3, Tablica : Wartości poszukiwanej funkcji (zbiór trenujący) a) b) c) / d) 3 Rysunek : Populacja początkowa dla przykładu programowania genetycznego 8
Nr y a y b y c y d,,4,4,3,,4,8,6,6,4 3,6,,36,9,6 4,8,6,64,,8 5,,,,5, 6,,4,44,8, 7,4,8,96,,4 8,6 3, 3,56,4,6 9,8 3,6 4,4,7,8, 4, 5, 3,, f i 8,8, 3,3 3, Tablica : Wartości funkcji dopasowania osobników populacji początkowej a) b) c) d) / 3 Rysunek : Zbiór osobników po selekcji populacji początkowej 9
b ) Rysunek 3: Zmutowany osobnikb c ) d ) / 3 Rysunek 4: Wynik skrzyżowania osobnikówcorazd Nr y a y b y c y d,,4,4,3,,4,8,6,6,4 3,6,,36,9,6 4,8,6,64,,8 5,,,,5, 6,,4,44,8, 7,4,8,96,,4 8,6 3, 3,56,4,6 9,8 3,6 4,4,7,8, 4, 5, 3,, f i 8,8, 3,3 3, Tablica 3: Wartości funkcji dopasowania osobników populacji nr
a) b) c) d) / 3 Rysunek 5: Populacja nr Nr y a y b y c y d,, -,6, 4,,4,4 -,,8,9 3,6,6,,48,7 4,8,8,6,7,5 5,,,,, 6,,,4,3,3 7,4,4,8,68, 8,6,6,,8,3 9,8,8,6,5,36,, 3, 3,,5 f i 3,,,,9 Tablica 4: Wartości funkcji dopasowania osobników populacji nr 8
c) _ d) b) a) / - _ / - Rysunek 6: Populacja nr 8