Aproksymacja funkcji a regresja symboliczna

Transkrypt

1 Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą lub przybliżeniem funkcji F(x). Przybliżenie takie powoduje pojawienie się błędów i problem oszacowania tych błędów oraz ich wielkość mają istotny wpływ na wybór metody aproksymacji. Gdy zbiór, na którym jest mierzony błąd aproksymacji, jest zbiorem dyskretnym, aproksymacja jest nazywana punktową, gdy jest to przedział - jest nazywana integralną.

2 Aproksymacja funkcji a regresja symboliczna Klasyczne metody aproksymacji funkcji zakładają określony zbiór funkcji bazowych, z których jest budowana poszukiwana funkcja oraz sposób ich wykorzystania (na przykład zbudowanie z nich tak zwanego wielomianu uogólnionego). Z kolei regresja symboliczna jest procedurą indukcji symbolicznej postaci funkcji, która dopasowuje się do danych wejściowych określonych tablicą wartości. Poszukiwana funkcja jest budowana z symboli zdefiniowanych przez badacza bez założenia jej modelu.

3 Potrzeba przeprowadzenia procesu aproksymacji pojawia się, na przykład:

4 Potrzeba przeprowadzenia procesu aproksymacji pojawia się, na przykład: w analizie wyników badań eksperymentalnych,

5 Potrzeba przeprowadzenia procesu aproksymacji pojawia się, na przykład: w analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych,

6 Potrzeba przeprowadzenia procesu aproksymacji pojawia się, na przykład: w analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych, w analizie obserwacji statystycznych.

7 Aproksymacja funkcji Aproksymacja jest problemem przybliżania funkcji, polegającym na wyznaczaniu dla danej funkcji F(x) takich funkcji f(x), które w określonym sensie najlepiej przybliżają funkcję F(x) dla danego zbioru wejściowego. Podstawowym problemem aproksymacji funkcji jest określenie jej postaci. Najczęściej przyjmuje się, że poszukiwana funkcja ma postać wielomianu uogólnionego: f (x) = a 0 φ 0 (x) + a 1 φ 1 (x) a n φ n (x), (1) gdzie φ 0, φ 1,..., φ n są funkcjami bazowymi n + 1 wymiarowej podprzestrzeni liniowej Xn+1 przestrzeni X.

8 Aproksymacja funkcji Przy zadanych funkcjach bazowych należy więc wyznaczyć takie wartości współczynników a 0, a 1,..., a n, aby funkcja f(x) spełniała określone warunki, na przykład minimalizowała normę różnicy F (x) f (x). Gdy funkcja F(x) jest określona na dyskretnym zbiorze wartości, rozpatruje się normę: n F = ( [F (x i )] 2 ) 1 2 (2) i=0 Zagadnienie najlepszej aproksymacji przy wybranych funkcjach bazowych φ k (x) sprowadza się do znalezienia wartości współczynników a k takich, aby otrzymać minimum wyrażenia: F (x) (a 0 φ 0 (x) + a 1 φ 1 (x) a n φ n (x)) (3)

9 W zależności od przyjętego sposobu oszacowania błędów aproksymacji wyróżnia się trzy rodzaje aproksymacji:

10 W zależności od przyjętego sposobu oszacowania błędów aproksymacji wyróżnia się trzy rodzaje aproksymacji: aproksymację interpolacyjną,

11 W zależności od przyjętego sposobu oszacowania błędów aproksymacji wyróżnia się trzy rodzaje aproksymacji: aproksymację interpolacyjną, aproksymację jednostajną,

12 W zależności od przyjętego sposobu oszacowania błędów aproksymacji wyróżnia się trzy rodzaje aproksymacji: aproksymację interpolacyjną, aproksymację jednostajną, aproksymację średniokwadratową.

13 W zależności od przyjętego sposobu oszacowania błędów aproksymacji wyróżnia się trzy rodzaje aproksymacji: aproksymację interpolacyjną, aproksymację jednostajną, aproksymację średniokwadratową. W przypadku aproksymacji interpolacyjnej, podobnie jak w zagadnieniu interpolacji, wymaga się, aby dana funkcja, f(x), i funkcja szukana, F(x), przyjmowały dokładnie te same wartości na danym, dyskretnym zbiorze argumentów X.

14 Regresja symboliczna Zadaniem regresji symbolicznej jest znalezienie symbolicznej postaci wyrażenia matematycznego (funkcji), która dokładnie (lub w zadowalającym stopniu) odzwierciedla określone wartości zmiennej zależnej dla podanego zbioru wartości zmiennych niezależnych. Jest to więc, w istocie, zadanie punktowej aproksymacji funkcji, z tym, że w tym przypadku poszukuje się nie tylko zbioru parametrów (współczynników) dla założonego modelu funkcji, lecz również samego modelu. Tym właśnie regresja symboliczna różni się od konwencjonalnej liniowej, kwadratowej, wielomianowej, czy trygonometrycznej aproksymacji funkcji. W odróżnieniu od metod konwencjonalnych, gdzie zakłada się postać modelu rozwiązania, a zadaniem procesu jest znalezienie zbioru warości odpowiednich współczynników modelu, regresja symboliczna znajduje zarówno model, jak i odpowiednie wartości jego parametrów.

15 Regresja symboliczna Tak sformułowane zadanie aproksymacji można zdefiniować poprzez zbiór niezależnych zmiennych wejściowych, Z, oraz zależną zmienną wynikową, y. Celem jest więc przybliżenie wartości zmiennej y używając zmiennych niezależnych Z oraz współczynników W, w taki sposób, aby: x = f (Z, W ) + ɛ, (4) gdzie ɛ reprezentuje szum. W standardowych metodach aproksymacji postać funkcji f jest predefiniowana. Przykładowo, dla aproksymacji liniowej, funkcja f ma założoną postać: f (Z, W ) = w 0 + w 1 x w n x n, (5) gdzie W jest poszukiwanym zbiorem wartości współczynników.

16 Regresja symboliczna W przeciwieństwie do technik klasycznych metody takie, jak Programowanie Genetyczne, niektóre podejścia probabilistyczne, czy Programowanie Mrowiskowe nie zakładają predefiniowanego modelu rozwiązania. Używają za to zbioru funkcji elementarnych, których kombinacja daje w rezultacie pełną postać poszukiwanej funkcji. Na przykład, mając dane funkcje 1-argumentowe h 1,..., h u oraz 2-argumentowe g 1,..., g b, można z ich kombinacji utworzyć wiele różnych wyrażeń, przykładowo: f (Z, W ) = h 1 (g 2 (g 1 (x 3, w 1 ), h 2 (x 1 ))) (6) Oczywiście dopuszczalna jest każda inna poprawna kombinacja zmiennych i funkcji.

17 Regresja symboliczna Zbiory H oraz G zwykle zawierają standardowe funkcje (lub operatory) arytmetyczne (dodawanie, odejmowanie, mnożenie, dzielenie), trygonometryczne (sinus, cosinus, tangens, itd.), logiczne (not, lub, i) czy logarytmiczne. W związku z tym zastąpienie symboli h i g w funkcji (2) może dać wyrażenie: f (Z, W ) = log((x 3 + w 1 ) sinx 1 ) (7)

18 Regresja symboliczna Tak więc w tym podejściu do aproksymacji funkcji poszukuje się kombinacji zmiennych, funkcji i współczynników tak, aby zminimalizować błąd funkcji dla danego zbioru danych wejściowych. Przy tym zarówno postać i wielkość funkcji, jak i wszystkie jej elementy składowe funkcje elementarne oraz liczba i wartości współczynników są automatycznie znajdowane przez algorytm. Regresja symboliczna ma więc tę przewagę nad podejściem klasycznem do aproksymacji funkcji, że równolegle poszukuje tak postaci funkcji jak i jej parametrów, co jest często kluczowym problemem w analizie danych eksperymentalnych, gdzie określenie z góry poszukiwanego modelu jest bardzo trudne, czy wręcz niemożliwe. Dodatkowo, zbiór funkcji elementarnych może być rozszerzony o zbiór instrukcji dowolnego języka programowania, dzięki czemu problem regresji symbolicznej można uogólnić na zadanie automatycznego programowania automatycznego znajdowania programu, który będzie realizował czynności zdefiniowane w jego specyfikacji.

19 Regresja symboliczna Można więc powiedzieć, że regresja symboliczna jest procedurą indukcji równania symbolicznego, funkcji lub programu, które dopasowują się do danych wejściowych. Poszukiwane wyrażenia są budowane z symboli zdefiniowanego przez badacza alfabetu. Mogą to być symbole matematyczne, lub instrukcje dowolnego języka programowania. Dobór alfabetu jest ściśle związany z rodzajem stawianego problemu. System przeprowadzający regresję symboliczną w każdej iteracji generuje wiele kandydujących rozwiązań f k, które podlegają ocenie na podstawie zbioru danych wejściowych.

20 Istnieje wiele miar dopasowania, wśród których można znaleźć:

21 Istnieje wiele miar dopasowania, wśród których można znaleźć: błąd bezwzględny będący sumą modułów różnic wartości funkcji w zbiorze wejściowym (funkcji poszukiwanej F) i wartości wyliczonej przez bieżące rozwiązanie f k : f P = N i=1 F i f k i (8)

22 Istnieje wiele miar dopasowania, wśród których można znaleźć: błąd bezwzględny będący sumą modułów różnic wartości funkcji w zbiorze wejściowym (funkcji poszukiwanej F) i wartości wyliczonej przez bieżące rozwiązanie f k : f P = N i=1 F i f k i (8) błąd kwadratowy: f P = N (F i fi k ) 2 (9) i=1

23 Istnieje wiele miar dopasowania, wśród których można znaleźć: błąd bezwzględny będący sumą modułów różnic wartości funkcji w zbiorze wejściowym (funkcji poszukiwanej F) i wartości wyliczonej przez bieżące rozwiązanie f k : błąd kwadratowy: średni błąd procentowy: f P = f P = N i=1 F i f k i (8) N (F i fi k ) 2 (9) i=1 APE = 1 N N i=1 F i fi k 100%, (10) F i gdzie N jest liczbą przypadków testowych w zbiorze wejściowym.

24 Regresja symboliczna Tak więc regresja symboliczna może być traktowana jako próba (re)konstrukcji lub przybliżenia funkcji na podstawie danej tabeli wartości zakładając:

25 Regresja symboliczna Tak więc regresja symboliczna może być traktowana jako próba (re)konstrukcji lub przybliżenia funkcji na podstawie danej tabeli wartości zakładając: zbiór operatorów, funkcji i stałych,

26 Regresja symboliczna Tak więc regresja symboliczna może być traktowana jako próba (re)konstrukcji lub przybliżenia funkcji na podstawie danej tabeli wartości zakładając: zbiór operatorów, funkcji i stałych, funkcję oceny jakości przybliżenia.

27 Programowanie genetyczne Struktura elementarnego algorytmu genetycznego jest taka sama, jak typowego programu ewolucyjnego. Przebieg tego algorytmu: Algorytm 1: Elementarny algorytm genetyczny t := 0 Utwórz populację początkową(p(t)) Oceń(P(t)) while (not warunek końca) do begin t := t + 1 P(t) := Selekcja(P(t - 1)) Krzyżuj(P(t)) Mutuj(P(t)) Oceń(P(t)) end {Koniec algorytmu}

28 Programowanie genetyczne Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że:

29 Programowanie genetyczne Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że: nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać,

30 Programowanie genetyczne Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że: nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać, operują na dużej liczbie rozwiązań (osobników),

31 Programowanie genetyczne Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że: nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać, operują na dużej liczbie rozwiązań (osobników), poszukują rozwiązania metodą próbkowania,

32 Programowanie genetyczne Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że: nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać, operują na dużej liczbie rozwiązań (osobników), poszukują rozwiązania metodą próbkowania, korzystają tylko z funkcji celu, a nie z innych pomocniczych informacji,

33 Programowanie genetyczne Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że: nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać, operują na dużej liczbie rozwiązań (osobników), poszukują rozwiązania metodą próbkowania, korzystają tylko z funkcji celu, a nie z innych pomocniczych informacji, opierają się na probabilistycznym a nie deterministycznym modelu działania.

34 Programowanie genetyczne Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że: nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać, operują na dużej liczbie rozwiązań (osobników), poszukują rozwiązania metodą próbkowania, korzystają tylko z funkcji celu, a nie z innych pomocniczych informacji, opierają się na probabilistycznym a nie deterministycznym modelu działania. Cechy te odróżniają algorytmy genetyczne od konwencjonalnych technik optymalizacji.

35 Programowanie genetyczne Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne:

36 Programowanie genetyczne Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne: 1. wybór końcówek (symboli terminalnych),

37 Programowanie genetyczne Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne: 1. wybór końcówek (symboli terminalnych), 2. wybór funkcji operujących na końcówkach (dokładniej operatorów, funkcji i instrukcji),

38 Programowanie genetyczne Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne: 1. wybór końcówek (symboli terminalnych), 2. wybór funkcji operujących na końcówkach (dokładniej operatorów, funkcji i instrukcji), 3. określenie funkcji dopasowania,

39 Programowanie genetyczne Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne: 1. wybór końcówek (symboli terminalnych), 2. wybór funkcji operujących na końcówkach (dokładniej operatorów, funkcji i instrukcji), 3. określenie funkcji dopasowania, 4. ustalenie wartości parametrów,

40 Programowanie genetyczne Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne: 1. wybór końcówek (symboli terminalnych), 2. wybór funkcji operujących na końcówkach (dokładniej operatorów, funkcji i instrukcji), 3. określenie funkcji dopasowania, 4. ustalenie wartości parametrów, 5. zdefiniowanie kryterium zakończenia obliczeń.

41 Programowanie genetyczne Programowanie genetyczne Tablica: Wartości poszukiwanej funkcji (zbiór trenujący) Nr Wejście (x) Wyjście (y = x 2 +x 2 ) 1 0,2 0,12 2 0,4 0,28 3 0,6 0,48 4 0,8 0,72 5 1,0 1,00 6 1,2 1,32 7 1,4 1,64 8 1,6 2,08 9 1,8 2, ,0 3,00

42 Programowanie genetyczne Programowanie genetyczne Rysunek: Populacja początkowa dla przykładu programowania genetycznego

43 Programowanie genetyczne Programowanie genetyczne Tablica: Wartości funkcji dopasowania osobników populacji początkowej Nr x y a y b y c y d 1 0,2 0,40 1,04 0,30 0,20 2 0,4 0,80 1,16 0,60 0,40 3 0,6 1,20 1,36 0,90 0,60 4 0,8 1,60 1,64 1,20 0,80 5 1,0 2,00 2,00 1,50 1,00 6 1,2 2,40 2,44 1,80 1,20 7 1,4 2,80 2,96 2,10 1,40 8 1,6 3,20 3,56 2,40 1,60 9 1,8 3,60 4,24 2,70 1, ,0 4,00 5,00 3,00 2,00 f i 8,80 12,20 3,30 3,00

44 Programowanie genetyczne Programowanie genetyczne Rysunek: Zbiór osobników po selekcji populacji początkowej

45 Programowanie genetyczne Programowanie genetyczne Rysunek: Zmutowany osobnik b Rysunek: Wynik skrzyżowania osobników c oraz d

46 Programowanie genetyczne Programowanie genetyczne Tablica: Wartości funkcji dopasowania osobników populacji nr 1 Nr x y a y b y c y d 1 0,2 0,40 1,04 0,30 0,20 2 0,4 0,80 1,16 0,60 0,40 3 0,6 1,20 1,36 0,90 0,60 4 0,8 1,60 1,64 1,20 0,80 5 1,0 2,00 2,00 1,50 1,00 6 1,2 2,40 2,44 1,80 1,20 7 1,4 2,80 2,96 2,10 1,40 8 1,6 3,20 3,56 2,40 1,60 9 1,8 3,60 4,24 2,70 1, ,0 4,00 5,00 3,00 2,00 f i 8,80 12,20 3,30 3,00

47 Programowanie genetyczne Programowanie genetyczne Rysunek: Populacja nr 1

48 Programowanie genetyczne Programowanie genetyczne Tablica: Wartości funkcji dopasowania osobników populacji nr 8 Nr x y a y b y c y d 1 0,2 0,20-0,60 0,12 4,20 2 0,4 0,40-0,20 0,28 1,90 3 0,6 0,60 0,20 0,48 1,27 4 0,8 0,80 0,60 0,72 1,05 5 1,0 1,00 1,00 1,00 1,00 6 1,2 1,20 1,40 1,32 1,03 7 1,4 1,40 1,80 1,68 1,11 8 1,6 1,60 2,20 2,08 1,23 9 1,8 1,80 2,60 2,52 1, ,0 2,00 3,00 3,00 1,50 f i 3,00 2,00 0,00 11,19

49 Programowanie genetyczne Programowanie genetyczne Rysunek: Populacja nr 8