Aproksymacja funkcji a regresja symboliczna

Aproksymacja funkcji a regresja symboliczna

Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą lub przybliżeniem funkcji F(x). Przybliżenie takie powoduje pojawienie się błędów i problem oszacowania tych błędów oraz ich wielkość mają istotny wpływ na wybór metody aproksymacji. Gdy zbiór, na którym jest mierzony błąd aproksymacji, jest zbiorem

dyskretnym, aproksymacja jest nazywana punktową, gdy jest to przedział - jest nazywana integralną.

Aproksymacja funkcji a regresja symboliczna

Aproksymacja funkcji a regresja symboliczna

Klasyczne metody aproksymacji funkcji zakładają określony zbiór funkcji bazowych, z których jest budowana poszukiwana funkcja oraz sposób ich wykorzystania (na przykład zbudowanie z nich tak zwanego wielomianu uogólnionego). Z kolei regresja symboliczna jest procedurą indukcji symbolicznej postaci funkcji, która dopasowuje się do danych wejściowych określonych tablicą wartości. Poszukiwana funkcja jest budowana z symboli zdefiniowanych przez badacza bez założenia jej modelu.

Aproksymacja funkcji a regresja symboliczna

Potrzeba przeprowadzenia procesu aproksymacji pojawia się, na przykład:

Aproksymacja funkcji a regresja symboliczna

Potrzeba przeprowadzenia procesu aproksymacji pojawia się, na przykład:

w analizie wyników badań eksperymentalnych,

w problemach modelowania zjawisk fizycznych, w analizie obserwacji statystycznych.

Aproksymacja funkcji a regresja symboliczna

Potrzeba przeprowadzenia procesu aproksymacji pojawia się, na przykład:

w analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych,

Aproksymacja funkcji a regresja symboliczna

Potrzeba przeprowadzenia procesu aproksymacji pojawia się, na przykład:

w analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych, w analizie obserwacji statystycznych.

Aproksymacja funkcji

Aproksymacja jest problemem przybliżania funkcji, polegającym na wyznaczaniu dla danej funkcji F(x) takich funkcji f(x), które w określonym sensie najlepiej przybliżają funkcję F(x) dla danego zbioru wejściowego. Podstawowym problemem aproksymacji funkcji jest określenie jej postaci. Najczęściej przyjmuje się, że poszukiwana funkcja ma postać wielomianu uogólnionego:

f (x ) = a0φ0(x ) + a1φ1(x ) + ... + anφn(x ), (1) gdzie φ0, φ1, ... , φnsą funkcjami bazowymi n + 1 wymiarowej

podprzestrzeni liniowej Xn+1 przestrzeni X.

Aproksymacja funkcji a regresja symboliczna

Aproksymacja funkcji

Przy zadanych funkcjach bazowych należy więc wyznaczyć takie wartości współczynników a₀, a₁, ... , a_n, aby funkcja f(x) spełniała określone warunki, na przykład minimalizowała normę różnicy ||F (x ) − f (x )||. Gdy funkcja F(x) jest określona na dyskretnym zbiorze wartości, rozpatruje się normę:

||F || = (

n

X

i =0

[F (x_i)]²)¹² (2)

Zagadnienie najlepszej aproksymacji przy wybranych funkcjach bazowych φ_k(x ) sprowadza się do znalezienia wartości współczynników a_k takich, aby otrzymać minimum wyrażenia:

||F (x) − (a₀φ₀(x ) + a₁φ₁(x ) + ... + a_nφ_n(x ))|| (3)

Aproksymacja funkcji a regresja symboliczna

W zależności od przyjętego sposobu oszacowania błędów aproksymacji wyróżnia się trzy rodzaje aproksymacji:

W przypadku aproksymacji interpolacyjnej, podobnie jak w zagadnieniu interpolacji, wymaga się, aby dana funkcja, f(x), i funkcja szukana, F(x), przyjmowały dokładnie te same wartości na danym, dyskretnym zbiorze argumentów X.

Aproksymacja funkcji a regresja symboliczna

W zależności od przyjętego sposobu oszacowania błędów aproksymacji wyróżnia się trzy rodzaje aproksymacji:

aproksymację interpolacyjną,

aproksymację jednostajną, aproksymację średniokwadratową.

W przypadku aproksymacji interpolacyjnej, podobnie jak w zagadnieniu interpolacji, wymaga się, aby dana funkcja, f(x), i funkcja szukana, F(x), przyjmowały dokładnie te same wartości na danym, dyskretnym zbiorze argumentów X.

Aproksymacja funkcji a regresja symboliczna

W zależności od przyjętego sposobu oszacowania błędów aproksymacji wyróżnia się trzy rodzaje aproksymacji:

aproksymację interpolacyjną, aproksymację jednostajną,

zagadnieniu interpolacji, wymaga się, aby dana funkcja, f(x), i funkcja szukana, F(x), przyjmowały dokładnie te same wartości na danym, dyskretnym zbiorze argumentów X.

Aproksymacja funkcji a regresja symboliczna

W zależności od przyjętego sposobu oszacowania błędów aproksymacji wyróżnia się trzy rodzaje aproksymacji:

aproksymację interpolacyjną, aproksymację jednostajną, aproksymację średniokwadratową.

W przypadku aproksymacji interpolacyjnej, podobnie jak w zagadnieniu interpolacji, wymaga się, aby dana funkcja, f(x), i funkcja szukana, F(x), przyjmowały dokładnie te same wartości na danym, dyskretnym zbiorze argumentów X.

W zależności od przyjętego sposobu oszacowania błędów aproksymacji wyróżnia się trzy rodzaje aproksymacji:

aproksymację interpolacyjną, aproksymację jednostajną, aproksymację średniokwadratową.

W przypadku aproksymacji interpolacyjnej, podobnie jak w zagadnieniu interpolacji, wymaga się, aby dana funkcja, f(x), i funkcja szukana, F(x), przyjmowały dokładnie te same wartości na danym, dyskretnym zbiorze argumentów X.

Aproksymacja funkcji a regresja symboliczna

Regresja symboliczna

Zadaniem regresji symbolicznej jest znalezienie symbolicznej postaci wyrażenia matematycznego (funkcji), która dokładnie (lub w zadowalającym stopniu) odzwierciedla określone wartości zmiennej zależnej dla podanego zbioru wartości zmiennych niezależnych. Jest to więc, w istocie, zadanie punktowej aproksymacji funkcji, z tym, że w tym przypadku poszukuje się nie tylko zbioru parametrów (współczynników) dla założonego modelu funkcji, lecz również samego modelu. Tym właśnie regresja symboliczna różni się od konwencjonalnej liniowej, kwadratowej, wielomianowej, czy trygonometrycznej aproksymacji funkcji.

W odróżnieniu od metod konwencjonalnych, gdzie zakłada się postać modelu rozwiązania, a zadaniem procesu jest znalezienie zbioru warości odpowiednich współczynników modelu, regresja symboliczna znajduje zarówno model, jak i odpowiednie wartości jego parametrów.

Regresja symboliczna

Tak sformułowane zadanie aproksymacji można zdefiniować poprzez zbiór niezależnych zmiennych wejściowych, Z, oraz zależną zmienną wynikową, y. Celem jest więc przybliżenie wartości zmiennej y używając zmiennych niezależnych Z oraz współczynników W, w taki sposób, aby:

x = f (Z , W ) + , (4)

gdzie  reprezentuje szum. W standardowych metodach aproksymacji postać funkcji f jest predefiniowana. Przykładowo, dla aproksymacji liniowej, funkcja f ma założoną postać:

f (Z , W ) = w0+ w1∗ x1+ ... + wn∗ xn, (5) gdzie W jest poszukiwanym zbiorem wartości współczynników.

Aproksymacja funkcji a regresja symboliczna

Regresja symboliczna

W przeciwieństwie do technik klasycznych metody takie, jak Programowanie Genetyczne, niektóre podejścia probabilistyczne, czy Programowanie Mrowiskowe nie zakładają predefiniowanego modelu rozwiązania. Używają za to zbioru funkcji elementarnych, których kombinacja daje w rezultacie pełną postać poszukiwanej funkcji. Na przykład, mając dane funkcje 1-argumentowe h1, ... , hu oraz 2-argumentowe g1, ... , gb, można z ich kombinacji utworzyć wiele różnych wyrażeń, przykładowo:

f (Z , W ) = h₁(g₂(g₁(x₃, w₁), h₂(x₁))) (6) Oczywiście dopuszczalna jest każda inna poprawna kombinacja

zmiennych i funkcji.

Regresja symboliczna

Zbiory H oraz G zwykle zawierają standardowe funkcje (lub operatory) arytmetyczne (dodawanie, odejmowanie, mnożenie, dzielenie),

trygonometryczne (sinus, cosinus, tangens, itd.), logiczne (not, lub, i) czy logarytmiczne. W związku z tym zastąpienie symboli h i g w funkcji (2) może dać wyrażenie:

f (Z , W ) = log ((x3+ w1) ∗ sinx1) (7)

Aproksymacja funkcji a regresja symboliczna

Regresja symboliczna

Tak więc w tym podejściu do aproksymacji funkcji poszukuje się

kombinacji zmiennych, funkcji i współczynników tak, aby zminimalizować błąd funkcji dla danego zbioru danych wejściowych. Przy tym zarówno postać i wielkość funkcji, jak i wszystkie jej elementy składowe — funkcje elementarne oraz liczba i wartości współczynników — są automatycznie znajdowane przez algorytm. Regresja symboliczna ma więc tę przewagę nad podejściem klasycznem do aproksymacji funkcji, że równolegle poszukuje tak postaci funkcji jak i jej parametrów, co jest często kluczowym problemem w analizie danych eksperymentalnych, gdzie określenie z góry poszukiwanego modelu jest bardzo trudne, czy wręcz niemożliwe. Dodatkowo, zbiór funkcji elementarnych może być rozszerzony o zbiór instrukcji dowolnego języka programowania, dzięki czemu problem regresji symbolicznej można uogólnić na zadanie automatycznego programowania — automatycznego znajdowania programu, który będzie realizował czynności zdefiniowane w jego specyfikacji.

Regresja symboliczna

Można więc powiedzieć, że regresja symboliczna jest procedurą indukcji równania symbolicznego, funkcji lub programu, które dopasowują się do danych wejściowych. Poszukiwane wyrażenia są budowane z symboli zdefiniowanego przez badacza alfabetu. Mogą to być symbole

matematyczne, lub instrukcje dowolnego języka programowania. Dobór alfabetu jest ściśle związany z rodzajem stawianego problemu. System przeprowadzający regresję symboliczną w każdej iteracji generuje wiele kandydujących rozwiązań f^k, które podlegają ocenie na podstawie zbioru danych wejściowych.

Aproksymacja funkcji a regresja symboliczna

Istnieje wiele miar dopasowania, wśród których można znaleźć:

błąd bezwzględny będący sumą modułów różnic wartości funkcji w zbiorze wejściowym (funkcji poszukiwanej F) i wartości wyliczonej przez bieżące rozwiązanie f^k:

fP =

N

X

i =1

|Fi− f_i^k| (8)

błąd kwadratowy:

fP0 =

N

X

i =1

(Fi− f_i^k)² (9)

średni błąd procentowy:

APE = 1 N

N

X

i =1

|Fi− f_i^k Fi

| ∗ 100%, (10)

gdzie N jest liczbą przypadków testowych w zbiorze wejściowym.

Aproksymacja funkcji a regresja symboliczna

Istnieje wiele miar dopasowania, wśród których można znaleźć:

błąd bezwzględny będący sumą modułów różnic wartości funkcji w zbiorze wejściowym (funkcji poszukiwanej F) i wartości wyliczonej przez bieżące rozwiązanie f^k:

fP =

N

X

i =1

|Fi− f_i^k| (8)

i =1

średni błąd procentowy:

APE = 1 N

N

X

i =1

|Fi− f_i^k Fi

| ∗ 100%, (10)

gdzie N jest liczbą przypadków testowych w zbiorze wejściowym.

Aproksymacja funkcji a regresja symboliczna

Istnieje wiele miar dopasowania, wśród których można znaleźć:

błąd bezwzględny będący sumą modułów różnic wartości funkcji w zbiorze wejściowym (funkcji poszukiwanej F) i wartości wyliczonej przez bieżące rozwiązanie f^k:

fP =

N

X

i =1

|Fi− f_i^k| (8)

błąd kwadratowy:

fP0 =

N

X

i =1

(Fi− f_i^k)² (9)

średni błąd procentowy:

APE = 1 N

N

X

i =1

|Fi− f_i^k Fi

| ∗ 100%, (10)

gdzie N jest liczbą przypadków testowych w zbiorze wejściowym.

błąd bezwzględny będący sumą modułów różnic wartości funkcji w zbiorze wejściowym (funkcji poszukiwanej F) i wartości wyliczonej przez bieżące rozwiązanie f^k:

fP =

N

X

i =1

|Fi− f_i^k| (8)

błąd kwadratowy:

fP0 =

N

X

i =1

(Fi− f_i^k)² (9)

średni błąd procentowy:

APE = 1 N

N

X

i =1

|Fi− f_i^k Fi

| ∗ 100%, (10)

gdzie N jest liczbą przypadków testowych w zbiorze wejściowym.

Aproksymacja funkcji a regresja symboliczna

Regresja symboliczna

Tak więc regresja symboliczna może być traktowana jako próba

(re)konstrukcji lub przybliżenia funkcji na podstawie danej tabeli wartości zakładając:

zbiór operatorów, funkcji i stałych, funkcję oceny jakości przybliżenia.

Aproksymacja funkcji a regresja symboliczna

Regresja symboliczna

Tak więc regresja symboliczna może być traktowana jako próba

(re)konstrukcji lub przybliżenia funkcji na podstawie danej tabeli wartości zakładając:

zbiór operatorów, funkcji i stałych,

Aproksymacja funkcji a regresja symboliczna

Regresja symboliczna

Tak więc regresja symboliczna może być traktowana jako próba

(re)konstrukcji lub przybliżenia funkcji na podstawie danej tabeli wartości zakładając:

zbiór operatorów, funkcji i stałych, funkcję oceny jakości przybliżenia.

Struktura elementarnego algorytmu genetycznego jest taka sama, jak typowego programu ewolucyjnego. Przebieg tego algorytmu:

Algorytm 1: Elementarny algorytm genetyczny t := 0

Utwórz populację początkową(P(t)) Oceń(P(t))

while (not warunek końca) do begin

t := t + 1

P(t) := Selekcja(P(t - 1)) Krzyżuj(P(t))

Mutuj(P(t)) Oceń(P(t)) end

{Koniec algorytmu}

Programowanie genetyczne

Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że:

nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać,

operują na dużej liczbie rozwiązań (osobników), poszukują rozwiązania metodą próbkowania,

korzystają tylko z funkcji celu, a nie z innych pomocniczych informacji,

opierają się na probabilistycznym a nie deterministycznym modelu działania.

Cechy te odróżniają algorytmy genetyczne od konwencjonalnych technik optymalizacji.

Programowanie genetyczne

Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że:

nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać,

informacji,

opierają się na probabilistycznym a nie deterministycznym modelu działania.

Cechy te odróżniają algorytmy genetyczne od konwencjonalnych technik optymalizacji.

Programowanie genetyczne

Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że:

nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać,

operują na dużej liczbie rozwiązań (osobników),

poszukują rozwiązania metodą próbkowania,

korzystają tylko z funkcji celu, a nie z innych pomocniczych informacji,

opierają się na probabilistycznym a nie deterministycznym modelu działania.

Cechy te odróżniają algorytmy genetyczne od konwencjonalnych technik optymalizacji.

Programowanie genetyczne

Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że:

nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać,

operują na dużej liczbie rozwiązań (osobników), poszukują rozwiązania metodą próbkowania,

działania.

Cechy te odróżniają algorytmy genetyczne od konwencjonalnych technik optymalizacji.

Programowanie genetyczne

Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że:

nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać,

operują na dużej liczbie rozwiązań (osobników), poszukują rozwiązania metodą próbkowania,

korzystają tylko z funkcji celu, a nie z innych pomocniczych informacji,

opierają się na probabilistycznym a nie deterministycznym modelu działania.

Cechy te odróżniają algorytmy genetyczne od konwencjonalnych technik optymalizacji.

Programowanie genetyczne

Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że:

nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać,

operują na dużej liczbie rozwiązań (osobników), poszukują rozwiązania metodą próbkowania,

korzystają tylko z funkcji celu, a nie z innych pomocniczych informacji,

opierają się na probabilistycznym a nie deterministycznym modelu działania.

Programowanie genetyczne

Podsumowując podstawowe cechy algorytmów genetycznych można powiedzieć że:

nie przetwarzają bezpośrednio problemu, lecz jego zakodowaną postać,

operują na dużej liczbie rozwiązań (osobników), poszukują rozwiązania metodą próbkowania,

korzystają tylko z funkcji celu, a nie z innych pomocniczych informacji,

opierają się na probabilistycznym a nie deterministycznym modelu działania.

Cechy te odróżniają algorytmy genetyczne od konwencjonalnych technik optymalizacji.

Programowanie genetyczne

Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne:

3. określenie funkcji dopasowania, 4. ustalenie wartości parametrów,

5. zdefiniowanie kryterium zakończenia obliczeń.

Programowanie genetyczne

Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne:

1. wybór końcówek (symboli terminalnych),

2. wybór funkcji operujących na końcówkach (dokładniej — operatorów, funkcji i instrukcji),

3. określenie funkcji dopasowania, 4. ustalenie wartości parametrów,

5. zdefiniowanie kryterium zakończenia obliczeń.

Programowanie genetyczne

Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne:

1. wybór końcówek (symboli terminalnych),

2. wybór funkcji operujących na końcówkach (dokładniej — operatorów, funkcji i instrukcji),

Programowanie genetyczne

Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne:

1. wybór końcówek (symboli terminalnych),

2. wybór funkcji operujących na końcówkach (dokładniej — operatorów, funkcji i instrukcji),

3. określenie funkcji dopasowania,

4. ustalenie wartości parametrów,

5. zdefiniowanie kryterium zakończenia obliczeń.

Programowanie genetyczne

Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne:

1. wybór końcówek (symboli terminalnych),

2. wybór funkcji operujących na końcówkach (dokładniej — operatorów, funkcji i instrukcji),

3. określenie funkcji dopasowania, 4. ustalenie wartości parametrów,

Programowanie genetyczne

Koza określił pięć wstępnych kroków, jakie należy wykonać, by rozwiązać problem stosując programowanie genetyczne:

1. wybór końcówek (symboli terminalnych),

2. wybór funkcji operujących na końcówkach (dokładniej — operatorów, funkcji i instrukcji),

3. określenie funkcji dopasowania, 4. ustalenie wartości parametrów,

5. zdefiniowanie kryterium zakończenia obliczeń.

Programowanie genetyczne

Tablica:Wartości poszukiwanej funkcji (zbiór trenujący) Nr Wejście (x ) Wyjście (y = ^x2+x₂ )

1 0,2 0,12

2 0,4 0,28

3 0,6 0,48

4 0,8 0,72

5 1,0 1,00

6 1,2 1,32

7 1,4 1,64

8 1,6 2,08

9 1,8 2,52

10 2,0 3,00

Programowanie genetyczne

Programowanie genetyczne

Rysunek:Populacja początkowa dla przykładu programowania genetycznego

Programowanie genetyczne

Tablica:Wartości funkcji dopasowania osobników populacji początkowej

Nr x ya yb yc yd

1 0,2 0,40 1,04 0,30 0,20 2 0,4 0,80 1,16 0,60 0,40 3 0,6 1,20 1,36 0,90 0,60 4 0,8 1,60 1,64 1,20 0,80 5 1,0 2,00 2,00 1,50 1,00 6 1,2 2,40 2,44 1,80 1,20 7 1,4 2,80 2,96 2,10 1,40 8 1,6 3,20 3,56 2,40 1,60 9 1,8 3,60 4,24 2,70 1,80 10 2,0 4,00 5,00 3,00 2,00 f_i 8,80 12,20 3,30 3,00

Programowanie genetyczne

Programowanie genetyczne

Rysunek:Zbiór osobników po selekcji populacji początkowej

Rysunek:Zmutowany osobnik b

Rysunek:Wynik skrzyżowania osobników c oraz d

Programowanie genetyczne

Programowanie genetyczne

Tablica:Wartości funkcji dopasowania osobników populacji nr 1

Nr x ya yb yc yd

1 0,2 0,40 1,04 0,30 0,20 2 0,4 0,80 1,16 0,60 0,40 3 0,6 1,20 1,36 0,90 0,60 4 0,8 1,60 1,64 1,20 0,80 5 1,0 2,00 2,00 1,50 1,00 6 1,2 2,40 2,44 1,80 1,20 7 1,4 2,80 2,96 2,10 1,40 8 1,6 3,20 3,56 2,40 1,60 9 1,8 3,60 4,24 2,70 1,80 10 2,0 4,00 5,00 3,00 2,00 f_i 8,80 12,20 3,30 3,00

Rysunek:Populacja nr 1

Programowanie genetyczne

Programowanie genetyczne

Tablica:Wartości funkcji dopasowania osobników populacji nr 8

Nr x ya yb yc yd

1 0,2 0,20 -0,60 0,12 4,20 2 0,4 0,40 -0,20 0,28 1,90 3 0,6 0,60 0,20 0,48 1,27 4 0,8 0,80 0,60 0,72 1,05 5 1,0 1,00 1,00 1,00 1,00 6 1,2 1,20 1,40 1,32 1,03 7 1,4 1,40 1,80 1,68 1,11 8 1,6 1,60 2,20 2,08 1,23 9 1,8 1,80 2,60 2,52 1,36 10 2,0 2,00 3,00 3,00 1,50 f_i 3,00 2,00 0,00 11,19

Rysunek:Populacja nr 8