Wybaekie kibada«wew

Jarosªaw Arabas

Polite hnikaWarszawska,InstytutSystemówElektroni zny h,

e-mail:jarabaselka.pw.edu.pl

Plan prezenta ji

1

Algorytmewolu yjny ijego rozkªadpróbkowania

2

Reproduk ja propor jonalna jako metoda adapta ji

3

S hemat ewolu jiró»ni owej(DE)

4

Muta ja ró»ni owa jako metodaadapta ji

5

Reproduk ja propor jonalna +muta jaró»ni owa =DMEA

6

Za howanie DMEA na mieszanina hfunk ji Gaussa

7

DE, DMEAi ograni zeniakostkowe

algorithmTypowy AlgorytmEwolu yjny

t

←

0 ;ini ja ja P 0

repeat until warunek zatrzymania

for i

∈

1

...µ

do if

(

U

(

0

,

1

) <

p then selek ja j

,

k z

{

1

...µ}

C t i

←

krzy»owanie P t j

,

P t k else selek ja j z

{

1

...µ}

C t i

←

P t j O t i

←

muta ja

(

C t i

)

if

η >

0 then P t

+

1

←

elita

(

P t

, η)∪

elita

(

O t

,

1

− η)

else P t

+

1

←

O t t

←

t

+

1

Opis AE za pomo ¡ rozkªadu próbkowania

F.g.p. poªo»eniapunktówpopula jiO t dana jako: f t O

(

x

) = (

1

−

p

)

f t R

(

x

) +

p f t R(2x

) ∗

f t R

(

2x

)

∗

g 0

,

vm

(

x

)

gdzief t R

(

x

)

jestf.g.p. poªo»eniareprodukowany h punktów: reproduk ja propor jonalna f t R

(

x

) =

Aq

(

x

)

f t P

(

x

)

reproduk ja turniejowa(s wielko±¢turnieju)

f t R

(

x

) =

A

·

1

−

Z

L

(

q

(

x

))

f t P

(

y

)

y .

!

s

−

1 f t P(x

)

reproduk ja progowa (

θ

parametr progu)

f t R

(

x

) =

A

· χL

(

a

)

(

x

)

f t P

(

x

)

gdzie

R

L

(

a

)

f t P

(

x

)

x .

= θ

.

Grani zny rozkªad próbkowania AE

Zaªo»enia

li zno±¢ popula ji d¡»y do niesko« zono± i

zas d¡»y do niesko« zono± i

funk ja elujestfunk j¡ Gaussa g

0

,

v q

Wów zas f.g.p. rozkªadu próbkowania da siz du»¡ dokªadno± i¡

przybli»y¢ rozkªademnormalnymg

0

,

v

∞

. Gdy p

=

0

, η =

0mamy rep. propor jonalna v

∞

≈

v m 2



1

+

r

1

+

4 v q v m



rep. turniejowa v

_∞

≈

1 1

−

1

γ(

s

)

v m

,

γ(

s

) =

1

.

31s

−

1

.

74 rep. progowa v

_∞

≈

1 1

+

2

α(θ)/θ

vm,

α(θ) =

Q

 θ +

1 2



g



Q

 θ +

1 2



Grani zny rozkªad próbkowania AE

0.0

0.2

0.4

0.6

0.8

1.0

5

10

15

20

25

30

fitness proportionate selection

pc

v_infty

PSfragrepla ements p v v m

0.0

0.2

0.4

0.6

0.8

1.0

1.25

1.30

1.35

1.40

1.45

1.50

1.55

binary tournament selection

pc

v_infty

PSfrag repla ements p v v m

0.0

0.2

0.4

0.6

0.8

1.0

1.0

1.5

2.0

2.5

3.0

truncation selection

pc

v_infty

PSfragrepla ements p v v m

Teorety znaiobserwowanawarian japunktówuzyskany hdlametodselek ji

a)propor jonalnej,ró»newarto± iv

m

/

v

q

,b)binarnejturniejowej, )progowej,ró»newarto± i

θ

Grani zny rozkªad próbkowania AE

0.0

0.2

0.4

0.6

0.8

1.0

0.0

0.2

0.4

0.6

0.8

1

2

3

PSfragrepla ements p

η

v

∞

/

v m

0.0

0.2

0.4

0.6

0.8

1.0

0.0

0.2

0.4

0.6

0.8

0.5

1.0

1.5

PSfragrepla ements p

η

v

∞

/

v m

0.0

0.2

0.4

0.6

0.8

1.0

0.0

0.2

0.4

0.6

0.8

0.2

0.4

0.6

0.8

1.0

PSfragrepla ements p

η

v

∞

/

v m

Propor jav∞

/

vmdlanastpuj¡ y hmetodselek ji

Dynamika AE z reproduk j¡ propor jonaln¡ i muta j¡

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

algorithmTypowy AlgorytmEwolu jiRó»ni owej

t

←

0 ;ini ja ja P 0

repeat until warunek zatrzymania

for i

∈

1

...µ

do selek ja j z

{

1

...µ}

losowanie k

,

l z

{

1

...µ}

M t i

=

P t j

+

F

· (

P t k

−

P t l

)

(muta ja ró»ni owa) for d

∈

1

...

n do if CR<U

(

0

,

1

)

then O t i

,

d

←

M t i

,

d else O t i

,

d

←

P t i

,

d P t

+

1 i

←

wybór lepszego

(

P t i

,

O t i

)

t

←

t

+

1

Warianty algorytmu ewolu ji ró»ni owej

sposób selek jimutowanego punktu:

najlepszywpopula ji

dowolnyz popula ji,losowanyzaka»dymrazem

li zba powtórze« ró»ni owania: 1lub2

Konwen ja nazewni za:

DE/rand/1/bin

DE/best/1/bin

DE/rand/2/bin

Dynamika DE/rand/1/bin

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

Contourmat hing property: poziomi erozkªadupunktów

dopasowuj¡ sido poziomi funk ji elu

Dynamika DE/rand/1/bin

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

Contourmat hing property: poziomi erozkªadupunktów

dopasowuj¡ sido poziomi funk ji elu

Jak sobie radzi¢ z zanikiem ró»norodno± i?

Typowa odpowied¹  strojenie(adapta ja,samo zynna

adapta ja) parametru F: naprzykªad jDE, JADE,SaDE

Wprowadzenie dla ka»dego punktu s¡siedztwa zktórego

wybierany jestpunktnajlepszy wstrategiiDE/best,np.

DEGL/SAW

Osªabienie kryteriówzastpowania,np. selek japropor jonalna

Dierential Mutation + Evolutionary Algorithm = DMEA

Rozwa»amy rozkªadpróbkowania popula jiniesko« zonej,

Gaussowsk¡ funk j eluw R 1

. Zakªadamy »erozkªad P t

ma

warian j v

t

ijestrozªo»ony zwarto± i¡o zekiwan¡

lokalizuj¡ amaksimumfunk ji elu.

Ze wzglduna sposóbzastpowania popula ji, warian jav

t

+

1 bdzie mniejszani»warian ja v

t .

Ciekawajestzale»no±¢ midzywarian j¡popula jiawarian j¡

mutantów.

Dla DE/rand/1/none punkty P

t j

,

P t k

,

P t l s¡realiza jami

zmiennej losowejo warian ji v

t . Warian ja mutantówM t jest równa V

[

M t

] = (

1

+

2F 2

)

v t

Dierential Mutation + Evolutionary Algorithm = DMEA

W genera yjnym AEz reproduk j¡ propor jonaln¡:

warian japunktów poselek ji:

V

[

R t

] =

v t v q v t

+

v q

warian jamutantów ikolejnej popula ji:

v t

+

1

=

v t v q v t

+

v q

+

v m dla t

→ ∞

mamy v

_∞

≈

v m 2



1

+

r

1

+

4 v q v



Dierential Mutation + Evolutionary Algorithm = DMEA Genera yjny AE: v t

+

1

=

v t v q v t

+

v q

+

v m v

_∞

≈

v m 2



1

+

r

1

+

4 v q v m



DE/rand/1/none: V

[

M t

] = (

1

+

2F 2

)

v t ,v

∞

=

0

Zast¡pieniemuta ji zwykªej muta j¡ró»ni ow¡ danam:

v t

+

1

=

v t v q v t

+

v q

+

2F 2 v t Dla t

→ ∞

v

_∞

=

v q 2F 2 1

−

2F 2

Dierential Mutation + Evolutionary Algorithm = DMEA

Genera yjny AEzmuta j¡ ró»ni ow¡ iGaussowsk¡:

v t

+

1

=

v t v q v t

+

v q

+

2F 2 v t

+

v m Dla t

→ ∞

v

∞

=

v q 2F 2

+

vm vq

+

r



2F 2

+

vm vq



2

+

4 vm vq

(

1

−

2F 2

)

2

(

1

−

2F 2

)

algorithmAlgorytmEwolu yjny z Muta j¡ Ró»ni ow¡

t

←

0 ;ini ja ja P 0

repeat until warunek zatrzymania

for i

∈

1

...µ

do selek ja j z

{

1

...µ}

losowanie k

,

l z

{

1

...µ}

O t i

←

P t j

+

F

· (

P t k

−

P t l

) +

m P t

+

1

←

O t

Dynamika DMEA

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

x1

x2 −0.2 −0.18 −0.16 −0.14 −0.12 −0.12 −0.1 −0.1 −0.08 −0.08 −0.08 −0.06 −0.06 −0.06 −0.04 −0.04 −0.02

−10

−5

0

5

10

−10 −5 0 5 10

Contourmat hing property: poziomi erozkªadupunktów

Ograni zenia kostkowe w DE/rand/1/bin

algorithmPrakty zny AlgorytmEwolu ji Ró»ni owej

t

←

0 ;ini ja ja P 0

repeat until warunek zatrzymania

for i

∈

1

...µ

do selek ja j z

{

1

...µ}

losowanie k

,

l z

{

1

...µ}

M t i

=

P t j

+

F

· (

P t k

−

P t l

)

(muta ja ró»ni owa) for d

∈

1

...

n do if CR<U

(

0

,

1

)

then O t i

,

d

←

M t i

,

d else O t i

,

d

←

P t i

,

d N t i

←

naprawa

(

O t i

)

P t

+

1 i

←

wybór lepszego

(

P t i

,

O t i

)

t

←

t

+

1

Ograni zenia kostkowe w DE/rand/1/bin

Ograni zenia kostkowe w DE/rand/1/bin

Wynikidla n

=

30, uogólnionytestStudenta dlaró»ny h warian ji

proje tion ree tion resampling onservative wrapping reinitialize

avg.rank 2.74 2.65 1.09 5.30 4.09 4.48

%repaired 73.8 66.2 51.7 71.8 68.6 68.5

Ograni zenia kostkowe w DMEA

algorithmPrakty zny AlgorytmDMEA

t

←

0 ;ini ja ja P 0

repeat until warunek zatrzymania

for i

∈

1

...µ

do selek ja j z

{

1

...µ}

losowanie k

,

l z

{

1

...µ}

O t i

←

P t j

+

F

· (

P t k

−

P t l

) +

m N t i

←

naprawa

(

O t i

)

P t

+

1

←

N t

Ograni zenia kostkowe w DMEA n

=

100 0.02 0.04 0.04 0.06 0.06 0.06 0.08 0.08 0.08 0.1 0.1 0.12 0.12 0.14 0.16 0.18 0.2 −10 −5 0 5 10 −10 −5 0 5 10 0.02 0.04 0.04 0.06 0.06 0.06 0.08 0.08 0.08 0.1 0.1 0.12 0.12 0.14 0.16 0.18 0.2 −10 −5 0 5 10 −10 −5 0 5 10 0.02 0.04 0.04 0.06 0.06 0.06 0.08 0.08 0.08 0.1 0.1 0.12 0.12 0.14 0.16 0.18 0.2 −10 −5 0 5 10 −10 −5 0 5 10

bez ograni ze« rzutowanie punktu

niedopusz zalnego

skra anie wektora

DMEA z ograni zeniami i z optymaliza j¡ lokaln¡

Ograni zenia uwzgldnianeprzez skra anie

Rozwój DMEA

Rozwój DMEA

Poprawa jako± irozwi¡za«  analiza ±redniegopunktu

popula ji

0

10000

20000

30000

40000

50000

−1000

−800

−600

−400

−200

0

t

fitness

Rozwój DMEA

Czyewolu jaró»ni owamusi by¢ró»ni owa?

Rozwój DMEA

Kiedy zako« zy¢ dziaªanie/restartowa¢?

0

50000

100000

150000

200000

250000

300000

600

800

1000

1200

1400

FES

err(x)

Rozwój DMEA

Systematy zne testymetodyuwzgldnianiaograni ze«

Poprawa jako± irozwi¡za«  analiza ±redniegopunktu

popula ji

Czyewolu jaró»ni owamusi by¢ró»ni owa?

Kiedy zako« zy¢ dziaªanie/restartowa¢?

Li zno±¢ popula ji?