Globalna Analiza Wrażliwości metodą Sobola Zastosowanie do analiz RAMI

Department of Complex Systems

Pawel.Stano@ncbj.gov.pl

Paweł Stano, Ph.D.

Globalna Analiza Wrażliwości metodą Sobola

Zastosowanie do analiz RAMI

Rozważany model

) ,

( 



X F

Y 

) (X F

Y 

Model matematyczny jest przedstawiony wzorem:

gdzie:

• Y – zmienne wyjściowe systemu,

• X – zmienne wejściowe systemu,

•  – zewnętrzny szum środowiskowy,

•  – strukturalna niepewność modelu,

• F – model systemu (analityczny, black-box, etc.)

Dla uproszczenia:

24.05.2017 © Paweł Stano, Ph.D. 3

Czemu służą analizy niepewności i wrażliwości?

- Why did the statistician drown in the river?

- The river was three feet deep on average.

© Sam L. Savage, The Flaw of Averages

Struktura analizy

© Andrea Saltelli

Input

Output

24.05.2017 © Paweł Stano, Ph.D. 5

Analiza niepewności vs analiza wrażliwości

Analiza niepewności Analiza wrażliwości

Typowe rezultaty analiz niepewności:

Input

Output

Analiza niepewności vs analiza wrażliwości

Analiza niepewności Analiza wrażliwości

Typowe rezultaty analiz wrażliwości:

Najpopularniejsza (ciągle) metoda: One Factor At Time (OFAT)

Zalety:

 prostota,

 dobre rezultaty dla modeli liniowych,

 dobre rezultaty dla małych zborów danych.

Wady:

 duże błędy dla modeli nieliniowych,

 nie wyłapują zależności między skorelowanymi zmiennymi,

 nie eksplorują całej przestrzeni stanów

24.05.2017 © Paweł Stano, Ph.D. 7

Lokalna Analiza Wrażliwości

© Evelyne Groen, An uncertain climate: the value of uncertainty and sensitivity analysis in environmental impact assessment of food"

Globalna analiza wrażliwości vs lokalna analiza wrażliwości

Globalna Analiza Wrażliwości Lokalna analiza wrażliwości OFAT

© Sam L. Savage, The Flaw of Averages

 Analizowanie czynników pojedynczo (OFAT) nie pozwala na wykrycie wpływu nieliniowych interakcji pomiędzy skorelowanymi zmiennymi

 Statystyczna odporność (robustness) systemu nie może być zapewniona bez odpowiednio gęstej eksploracji wielowymiarowej przestrzeni wygenerowanej przez zmienne wejściowe

 Metody lokalne nie nadają się do badania niepewności epistemicznej

24.05.2017 © Paweł Stano, Ph.D. 9

Dlaczego Globalna Analiza Wrażliwości?

© Saltelli et al., Global Sensitivity Analysis, The Primer

Czynniki generujące wysoką złożoność numeryczną GSA:

 Złożoność obliczeniowa modelu

 Gęstość i struktura siatki pokrywającej przestrzeń stanów wejścia

Curse of dimensionality

) ( X F

Y 

Ortogonalna dekompozycja modelu:

gdzie:

tak że:

24.05.2017 © Paweł Stano, Ph.D. 11

Metoda Sobola: dekompozycja wariancji

 

  ⁿ  _{i j}  _n _n

j i

ij i

n

i i

n 1

X X

X f

X X f X

f f

,X , X F Y







 , ,

,

_{1,2, , 1 2}

1

0    







 

    



 



i i

i

f f

f X

X Y E X

X f

f X

Y E X

f

Y E f















0 0

0

,

| ,

|

 

  





 ⁿ

s

n

i i

i i i

i

s

s s

dX dX

f f

dX X f

1 ... ...

2 2 0 1 2

0

1

1 1



Ze wzoru:

dekompozycja wariancji:

gdzie:

Metoda Sobola: dekompozycja wariancji

 

 

 





ij

i X

X i

V V

X X Y E

Var V

X Y E

Var V

ij ij

i i









,

|

|

~

~

   

 









i

n

j i

n ij

i

V V

V Y

Var

1



 

  





 ⁿ

s

n

i i

i i i

i

s

s s

dX dX

f f

dX X f

1 ... ...

2 2 0 1 2

0

1

1 1



Indeksy pierwszego stopnia Indeksy wyższych stopni

Dekompozycja wrażliwości (2ⁿ – 1 obliczeń)

Efekty całkowite (n obliczeń)

24.05.2017 © Paweł Stano, Ph.D. 13

Metoda Sobola: indeksy Sobola

1 )

( ) (

12 1

















n

j i

ij n

i

i

ijk ijk

i i

S S

S

Y Var S V

Y Var S V

 

 

 

1

) ( 1 |

1

~ ~









i

Ti

i X

X Ti

S

Y Var

X Y E

S Var ^{i i}

 Aproksymacja Sobola

 Aproksymacja Sobola-Kucherenko

 Aproksymacja Owena

 Aproksymacja „Oracle”

Metoda Sobola: aproksymacje indeksów Sobola

     , ,~  ²

1

~ , ,

~ , , 1

1 , '

,

1 , 



 



 

  



 k i k i

N

k i

k i k i

k i k N

k

i F x x

x N x

F x

x N F

V

 k i k i   k i k i  k i k i 

N

k

i F x x F x x F x x

V N _{, ,~ , ,~ , ,~}

1

' , ' '

,

1 , 

 



   

   _{k i k i}   _{k i k i}

N

k

i k i k i

k i k

i F x x F x x F x x F x x

V N _{, ,~ , ,~}

1

~ , ,

~ ,

, , '' , , ' ' , '

1  

 



 

   _{k i k i}  _{k i k i} 

N

k

i k i k

i F x x f F x x F x x

V N _{, ,~ , ,~}

1

0

~ ,

, , , ' ' , '

1  

 



24.05.2017 © Paweł Stano, Ph.D. 15

Metoda Sobola: porównanie estymatorów

Zbieżność estymatora RMSE estymatora

© Sergei Kucherenko, “Different numerical estimators for main effect global sensitivity indices”, Reliability Engineering & System Safety (2017)

Metoda Sobola: quasi-losowe ciągi Sobola

Przykładowy ciąg Sobola: (0 0 0) (0.5 0.5 0.5) (0.75 0.25 0.25) (0.25 0.75 0.75) (0.375 0.375 0.625) (0.875 0.875 0.125) (0.625 0.125 0.875) (0.125 0.625 0.375) (0.1875 0.3125 0.9375) (0.6875 0.8125 0.4375)

Motywacja: skonstruować ciąg

tak by zachodziło

i by zbieżność była jak najszybsza.

  

 ^

 

 I^s

n

i

i

F

x n

F

n

lim 1

  ^x

^{ I}

24.05.2017 © Paweł Stano, Ph.D. 17

Metoda Sobola: miara rozbieżności

Pseudo-losowe pokrycie metodą Monte Carlo Quasi-losowe pokrycie ciągiem Sobola

 





2

) (

) (

) ( )

(









Is

L N

t Q

dt t h D

t Q N m

t N h

Miara rozbieżności (discrepancy measure):

Metoda Sobola: porównanie pokrycia

© Kucherenko, Albrecht, Saltelli, “Exploring multi-dimensional spaces: a Comparison of Latin Hypercube and Quasi Monte Carlo Sampling Techniques” (2015)

s = 5

s = 10

s = 40

RAMI: Reliability, Availability, Maintainability and Inspectability

 Reliability: continuity of correct operation;

 Availability: readiness for correct operation;

 Maintainability: ability to undergo repairs and modifications;

 Inspectability: ability to undergo visits and controls.

Definicja za ITER (www.iter.org)

24.05.2017 © Paweł Stano, Ph.D. 19

Zastosowanie GSA do analiz RAMI: cele RAMI

International Fusion Materials Irradiation Facility (www.ifmif.org)

Zastosowanie GSA do analiz RAMI: IFMIF akcelerator

1. Operational Availability (OA):

2. Hardware Availability (HA):

gdzie:

 ‘up hours’ – total time the facility is running,

 ‘down hours’ – total time the facility is shut due to system failures,

 ‘maintenance hours’ - total time the facility is shut down due to routine maintenance,

 ‘total hours’ - total life time of the facility, which includes ‘up hours’, ‘down hours’, and

‘maintenance hours’, so that:

24.05.2017 © Paweł Stano, Ph.D. 21

Zastosowanie GSA do analiz RAMI: wskaźniki wydajności

OA= up hours total hours

HA= up hours

(up hours) + (down hours)

total hours = (up hours) + (down hours) + (maintenance hours)

 Model F jest zadany przez program AvailSim symulujący dostępność akceleratora, który jest traktowany jak black-box,

 Zmienna wyjścia Y jest zadana przez wskaźnik HA,

 Zdarzenia początkowe są modelowane jako procesy odnawialne (renewal process) o rozkładzie wykładniczym z parametrami l zdeterminowanymi przez częstości awarii. Zmienne wejścia X odpowiadają niepewnościom wokół l i mają rozkłady logarytmicznie normalne.

Zastosowanie GSA do analiz RAMI: model stochastyczny

) (X F

Y 

Model matematyczny:

 Główne źródła niepewności w układach wejścia pochodzą z obliczania współczynników częstości awarii (Failure Rates - FR).

 Współczynniki FR są uzyskiwane w wyniku analizy statystycznej występowania awarii, więc charakteryzują się naturalną niepewnością.

 Współczynniki FR są modelowane jako zmienne losowe o rozkładach logarytmicznie normalnych o parametrach podanych w tabelach niezawodności.

 Przedziały niepewności wylicza się korzystając ze wzorów:

24.05.2017 © Paweł Stano, Ph.D. 23

Zastosowanie GSA do analiz RAMI: źródła niepewności

 

median EF

) percentile 95th

(

2 ) sigma exp (

mean median

1.65 log(EF) sigma

percentile 95th

median, interval

y uncertaint

2







 













Złożoność obliczeniowa problemu to:

gdzie:

 ’n’ definiuje gęstość siatki ,

 ’d’ ilość zdarzeń początkowych [ponad 12000 dla całego akceleratora],

 ’N_sim’ ilość symulacji probabilistycznych [od 80 do 1000],

 ’D_availsim’ złożoność obliczeniowa pojedynczej symulacji na silniku Availsim [1-200 sekund dla analizowanego podsystemu na standardowej maszynie]

Zastosowanie GSA do analiz RAMI: złożoność obliczeniowa

 ^D







d

N

n

Złożoność obliczeniową można zredukować w następujący sposób:

1. Zmniejszyć ilość analizowanych zdarzeń początkowych z ’d’ do ’d_imp << d’

poprzez zidentyfikowanie ’d_imp’ najważniejszych zdarzeń, tj. takich które charakteryzują się najwyższymi współczynnikami Fractional Contribution (FC):

2. Zmniejszenie gęstości siatki ’n’ przez pokrycie d_imp-wymiarowej przestrzeni ciągami niskiej rozbieżności (Sobol sequences, Latin-hypercube, etc.);

3. Paralellizację systemu.

24.05.2017 © Paweł Stano, Ph.D. 25

Zastosowanie GSA do analiz RAMI: redukcja złożoności obliczeniowej

lity unavailabi total

e' ' event to

due lity unavailabi

)

(

Zastosowanie GSA do analiz RAMI:

identyfikacja najważniejszych zdarzeń

13 zdarzeń, które mają

największy wkład w

awaryjność systemu

24.05.2017 © Paweł Stano, Ph.D. 27

Zastosowanie GSA do analiz RAMI: wyniki

5 zdarzeń o największych efektach całkowitych.

First-order approximation of the input impacts

Second-order approximation including interactions between the inputs

First-order effects plus second-order effects

Zastosowanie GSA do analiz RAMI: wnioski

 Modelowany system jest silnie nieliniowy przez co indeksy wrażliwości pierwszego stopnia są niewystarczającą miarą wrażliwości systemu,

 W przypadku wielu zmiennych ich wpływ na wrażliwość objawia się głównie poprzez interakcje z innymi zmiennymi,

 Ranking wrażliwości zmiennych wejścia nie jest tożsamy z rankingiem awaryjności (zadanym przec współczynniki FC)

Department of Complex Systems

Pawel.Stano@ncbj.gov.pl

Paweł Stano, Ph.D.

Thank you for attention