2012-11-21 MajaCzoków,JarosªawPiersa Wst¦pdosiecineuronowych,wykªad06,Walidacjajako±ciuczenia.Metodystatystyczne.

(1)

Wst¦p do sieci neuronowych, wykªad 06, Walidacja jako±ci uczenia. Metody statystyczne.

Maja Czoków, Jarosªaw Piersa

Wydziaª Matematyki i Informatyki, Uniwersytet Mikoªaja Kopernika

2012-11-21

Projekt pn. IKS - Inwestycja w Kierunki Strategiczne na Wydziale Matematyki i Informatyki UMK

realizowany w ramach Poddziaªania 4.1.2 Programu Operacyjnego Kapitaª Ludzki

(2)

Generalizacja Walidacja jako±ci uczenia Bª¦dy klasykacji Przypadek ci¡gªy

1 Generalizacja Przykªad Generalizacja Przeuczenie sieci

2 Walidacja jako±ci uczenia Przypomnienie ze statystyki Problem

Modele walidacji danych

3 Bª¦dy klasykacji Eksperyment my±lowy

Bª¦dy pierwszego i drugiego rodzaju

4 Przypadek ci¡gªy Przypadek ci¡gªy

Regresja liniowa prosta

Regresja liniowa wielomian stopnia d Zadania

(3)

(4)

Przykªad Generalizacja Przeuczenie sieci

Przykªad

Rozwa»my problem XOR;

-1.5 -1 -0.5 0 0.5 1 1.5

(Poprawnie) nauczona sie¢

daje poprawn¡ odpowied¹ na wszystkich 4 przykªadach, Tablica haszuj¡ca da ten sam efekt bez zaawansowanej teorii i przy porównywalnym (albo i mniejszym) koszcie pami¦ciowym,

Ale co si¦ stanie, gdy zapytamy si¦ o klasykacj¦

punktu (1.3, −0.5)?

(5)

Przykªad

Co si¦ stanie, gdy zapytamy si¦ o klasykacj¦ punktu (1.3, −0.5)?

Tablica haszuj¡ca: (zale»nie od wybranego j¦zyka)

ArrayIndexOutOfBoundsException, Segmentation fault itp.

Sie¢ neuronowa: zwróci (jak¡±) odpowied¹ dla ka»dego z punktów na pªaszczy¹nie,

Od czego zale»y odpowied¹?

(6)

Wnioski

nie chcemy w zbiorze treningowym ka»dej mo»liwej warto±ci jaka mo»e pa±¢,

chcemy reprezentatywn¡ próbk¦ przestrzeni o jak¡ sie¢ b¦dzie pytana podczas normalnego dziaªania,

(7)

Co to jest reprezentatywna próbka?

Co autor mo»e mie¢ na my±li:

-1 -0.5 0 0.5 1 1.5 2

(8)

Co to jest reprezentatywna próbka?

Co sie¢ mo»e z tego zrozumie¢:

-1 -0.5 0 0.5 1 1.5 2

(9)

Generalizacja

Generalizacja jest zdolno±ci¡ sieci do porawnej klasykacji danych, na których sie¢ nie byªa uczona.

(10)

Generalizacja

Dane ucz¡ce:

-1 -0.5 0 0.5 1 1.5 2

(11)

Generalizacja

Sie¢ niedouczona:

-1 -0.5 0 0.5 1 1.5 2

(12)

Generalizacja

Sie¢ dobrze nauczona:

-1 -0.5 0 0.5 1 1.5 2

(13)

Generalizacja

Sie¢ przeuczona:

-1 -0.5 0 0.5 1 1.5 2

(14)

Przeuczenie sieci

przeuczenie sieci wyst¦puje, gdy sie¢ uczy si¦ przykªadów na pami¦¢,

zdarza si¦ to, gdy sie¢ ma zbyt wiele punktów swobody (za du»o neuronów do nauczenia w porównaniu do skomplikowania problemu i ilo±ci danych),

przeuczona sie¢ traci umiej¦tno±¢ generalizacji.

(15)

Systuacja ekstremalna

Dane ucz¡ce:

-1 -0.5 0 0.5 1 1.5 2

(16)

Systuacja ekstremalna

Wewn¦trzna reprezentacja

-1 -0.5 0 0.5 1 1.5 2

(17)

(18)

Przypomnienie ze statystyki Problem

Przypomnienie ze statystyki

Dana jest próbka losowa x1, ...,xn warto±ci, losowanych niezale»nie z rozkªadu X .

rednia z próby deniowana jest jako

x =¯ P_n

i=1x_i n

rednia jest zgodnym estymatorem warto±ci oczekiwanej rozkªadu X (o ile EX istnieje!).

(19)

Przypomnienie ze statystyki

Estymator wariancji (o ile rozkªad X posiada wariancj¦!):

σˆ²= 1 n − 1

n

X

i=1

(x_i − ¯x)² Estymator odchylenia standardowego:

ˆ σ =

v u u t

1 n − 1

n

X

i=1

(x_i − ¯x)²

(20)

Przypomnienie ze statystyki

Mediana próbki losowej x₁, ..x_n. Niech x_i₁, ...,x_i_n b¦dzie t¡ próbk¡ po posortowaniu. Mediana jest zdeniowana jako:

je»eli n jest nieparzyste x_i_(n+1/2) (element na samym ±rodku posortowanej listy),

je»eli n jest parzyste ^x^in/2⁺₂^x^in/2+1 (±rednia dwóch ±rodkowych

elementów)

(21)

Zagadnienie

Dane niech b¦dzie zbiór punktów ucz¡cych wraz z poprawnymi odpowiedziami,

Skonstruowana i nauczona zostaªa sie¢ neuronowa,

Chcemy oceni¢ jako±¢ klasykacji i generalizacji uzyskanej sieci.

(22)

Proste rozwi¡zanie

Po nauczeniu sieci sprawdzamy ile z przykªadów jest klasykowanych poprawnie,

Obliczamy ilo±¢ wszystkich przykªadów, Przypisujemy:

jako±¢ uczenia := ilo±¢ przykªadów sklasykowanych poprawnie ilo±¢ wszystkich przykªadów

(23)

Proste rozwi¡zanie

Rozwi¡zanie to jest za proste, »eby byªo prawdziwe!

nie mówi nic o zachowaniu si¦ sieci na danych, których nie widziaªa,

preferuje uczenie si¦ danych na pami¦¢, ignoruje generalizacj¦, zalet¡ jest to, »e maksymalnie wykorzystuje zestaw danych do uczenia.

(24)

Walidacja prosta

dane ucz¡ce s¡ losowo dzielone na dwa rozª¡czne zbiory:

próbk¦ ucz¡c¡ U, próbk¦ testow¡ T ,

sie¢ jest uczona za pomoc¡ próbki ucz¡cej,

jako±¢ sieci jest badana tylko za pomoc¡ próbki testowej jako±¢ := ilo±¢ przykªadów T sklasykowanych poprawnie

ilo±¢ wszystkich przykªadów w T

(25)

Walidacja prosta

(26)

Walidacja prosta

Uwagi i niebezpiecze«stwa:

wi¦kszy wpªyw na wynik mo»e mie¢ _|_{U∪T |}^|^U| , ni»

zaimplementowany algorytm,

rozs¡dnym minimum dla |U| jest okoªo ¹₄ caªego zbioru,

z drugiej strony |U| nie powinno by¢ wi¦ksze ni» ₁₀⁹ caªego zbioru, podaj¡c wynik, zawsze podajemy proporcje w jakich podzielono zbiór,

mamy informacj¦ o mo»liwo±ci generalizacji, ale algorytm uczenia sieci korzystaª tylko z uªamka dost¦pnej wiedzy,

(27)

k-krotna walidacja krzy»owa

Ang. k-fold cross-validation

dane ucz¡ce s¡ losowo dzielone na k rozª¡cznych i równolicznych zbiorów: T₁, ...,T_k,

dla i = 1...k powtarzamy

uczymy sie¢ na zbiorze ucz¡cym T1∪ ...Ti−1∪Ti+1∪Tk, testujemy tak nauczon¡ sie¢ na danych Ti (na tych danych sie¢

nie byªa uczona),

zapami¦tujemy rezultat (stosunek poprawnie sklasykowanych obiektów w T_i do wsyztkich obiektów w T_i) jako r_i

podajemy wszystkie rezultaty r_i,

lub przynajmniej ich ±redni¡, median¦, minimum, maksimum i odchylenie standardowe,

(28)

k-krotna walidacja krzy»owa

(29)

k-razy dwukrotna walidacja krzy»owa

Ang. k-times 2-fold cross-validation odmiana walidacji krzy»owej, dla i = 1...k powtarzamy:

wykonujemy 2-krotn¡ walidacj¦, za ka»dym razem losujemy zbiory treningowy i testowy od nowa,

zapami¦tujemy wyniki ri1 ri2 (po dwa na ka»d¡ iteracj¦), zwracamy statystyki uzyskanych wyników,

(30)

k-razy dwukrotna walidacja krzy»owa

(31)

Leave One Out

odmiana walidacji krzy»owej, w której k = ilo±¢ elementów w T , dla i = 1...n powtarzamy:

uczymy sie¢ na zbiorze ucz¡cym T \Ti, testujemy sie¢ na pozostaªym przykªadzie Ti, zapami¦tujemy wynik r_i (b¦dzie on albo +1, albo 0), obliczamy ±redni¡ i odchylenie standardowe wyników,

mo»na stosowa¢ w przypadku maªej ilo±ci danych w zbiorze T .

(32)

Leave One Out

(33)

(34)

Eksperyment my±lowy

Bª¦dy i bª¦dy

je»eli przyjmowana klasykacja jest binarna to mo»emy si¦

pomyli¢ na dwa sposoby:

przypadek, który jest pozytywny, faªszywie ocenimy jako negatywny (ang. false negative error)

przypadek, który jest negatywny, faªszywie ocenimy jako pozytywny (ang. false positive),

który bª¡d jest gorszy?

(35)

Przykªad

egzamin z przedmiotu (np. WSN) powinien testowa¢ wiedz¦

zdaj¡cych

je»eli zdaj¡cy zna materiaª i dostaª ocen¦ pozytywn¡, to egzaminatorpoprawnieoceniª wiedz¦,

je»eli zdaj¡cy nie zna materiaªu i nie zaliczyª, to ocena jest poprawna,

je»eli zdaj¡cy umiaª, ale mimo tego nie zaliczyª, to egzaminator popeªniª bª¡d (false negative),

je»eli zdaj¡cy nie umiaª a zaliczyª, to egzaminator popeªniª (dramatyczny) bª¡d (false positive).

poniewa» zawsze przysªuguje egzamin poprawkowy, to ostatnia opcja jest najgorsza...

(36)

Bª¦dy pierwszego i drugiego rodzaju

klasykacja pozytywna klasykacja negatywna faktyczny stan poprawna odpowied¹ false negative

jest pozytywny true positive (bª¡d II-go rodzaju) faktyczny stan false positive poprawna odpowied¹ jest negatywny (bª¡d I-go rodzaju) true negative

(37)

Bardziej »yciowe przykªady

ltr antyspamowy,

kontrola bezpiecze«stwa na lotnisku, diagnoza lekarska,

diagnoza usterek technicznych, kontrola jako±ci,

(38)

Wra»liwo±¢ i specyczno±¢

wra»liwo±¢ testu (ang. sensitivity) jest odsetkiem pozytywnych odpowiedzi modelu w±ród faktycznych pozytywnych przypadków, test o wysokiej wra»liwo±ci popeªnia maªo bª¦dów II-go rodzaju

TPR = true positives positives

specyczno±¢ testu (ang. specicity) jest odsetkiem negatywnych odpowiedzi w±ród faktycznych negatywnych

przypadków, test o wysokiej specyczno±ci popeªnia maªo bª¦dów I-go rodzaju

TNR = true negatives negatives

(39)

Wra»liwo±¢ i specyczno±¢

stuprocentowa wra»liwo±¢ tak na ka»dy przypadek pozytywny, stuprocentowa specyczno±¢ nie na ka»dy przypadek

negatywny (bardzo asertywny test),

wysokie oba wska¹niki s¡ cech¡ dobrych testów (co oznacza:

trudne do osi¡gni¦cia),

znaj¡c cel (np. unikanie faªszywych alarmów), szukamy najlepszego kompromisu kontroluj¡c wa»niejsz¡ statystyk¦,

(40)

Reciever Operation Characteristic

Funkcja wra»liwo±ci testu w zale»no±ci od progu przyjmowania odpowiedzi:

(41)

(42)

Przypadek ci¡gªy Regresja liniowa prosta

Co robi¢ je»eli wyniki s¡ ci¡gªe?

bª¦dy mierzymy jako odlegªo±¢ uzyskanego wyniku od oczekiwanego:

ERR =X

t

|E(t) − O(t)|

lub kwadrat odlegªo±ci

ERR =X

t

(E(t) − O(t))²

(43)

Co robi¢ je»eli wyniki s¡ ci¡gªe?

w przypadku wielowymiarowym dodatkowo suma po wspóªrz¦dnych

ERR =X

t

X

i

(E_i(t) − O_i(t))² im mniejszy bª¡d, tym lepsza klasykacja

(44)

Regresja liniowa / Metoda najmniejszych kwadratów

danych mamy n punktów na R²: (x₁,y₁), ..., (x_n,y_n)

chcemy znale¹¢ równanie prostej y = ax + b przybli»aj¡cej te punkty

idea: znajdziemy równanie prostej f , która minimalizuje odlegªo±¢ od tych punktów

n

X

i=1

(f (x_i) −y_i)²

(45)

Regresja liniowa / Metoda najmniejszych kwadratów

danych mamy n punktów na R²: (x₁,y₁), ..., (x_n,y_n)

chcemy znale¹¢ równanie prostej y = ax + b przybli»aj¡cej te punkty

idea: znajdziemy równanie prostej f , która minimalizuje odlegªo±¢

od tych punktów

n

X

i=1

(f (x_i) −y_i)²

(46)

Regresja liniowa / Metoda najmniejszych kwadratów

-15 -10 -5 0 5

0 2 4 6 8 10

-15 -10 -5 0 5

0 2 4 6 8 10

(47)

Regresja liniowa / Metoda najmniejszych kwadratów

posta¢ prostej f (x) = ax + b

bª¡d E(a, b) = P_i(f (xi) −yi)² =P

i(axi+b − yi)²

∂E

∂a =X

i

∂(ax_i+b − y_i)²

∂a

∂E

∂b =X

i

∂(axi+b − yi)²

∂b

(48)

Regresja liniowa / Metoda najmniejszych kwadratów

posta¢ prostej f (x) = ax + b

bª¡d E(a, b) = P_i(f (xi) −yi)² =P

i(axi+b − yi)²

bª¡d chcemy minimalizowa¢, wi¦c liczymy pochodne po a i po b

∂E

∂a =X

i

∂(ax_i+b − y_i)²

∂a

∂E

∂b =X

i

∂(axi+b − yi)²

∂b

(49)

Regresja liniowa

∂E

∂a =X

i

∂(ax_i+b − y_i)²

∂a =X

i

2(ax_i +b − y_i)∂(ax_i+b − y_i)

∂a =

X

i

2(axi +b − yi)xi =2(aX

i

x_i²+bX

i

xi−X

i

xiyi)

∂E

∂b =X

i

∂(ax_i +b − y )

∂b =X

i

2(ax_i +b − yⁱ)∂(ax_i+b − y )

∂b =

X

i

2(ax_i +b − yⁱ)1 = 2(aX

i

x_i+bX

i

1 −X

i

y_i)

(50)

Regresja liniowa

∂E

∂a =X

i

∂(ax_i+b − y_i)²

∂a =X

i

2(ax_i +b − y_i)∂(ax_i+b − y_i)

∂a =

X

i

2(axi +b − yi)xi =2(aX

i

x_i²+bX

i

xi−X

i

xiyi) Podobnie

∂E

∂b =X

i

∂(ax_i +b − yⁱ)²

∂b =X

i

2(ax_i +b − yⁱ)∂(ax_i+b − yⁱ)

∂b =

X

i

2(ax_i +b − yⁱ)1 = 2(aX

i

x_i+bX

i

1 −X

i

y_i)

(51)

Regresja liniowa / Metoda najmniejszych kwadratów

Oznaczmy S₁=P

i1 = n S_x =P

ix_i S_y =P

iy_i Sxy =P

ix_iy_i Sxx =P

ix_i²

(52)

Regresja liniowa / Metoda najmniejszych kwadratów

Nasze równania teraz wygl¡daj¡ nast¦puj¡co:

2(aS_xx+bS_x−S_xy) =0 2(aS_x+bS₁−S_y) =0

aSxx+bSx =Sxy

aSx+bS1=Sy

a = ^n·S_n·S^xy_xx⁻₋^S_S^x^Sx2^y

b = ^S^xx_n·S^S^y_xx⁻₋^S^xy_Sx2^S^x

(53)

Regresja liniowa / Metoda najmniejszych kwadratów

aSxx+bSx =Sxy

aSx+bS1=Sy

b = _n·S_xx₋_Sx2

(54)

Regresja liniowa / Metoda najmniejszych kwadratów

aSxx+bSx =Sxy

aSx+bS1=Sy

a = ^n·S_n·S^xy_xx⁻₋^S_S^x^S2^y x

b = ^S^xx_n·S^S^y_xx⁻₋^S^xy_Sx2^S^x

(55)

Regresja liniowa / Metoda najmniejszych kwadratów

Je»eli f (x) = a_dx^d+a_d−1x^d−1+a₁x + a₀ bª¡d E(a, b) = P_i(f (xi) −yi)²

∂E

∂a_i =X

j

∂(a_dx_j^d+ ... +a₁x_j¹+a₀−y_j)²

∂a_j dla i = 0...d,

(56)

Regresja liniowa / Metoda najmniejszych kwadratów

Je»eli f (x) = a_dx^d+a_d−1x^d−1+a₁x + a₀ bª¡d E(a, b) = P_i(f (xi) −yi)²

ponownie liczymy pochodne po ka»dym ze wspóªczynników

∂E

∂a_i =X

j

∂(a_dx_j^d+ ... +a₁x_j¹+a₀−y_j)²

∂a_j dla i = 0...d,

(57)

Aproksymacja wielomianem st. 2

-10 -5 0 5 10

0 2 4 6 8 10

(58)

Regresja liniowa / Metoda najmniejszych kwadratów

∂E

∂a_i =X

j

2adx_j^d+ ... +a₁x_j¹+a₀−y_j∂(a_dx_j^d+ ... +a₀−y_j)

∂a_i dla i = 0...d,

∂E

∂a_i =X

j

2adx_j^d+ ... +a₁x_j¹+a₀−y_j x_jⁱ

dla i = 0...d,

∂E

∂a_i =a_dX

j

x_j^d+i+ ... +a₁X

j

x_j¹⁺ⁱ +a₀X

j

x_jⁱ−X

j

y_jx_jⁱ =0

(59)

Regresja liniowa / Metoda najmniejszych kwadratów

∂E

∂a_i =X

j

∂a_i dla i = 0...d,

∂E

∂a_i =X

j

2adx_j^d+ ... +a₁x_j¹+a₀−y_j x_jⁱ dla i = 0...d,

j j j j

(60)

Regresja liniowa / Metoda najmniejszych kwadratów

∂E

∂a_i =X

j

∂a_i dla i = 0...d,

∂E

∂a_i =X

j

2adx_j^d+ ... +a₁x_j¹+a₀−y_j x_jⁱ

dla i = 0...d,

∂E

∂a_i =a_dX

j

x_j^d+i+ ... +a₁X

j

x_j¹⁺ⁱ +a₀X

j

x_jⁱ−X

j

y_jx_jⁱ =0

(61)

Regresja liniowa / Metoda najmniejszych kwadratów

Oznaczmy:

S_xk =X

j

x_j^k

S_yxk =X

j

y_jx_j^k

(62)

Regresja liniowa / Metoda najmniejszych kwadratów

Otrzymujemy ukªad równa«:







S_x2d S_x2d−1 ... S_xd+1 S_xd

S_x2d−1 S_x2d−2 ... S_xd S_xd−1

... ...

S_xd S_xd−1 ... S_x¹ S_x⁰







·





 an

a_n−1 ...

a0







=





 S_yxd

S_yxd−1

S_yx...⁰







(63)

Aproksymacja wielomianem zbyt wysokiego stopnia

dla wysokich stopni wielomianu d i zªo±liwych danych problem mo»e by¢ ¹le uwarunkowany (np. w danych jest para

(x_i,y_i)(x_j,y_j)gdzie x_i jest do±¢ bliski x_j, a odpowiadaj¡ce im y znacznie si¦ ró»ni¡),

wielomian traa idealnie (niemal idealnie, je»eli d < n − 1) w ka»dy z punktów ucz¡cych, ale nie oddaje tego, co si¦ dzieje poza nimi,

je»eli d ' n (ilo±¢ danych), to prostszym rozwi¡zaniem jest interpolacja wielomianowa Lagrange'a.

(64)

Aproksymacja wielomianem zbyt wysokiego stopnia

-40 -20 0 20 40

0 2 4 6 8 10

(65)

Zadania

znajd¹ wielomiany stopni 1, 2 i 3 przybli»aj¡cy punkty (0, 0), (1, 1), (2, 3),

znajd¹ wielomiany stopni 1, 2 i 3 przybli»aj¡cy punkty (0, 0), (1, 1), (2, 3), (4, 0),

(*) znajd¹ wielomian interpolacyjny Lagrange'a stopnia 1, 2 i 3 dla danych z zada« powy»ej,

zaimplementuj uczenie perceptronu i prostej sieci skierowanej na przykªadzie XOR (lub innym nietrywialnym), zbadaj jako±¢

uczenia w obu przypadkach, Skorzystaj z walidacji prostej, krzy»owej, LOO, estymacji poprawnie klasykowanych punktów itp.

(66)

Zadania

zbadaj specyczno±¢ i wra»liwo±¢ (sensitivity and specicity) nauczonej sieci z zadania wy»ej,

(**) kontroluj¡c r¦cznie próg neuronu a tym samym wra»liwo±¢

testu (zawsze nie do zawsze tak), wy±wietl wykres zale»no±ci specyczno±ci od wra»liwo±ci (wykres ROC).

(**) Oblicz numerycznie pole pod wykresem (AUC) z zadania powy»ej.

2012-11-21 MajaCzoków,JarosªawPiersa Wst¦pdosiecineuronowych,wykªad06,Walidacjajako±ciuczenia.Metodystatystyczne.

Wst¦p do sieci neuronowych, wykªad 06, Walidacja jako±ci uczenia. Metody statystyczne.

Przykªad

Przykªad

Wnioski

Co to jest reprezentatywna próbka?

Co to jest reprezentatywna próbka?

Generalizacja

Generalizacja

Generalizacja

Generalizacja

Generalizacja

Przeuczenie sieci

Systuacja ekstremalna

Systuacja ekstremalna

Przypomnienie ze statystyki

Przypomnienie ze statystyki

Przypomnienie ze statystyki

Zagadnienie

Proste rozwi¡zanie

Proste rozwi¡zanie

Walidacja prosta

Walidacja prosta

Walidacja prosta

k-krotna walidacja krzy»owa

k-krotna walidacja krzy»owa

k-razy dwukrotna walidacja krzy»owa

k-razy dwukrotna walidacja krzy»owa

Leave One Out

Leave One Out

Bª¦dy i bª¦dy

Przykªad

Bª¦dy pierwszego i drugiego rodzaju

Bardziej »yciowe przykªady

Wra»liwo±¢ i specyczno±¢

Wra»liwo±¢ i specyczno±¢

Reciever Operation Characteristic

Co robi¢ je»eli wyniki s¡ ci¡gªe?

Co robi¢ je»eli wyniki s¡ ci¡gªe?

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa

Regresja liniowa

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Aproksymacja wielomianem st. 2

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Regresja liniowa / Metoda najmniejszych kwadratów

Aproksymacja wielomianem zbyt wysokiego stopnia

Aproksymacja wielomianem zbyt wysokiego stopnia

Zadania

Zadania

Co to jest reprezentatywna próbka?

Co to jest reprezentatywna próbka?

Wra»liwo±¢ i specyczno±¢

Wra»liwo±¢ i specyczno±¢