Statystyczna analiza wyników‒model regresji wielorakiej

W pracy przedstawiono statystyczny model regresji wielokrotnej będący metodą szacowania wartości liczbowej zmiennej zależnej (objaśnianej, wynikowej) Y na podstawie wartości zmiennych niezależnych X (objaśniających). Przyjęto, że zmienną wynikową jest zmniejszenie objętości segmentów na drodze tarcia wynoszącej 1000 m (∆𝑉), natomiast zmiennymi objaśniającymi są: średnia liczba kryształów diamentu (𝐷)̅̅̅̅, szybkość zużycia w obecności: 2 ciał (𝐴𝑖₂) oraz 3 ciał (𝐴𝑖₃) (tablica 9 i 13).

Zależność pomiędzy zmienną objaśnianą a wymienionymi zmiennymi objaśniającymi ma charakter stochastyczny. Można ją przedstawić w sposób ilościowy, wykorzystując model regresji wielokrotnej liniowej, w następującej postaci (równanie 15) [96]:

𝑌 = 𝛽₀+ 𝛽₁𝑋₁+ 𝛽₂𝑋₂+ 𝛽_𝑖𝑋_𝑖+_…+ 𝛽_𝑘𝑋_𝑘+ 𝜀 (15) gdzie:

Y – zmienna objaśniana,

79 𝛽_𝑖 (𝑖 = 1,2, … , 𝑛) – współczynniki regresji,

𝜀 – błąd prognozy.

Współczynniki regresji 𝛽_𝑖 w równaniu 15 wyznacza się metodą najmniejszych kwadratów [96].

W modelu regresji wielokrotnej w przypadku wzajemnego skorelowania poszczególnych zmiennych niezależnych ma miejsce zjawisko współliniowości lub wielowspółliniowości, gdyż problem ten może dotyczyć więcej niż dwóch zmiennych. Skutkiem współliniowości jest zniekształcenie wyników analizy, a dokładniej wartości współczynników regresji. Stopień zniekształcenia, związanego ze zjawiskiem współliniowości, jest uzależniony od wartości współczynnika korelacji pomiędzy skorelowanymi zmiennymi. Zalecaną metodą identyfikacji tego zjawiska jest wczesne wykonanie analizy korelacji wszystkich zmiennych niezależnych w badanym modelu regresji. Dokonując redukcji zbioru wstępnie wytypowanych zmiennych objaśniających należy przestrzegać zasady, iż w modelu powinny się znaleźć zmienne silnie skorelowane ze zmienną objaśniającą i jednocześnie słabo skorelowane ze sobą, aby nie pozbawić się nawzajem mocy wyjaśniającej [97]. Do określenia miary mocy zależności pomiędzy zmienną objaśnianą a zmiennymi objaśniającymi wykorzystano skorygowany współczynnik determinacji 𝑅_𝑎² (adjusted R²), który w przeciwieństwie do współczynnika determinacji R2

nie musi wzrastać ze wzrostem liczby zmiennych objaśniających i stąd można go wykorzystać do porównania dwóch modeli o różnej liczbie zmiennych objaśniających [98].

Związek pomiędzy 𝑅_𝑎2 i 𝑅2 ma następującą postać (równanie 16):

𝑅_𝑎² = ^{(𝑚–1)∙𝑅2–𝑛}

𝑚–(𝑛+1) (16)

gdzie:

m – liczba pomiarów,

n – liczba zmiennych objaśniających.

Istnieje kilka metod doboru zmiennych objaśniających. Do najpowszechniej stosowanych należy regresja krokowa, metoda dołączania, jak również odrzucania.

80

Konstrukcja modelu regresji wielokrotnej

Konstruując statystyczny model regresji wielokrotnej przyjęto następujący tok postępowania:

– przeprowadzono wstępną ocenę liniowej zależności pomiędzy wszystkimi rozpatrywanymi zmiennymi, tzn. wyznaczono macierz współczynników korelacji liniowej R,

– obliczono współczynniki 𝛽_𝑖 w równaniu regresji wielokrotnej (równanie 15) dla modelu optymalnego ze względu na zmienne objaśniające i siłę prognostyczną:

 testowanie istotności regresji; analiza wariancji ANOVA, test F,

 testowanie istotności estymowanych współczynników regresji 𝛽_𝑖, test t,  ocena jakości modelu: skorygowany współczynnik determinacji 𝑅_𝑎2,  ocena poprawności modelu.

Wyniki obliczeń

Obliczenia przeprowadzono za pomocą arkusza kalkulacyjnego Excel. Współczynniki korelacji liniowej pomiędzy poszczególnymi zmiennymi zamieszczono w tablicy 14.

Tablica 14. Współczynniki korelacji liniowej pomiędzy analizowanymi zmiennymi

ΔV 𝑫̅ Ai₃ Ai₂

ΔV 1

𝑫̅ ‒0,778 1

Ai₃ 0,101 0,466 1

Ai₂ 0,150 ‒0,364 ‒0,605 1

Dla modelu regresji z 𝑖–zmiennymi objaśniającymi postawiono hipotezę zerową (𝐻₀: 𝛽₁ = 𝛽₂ = ⋯ = 𝛽_𝑛 = 0) o braku związku między zmienną objaśnianą Y i wszystkimi zmiennymi objaśniającymi 𝑋₁, 𝑋₂, … , 𝑋_𝑛. Celem testu statystycznego dla hipotezy zerowej jest wyeliminowanie z modelu jednocześnie całej grupy zmiennych objaśniających, o ile występowanie ich nie ma istotnie statystycznego wpływu na zmianę teoretycznej średniej warunkowej zmiennej objaśnianej. W celu przeprowadzenia testu obliczono statystykę

81 𝑅²

(1–𝑅2)∙^{𝑚–𝑛–1}

𝑛 , która ma rozkład Fishera–Snedecora (𝐹_{𝑛,(𝑚–𝑛–1)}) o (𝑛) i (𝑚– 𝑛– 1) stopniach swobody.

Przedział ufności dla statystyki na poziomie istotności 𝜆 ma postać 𝐹∗ wartość krytyczna: P([ ^𝑅 2 (1–𝑅2)∙^{𝑚–𝑛–1} 𝑛 ] ≤ 𝐹^∗) = 1– 𝜆 (17) Jeżeli ^𝑅2 (1–𝑅2)∙^{𝑚–𝑛–1}

𝑛 > 𝐹∗ należy odrzucić hipotezę 𝐻₀.

Przy założeniach klasycznej metody najmniejszych kwadratów możemy testować, czy występuje związek między zmienną objaśnianą 𝑌 a zmienną objaśniającą 𝑋_𝑖. W przypadku braku związku 𝛼_𝑖 = 0.

𝐻₀: 𝛼_𝑖 = 0 (18)

𝐻₁: 𝛼_𝑖 ≠ 0 (19)

Jeżeli hipoteza 𝐻₀ jest prawdziwa to statystyka ^𝛽𝑖

𝑆(𝛽_𝑖) ma rozkład 𝑡–Studenta z (m–n–1) stopniami swobody.

Przedział ufności dla statystyki na poziomie istotności 𝜆 ma postać: 𝑃(– 𝑡_{(𝑚–𝑛–1),𝜆}≤ ( ^𝛽𝑖

𝑆(𝛽_𝑖)) ≤ 𝑡_{(𝑚–𝑛–1),𝜆}) = 1– 𝜆 (20) Jeżeli | ^𝛽𝑖

𝑆(𝛽_𝑖)| > 𝑡_{(𝑚–𝑛–1),𝜆} należy odrzucić hipotezę 𝐻₀.

Alternatywnym, na ogół stosowanym sposobem weryfikacji hipotezy 𝐻₀ jest również obliczenie empirycznego poziomu istotności, tzw. 𝑝– 𝑣𝑎𝑙𝑢𝑒, określonego jako prawdopodobieństwo uzyskania analizowanych danych przy założeniu, że hipoteza zerowa jest prawdziwa.

Dla ustalonej wartości 𝐹 statystyki 𝐹–Fishera Snedecora z (𝑛) i (𝑚– 𝑛– 1) stopniami swobody wylicza się prawdopodobieństwo 𝑝 obszaru krytycznego wyznaczonego przez F:

𝑝 = 𝑃 (𝐹_{𝑛,(𝑚–𝑛–1)}> 𝐹) (21)

Natomiast dla ustalonej wartości 𝑡 statystyki 𝑡–Studenta z (m–n–1) stopniami swobody wylicza się prawdopodobieństwo 𝑝 obszaru krytycznego wyznaczonego przez t:

𝑝 = 𝑃 (|𝑡_{𝑚–𝑛–1}| > |𝑡|) (22)

W przypadku gdy 𝑝 < 𝜆, wtedy odrzuca się hipotezę zerową 𝐻₀ na rzecz hipotezy alternatywnej 𝐻₁, natomiast gdy 𝑝 ≥ 𝜆, nie ma podstaw do odrzucenia hipotezy zerowej 𝐻₀.

82 Wyniki testu istotności trzech zmiennych objaśniających w modelu regresji wielokrotnej przedstawiono w tablicy 15.

Tablica 15. Regresja wielokrotna liniowa: wyniki obliczeń dla 3 zmiennych objaśniających Istotność regresji

𝑯_𝟎: (𝜷_𝑫= 𝜷_𝑨𝒊𝟑= 𝜷_𝑨𝒊𝟐= 𝟎) 𝑯_𝟏: (𝜷_𝑫≠ 𝟎 𝒍𝒖𝒃 𝜷_𝑨𝒊𝟑 ≠ 𝟎 𝒍𝒖𝒃 𝜷_𝑨𝒊𝟐≠ 𝟎

𝑭 = 𝟏𝟏, 𝟗𝟏

𝒑 = 𝟎, 𝟎𝟎𝟔; regresja istotna

Estymowane współczynniki regresji ^{𝛽𝐷 𝛽𝐴𝑖3 𝛽𝐴𝑖2}

–5,55 9,62 0,47

Istotność współczynników regresji

𝑯𝟎: (𝜷𝒊= 𝟎), 𝑯𝟏: (𝜷𝒊≠ 𝟎);

𝑝 = 0,0004 𝑝 = 0,006 𝑝 = 0,261

Współczynnik determinacji 𝑅_𝑎2= 0,856

Równanie regresji ∆𝑉 = 117– 5,55𝐷 + 9,62𝐴𝑖₃+ 0,47𝐴𝑖₂

Otrzymane dane wskazują jednoznacznie, że przeprowadzony test istotności (test 𝑡) nie daje podstaw do odrzucenia hipotezy 𝐻₀: (𝛽_𝐴𝑖2 = 0), ze względu na bardzo wysoką wartość 𝑝 = 0,261. Wysoki współczynnik korelacji liniowej pomiędzy zmiennymi objaśniającymi 𝐴_𝑖2 i 𝐴_𝑖3 (tablica 15) skłonił do wyeliminowania zmiennej objaśniającej 𝐴_𝑖2 z modelu (równanie 15). Obliczenia powtórzono, uwzględniając w modelu tylko dwie zmienne objaśniające, tzn. (𝐷̅) i (𝐴_𝑖3), które są najsilniej skorelowane ze zmienną wynikową oraz słabo skorelowane wzajemnie. Opis modelu (równanie 15) dla dwóch zmiennych objaśniających zamieszczono w tablicy 16. W równaniu regresji z dwoma zmiennymi objaśniającymi wszystkie współczynniki regresji są istotne.

83

Tablica 16. Regresja wielokrotna liniowa: wyniki obliczeń dla 2 zmiennych objaśniających Istotność regresji

𝑯_𝟎: (𝜷_𝑫= 𝜷_𝑨𝒊𝟑 = 𝟎) 𝑯_𝟏: (𝜷_𝑫≠ 𝟎 𝒍𝒖𝒃 𝜷_𝑨𝒊𝟑 ≠ 𝟎

𝑭 = 𝟏𝟗, 𝟏𝟐

𝒑 = 𝟎, 𝟎𝟎𝟏𝟓; regresja istotna

Estymowane współczynniki regresji ^{𝛽𝐷 𝛽𝐴𝑖3}

–5,66 8,11

Istotność współczynników regresji

𝐇𝟎: (𝛃𝐢= 𝟎), 𝐇𝟏: (𝛃𝐢≠ 𝟎);

𝑝 = 0,0002 𝑝 = 0,0052

Współczynnik determinacji 𝑅_𝑎2= 0,845

Równanie regresji ∆𝑉 = 8,6– 5,66𝐷 + 8,11𝐴𝑖₃