Informatyka, studia dzienne, inż I st. semestr VI

(1)

Informatyka, studia dzienne, inż I st. semestr VI

Inteligentna analiza danych 2010/2011

Prowadzący: dr inż. Arkadiusz Tomczyk środa, 8:30

Data oddania: Ocena:

Marek Rogalski 150982

Paweł Tarasiuk 151021

Zadanie 1 ^∗

1. Cel

Celem zadania było stworzenie programu przetwarzającego zbiory danych oraz wyliczającego statystyki cech, a także rozważenie możliwości klasyfikacji zbiorów na podstawie obliczonych statystyk.

2. Wprowadzenie

W zbiorach danych możemy wydzielać różnego rodzaju cechy. Dwie z nich, na jakie zwracaliśmy uwagę w naszej pracy to cechy nominalne, oraz ciągłe. Cecha nominalne jest to pewna wartość z dyskretnego, przeliczalnego zbioru wartości, często utożsamiana z etykietą. Cechy nominalne w prosty sposób dzielą zbiór badany zbiór na zestaw podzbiorów.

Cecha ciągła jest to liczba reprezentująca pewną mierzalną wartość badanego

obiektu. Cechy ciągłe często występują w zależnościach względem nadanych

(2)

Średnią harmoniczną: P

ⁿ1 x

Średnią geometryczną: √

ⁿ

Q x Medianę: x

bn/2c

Dominantę: max(n

_x

) → x

K-ty moment centralny (dla k=1,2,3):

P

(xi−x)^k n

Odchylenie standardowe:

r P

(xi−x)² n

Współczynnik asymetrii oparty na dominancie:

^x−D_s

Moment standaryzowany trzeciego rzędu:

^µ_σ³3

Kurtozę:

^µ_σ⁴4

− 3

3. Opis implementacji

Rozwiązanie zostało zaimplementowane z wykorzystaniem programów i narzędzi takich jak: python2.6, python3.0, gnuplot, bash, make, gcc, sed, grep. Praca programu dzieli się na dwie części. Pierwsza z nich, zarządzana

Rysunek 1. Grube strzałki oznaczają przepływ danych. Małe reprezentują hierar- chię katalogów.

przez skrypt Makefile, pobiera dane i przygotowuje opisy zbiorów, a następ- nie uruchamia skrypty plot.py (generuje wykresy współzależności cech) i

2

(3)

histit.py (rysuje histogramy cech). Skrypty te przeglądają wskazany zbiór danych, a następnie uruchamiają program gnuplot (wielokrotnie, w oddziel- nych procesach) i wykonują w nim polecenia niezbędne do narysowania od- powiednich wykresów. Wynik ich pracy trafia do katalogu plots.

Druga część programu, uruchamiana przez skrót browse.sh, wyświetla okno przeglądania statystyk. W oknie można wykonać takie operacje jak wybór zbioru danych, filtrować zbiór według wartości cech nominalnych, a także określać ilość przedziałów klasowych rysowanego histogramu.

Program jest sterowany przez plik browse.py. W celu obliczania statystyk, uruchamia on szereg instancji programu vicious, który sam w sobie oblicza statystyki podanych na wejściu liczb, oraz przekazuje im na wejście odpo- wiednio przefiltrowane dane. Wyniki działania prezentowane są w tabeli w górnej części programu. Druga funkcja programu browse.py to rysowanie hi- stogramów odpowiednich cech. Histogramy rysowane są za każdym razem gdy użytkownik zmieni interesującą go cechę lub filtr danych.

4. Materiały i metody

Przetwarzane dane były ciągami rekordów w formacie CSV opisujący- mi populacje: irysów, słuchotek, oraz mieszkańców Stanów Zjednoczonych.

Przetwarzane dane badane były na trzy zasadnicze sposoby:

— Poprzez obliczenie szeregu statystyk. Wśród nich: średniej arytmetycz- nej, średniej harmonicznej, średniej geometrycznej, mediany, dominanty, k-tego momentu centralnego (dla k=1,2,3), odchylenia standardowego, współczynnika As, momentu standaryzowanego trzeciego rzędu, oraz kur- tozy.

— Poprzez wykonanie wykresów cech z wyróżnieniem grup cech nominalnych dzielących zbiór rekordów. Wykresy wykonano dla wszystkich par cech ciągłych z podziałem na każdą cechę nominalną.

— Poprzez wykonanie zestawu histogramów obrazujących rozkład wartości z uwzględnieniem cech nominalnych. Histogramy wykonano dla każdej cechy ciągłej z podziałem na każdą cechę nominalną. Niektóre histogra- my dla zwiększenia czytelności zostały rozbite na kilka osobnych tak by elementy dominującej grupy nie zaciemniały histogramów pozostałych grup.

Celem wykonania wykresów oraz histogramów było rozważenie zależności po-

jawiających się w zbiorze danych. Zależności tych doszukiwaliśmy się poprzez

szukanie zależności geometrycznych na wykresach par cech, oraz zgrupowań

(4)

Tabela 1: Zestaw Iris

Iris - Histogram (1) Iris - Histogram (2)

Iris - Histogram (3) Iris - Histogram (4)

Iris - Wykres (1) Iris - Wykres (2)

4

(5)

Tabela 1: Zestaw Iris

Tabela 2: Zestaw Abalone

Abalone - Histogram (1) Abalone - Histogram (2)

(6)

Tabela 2: Zestaw Abalone

Abalone - Wykres (1) Abalone - Wykres (2)

6

(7)

Tabela 2: Zestaw Abalone

(8)

Tabela 2: Zestaw Abalone

8

(9)

Tabela 2: Zestaw Abalone

Tabela 3: Zestaw Adult

Adult - Histogram (1) Adult - Histogram (2)

(10)

Tabela 3: Zestaw Adult

10

(11)

Tabela 3: Zestaw Adult

(12)

Tabela 3: Zestaw Adult

12

(13)

Tabela 3: Zestaw Adult

(14)

Tabela 3: Zestaw Adult

14

(15)

Tabela 3: Zestaw Adult

(16)

Tabela 3: Zestaw Adult

16

(17)

Tabela 3: Zestaw Adult

Adult - Histogram (63) Adult - Wykres (1)

Adult - Wykres (2) Adult - Wykres (3)

(18)

Tabela 3: Zestaw Adult

18

(19)

Tabela 3: Zestaw Adult

(20)

Tabela 3: Zestaw Adult

20

(21)

Tabela 3: Zestaw Adult

(22)

Tabela 3: Zestaw Adult

22

(23)

6. Dyskusja

6.1. Zestaw Iris

Zestaw Iris przedstawia zbiór pomiarów trzech gatunków irysów. Dane przedstawione na histogramach 1 i 2 są pomieszane. Chociaż szczytowe słupki pozostają w przesunięciu (co znajduje odzwierciedlenie w obliczonych staty- stykach), istnieją takie przedziały klasowe, w których znajdują się osobniki ze wszystkich trzech klas.

Więcej informacji niosą pozostałe dwa histogramy, prezentujące rozkład cech Petal Width i Petal Length. Wartości rożnych klas posiadają wyraźniej roz- sunięte środki rozkładów. Iris Setosa znajduje się nawet w odległości tak, że żaden z osobników tego gatunku nie trafił do przedziału klasowego z innym gatunkiem.

Wśród wykresów najciekawszy jest pierwszy z nich, gdyż przedstawia on dane zgromadzone również na histogramach 1 i 2. W tym jednak przypadku widać zależność pomiędzy tymi dwiema cechami. Da się tu wskazać prostą dzielącą populacje wszystkich trzech klas, która rozgraniczy Iris Setosa od Iris Virginica i Iris Versicolor.

Pozostałe wykresy prezentują resztę możliwych kombinacji badanych para- metrów. Chociaż zależności występujące pomiędzy parametrami różnych klas nie są już tak widoczne, choć wykres 3 pozwala wskazać podobną prostą dla klas Iris Virginica i Iris Versicolor, która pomimo, ze skutecznie rozgranicza dane klasy, nie robi tego doskonale. Najlepsza prosta, jaką byliśmy w stanie wskazać była w stanie podzielić zbiory Iris Virginica i Iris Versicolor z do- kładnością do dwóch błędów.

Punkty należące do różnych klas wyraźnie grupują się w obszarach, które można w pewien sposób opisać za pomocą rozkładów prawdopodobieństwa.

Jedna z możliwości klasyfikacji punktów na podstawie ich parametrów mo- głaby polegać na obliczeniu parametrów tych rozkładów (na podstawie już zebranych danych) i klasyfikacja według prawdopodobieństw przynależności do różnych grup dla danego nowego osobnika.

Inna metoda poszukiwania takiego klasyfikatora mogłaby polegać na przed- stawieniu zbiorów cech w przestrzeni trójwymiarowej i szukaniu takich płasz- czyzn, które mogłyby posłużyć jako klasyfikatory rozdzielając populacje wszyst- kich trzech klas.

6.2. Zestaw Abalone

(24)

8, który to prezentuje niewielki wzrost słupków przedziałów klasowych dla niskich ilości pierścieni (w tym przypadku poniżej 7) w przypadku nijakich słuchotek, oraz analogiczny wzrost słupków przedziałów klasowych dla słu- chotek męskich i żeńskich przy większej ilości pierścieni. W istocie, średnia ilość pierścieni nijakich słuchotek to około 8, a w przypadku słuchotek mę- skich i żeńskich to około 11 pierścieni.

Większą ilość wskazówek niosą same wykresy. Tutaj jednak, podobnie sku- piamy się na wykresach przedstawiających zależności różnych cech od ilo- ści pierścieni. Będą to wykresy: siódmy, dwunasty, szesnasty, dziewiętnasty, dwudziesty pierwszy i dwudziesty drugi. Dla różnych wartości wag wyraźnie zmienia się rozkład ilości pierścieni. Zależność tego rozkładu od wagi można oszacować zakładając na przykład, że dolnym i górnym ograniczeniem dla ilości pierścieni może być a √

W dla pewnego a dla ograniczenia dolnego i innego a dla ograniczenia górnego.

Szacowanie zależności rozkładów wydaje się najbardziej oczywistym kryte- rium dla określania ilości pierścieni słuchotek.

6.3. Zestaw Adult

W tym zestawie celem jest klasyfikacja, czy dany przedstawiciel populacji zarabia więcej, czy mniej niż 50 tys. dolarów rocznie. Zbiór danych obejmuje czternaście parametrów, z których wiele zdaje się mieć wpływ na decyzję.

Zbiór danych jest na tyle duży, że w przypadku niektórych wykresów dane są wręcz nieczytelne z powodu wysokich koncentracji punktów w niektórych ich miejscach. Wskazanie dobrego kryterium klasyfikacji jest w tym przypadku bardzo trudne. Składa się na to wspomniany rozmiar danych oraz obecność wielu cech charakteryzujących każdy z rekordów.

Zbierając dane z histogramów prezentujących wpływ różnych cech na roczne zarobki (grupa histogramów Capital Gain grouped by . . . ) możemy w pewien sposób oceniać nowe rekordy przydzielając im punkty na podstawie zbieżno- ści kolejnych ich cech z grupą do której będą przydzielane. Dużo zależy od samej metody punktowania. Może to być na przykład suma (bądź suma wa- runkowa) prawdopodobieństw tego, że rekord o danej cesze nominalnej trafi do przedziału klasowego powyżej 50000. Próg punktowy, powyżej którego następowałaby klasyfikacja można wtedy ustalić na procent społeczeństwa, który zarabia powyżej 50000.

7. Wnioski

— Zadanie klasyfikacji przy odpowiednim przedstawieniu problemu może ograniczyć się do problemu geometrycznego takiego jak znajdowanie otocz- ki wypukłej zbioru, bądź podziału przestrzeni z punktami należącymi do różnych klas na obszary jednoznacznie rozróżniające klasy punktów.

— Kolejną ważną metodą klasyfikacji jest możliwość zastosowania metod statystycznych do znalezienia cech charakteryzujących różne klasy, a na- stępnie klasyfikacja z ich wykorzystaniem.

— W przypadku zbiorów cechujących się dużą ilością atrybutów i duży- mi rozmiarami danych, analiza metodami graficznymi często może nie

24

(25)

przynosić efektów. Metody statystyczne w takich przypadkach pozwalają wyznaczyć szereg wyznaczników dla różnych klas wyznaczanych przez atrybuty nominalne.

Informatyka, studia dzienne, inż I st. semestr VI

Informatyka, studia dzienne, inż I st. semestr VI

Inteligentna analiza danych 2010/2011

Prowadzący: dr inż. Arkadiusz Tomczyk środa, 8:30

Data oddania: Ocena:

Marek Rogalski 150982

Paweł Tarasiuk 151021

Zadanie 1 ∗

1. Cel

Celem zadania było stworzenie programu przetwarzającego zbiory danych oraz wyliczającego statystyki cech, a także rozważenie możliwości klasyfikacji zbiorów na podstawie obliczonych statystyk.

2. Wprowadzenie

Cecha ciągła jest to liczba reprezentująca pewną mierzalną wartość badanego

obiektu. Cechy ciągłe często występują w zależnościach względem nadanych

Średnią harmoniczną: P

Średnią geometryczną: √

Q x Medianę: x

Dominantę: max(n

) → x

K-ty moment centralny (dla k=1,2,3):

P

Odchylenie standardowe:

r P

Współczynnik asymetrii oparty na dominancie:

Moment standaryzowany trzeciego rzędu:

Kurtozę:

− 3

3. Opis implementacji

Rozwiązanie zostało zaimplementowane z wykorzystaniem programów i narzędzi takich jak: python2.6, python3.0, gnuplot, bash, make, gcc, sed, grep. Praca programu dzieli się na dwie części. Pierwsza z nich, zarządzana

Rysunek 1. Grube strzałki oznaczają przepływ danych. Małe reprezentują hierar- chię katalogów.

przez skrypt Makefile, pobiera dane i przygotowuje opisy zbiorów, a następ- nie uruchamia skrypty plot.py (generuje wykresy współzależności cech) i

2

histit.py (rysuje histogramy cech). Skrypty te przeglądają wskazany zbiór danych, a następnie uruchamiają program gnuplot (wielokrotnie, w oddziel- nych procesach) i wykonują w nim polecenia niezbędne do narysowania od- powiednich wykresów. Wynik ich pracy trafia do katalogu plots.

Druga część programu, uruchamiana przez skrót browse.sh, wyświetla okno przeglądania statystyk. W oknie można wykonać takie operacje jak wybór zbioru danych, filtrować zbiór według wartości cech nominalnych, a także określać ilość przedziałów klasowych rysowanego histogramu.

4. Materiały i metody

Przetwarzane dane były ciągami rekordów w formacie CSV opisujący- mi populacje: irysów, słuchotek, oraz mieszkańców Stanów Zjednoczonych.

Przetwarzane dane badane były na trzy zasadnicze sposoby:

— Poprzez obliczenie szeregu statystyk. Wśród nich: średniej arytmetycz- nej, średniej harmonicznej, średniej geometrycznej, mediany, dominanty, k-tego momentu centralnego (dla k=1,2,3), odchylenia standardowego, współczynnika As, momentu standaryzowanego trzeciego rzędu, oraz kur- tozy.

— Poprzez wykonanie wykresów cech z wyróżnieniem grup cech nominalnych dzielących zbiór rekordów. Wykresy wykonano dla wszystkich par cech ciągłych z podziałem na każdą cechę nominalną.

Celem wykonania wykresów oraz histogramów było rozważenie zależności po-

jawiających się w zbiorze danych. Zależności tych doszukiwaliśmy się poprzez

szukanie zależności geometrycznych na wykresach par cech, oraz zgrupowań

Tabela 1: Zestaw Iris

4

Tabela 1: Zestaw Iris

Tabela 2: Zestaw Abalone

Tabela 2: Zestaw Abalone

6

Tabela 2: Zestaw Abalone

Tabela 2: Zestaw Abalone

8

Tabela 2: Zestaw Abalone

Tabela 3: Zestaw Adult

Tabela 3: Zestaw Adult

10

Tabela 3: Zestaw Adult

Tabela 3: Zestaw Adult

12

Tabela 3: Zestaw Adult

Tabela 3: Zestaw Adult

14

Tabela 3: Zestaw Adult

Tabela 3: Zestaw Adult

16

Tabela 3: Zestaw Adult

Tabela 3: Zestaw Adult

18

Tabela 3: Zestaw Adult

Tabela 3: Zestaw Adult

20

Tabela 3: Zestaw Adult

Tabela 3: Zestaw Adult

22

6. Dyskusja

6.1. Zestaw Iris

Punkty należące do różnych klas wyraźnie grupują się w obszarach, które można w pewien sposób opisać za pomocą rozkładów prawdopodobieństwa.

Jedna z możliwości klasyfikacji punktów na podstawie ich parametrów mo- głaby polegać na obliczeniu parametrów tych rozkładów (na podstawie już zebranych danych) i klasyfikacja według prawdopodobieństw przynależności do różnych grup dla danego nowego osobnika.

Inna metoda poszukiwania takiego klasyfikatora mogłaby polegać na przed- stawieniu zbiorów cech w przestrzeni trójwymiarowej i szukaniu takich płasz- czyzn, które mogłyby posłużyć jako klasyfikatory rozdzielając populacje wszyst- kich trzech klas.

6.2. Zestaw Abalone

W dla pewnego a dla ograniczenia dolnego i innego a dla ograniczenia górnego.

Szacowanie zależności rozkładów wydaje się najbardziej oczywistym kryte- rium dla określania ilości pierścieni słuchotek.

Zadanie 1 ^∗