Ile ludzkiej inteligencji jest w sztucznej inteligencji ?-Techniki inteligentne w zastosowaniach praktycznych

Ile ludzkiej inteligencji jest w sztucznej inteligencji ?

-

Techniki inteligentne w

zastosowaniach praktycznych

Agnieszka Nowak

Instytut Informatyki, Uniwersytet Śląski

Mózgiem każdego urządzenia, które ma wykazywać się inteligencją jest odpowiednio zaprogramowany

komputer.

Dział nauki zajmujący się inteligencją przedmiotów nieożywionych to sztuczna inteligencja.

Wizja przyszłości:

inteligentne, autonomiczne

roboty, zdolne do samodzielnego rozwiązywania złożonych

problemów.

Czy sztuczna inteligencja to

robotyka ?

Inteligencja i ekspert dziedzinowy

Inteligencja - (psych.) zespół zdolności umysłowych umożliwiających jednostce sprawne korzystanie z nabytej wiedzy oraz skuteczne zachowanie się wobec nowych zadań i sytuacji

EKSPERT:

Człowiek posiadający specjalistyczną wiedzę z pewnej dziedzinie (wiedzę dziedzinową) i umiejętność stosowania jej dla

podejmowania decyzji związanych z tą dziedziną (umiejętność wnioskowania w oparciu o posiadaną wiedzę), nabyte w

wyniku studiów i praktyki.

Sztuczna Inteligencja - (skrót AI od angielskiego określenia Artificial Intelligence) - jest to pojęcie stosowane w informatyce i oznacza rozwiązywanie problemów sposobami wzorowanymi na

naturalnych działaniach i procesach poznawczych człowieka za pomocą symulujących je programów komputerowych.

Sztuczna Inteligencja - AI

• System ekspercki (funkcjonuje też nazwa system ekspertowy) jest to program, lub zestaw programów komputerowych

wspomagający korzystanie z wiedzy i ułatwiający podejmowanie decyzji.

Systemy ekspertowe mogą wspomagać bądź zastępować ludzkich ekspertów w danej dziedzinie, mogą dostarczać rad,

zaleceń i diagnoz dotyczących problemów tej dziedziny.

System ekspertowy – definicja…

Zastosowania systemów ekspertowych:

• diagnozowanie chorób

• poszukiwanie złóż minerałów

• identyfikacja struktur molekularnych

• udzielanie porad prawniczych

• diagnoza problemu (np. nieprawidłowego działania urządzenia)

Inteligencja ludzka a sztuczna inteligencja ?

Systemy ekspertowe:

•są narzędziem kodyfikacji wiedzy eksperckiej,

•mają zdolność rozwiązywania problemów specjalistycznych, w których duża rolę odgrywa doświadczenie a wiedza ekspercka jest dobrem

rzadkim i kosztownym,

•zwiększają dostępność ekspertyzy,

•zapewniają możliwość prowadzenia jednolitej polityki przez centralę firm mających wiele oddziałów,

•poziom ekspertyzy jest stabilny - jej jakość nie zależy od warunków zewnętrznych i czasu pracy systemu,

•jawna reprezentacja wiedzy w postaci zrozumiałej dla użytkownika końcowego,

•zdolność do objaśniania znalezionych przez system rozwiązań,

•możliwość przyrostowej budowy i pielęgnacji bazy wiedzy.

Systemy ekspertowe…

Dwie podstawowe strategie wnioskowania:

Wnioskowanie

Wnioskowanie w przód, zwane też wnioskowaniem progresywnym. Polega ono na uaktywnianiu reguł spełnionych, a więc takich, których przesłanki są w zbiorze faktów. Uaktywnienie reguły powoduje dopisanie nowego faktu, co może

spowodować, że spełniona i potem uaktywniona może zostać kolejna reguła.

Wnioskowanie w przód nie może odbyć się bez faktów. Mówi się, że jest ono sterowane faktami ( ang. data driven).

Wnioskowanie wstecz, zwane też regresywnym. Polega ono na potwierdzeniu prawdziwości postawionej hipotezy, zwanej celem wnioskowania. Hipoteza jest potwierdzona wtedy, gdy istnieje reguła, której przesłanki są w bazie faktów a konkluzja zgodna jest z hipotezą. Ustalenie prawdziwości przesłanek może powodować konieczność uaktywnienia wielu reguł.

Wnioskowanie wstecz nie może odbyć się bez ustalonej hipotezy, stanowiącej cel wnioskowania. Mówi się, że jest ono sterowane celem ( ang. goal driven).

Architektura SE

• Udzielanie jak najbardziej precyzyjnych i wiarygodnych odpowiedzi

• Prostota obsługi dla każdego użytkownika

• Rozwiązywanie problemów w określonym czasie

• Umiejętność imitowania wiedzy i wieloletniego doświadczenia eksperta

• Uniwersalność

• Rozbudowana i dobrej jakości baza danych

Wyznaczniki dobrego systemu ekspertowego:

Reprezentacja wiedzy…

Reguły proste

Reguły złożone

Automatyzacja czynności, które wiążemy z myśleniem, takich jak: podejmowanie decyzji, rozwiązywanie problemów, zapamiętywanie... .

R. Bellman, An Introduction to Artificial Intelligence, Boyd & Frase, 1978

Badania nad zdolnościami umysłowymi poprzez stosowanie metod obliczeniowych.

E. Charniak, D. McDermott, Introduction to Artificial Intelligence, Addison-Wesley Publishing, 1985

Sztuka tworzenia maszyn, które wykonują funkcje wymagające inteligencji od ludzi.

R. Kurzweil, The Age of Intelligence Machines, The MIT Press, 1992

Dziedzina badan zajmująca się maszynami, które są zdolne wykonywać rzeczy, jakie wykonują ludzie używając inteligencji.

M. Minsky, Society of Mind, Simon & Schuster, 1985

Dziedzina informatyki zajmująca się automatyzacją inteligentnych zachowań.

G.F. Luger, Artificial Intelligence, Structures and Strategies for Complex Problem Solving, AddisonWesley, 2002

Dwa uzupełniające znaczenia terminu Sztuczna Inteligencja: … dyscyplina inżynierii dotyczy tworzenia inteligentnych maszyn, … empiryczna nauka, zajmująca się obliczeniowym

modelowaniem ludzkiej inteligencji.

M. I. Jordan, S. Russell, Computational Intelligence, The MIT Encylopedia of Cognitive Sciences, The MIT Press, 1999

Definicje AI

Sztuczna inteligencja stała się interdyscyplinarną dziedziną Sztuczna inteligencja stała się interdyscyplinarną dziedziną naukową, zajmującą się:

naukową, zajmującą się:

 badaniem zachowań inteligentnych istot żywych,

 eksploracją dokonań różnych dyscyplin naukowych w zakresie procesów myślenia i uczenia się,

 poszukiwaniem nowych technik i metod modelowania zachowań inteligentnych,

 syntezą algorytmów zdolnych do rozwiązywania problemów trudnych i uciążliwych,

 budową systemów komputerowych zdolnych do inteligentnego sterowania maszynami i urządzeniami.

Definicje… Definicje… dlaczego ich aż tyle ?

• Rzeczywistość jest zbyt bogata i różnorodna.

• „Kawałek” rzeczywistości, który nas interesuje, trzeba wyciąć z kontekstu i opisać jakimś formalnym językiem. Ponieważ jest to działanie bardzo podstawowe, może być stosowane w wielu

dziedzinach badań, od socjologii po biologię molekularną i fizykę wysokich energii.

• Od modelu przechodzi się często do symulacji...

problem

problem modelmodel metodametoda Rozwiązywanie problemów decyzyjnych odbywa się w trójkącie:

Badamy „model” ? Czy „rzeczywistość” ??

Medyczny System Ekspertowy będzie jedynie wspomagał, ale nie zastąpi pracy lekarza. W szpitalu w Ottawie, w izbie przyjęć nie dyżuruje specjalista chirurg, lecz stażyści, interniści, a nawet wykwalifikowane pielęgniarki. Chirurg jest pod telefonem. Tymczasem trzeba

ocenić, czy konkretnemu małemu pacjentowi chirurg jest potrzebny. To nie jest takie proste.

Trafność decyzji, czy przywołać chirurga, czy skierować na obserwację, czy też odesłać do domu, jest rzędu sześćdziesięciu procent. Czyli często się zdarza, że do domu odsyła się kogoś bardzo chorego, a chirurga wzywa się do banalnego zatrucia pokarmowego.

Dzięki sztucznej inteligencji, maszyna może wyindukować z danych reguły decyzyjne,

jednak, na przykład w przypadku medycyny, dopiero po zrozumieniu i akceptacji tych reguł przez lekarza reguły te mogą pretendować do miana wiedzy i prowadzić do interesującego, potwierdzającego intuicję odkrycia.

…że niby komputer zamiast lekarza ?

Niewątpliwie maszyny w coraz większym stopniu będą wyręczały człowieka w wykonywaniu pewnych intelektualnych czynności, bo są sprawniejsze obliczeniowo, bardziej pojemne pamięciowo, nie męczą się, nie mają złych

dni itd. W związku z tym potrafią wykonywać prace, które przerastają człowieka swoim ogromem i uciążliwością.

Rozmiar baz danych współczesnych systemów informatycznych osiąga wielkości rzędu terabajtów.

Średniej wielkości hipermarket rejestruje dziennie sprzedaż przynajmniej kilkunastu tysięcy produktów.

Puchną bazy danych systemów e-commerce, dostępnych na bieżąco, 24 godziny na dobę – wzrasta liczba ich klientów oraz liczba zawieranych transakcji.

Fakty… liczby…

Jednocześnie….

•Konkurencja pomiędzy firmami zaostrza się.

•Coraz trudniej znaleźć nowe obszary ekspansji, nisze rynkowe.

•Coraz trudniej utrzymać dotychczasowych klientów.

•Bazy danych zawierają ogromne ilości użytecznych informacji, pozwalających firmom utrzymać lub wzmocnić ich pozycje rynkową.

Fakty… liczby… (cd.)

Użyteczne informacje są wyrażone niejawnie, są ukryte w danych, należy je odkryć, wydobyć.

Proces ten nazywa się potocznie eksploracją danych (ang. Data Mining).

Świadomość istnienia ukrytego potencjału informacyjnego baz danych jest znana od lat.

Jednak dopiero w ciągu ostatnich kilkunastu lat intensywnie prowadzi się

badania nad odkrywaniem metod eksploracji danych oraz wykorzystuje się te metody w praktyce.

Korporacyjne bazy danych kopalnią użytecznych informacji:

Co więc można się wywiedzieć z danych ?

Faktów nigdy za wiele…

1.odkrywanie asocjacji (associations) znajdowanie reguł typu:piwo -> orzeszki 2.wzorce sekwencji (sequential patterns)

znajdowanie sekwencji dot. np. zakupów klienta: (TV, video, kamera) 3. klasyfikacja (classifications)

klasyfikacja danych do grup ze względu na atrybut decyzyjny, np.:

klasyfikacja klientów przez bank do grup: dać kredyt / nie dać kredytu 4. analiza skupień (clustering)

grupowanie danych na wcześniej nieznane klasy, znajdowanie wspólnych cech, np.:

wyodrębnienie różnych rodzajów klientów – różnych taryf – przez sieć telefonii komórkowej

5. podobieństwo szeregów czasowych (time-series similarities)

badanie podobieństwa przebiegów czasowych, np. wykresów giełdowych 6. wykrywanie odchyleń (deviation detection)

znajdowanie anomalii, wyjątków, np.: rozpoznawanie kradzieży karty kredytowej (nietypowe operacje na koncie)

Jaką wiedzę odkrywamy dzięki DM …

“Eksploracja danych polega na

torturowaniu danych tak długo, aż zaczną zeznawać”

Mniej poważna definicja DM …

Data mining – eksploracja danych – jest dziedziną informatyki zajmującą się odkrywaniem wiedzy zapisanej niejawnie w dużych zbiorach danych oraz przedstawieniem jej w zrozumiały dla użytkownika sposób.

Pod pojęciem wiedzy rozumieć będziemy relacje, powiązania, związki i wzorce odkrywane przez algorytmy eksploracji danych w sposób

autonomiczny.

Eksploracja danych (DM – Data Mining) określana jest również pojęciem odkrywania wiedzy w bazach danych (KDD – Knowledge Discovery in Databases)

Problemy na styku OLAP a wspomaganie decyzji:

Systemy OLAP działają zwykle obliczając zagregowane wielkości na podstawie danych pochodzących z magazynu danych.

Systemu OLAP pozwalają na analizowanie tego co się wydarzyło na podstawie danych o przeszłości.

Działanie OLAP jest sterowane hipotezą sformułowaną przez użytkownika (ang.

query-driven eksploration), system OLAP jest pasywny.

Używając systemów OLAP można wchodzić w głąb, dochodząc do danych bardziej szczegółowych, ale użytkownik nadal pozostaje odpowiedzialny za identyfikowanie interesujących trendów czy powiązań.

Koncepcje postrzegania danych jako „wielowymiarowych kostek” powoduje problemy w percepcji przeprowadzanych analiz.

Do skutecznego podejmowania decyzji potrzebna jest wiedza o prawidłowościach rządzących daną dziedziną. Decydenci oczekują, iż systemy informatyczne

prawidłowości te odkryją, potwierdzając to, co już wiemy lub dostarczą nam nowej wiedzy.

Cała prawda o OLAP…

Różne metody – cel ten sam !!!

Jeżeli jest ładna pogoda to mam dobry humor.

pogoda=ladna → humor=tak

Jeżeli jest ładna pogoda i mam czas wolny to pójdę na spacer.

pogoda=ladna  czas_wolny=tak → zajecie=spacer

Baza danych – przykład

14 rekordów produkuje 14 reguł... . A jeżeli rekordów będzie kilkadziesiąt tysięcy?

Kto potrzebuje wiedzy w postaci kilkudziesięciu tysięcy reguł ?????

Tablica decyzyjna ?

Po wyodrębnieniu atrybutów warunkowych i decyzyjnych taka tabela staje się tablicą decyzyjną. Z tablicy można próbować bezpośrednio odczytywać reguły:

Zachmurzenie=slonce  temperatura = goraco  wilgotnosc = wysoka  wiatr=slaby

→

grac=nie

Klasyfikator wybawcą ?

Co nam daje DataMining ?

Stosując zdroworozsądkową analizę zbioru danych udało się odkryć zależności pomiędzy polami warunkującymi a polem decyzyjnym.

Czy to już jest Data Mining ? Prawie tak, ale niech to robi komputer !

Eksploracja danych

grac=nie if zachmurzenie=słońce;wilgotność=wysoka grac=tak if zachmurzenie=pochmurno

grac=tak if

zachmurzenie=słońce;wilgotność=normalna grac=nie if zachmurzenie=deszcz;wiatr=silny grac=tak if zachmurzenie=deszcz;wiatr=slaby

wiedza dane

warunki decyzje

1. wielkie bazy danych (Very Large Databases) i magazyny danych (Data Warehouses)

2. rozmiary współczesnych systemów baz danych

• sieć sprzedaży Wal-Mart gromadzi dziennie dane dotyczące ponad 20 milionów transakcji

• koncern Mobil Oil rozwija magazyn danych pozwalający na

przechowywanie ponad 100 terabajtów danych o wydobyciu ropy naftowej

• system satelitarnej obserwacji EOS zbudowany przez NASA generuje w każdej godzinie dziesiątki gigabajtów danych

• niewielkie supermarkety rejestrują codziennie sprzedaż tysięcy artykułów

3. wielkie wolumeny danych są trudne w analizowaniu

4. informacje o dotychczasowej działalności przedsiębiorstwa, poziomie i strukturze sprzedaży oraz cechach klientów mogą posłużyć do

wspomagania podejmowania decyzji

Analiza danych w bazach danych

• Database Marketing w American Express

Database Marketing polega na analizie danych o klientach w celu

znajdowania schematów ich preferencji i następnie wykorzystywania tych schematów dla precyzyjnej selekcji kolejnych klientów.

„Database Marketing” w American Express doprowadził do 10-15%

wzrostu zakupów z wykorzystaniem kart kredytowych.

• Weryfikacja poprawności danych w Reuters

Reuters stosuje techniki eksploracji danych dla weryfikacji

poprawności i wykrywania prawdopodobnych przekłamań w wysokości publikowanych kursów wymiany walut.

• Profil słuchacza w BBC

BBC przy pomocy systemu eksploracji danych przewiduje profil

widowni programów telewizyjnych w celu wyboru optymalnych pór ich nadawania.

• Skład zespołu w Orlando Magic

trener Orlando Magic wykorzystuje data-mining do ustalania składu zespołu rozgrywającego mecze - rezultat likwidacja trendu spadkowego (2 wygrane mecze)

Data Mining - sukcesy

 Firma American Express podała, że wykorzystanie technik

eksploracji na bazie danych klientów pozwoliło zwiększyć o 10 – 15 % użycie jej kart kredytowych.

 Bardzo duża firma handlowa dzięki ekstrakcji potrafiła określić 5- cio procentowy segment tych klientów, którzy charakteryzują się tym, że regularnie udzielają odpowiedzi na różne zapytania firmy.

Klienci ci dostarczali 60 % wszystkich odpowiedzi. Dzięki ustaleniu tego faktu firma zwiększyła 12- krotnie stopę odpowiedzi i

zmniejszyła koszty opłat pocztowych o 95 %.

Data Mining – sukcesy cd.

• kierowcy, którzy jeżdżą czerwonymi samochodami o pojemności 650 ccm, powodują wypadki drogowe

• kierowcy w wieku powyżej 40 lat jeżdżą samochodami o pojemności większej niż 1600 ccm

• kierowcy, którzy posiadają prawo jazdy dłużej niż 3 lata, nie powodują wypadków

• kierowcy w wieku poniżej 30 lat jeżdżą samochodami koloru czerwonego

wiek lat prawo kolor poj. moc razem

kierowcy jazdy pojazdu silnika szkody

--- --- --- --- --- ---

42 24 biały 1610 100 0

19 1 czerwony 650 24 2500

28 4 czerwony 1100 40 0

41 20 czarny 1800 130 0

21 3 czerwony 650 24 1300

20 1 niebieski 650 24 0

wiek lat prawo kolor poj. moc razem

kierowcy jazdy pojazdu silnika szkody

--- --- --- --- --- ---

42 24 biały 1610 100 0

19 1 czerwony 650 24 2500

28 4 czerwony 1100 40 0

41 20 czarny 1800 130 0

21 3 czerwony 650 24 1300

20 1 niebieski 650 24 0

Data Mining - Zależności w bazach danych

Drzewa decyzyjne - przykład

Drzewa decyzyjne dla przykładu

przykład

nie nie

nie

nie

nie

Rozkład obiektów do klas decyzyjnych

zachmurzenie

słonecznie pochmurno deszczowo

1,2,8,9,11

4,5,6,10,14 3,7,12,13

3 N + 2 T 4 T + 0 N 3 T + 2 N

5/14

temperatura

gorąco łagodnie zimno

1,2,3,13

5,6,7,9

4,8,10,11,12,14

2 N + 2 T 4 T + 2 N 3 T + 1 N

6/14

wilgotność

wysoka normalna

1,2,3,4,8,12,14 5,6,7,9,10,11,13

3 N + 4 T

6 T + 1 N 7/14

wiatr

słaby silny

1,3,4,5,8,9,10,13 2,6,7,11,12,14

2 N + 6 T

3 T + 3 N 6/14 5/14

7/14 4/14

4/14

4/14

8/14

Entropia (rozkład):

W przykładzie golf jako pierwszy do podziału został wybrany atrybut

„zachmurzenie”, bo jego wskaźnik „gain” był największy S – zawiera 14 elementów

2 klasy – TAK (9 elementów) i NIE (5 elementów) E(S) = -9/14 log 9/14 – 5/14 log 5/14 = = 0.94

E(S/zachmurzenie) = 5/14(-3/5log₂3/5 – 2/5log₂2/5) + 4/14(-1log₂1 – 0log ₂0) + 5/14(-3/5log₂3/5 – 2/5log₂2/5) = 0.2

E(S/temperatura) = 4/14(-2/4log₂2/4 – 2/4log₂2/4) + 4/14(-3/4log₂3/4 – 1/4 log₂1/4) + 6/14(- 2/6log₂2/6 – 4/6log₂4/6) = 0.48

E(S/wilgotnosc) = 7/14(-4/7log₂4/7 – 3/7log₂3/7) + 7/14(-6/7log₂6/7 – 1/7 log₂1/7) = 0.43 E(S/wiatr) = 8/14(-6/8log26/8 – 2/8log22/8) + 6/14(-3/6log23/6 – 3/6log2 3/6) = 0.71

Gain Information(zachmurzenie) = 0.94 – 0.2 = 0.74 Gain Information(temperatura) = 0.94 – 0.48 = 0.46 Gain Information(wilgotnosc) = 0.94 – 0.43 = 0.51 Gain Information(wiatr) = 0.94 – 0.71 = 0.23

Największy zysk informacji dostarcza atrybut „zachmurzenie” i to on będzie korzeniem drzewa…

Information Gain – przykład

grac=nie if zachmurzenie=słońce;wilgotność=wysoka grac=tak if zachmurzenie=pochmurno

grac=tak if zachmurzenie=słońce;wilgotność=normalna grac=nie if zachmurzenie=deszcz;wiatr=silny

grac=tak if zachmurzenie=deszcz;wiatr=slaby

R1: grac=nie if zachm=słońce and temp=gorąco and wilg=wysoka and wiatr=słaby R2: grac=nie if zachm=słońce and temp=gorąco and wilg=wysoka and wiatr=silny

…

R14: grac=nie if zachm=deszcz and temp=średnio and wilg=wysoka and wiatr=silny

Jak zadziała SE z taką bazą wiedzy ?

?

Metody eksploracji danych

• odkrywanie asocjacji

• odkrywanie wzorców sekwencji

• klasyfikacja

• analiza skupień - grupowanie

• szeregi czasowe

• wykrywanie zmian i odchyleń

Inne metody analizy danych DM

Grupowanie jest to podział zbioru obiektów na podzbiory taki by podobieństwo

obiektów należących do jednego podzbioru było największe a obiektów należących do różnych podzbiorów najmniejsze.

Na czym polega grupowanie ?

Obiekt jest przydzielony do skupienia, którego środek ciężkości leży najbliżej w sensie odległości euklidesowej.

Grupowanie – analiza skupień

Uczenie nienadzorowane

• dany jest zbiór uczący, w którym obiekty nie są poklasyfikowane

• celem jest wykrycie nieznanych klasyfikacji, podobieństw między obiektami

Analiza skupień – cluster analysis

•Miary odległości,

•Miary podobieństwa.

X₄ : 0 0 0 0 1 0 0 3 X₂₂: 0 0 0 0 1 1 0 3

1 1 )

3 3 ( ) 0 0 ( ) 1 0 ( ) 1 1 ( ) 0 0 ( ) 0 0 ( ) 0 0 ( ) 0 0 ( ) ,

(x₄ x₂₂   ²   ²   ²   ²   ²   ²   ²   ²   d

95 . 49 0 . 10

10 11

* 10

9 1

) 3 0 1 1 0 0 0 0 (

* ) 3 0 0 1 0 0 0 0 (

3 3 0 0 1 0 1 1 0 0 0 0 0 0 0 ) 0

,

( 4 22 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2



 



 























































  x x p

jak znajdować podobieństwo ?

Analiza skupień – przykład

Problem z wyszukiwaniem informacji …

Internet to dzisiaj:

•Użytkownicy ++, dane ^ 2

•Postęp technologii

•Spadek wiarygodności

Coraz trudniej jest uzyskać wartościową

informację

Oczekiwanie dostępności informacji:

Łatwo, szybko i dokładnie

PROBLEM

użytkownik dzisiaj:

Za dużo !!!

http://www.cs.put.poznan.pl/dweiss/carrot/

Analiza koszykowa - właściwy krok w kierunku cross- i up-sellingu Maksymalizacja zysku jest możliwa dzięki:

•Zrozumieniu, które produkty (usługi) są kupowane razem?,

•Zrozumieniu, które produkty są kupowane w następnej kolejności ?.

Wykorzystanie narzędzi Data Mining pozwala nie tylko znaleźć odpowiedź na

pytanie jakie produkty zwykle występują wspólnie w koszyku, ale także znaleźć takie produkty, których obecność w koszyku warunkuje obecność innych produktów i

określić jak wysoki jest poziom prawdopodobieństwa tego typu zdarzeń.

Analiza koszykowa… to jest to !

Up-selling i cross-selling to 2 metody maksymalizowania zysku z jednej transakcji, a tym samym dochodów w ujęciu globalnym. Są to określenia dla działań mających jeden cel:

aby klient kupił więcej niż planował.

Menedżerowie i analitycy mogą używać "analiz koszykowych", aby planować między innymi:

kampanie promocyjne - obniżone ceny przy zakupie na kolejne ze

współkupowanych produktów, kupony promocyjne rozdawane przy zakupie określonych produktów itp.

położenie produktów - ustawiać produkty współkupowane w sąsiedztwie jeśli współkupowanie jest silne lub umieszczanie produktów z dala od siebie, aby

wymusić większy ruch obok półek z innymi produktami w przypadku produktów, dla których zakup jednego zasadniczo determinuje zakup drugiego itp.

sprzedaż w czasie - jaką ilość danego produktu zamówić, jeśli ostatnio

szczególnie dobrze sprzedają się produkty, które z nim są zwykle kupowane w sekwencjach o określonym interwale czasowym.

Analiza koszykowa…

Analiza koszykowa… w hipermarkecie

Analiza koszykowa… w sklepie internetowym

• Reguła X→Y posiada wsparcie s w bazie danych D, jeżeli s % transakcji w D wspiera zbiór X

Y

Wsparcie (A →B) = 25%

Wsparcie (A →C) = 50%

tid

T

1 A,B,C,D

2 A,D

3 A,C

4 B,D,F

Binarne reguły asocjacyjne - podstawowe definicje -

wsparcie

• Reguła X Y posiada ufność c w bazie danych jeżeli c % transakcji w D, które → wspierają zbiór X, wspierają również Y

• ufność (X Y) = wsparcie (X → ^∩Y)/wsparcie (X)

tid

T

1 A,B,C,D

2 A,D

3 A,C 4 B,D,F

Ufność (A B) = 33% → Ufność (A C) = 66% → Zachodzącą regułę:

A C : wsparcie 50% , ufność 66% →

możemy zinterpretować następująco: 66 % osób, które kupiły towar A kupiły również towar C a sytuacja ta zachodzi w 50 % wszystkich transakcji.

Binarne reguły asocjacyjne - podstawowe definicje -

ufność

Jak to się dzieje ? Że dzieje się tak…?

Dania mrożone <= warzywa konserwowe & piwo (16533: 16.7% 0.874)

Reguła:

16533 klientów włożyło jednocześnie do koszyka warzywa konserwowe - piwo

mówi nam, że:

stanowi to 16,7 % spośród wszystkich klientów poddanych analizie

Jednocześnie 87,4 % kupujących warzywa konserwowe i piwo kupiło także dania mrożone

Warto tym klientom przyjrzeć się bliżej

czyli z wysoką ufnością możemy stwierdzić, iż jeśli ktoś kupuje warzywa konserwowe i piwo to kupi też jakieś danie mrożone

Jeśli podzielimy klientów na dwie grupy, tych którzy kupili i tych którzy nie kupili wiązki produktów dania mrożone - warzywa konserwowe - piwo

Taka cecha posłuży do poszukiwania charakterystyk osób, które kupują produkty w danej konfiguracji

Stosując algorytm drzewa decyzyjnego uzyskamy reguły…i opis grupy…

•Byli to mężczyźni o dochodach gospodarstwa poniżej 1690,-PLN.

•Spośród 16335 zakupów dokonanych przez tych klientów w ok. 84% przypadków w koszykach znalazła interesująca nas wiązka produktów tzn. dania mrożone - warzywa konserwowe - piwo.

•Tego typu informacje mogą być bardzo istotne zarówno z punktu widzenia

planowanych akcji promocyjnych, jak i wzajemnego usytuowania produktów na półkach.

Wyniki analizy…

Co będzie dalej ?

Analiza mikromacierzy DNA… tysiące genów podlega grupowaniu…

Analiza logów użytkowników i budowa profili użytkowników – personalizacja stron WWW…

Optymalizacja systemów rozpoznawania mowy dzięki grupowaniu wyrazów, zdań…

• Należy pamiętać, że początek AI to lata 60-te

• Wielki bum… SE to lata 80-te i 90-te

• Nie radziłyby sobie one dzisiaj bez DM

• DM dostarcza wielu użytecznych technik nie tylko analizy wiedzy dla potrzeb statystycznych, ale i dla

wydobywania z danych ukrytej, użytecznej wiedzy

Wnioski…

Carrot2:

http://www.cs.put.poznan.pl/dweiss/

Wyszukiwarki:

Kłopotek M., „Inteligentne wyszukiwarki internetowe”, EXIT, 2001 http://data-minig.home.pl/

Grupowanie:

http://www.statsoft.pl/textbook/stcluan.html

Stąpor K. ,(2005), Automatyczna klasyfikacja obiektów, EXIT, Warszawa Everitt B.S., (1993), Cluster Analysis (3rd edition), London

http://www.thearling.com/text/dmtechniques/dmtechniques.htm http://spss.clementine.org

Literatura

Dziękuję za uwagę…