Sieci społeczne i technologiczne
Jak zrozumieć, jak wykorzystać
Mariusz Kamola | Piotr Arabas
Mariusz KamolaPiotr Arabas
Sieci społeczne i te ch no lo gic zn e
Jak zrozumieć, jak wykorzystaćKsiążka w przystępny sposób prezentuje fenomen sieci złożonych – „globalnych wiosek”, powstających w sferze społecznej i technologicznej. Za pomocą oryginalnych przykładów, z których większość osadzona jest w polskich realiach, autorzy wyjaśniają zarówno podstawowe, jak i bardziej zaawansowane pojęcia opisujące sieci oraz mechanizmy rządzące ich ewolucją.
Publikacja podzielona jest na dwie części:
1. Zrozumieć – której celem jest zaznajomienie czytelnika ze zjawiskami zachodzący- mi w sieciach złożonych oraz modelami matematycznymi opisu tych zjawisk.
2. Wykorzystać – która ma charakter inżynierski i prezentuje szeroki asortyment technologii bardziej zaawansowanej obróbki danych, włączając w to przetwarzanie danych nieustrukturyzowanych oraz łączenie danych z różnych źródeł.
Jeżeli chcesz poznać powiązania między aktorami lub dowiedzieć się o rozwoju linii lotniczych, sieci PKP lub internetu – oraz co je łączy – to w książce otrzymasz nie tylko potrzebne wyjaśnienia, lecz także konkretne wskazówki techniczne dotyczące metod i narzędzi analizy sieci. Dzięki nim będziesz mógł samodzielnie eksplorować i łączyć na własny użytek dane publiczne, zarówno te w postaci ustrukturyzowanej, jak i te w formie dokumentów zapisanych w języku naturalnym.
Mariusz Kamola – doktor nauk technicznych w specjalności automatyka. Od 2002 r. nieprzerwa- nie zatrudniony na stanowiskach naukowych w Naukowej i Akademickiej Sieci Komputerowej (NASK) oraz na Politechnice Warszawskiej. Był wykonawcą i kierownikiem wielu projektów naukowo-badawczych w obu instytucjach oraz pracował przy przemysłowych systemach automatyki. Prowadzi wykłady z metodyk zarządzania projektami w Studium Podyplomowym Zarządzania Zasobami IT na Politechnice Warszawskiej.
Piotr Arabas – doktor nauk technicznych w specjalności automatyka. Począwszy od 1999 r.
był wykonawcą licznych projektów w Instytucie Automatyki i Informatyki Stosowanej Politechniki Warszawskiej, a od 2002 r. również w Naukowej i Akademickiej Sieci Komputerowej (NASK).
Prowadzi prace badawcze z obszaru systemów sieciowych, w tym inżynierii ruchu, czy też zastosowania technik związanych z sieciami złożonymi do modelowania przepływu danych i niezawodności w sieciach rozległych.
Sieci społeczne i technologiczne
Jak zrozumieć, jak wykorzystać
Sieci społeczne
i technologiczne
Sieci społeczne i technologiczne
Jak zrozumieć, jak wykorzystać
Mariusz Kamola | Piotr Arabas
Projekt okładki Hubert Zacharski
Wydawcy Łukasz Łopuszański, Edyta Kawala Redaktor prowadzący Jolanta Kowalczuk Redaktor Izabela Mika
Produkcja Anna Bączkowska
Skład i łamanie Ewa Szelatyńska, ScanSystem.pl
Zastrzeżonych nazw firm i produktów użyto w książce wyłącznie w celu identyfikacji
Recenzenci naukowi
dr hab., prof. APS Maciej Tanaś ppłk dr inż. Rafał Kasprzyk
Copyright © by Wydawnictwo Naukowe PWN SA, Warszawa 2018 Copyright © by NASK, Warszawa 2018
ISBN 978-83-01-19917-3 Wydanie I
Warszawa 2018
Wydawnictwo Naukowe PWN SA
02-460 Warszawa, ul. Gottlieba Daimlera 2 tel. 22 69 54 321, faks 22 69 54 288 infolinia 801 33 33 88
e-mail: pwn@pwn.com.pl, reklama@pwn.pl www.pwn.pl
Druk i oprawa: Totem.com.pl
SPIS TREŚCI
1. Wstęp . . . 1
I ZROZUMIEĆ . . . 5
2. Grafy . . . 7
2.1. Pojęcia podstawowe . . . 8
2.2. Wielkości opisujące graf . . . 9
2.3. Wielkości opisujące wierzchołki . . . 12
2.4. Podgrafy . . . 14
3. Sieci złożone . . . 18
3.1. Wykres bez skali . . . 19
3.2. Drogi na skróty . . . 23
3.3. Warsztat analityka . . . 25
3.4. Wielkości opisujące sieć . . . 46
4. Dynamika sieci . . . 56
4.1. Ewolucja stanu węzłów . . . 56
4.2. Ewolucja stanu łączy . . . 66
4.3. Ewolucja struktury sieci . . . 70
4.4. Wykrywanie zmian . . . 79
5. Semantyka w sieci . . . 85
5.1. Wprowadzenie . . . 85
5.2. Uporządkowane metadane . . . 86
5.3. Co jest czym czego? . . . 93
VI SPIS TREŚCI
II WYKORZYSTAĆ . . . 101
6. Wnioskowanie . . . 103
6.1. Wprowadzenie . . . 103
6.2. Grafy dwudzielne . . . 104
6.3. Grupowanie węzłów . . . 112
6.4. Rekomendacje . . . 124
6.5. Analiza języka naturalnego . . . 137
7. Pozyskiwanie i przechowywanie danych . . . 153
7.1. Analiza stron WWW . . . 153
7.2. Dwustronny interfejs programistyczny . . . 164
7.3. Architektura OAuth . . . 169
7.4. Wykorzystanie baz relacyjnych . . . 174
7.5. Wykorzystanie baz NoSQL . . . 177
8. Łączenie i prezentacja danych. . . 186
8.1. Wizualizacja sieci . . . 186
8.2. Mapy . . . 201
8.3. Aplikacje kombinowane . . . 211
9. Studia przypadków . . . 221
9.1. Deanonimizacja sieci . . . 221
9.2. Niezawodność sieci telekomunikacyjnej na poziomie systemów autonomicz- nych . . . 224
9.3. Analiza triad w sieci połączeń systemów autonomicznych . . . 226
9.4. Redukcja odejść klientów sieci telekomunikacyjnej . . . 228
9.5. Dynamika domykania się triad . . . 231
9.6. Anonimizacja tras przejazdu samochodów . . . 233
Bibliografia . . . 236
Spis algorytmów . . . 243
Spis rysunków . . . 244
Spis tabel. . . 248
Indeks pojęć. . . 249
WSTĘP 1
Żyjemy w gęstniejącej sieci powiązań. Nasi przodkowie i praprzodkowie budowali silne relacje w małych grupach; my rozwijamy się i podejmujemy decyzje, mając zupeł- nie inny horyzont informacyjny. Dzięki technice – praktycznie nieskończony. Jesteś- my w stanie błyskawicznie wertować księgozbiory, pasjonować się codziennymi spra- wami ludzi znajomych lub tylko znanych, odwiedzać egzotyczne miejsca. We współ- czesnym, zglobalizowanym społeczeństwie informacyjnym podejmujemy decyzje róż- nej wagi, ale zawsze w kontekście informacji, która nas otacza. Odnaleziona, nieznana nam książka, nowa dieta celebrytki, pasożyt przywieziony z dalekich wojaży – wszystko to kształtuje nasze dalsze losy. Ponadto, decydujemy pod presją, gdyż wybory, które podejmujemy, są często widoczne przez całkiem sporą publiczność znajomych i nie- znajomych.
Złożone sieci powiązań istniały na długo przed pojawieniem się wyszukiwarek, portali społecznościowych czy tanich linii lotniczych. Wynalazki te jedynie umożliwiły przeniesienie fenomenu sieci złożonych na płaszczyznę społeczną. Wcześniej ludzkość mogła tylko obserwować skutki istnienia takich sieci, nie potrafiąc wytłumaczyć racjo- nalnie ich przyczyny. Zastanawiano się więc, dlaczego Nil wylewa w różnym stopniu, zwierzęta migrują, a ludzie, podlegając wspólnym prawom fizyki, zachowują się róż- nie w takiej samej sytuacji. Wokół człowieka – i w człowieku – funkcjonują bowiem mechanizmy, które obecnie poznaliśmy, i wiemy, że mogą być opisywane jako sieci zło- żone. Można powiedzieć, że w każdym z nas działają co najmniej dwie sieci złożone:
połączeń neuronalnych i regulacji metabolizmu. Uważamy je za sieci technologiczne, bo choć dotyczą żywej materii, zostały zaprojektowane lub ukształtowały się tak, aby osiągnąć cel wspólny: życie.
Sieć społeczną tworzą natomiast wolne (no, prawie) jednostki dla realizacji indy- widualnie zdefiniowanych celów. I choć ich działanie podlega pewnym regulacjom, np.
prawnym, to autonomia decydowania skutkuje całym spektrum zachowań i ostatecznych
2 1. WSTĘP
struktur połączeń jednostek. Łatwość przepływu informacji, odstręczająca jednych, przez innych jest postrzegana jako szansa osiągnięcia własnych celów: bogactwa, wła- dzy, sławy. Znamienne jest to, że sieci technologiczne i społeczne, choć powstałe w roz- maitych warunkach, łączy całkiem wiele. W każdym razie wystarczająco wiele, aby znalazły miejsce we wspólnym tomie.
Inspiracją do powstania książki stały się doświadczenia autorów z własnych prac badawczych prowadzonych w Naukowej i Akademickiej Sieci Komputerowej oraz z przygotowanego na Politechnice Warszawskiej przedmiotu Techniki analizy sieci spo- łecznych. Obie inicjatywy miały na celu osiągnięcie wyników praktycznych. Ponieważ ta gałąź badań jest już bardzo dobrze rozwinięta, ze szczególną uwagą podchodzi- liśmy do przypadków sieci budowanych z nowych, oryginalnych i polskich zbiorów danych. Takie też jest założenie tej publikacji: przedstawiamy dość szeroki zakres pojęć związanych z sieciami złożonymi, starając się odnosić je do konkretnych przykładów.
Wybrane, całkiem liczne fragmenty książki mają charakter esejów technologicz- nych i mogą stanowić wartościowe uzupełnienie wiedzy szerokiego kręgu odbiorców.
Rozważamy tu rozwój sieci lotniczych i kolejowych, zachowania stadne, powiązania aktorów. Większość tych tematów została umieszczona w pierwszej części, Zrozumieć, której celem jest zaznajomienie Czytelnika ze zjawiskami zachodzącymi w sieciach zło- żonych oraz modelami matematycznymi opisu tych zjawisk. Czytelnicy mocniej zwią- zani z informatyką znajdą w niej również prezentację wybranych, popularnych metod i narzędzi analizy danych. Druga część, Wykorzystać, ma charakter zdecydowanie in- żynierski, prezentując dość szeroki asortyment technologii bardziej zaawansowanej ob- róbki danych, włączając w to przetwarzanie danych nieustrukturyzowanych oraz łącze- nie danych z różnych źródeł. Zrozumienie całego wyłożonego materiału wymaga wie- dzy z zakresu algebry i programowania. Książka może stać się pożyteczną i ciekawą lekturą dla absolwentów uczelni technicznych oraz pomocą zarówno w pracach imple- mentacyjnych, jak i badawczych.
W dzisiejszych czasach informację o sieciach złożonych, jak i każdą inną, można znaleźć w internecie – z łatwością, ale już nie zawsze z powodzeniem. Dlatego uwa- żamy, nic nie ujmując blogom technologicznym i leksykonom online, że główną wartość tej książki stanowi organizacja istniejącej, szerokiej wiedzy, przedstawienie jej w sposób spójny na nowych, przekonujących przykładach oraz wskazanie dalszej, wartościowej lektury. Chcemy przekazać Czytelnikom możliwie szeroką wiedzę o dziedzinie, nawet kosztem licznych uproszczeń i niedopowiedzeń, mając świadomość, że osoby zainte- resowane pogłębieniem wiedzy bez trudu znajdą w sieci informacje dodatkowe. Hasła z załączonego indeksu pojęć można z łatwością odszukać w Wikipedii.
Podstawowymi publikacjami polskimi dotyczącymi sieci, a w szczególności sieci złożonych, są książki Grafy i sieci [140] oraz Świat sieci złożonych: od fizyki do In- ternetu [60]. Stanowią one dobre uzupełnienie teoretyczne do zawartego tutaj mate- riału. Publikacjami anglojęzycznymi, których lektura ukształtowała dalej naszą wiedzę o dziedzinie, są [135, 120, 28, 87]. Oprócz tych i ponad stu innych pozycji bibliograficz- nych, w większości dostępnych online, Czytelnik znajdzie w książce ponad 150 rysun- ków, tabel i wydruków, ilustrujących materiał, a ponadto kod programów przykłado-
1. WSTĘP 3
wych został zamieszczony na stronie towarzyszącej książce: http://it.pwn.pl/Artykuly/
Programowanie/Sieci-spoleczne-i-technologiczne.-Jak-zrozumiec-jak-wykorzystac, do pobrania po wpisaniu hasła sieci18st6xc.
Wykład rozpoczynamy od wyjaśnienia pojęć z teorii grafów w rozdziale 2. Prezen- tujemy w nim rys historyczny dziedziny i podstawowe definicje. W rozdziale 3 doko- nujemy subtelnego rozróżnienia pomiędzy grafem a siecią oraz przeprowadzamy roz- ważania dotyczące cech sieci uznawanych za złożone. Przedstawiamy też podstawowe techniki wyznaczania wskaźników opisujących sieci złożone oraz gotowe oprogramo- wanie. W rozdziale 4 prowadzimy dość teoretyczną dyskusję o modelach rozwoju sieci:
jej strukturze oraz stanie wierzchołków i powiązań. Pierwszą część kończy rozdział 5 wprowadzający dodatkowe, semantyczne atrybuty węzłów.
Drugą część otwiera rozdział 6 dotyczący wnioskowania z danych rozumianego jako wyszukiwanie pewnych reguł, cech wspólnych węzłów. Mechanizmy wnioskowa- nia są przedstawione w odniesieniu do sieci węzłów jednorodnych i węzłów różnych klas, a także do dokumentów sporządzonych w językach naturalnych, ze szczególnym uwzględnieniem polskich zasobów i narzędzi. Rozdziały 7 i 8 stanowią minikompen- dium wiedzy inżyniera, które umożliwia wykonanie wszystkich etapów tworzenia apli- kacji przetwarzającej struktury sieciowe: pobierania i przechowywania danych, ich fil- trowania, łączenia i prezentacji na różny sposób.
Książkę kończy rozdział 9 będący antologią prac badawczych. Przedstawiamy w nim głównie badania własne oraz cudze o oryginalnej tematyce. Materiał został tak dobrany, aby uświadomić Czytelnikowi, że dziedzina ta wciąż czeka na nowych odkryw- ców i że aby takim odkrywcą zostać – niekoniecznie dla sławy – wystarczy umiejętnie sięgnąć po dane leżące dosłownie na ziemi.
