MAREK ROBAK
Uniwersytet
KardynałaStefana
Wyszyńskiegow Warszawie
Ograniczenia badań aplikacji wobec b talii o prywatność
Powstają nowe techniki badawcze, od których oczekuje się szybkich sukce- sów. Można odnieść jednak wrażenie, że tworzenie nowych badań stało się ważniejsze niż ich standaryzacja. W artykule skupiam się na nieco zaniedba- nym temacie, jakim są szeroko rozumiane ograniczenia towarzyszące bada- niom w aplikacjach mobilnych, które mogą wpłynąć na pogorszenie jakości
wyników. Chciałbym krytycznie przyjrzeć się sytuacjom, w których używane wskaźniki prowadzą do błędnych wniosków, zebranych danych nie da się porównać z innymi projektami/stronami www, zmienność technik badaw- czych uniemożliwia analizę w dłuższej perspektywie, dane nie są sprawdza- ne pod kątem poprawności i wiarygodności, występują techniczne trudności
w poprawianiu mechanizmów mierzących. Interesują mnie także sytuacje, w których zebrane dane mogą mieć charakter wrażliwy (np. dane osobowe), a prawo zabrania gromadzenia danych, użytkownicy nie zgadzają się na ba- danie bądź mają do niego zastrzeżenia łub potrzebna jest specjalna zgoda na ich przeprowadzenie. Biorę wreszcie pod uwagę trudność i koszty prowa- dzenia badań, które mogą spowodować wykluczenie niektórych podmiotów.
-Łatwość prowadzenia badań przekłada się bowiem na ich dostępność.
Aplikacje mobilne mogą być badane na wiele różnych sposobów, dla- tego tutaj ograniczę się do badań, które mają charakter masowy i automa- tyczny: 1) masowy charakter oznacza, że badaniem objęci są wszyscy łub
znaczna grupa użytkowników aplikacji (zwykle tysiące łub miliony osób, co
przekłada się na miliony łub miliardy analizowanych zdarzeń); 2) automa- tyczny charakter oznacza z kolei, że oprogramowanie badawcze gromadzi fakty, które następnie przesyła do analizy na serwery badacza. Sprawia to,
73
74
że proces badania jest powtarzalny, ale przesyłane dane rodzą wątpliwości związane z prywatnością użytkownika. Ze względu na dużą liczbę różni
nie zajmuję się w tej analizie badaniami innego typu, jak wywiady, obser- wacje, badania etnograficzne, okułografia, ankiety kwestionariuszowe oraz badania fizjołogiczne1•
Zazwyczaj celem prowadzenia masowych automatycznych badań jest uzyskanie trzech rodzajów informacji:
• zdarzeń (np. użytkownik uruchomił aplikację, wpisał hasło do wyszu- kiwarki, kliknął w wybrany element),
• profilu użytkownika (np. wiek, płeć, wykształcenie, zainteresowania), kontekstu (np. geolokalizacja, współobecność z innymi użytkownika
mi, przebywanie w podróży, poszukiwanie restauracji, zapotrzebowa- nie na bilet).
Zanim jednak skupimy się na szukaniu ograniczeń, trzeba podkreślić dla równowagi, że mówimy o bardzo wartościowej kategorii badań, wykorzy- stywanej w nauce, marketingu i reklamie. W badaniach tych otrzymuje się duże zbiory danych uzyskane od populacji użytkowników łub próby o do- brej reprezentatywności zebranej za pomocą przewidywalnej procedury2•
Tworząc w dalszej części mapę ograniczeń w badaniach aplikacji, podzie-
liłem je na dwie większe części. Pierwsza dotyczy samego procesu badaw- czego, a więc technologii, sposobu zachowania aplikacji mobilnych, dobo- ru wskaźników i standardów. Druga część dotyczy ograniczeń związanych
z ochroną prywatności - przetwarzania wrażliwych danych, regulacji praw- nych i ich obchodzenia oraz łęków związanych z naruszaniem prywatno-
ści. Ze względu na rosnące zainteresowanie tematem ochrony prywatności, związane m.in. z wprowadzeniem w 2018 roku nowych zasad przetwarzania danych osobowych w Europie (RO DO) oraz głośną aferą związaną z wyko- rzystaniem danych 50 mln użytkowników Facebooka przez firmę Cambridge Analitica, temat wymaga oddzielnego potraktowania.
Ograniczenia procesu badania aplikacji
H.ywalizacja aplilwcji ze st;ronami www
Aplikacje mobilne nie pojawiły się w próżni, mogą być traktowane za- równo jako następcy stron www, jak też jako konkurenci tej technologii.
Począwszy od boomu internetowego pod koniec lat dziewięćdziesiątych 1 Chodzi m.in. o takie różnice, jak inna liczebność grupy, świadomy dobór uczestników badania, większą kontro-
lę nad sprzętem i środowiskiem, w którym jest prowadzone badanie i często bardziej jakościowy charakter analiz.
2 Więcej na temat oceny procesu badawczego - zob. R.D. Wimmer, J.R. Dominic!\ Mass media. Metody badań, przekł. T. Karłowicz, Kraków 2008; M. Sobczyk, Statystyka, Warszawa 2008.
,mi
Ograniczenia badari aplilwcji wobec batalii o prywatność ':~:,3
XX wieku, strony www stały się synonimem „korzystania z internetu" (choć formalnie te aktywności nie są tożsame), a możliwości wczesnych wersji
przeg\ądaTek umoi\\\.u\a\\j nawet prowadren\e
stosunkowo rozbudowane\
analityki. Do roku 2005 technologia badania aktywności www dojrzała i szeroko się rozpowszechniła w branży nowych mediów, ustabilizowały się wskaźniki (liczba odsłon, sesja, unikalny użytkownik), powstały narzędzia
(Gemius Traffic - 2003, Google Analytics - 2005).
Telefony nie uczestniczyły w tej rewolucji. Urządzenia firm takich jak Nokia, Alcatel, Sagem służyły prawie wyłącznie do dzwonienia. Opracowa- na w latach 1998-2001 technologia WAP miała otworzyć przed telefonami
świat internetu za sprawą specjalnych stron dostosowanych do nich, na skutek wielu ograniczeń nie zdobyła jednak popularności.
Przełom miał nastąpić w 2007 roku. Firma Apple zaprezentowała
29 czerwca pierwszy modeł i Phone'a, które to urządzenie miało zmienić spo- sób korzystania z telefonu komórkowego. Prowadzenie rozmów stało się
tylko jedną z wielu funkcji. Duży ekran dotykowy zachęcał do przeglądania zdjęć i instalowania nowych aplikacji. Już pierwsza wersja i Phone'a była wyposażona w dobrze działającą przeglądarkę internetową, stając się peł
noprawnym narzędziem do korzystania ze stron internetowych. Teoretycz- nie podział między komputerami a telefonami został zniwelowany. Szybko jednak ujawniły się nowe ograniczenia. Ekran telefonu był mniejszy od ekranu komputera, samo urządzenie wolniejsze, a nawigowanie za pomocą
palca i gestów okazało się czymś nieco innym niż nawigowanie myszką.
Szybko zauważono, że stworzenie dedykowanej aplikacji na konkretne
urządzenie daje dużo lepsze rezultaty. Aplikacje były spójne z resztą sys- temu, dostosowane do wielkości ekranu, którego rozmiarów Apple przez wiele lat nie zmieniał. Aplikacje wydawały się więc lepszym wyborem.
W ten sposób po raz drugi doszło do podziału w sposobie dostarczania
usług cyfrowych dla komputerów (laptopy, stacjonarne) i urządzeń mobil- nych (smartfony, tablety).
Ponieważ znacząca część usług elektronicznych z założenia powinna być dostępna w obu tych kanałach, problem ten próbuje się rozwiązać za pomo-
cą jednego z trzech sposobów:
• stworzenie strony internetowej oraz aplikacji mobilnej,
• stworzenie strony internetowej i równoległej „lekkiej" strony mobilnej,
• stworzenie jednej responsywnej strony internetowej, która dostoso- wuje swój wygląd i zachowanie do rozmiaru ekranu.
Żadna z wymienionych strategii nie okazała się wystarczająco dobra.
W pierwszej z nich powstaje dobry, dopasowany produkt, ale za wysoką
cenę rozwijania równoległych projektów. Dwie wersje strony w dalszym
ciągu komplikowały proces tworzenia i podnosiły koszty. Responsywne strony teoretycznie powinny być najlepszym wyborem, nie ma jednak
możliwości łatwej instalacji na pulpicie i drobne ograniczenia techniczne na
wcześniejszym etapie rozwoju stały się utrudnieniem.
W wielu przypadkach analityki aplikacji nie można rozpatrywać w ode- rwaniu od analityki stron www, bo mimo technicznych różnic twórca apli- kacji chciałby uzyskać jednolite wyniki ze wszystkich platform. Może ten cel osiągnąć, ale poniesie znaczne koszty, konieczne jest bowiem dostarcze- nie mechanizmu badawczego na potrzeby każdej obsługiwanej platformy.
Współczesne narzędzia do analizy ruchu na stronie oferują też możliwość przesyłania danych z aplikacji, ale wykorzystanie takiej funkcji jest dużo
bardziej złożonym procesem niż oskryptowanie strony www poprzez wkle- jenie kilku linijek kodu. Zjawisko to ma też konsekwencje społeczne - sko- ro uruchomienie badań aplikacji wymaga dodatkowej pracy, przestaje ona
być dostępna dla mniejszych niekomercyjnych podmiotów. Badanie apli- kacji staje się w ten sposób elitarną i drogą dziedziną.
Dodatkowym utrudnieniem w badaniach aplikacji okazuje się próba uspójnienia wyników między aplikacjami a stronami. Ogólne zasady pro- wadzenia badań społecznych nie pozwalają na bezpośrednie zestawianie ze sobą pomiarów uzyskanych za pomocą różnych technik. Bardzo trudno
też na podstawie kilku różnych pomiarów otrzymywać spójne wyniki po-
kazujące na przykład przechodzenie użytkownika między stroną a aplikacją
oraz oszacować unikalną (bez powtórzeń) liczbę osób, do których dociera się
w wielu kanałach. Proste dodawanie liczebności zasięgu może być kuszące
dla działów marketingu, ale nie jest poprawne, powoduje bowiem podwój- ne policzenie części wspólnej.
Błędnie dobrane wslwźniłli
Wskaźniki stosowane w komunikacji elektronicznej mają charakter umowny i niematerialny. Kiedy więc pytamy o liczbę osób, do których do- cieramy, w badaniach elektronicznych trzeba ten wskaźnik zamienić na coś
innego, jak identyfikator aplikacji, unikalny e-mail, konto założone w ser- wisie. Wartości te mogą przybliżać liczbę osób, ale nie są z nimi tożsame.
Nie jest to problem nowy, medioznawcy znają ograniczenia w badaniach
nakładu czasopism - różnica między liczbą sprzedanych egzemplarzy a licz-
bą czytelników potrafi być wielokrotna. Nawet więc gdy wskaźniki robią wrażenie profesjonalnych, mogą być błędnie zmierzone, ale także błędnie
rozumiane lub błędnie użyte. Prześledźmy dwa przykłady zakłóceń związa
nych z użyciem niektórych wskaźników.
, '""ti" - ~ ' , Ograniczenia badar1 aplika<,ji wobec batalii o prywatność '',"\_
Puykład 1: Liczba użytkowników - w pierwszym odruchu wydaje się, że można ją puybliżać za pomocą adresu e-mail, konta w aplikacji lub po- puez konto ogólne, do którego podłączony jest telefon (np. konto Google, Apple, Facebook czy Adobe). Sprawa może się jednak komplikować, gdy jedna osoba posługuje się wieloma tożsamościami (na puykład prywatną
i służbową) lub kiedy z jednego konta kouysta wiele osób (na puykład
gdy różni członkowie rodziny kouystają z jednego konta płatnej aplikacji).
Łatwo to zaobserwować w aplikacjach muzycznych, współdzielonych puez osoby słuchające różnych gatunków muzyki; program chciałby zapropono-
wać użytkownikowi jego ulubione utwory, ale finalnie proponuje skrajnie
różne style, których nie da się dopasować.
Puykład 2: Geolokalizacja - rozpowszechnione jest puekonanie, że apli- kacje masowo śledzą położenie użytkownika. Dopóki dostępny jest sygnał
GPS, możliwe jest odczytanie pozycji uuądzenia. Użytkownik może jednak
wyłączyć mechanizm lokalizowania. W takim puypadku można puyjueć się adresowi IP i odtwouyć puybliżoną pozycję (np. miasto lub region). Ale i tutaj pojawiają się trudności. N ie każdy adres IP ma puypisane położe
nie w bazach geolokalizacyjnych, niektóre informacje nie są już aktualne.
Użytkownik może być też w podróży albo kouystać z sieci korporacyjnej
prowadzącej do innego kraju, także i tu pozycja będzie więc odczytywana
błędnie. Teoretycznie można też lokalizować pośrednią metodą rozpozna- wania pobliskich Wi-Fi. Czy jednak osoba, która znalazła się w zasięgu sieci pewnej restauracji ueczywiście była w tym lokalu, czy może codziennie puechodzi do pracy w jego pobliżu?
Jak pokazują te puykłady, wyciąganie wniosków z pozornie łatwych
do zrozumienia wskaźników jest obarczone wieloma błędami. Badania nad aplikacjami muszą więc puejść puez proces „oczyszczania", polegający na krytycznej weryfikacji zastosowanych wskaźników, i poprawiania ich do-
kładności. Analogiczny proces puechodziła kilkanaście lat wcześniej sieć
www. Pierwszym szeroko stosowanym nauędziem analitycznym był stwo- uony w 1997 roku Webalizer, który na podstawie analizy wpisów (/ogs) serwera twouył raport oglądalności strony. Szybko okazało się, że wskaźnik
liczby odsłon strony nie jest wystarczającą miarą zainteresowania stroną, że
tueba dokładniej zidentyfikować liczbę użytkowników. Dlatego w nauę
dziach, które rozpowszechniły się kilka lat później (Gemius Traffic, Google Analytics), dzięki zapisaniu identyfikatora w pueglądarce (cookies) identy- fikowano unikalnych użytkowników, ale ten wskaźnik okazał się jednak
mieć ograniczenia. Obecnie uważa się, że liczba prawdziwych użytkowni-
. ków jest znacząco (dziś szacuje się, że około tuech razy) mniejsza niż licz- ba unikalnych użytkowników cookies ze względu na kouystanie z wielu
%".'<
Y:
Mare/1 Roba/1urządzeń. Doprowadziło to do powstania dużo bardziej rozbudowanych metodologii obliczania realnych użytkowników na podstawie zestawienia danych: o ruchu, o rynku oraz tych uzyskanych w badaniach panełowych3•
W mediach społecznościowych stopniowo odchodzi się od mierzenia po-
pularności za pomocą liczby polubień (likes), wskaźnika, który - ze względu na kumulatywny charakter - ze swojej natury gwarantował sukces, liczba polu-
bień stałe rosła, tworząc niekiedy fałszywe wrażenie popularności fanpage'a.
Podobną ewolucję przechodził rynek reklamy online. Początkowo skupiano
się na mierzeniu jedynie liczby odsłon, z czasem zaczęto liczyć użytkowników,
którzy widzieli przekaz, a obecnie pojawił się postulat zastąpienia czasu obec-
ności reklamy na stronie - czasem inscreen, wskaźnikiem określającym, jak
długo reklama była realnie widoczna na ekranie dla odbiorcy4•
Aplikacje mobilne stoją przed podobnymi wyzwaniami. Ze względu na opisane wcześniej uniezależnienie się ich od technologii www proces roz- woju badań toczy się właściwie od początku. Pierwszym szeroko stosowa- nym wskaźnikiem stała się liczba pobrań aplikacji, używana do szacowania liczby ich użytkowników5• Wskaźnik był łatwo dostępny w statystykach sklepów z aplikacjami, nie wymagał też żadnych zmian w samej aplika- cji. Dziś jednak uważa się, że jest on przeszacowany. Tylko niewielka część użytkowników aplikacji do nich powraca6• Z danych Locałytics wynika na
przykład, że w 2017 roku jedynie 26,6 proc. użytkowników wróciło do apli- kacji dzień po zainstalowaniu, a tylko 12,1 proc. odwiedziło ją ponownie po dwóch tygodniach. W skali miesięcznej jedynie 43 proc. użytkowników ko-
rzystało z aplikacji miesiąc po zainstalowaniu, a 3 miesiące później wskaź
nik ten spadał do 29 proc. Ze względu na niski poziom retencji szacowanie liczby użytkowników na podstawie liczby pobrań nie jest więc uprawnione
(choć wciąż często stosowane).
Ograniczenia techniczne
Aplikacje mobilne w dużym stopniu zależą od technologii, którą wy-
korzystują, sprzętu użytkowników, uwarunkowań internetu w danym kra-
3 Jak jest realizowane badanie?, Polskie Badani.a Internetu, http://pbi.org.pl/badania/jak-to-dziala/ [dostęp:
30.05.2018].
4 Por. R. Gołąb, Czy inscreeny staną się nową walutą na rynku?, https://www.gemius.pl/wszystkie-artykuly- aktualnosci/czy-inscreeny-stana-sie-nowa-waluta-na-rynku.html [dostęp: 30.05.2018].
s Por. P. Płachta, Analityka danych w aplikacjach i grach mobilnych, http://torogrowth.pl/blog/analityka-dany- ch-w-aplikacjach-mobilnych/ [dostęp: 30.05.2018].
6 S. Perez, Nearly 1 in 4 people abandon mobile apps after only one use, https://techcrunch.com/2016/05/31/
nearly-1-in-4-people-abandon-mobile-apps-after-only-one-use/?guccounter=l [dostęp: 30.05.2018]; The MobileApp Environment Is More Challenging than Euer, „eMarketer", https://www.emarketer.com/Article/Mobile-App-Enui- ronment-More-Challenging-than-Euer/1014516 [dostęp: 30.05.2018]; Cheat Sheet Overall App Benchmarks H2 2017, Localytics, https://www.localytics.com/lp/cheat-sheet-ouerall-app-benchmarks-h2-2017/ [dostęp: 30.05.2018].
Ograniczenia badari aplilwcji wobec batalii o prywatność ·l1~'
ju, a także od zasad działania systemu operacyjnego i sklepu z aplikacjami danej platformy. Lista ograniczeń wydaje się dość długa, ale dla większej jasności porównajmy ją z podstawowym procesem uruchamiania strony www i rozpoczęcia na niej badań.
Do korzystania z typowej strony www użytkownik potrzebuje przecięt
nego komputera dowolnej marki z dowolnym systemem operacyjnym oraz
zainstalowaną dowolną przeglądarką (np. Chrome, Firefox, Edge). Dzięki postępującej standaryzacji przeglądarek w każdej z nich strona powinna wy-
glądać identycznie. Dodatkowo większość obecnie stosowanych przegląda
rek aktualizuje się automatycznie do najnowszej stabilnej wersji. Wszystko to sprawia, że twórca strony www przygotowuje ją w jednej wersji. Doda-
nie statystyk polega na wklejeniu kilku linijek gotowego kodu JavaScript do szablonu strony, co można zrobić praktycznie nie rozumiejąc tego kodu.
W przypadku zmiany kodu na inny wystarczy podmienić go w szablonie strony, a zmiana przyniesie skutek niemal od razu.
W przypadku aplikacji mobilnych pierwszą barierą będzie niespójność sprzętu, platformy, sklepów i wersji. Urządzenia mobilne nie są wystanda- ryzowane jak komputery PC i niemal każdy typ wymaga przygotowania specjalnej wersji systemu. Producenci rzadko przygotowują aktualizacje, je-
śli w ogóle to robią. Większość urządzeń działa więc przez kilka łat w tej sa- mej wersji, w której zostały kupione. Problemy z dostarczaniem aktualizacji
wywołały sprzeciw holenderskiej organizacji broniącej praw konsumenta Dutch Consumentenbond, która pozwała firmę Samsung za niewywiązywa
nie się z obietnic dotyczących regularnych aktualizacji oprogramowania7• W przeciwieństwie do stron www, które odświeżają się na bieżąco, ak- tualizacja aplikacji wymaga zgody użytkownika, co prowadzi do sytuacji, w której część urządzeń nigdy takiej aktualizacji nie otrzyma. Tymc:Zasem z nowszą wersją aplikacji może przyjść udoskonalony mechanizm badaw- czy. Tak więc proces aktualizacji toczyć się może tygodniami łub miesiącami
i nie zakończy się nigdy.
Kolejne ograniczenie wynika wprost z różnic między platformami mobil- nymi i ich sklepami. Konsumenci mogą nie zwracać na to aż takiej uwagi,
ponieważ dostawcy usług cyfrowych często w jednolity sposób prezentują nową aplikację w różnych systemach. Z technicznego i finansowego punktu widzenia przygotowanie aplikacji na platformy iOS, Android i Windows to przygotowanie trzech zupełnie różnych programów napisanych w róż
nych technologiach (odpowiednio Objective C, Java I Kotlin I Dalvik, C#).
Samsung pozwany przez holenderski urząd ochrony praw konsumenta, http://mobtech.interia.pl/smartfony/
news-samsung-pozwan y-przez-holenderski-urzad-ochron y-pra w-konsume,n I d,2021730 [dostęp: 30.05.2018].
Aplikacje muszą spełniać wewnętrzne wymogi danego sklepu, a do cza- su pierwszej próby udostępnienia danej aplikacji nie ma się pewności, czy zostanie ona zaakceptowana. Może też dojść do sytuacji, w której jedna z platform zaakceptuje program, a inna go odrzuci.
Wiele ograniczeń bierze się też bezpośrednio z możliwości stosowania trybu offline w aplikacjach. Przed długi czas możliwość pracy offline uwa-
żano za dowód przewagi aplikacji nad stronami. Prześledźmy to na przy-
kładzie biznesowego użytkownika aplikacji do czytania wiadomości. Jego aplikacja pobiera automatycznie najnowsze informacje, gdy ma dostęp do sieci. Gdy użytkownik wsiada do samolotu, blokuje połączenia sieciowe,
może przeczytać jedynie pobrane wcześniej wiadomości. Mechanizmy ana- lityczne aplikacji działającej w trybie offline muszą działać asynchronicznie,
zapamiętywać tymczasowo informacje o zdarzeniach i przesyłać je w chwili przywrócenia połączenia sieciowego. Co się jednak stanie, gdy użytkow
nik zapomni o wyłączeniu trybu samolotowego łub przyleci do kraju o za- porowych cenach przesyłania danych? W tym przypadku aplikacja prześle historię aktywności kilka dni później. Zmienia to jednak całkowicie rytm analizy danych8• Dla porównania - w badaniach www coraz częściej stosuje
się raportowanie opóźnione nie więcej niż o kwadrans w stosunku do cza- su rzeczywistego, a większość raportów tworzy się nie później niż w ciągu
jednej doby. W najpopularniejszej usłudze mierzącej ruch na stronie inter- netowej - Google Anałytics - pierwotnie statystyki wyliczano następnego
dnia, obecnie można podglądać niektóre informacje niemal w czasie rzeczy- wistym, z kiłkudziesięciosekundowym opóźnieniem. W przypadku aplikacji
możliwość stosowania trybu offline jest okupiona dość wysoką ceną, jaką
jest opóźnienie zbierania danych.
Bral1 standardów i audytu
Jak sygnalizowałem, dodanie mechanizmów badawczych do aplikacji wymaga najczęściej zaprojektowania ich od nowa dla konkretnej aplikacji.
Modeł ten znacząco różni się od sposobu prowadzenia badań na stronach www, gdzie zwykłe przyjmuje się odwrotne założenie - ten sam skrypt badawczy podpinany jest do tysięcy różnych stron. Chodzi tu nie o koszty, lecz o chęć standaryzacji. Badania przeprowadzone za pomocą wystanda- ryzowanego narzędzia dostarczają danych, które nie mają już tylko cha- rakteru wewnętrznego, opisują one bowiem projekt cyfrowy za pomocą
obiektywnych i uznanych na zewnątrz kryteriów. Ponieważ skrypty mie-
8 Więcej na temat znauenia roli opóźnienia zbierania danych: M. Robak, Analiza danych w marketingu interne- towym, [w:] Wirtualne targowisko. O reklamie marketingu i promowaniu się w Internecie, t. 3, red. nauk. K. Cybul- ska, M. Jarosz, P. Maciaszek, Warszawa 2017.
Ograniczenia badari aplikacji wobec batalii o prywatność ~~\*~ «
rzące strony pisane są w JavaScript, bez trudności uruchamiają się na każdej przeglądarce.
Standaryzacja odgrywa istotną rolę w procesie dojrzewania rynku cy- frowego i budowania na nim zaufania. Zaufanie okazuje się bardzo istotne, gdy potrzebne są obiektywne dane dla potencjalnego reklamodawcy lub gdy konieczna jest wycena wartości spółki oferującej usługi cyfrowe. Dla- tego na rozwiniętych rynkach dostrzec można próby standaryzacji badań
podejmowane przez organizacje mające w danym kraju status J IC (Joint Industry Committee). Proces ten porównywany jest często do wprowadza- nia na rynek waluty, dzięki niej wszyscy rynkowi gracze posługują się tymi samymi wskaźnikami, umożliwiającymi ich porównywanie9• Badania za
pomocą standardowych procedur powinny też być tańsze.
Standardy powinny być uzupełnione przez audyt, czyli weryfikację da- nych przez niezależną trzecią stronę. Pozwala to uniknąć zarzutów o sprepa- rowanie lub naginanie danych zasięgowych. W badaniach internetu audyt jest najczęściej zapewniany przez firmę zewnętrzną, a sam pomiar realizuje
się z zewnętrznych adresów domenowych firmy badawczej (third party), co pozwala na określenie relacji odbiorców między różnymi serwisami oraz zbadanie współoglądalności, czyli części wspólnej zbioru użytkowników.
W przypadku aplikacji znacznie trudniej o weryfikację, na co mają wpływ
wymienione wcześniej ograniczenia techniczne, odrębność sposobów ba- dania aplikacji oraz wysoka na tym rynku zmienność utrudniająca porów- nywanie czegokolwiek. Prowadzi to do sytuacji, że informacje na temat realnego zasięgu i aktywności w aplikacji albo nie są znane, albo podawane przez wydawcę aplikacji - bez możliwości sprawdzenia.
Ograniczenia związane z ochroną prywatności
Druga grupa ograniczeń jest związana z szeroko rozumianą ochroną pry-
watności. Niektóre metody badań są możliwe do zastosowania w sensie technicznym, ale regulacje prawne ograniczają tę możliwość lub nakładają
na badacza obowiązek poinformowania o fakcie zbierania danych lub uzy- skania od użytkownika formalnej zgody10• Specyfika komunikacji internetowej
W Polsce rolę srandaryzacyjną odgrywa spółka Polskie Badania Internetu, dla której wykonawcą badań jest Gemius, w innych krajach europejskich występują podobne rozwiązania, w standaryzacji rynku reklamowego bie- rze też udział organizacja IAB (The Interactive Aduertising Bureau).
10 Chodzi o następujące regulacje: Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w spra- wie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE (ogólne rozporządzenie o ochronie danych), Dz.U. L 119 z 4.5.2016, s. 1-88. Wcześniejsze regulacje: Ustawa z dnia 29 sierpnia 1997 r. o ochronie danych osobowych, Dz.U. 1997, Nr 133, poz. 883; Rozporządzenie Ministra Spraw Wewnętrznych i Administracji z dnia
, , '"Ir Mare/1 Robak
~*
(łatwość publikacji, globalny charakter, trudności w usuwaniu treści) powo- duje, że zagrożenia związane z prywatnością w kontekście internetu uważa się za poważniejsze11• Istnieją też sytuacje, w których prowadzenie badań
jest formalnie zgodne z prawem, ale istnieje powszechna, nie zawsze uza- sadniona opinia, że badanie to narusza w jakiś sposób prywatność. W tym drugim przypadku mamy do czynienia z nierozwiązywalnym dylematem,
każdy proces badawczy wiąże się bowiem z jakąś formą obserwacji i zbie- rania danych, w niemal w każdym przypadku można więc doszukiwać się zagrożeń dla prywatności.
Lęli przed identyjilwcjq
W najbardziej klasycznym rozumieniu prawo do prywatności definiu- je się jako prawo do bycia zapomnianym. Pierwsza próba sformułowania
tego prawa pochodzi już z 1890 roku12• W systemach elektronicznych jedy- nie w niektórych przypadkach mamy do czynienia z bezpośrednimi danymi
wskazującymi na osobę. Istnieje jednak wiele innych danych, które w pew- nych sytuacjach mogą ułatwić identyfikację osoby. Należą do nich adres e-mail, nazwa użytkownika, wszelkie numery identyfikacyjne (PESEL, N IP, numery kont bankowych i kart kredytowych), w ograniczonej liczbie przy- padków adres IP oraz szeroko rozumiany unikalny identyfikator urządzenia,
do którego można zaliczyć osławione „ciasteczka" w przeglądarce interneto- wej, a także wiele typów innego rodzaju identyfikatorów13•
Istnieje spór dotyczący tego, w jakim stopniu te informacje mogą stano-
wić dane osobowe i jak trudne jest zidentyfikowanie osoby fizycznej na ich podstawie. N ie ma tutaj miejsca na zgłębianie tego problemu, poprzestań
my więc na stwierdzeniu, że pojęcie danej osobowej rozszerza się z upły
wem czasu oraz że począwszy od nowelizacji prawa telekomunikacyjnego z 2013 roku, wymaga się poinformowania o fakcie stosowania identyfika- tora (art. 173), a wraz z RO DO wymaga się dodatkowo uzyskania formal- nej zgody. Dla przeciętnego odbiorcy oznaczało to najpierw wyświetlenie
komunikatu o stosowaniu ciasteczek (cookies), a od wprowadzenia RO DO pytanie o zgodę na przetwarzanie danych.
29 kwietnia 2004 r. w sprawie dokumentacji przetwarzania danych osobowych oraz warunków technicznych i or- ganizacyjnych, jakim powinny odpowiadać urządzenia i systemy informatyczne służące do przetwarzania danych osobowych, Dz.U. 2004, Nr 100, poz. 1024; Ustawa z dnia 16 lipca 2004 r. Prawo telekomunikacyjne, Dz.U. 2004, Nr 171, poz. 1800, ze zm.
11 Szerzej omawia ten temat P. Siuda, Prywatność w Internecie-zarys perspektywy krytycznej, „Kultura - Media - Teologia" Nr 20 (2015), s. 39, http://kmt.uksw.edu.pl/prywatnosc-w-internecie-artykul [dostęp: 30.05.2018].
12 L. Brandeis, S. Warren, The Right to Priuacy, „Harvard Law Reuiew" Vol. 4 (1890), No. 5, s. 193-220.
13 Por. M. Robak, Lęk przed ciasteczkami a realna ochrona prywatności, [w:] Zaplątani w sieci. Społeczeństwo
wobec wyzwań nowych mediów, red. nauk. M. Szetela [i in.], Toruń 201Z
Ograniczenia bada il ap/ika1,ji wobec batalii o prywatność -~~~W' -
Dlaczego jednak badacze komunikacji cyfrowej stosują identyfikatory?
Czy nie można byłoby z nich zrezygnować, by zadośćuczynić społecznej
potrzebie bycia zapomnianym? Wydaje się, że byłoby to trudne ze względu
na potrzebę odróżnienia liczby unikalnych użytkowników, która dla wie- lu produktów cyfrowych jest podstawową miarą zasięgu. Druga uwaga dotyczy sposobu wykorzystania tych identyfikatorów, które jeśli w ogóle
pozwalają identyfikować osoby, to jedynie pośrednio. W typowych bada- niach zasięgu identyfikatory służą jedynie do prawidłowego odróżnienia
od siebie aktywności różnych użytkowników, a wytworzone w ten sposób statystyki pokazują zagregowaną liczbę osób, co więcej, w raportach zbior- czych z takich badań nie są prezentowane żadne informacje pozwalające
na jakąkolwiek identyfikację osób. Nie jest to zatem problem nowy, istniał już także w epoce przed internetowej i został uregulowany w ramach zasad tajemnicy statystycznej14• Cytowana poniżej ustawa nie była pisana z my-
ślą o internecie, ale trafnie definiuje problem: „ Dane jednostkowe iden- tyfikowalne zebrane w badaniach statystycznych podlegają bezwzględnej
ochronie. Dane te mogą być wykorzystywane wyłącznie do opracowań, zestawień i analiz statystycznych [ ... ],udostępnianie łub wykorzystywanie tych danych dla innych niż podane w ustawie celów jest zabronione (ta- jemnica statystyczna)"15•
Już wcześniej zwracałem uwagę na brak symetrii między realnymi za-
grożeniami a istnieniem społecznego łęku związanego z nadużyciem na-
rzędzi badawczych, nazywając to zjawisko „lękiem przed ciasteczkami'116•
Obawa o zachowanie prywatności nie zawsze jest adekwatna do stopnia
zagrożenia, można bowiem często obserwować duże obawy związane z ko-
munikacją w internecie przy jednoczesnym niewielkim stopniu obaw zwią
zanych z powszechnym stosowaniem w miejscach publicznych kamer mo- nitoringu czy wprowadzaniem przez sieci supermarketów kart rabatowych, gdzie w zamian za symboliczne rabaty klienci podają w formularzu znaczną ilość danych na swój temat. Fakt istnienia zjawiska „łęku przed ciastecz- kami" można też uzasadniać argumentami z historii internetu - mechanizm ciasteczek został wprowadzony do przeglądarek internetowych w 1997 roku,
około 2004 nastąpiła popularyzacja badań ruchu internetowego, która wy-
korzystywała tę technologię, a dopiero w 2013 roku znowelizowano w Polsce prawo telekomunikacyjne, wymuszając informowanie o wykorzystaniu cia- steczek, a w 2018 wprowadzono obowiązek uzyskiwania dodatkowych zgód na przetwarzanie. Przez ponad dekadę technika badań z wykorzystaniem
14 Ustawa z dnia 29 czerwca 1995 r. o statystyce publicznej, Dz.U. 1995, Nr 88, poz. 439, art. 10.
15 Tamże.
16 M. Robak, Lęk przed ciasteczkami„.
. - .
{i: Marek Robak
identyfikatorów nie zmieniła się w znaczącym stopniu, można więc pytać,
co oprócz emocji społecznych zmieniło się w kwestii sieciowej prywatności.
Badanie czy targetowanie
Badania związane z usługami elektronicznymi można przypisać do dwóch kategorii: 1) badania agregujące oraz 2) badania targetujące. Tech- nologia używana w obu przypadkach jest dość podobna, ale ceł i ·zagro-
żenia z tym związane będą różne. Badania agregujące w końcowej for- mie mają charakter ściśle anonimowy. Służą do dokładnego zmierzenia
zasięgu, ogólnej charakterystyki aktywności użytkowników, wykrywania obszarów zainteresowań i trendów. Uzyskaniu jak największej dokład ności służy zbieranie wielu szczegółowych informacji, które na dalszym etapie są grupowane i uogólniane. Efektem takich badań są więc duże,
ogólne liczby. Badania targetujące skupiają się z kolei na gromadzeniu
dokładniejszych informacji na temat użytkownika, zazwyczaj w celach re- klamowych. Dzięki temu możliwe jest emitowanie reklamy dopasowa- nej, budowanie profilu zainteresowań użytkownika17• Efektem tych badań są małe liczby opisujące cechy detaliczne. Firma Google, która jest po- tentatem rynku reklamy personałizowanej, wyjaśnia w swojej polityce stosowanie targetowania następująco: „Dzięki reklamom zarówno usługi
Google, jak i wiele innych witryn oraz serwisów, z których korzystasz,
mogą pozostać darmowe. [ ... ] Pliki cookie sprawiają, że kampanie rekla- mowe są skuteczniejsze. Ich zastosowanie ułatwia reklamodawcom do- tarcie do odbiorców, a także ustalenie liczby wyświetlanych reklam oraz liczby osób, które je kłiknęły"18•
Google wymienia też w dokumentacji technicznej kryteria, brane pod
uwagę przy emisji personałizowanej reklamy: typy odwiedzanych witryn i zainstalowanych aplikacji, aktywność na innych urządzeniach, interakcje z reklamami, ustawienia konta Google. Firma wyraźnie zaznacza, że nie re- jestruje danych wrażliwych (rasa, wyznanie, orientacja seksualna, zdrowie) ani nie sprzedaje nikomu danych osobowych19•
Niezależnie od tych wyjaśnień wydaje się, że zła sława stosowania iden- tyfikatorów związana jest nie tyle z samymi badaniami, ile raczej z połącze
niem badań targetujących z emisją reklam. Niepokój wielu osób związany
17 Zob. także M. Lisiecki, M. Sowiński, Targetowanie behawioralne - jak ominąć pułapki, „Marketing w Prak- tyce" 2009, nr 8, s. 8-11.
18 Prywatność i warunki. Reklamy, Google, https://policies.google.com/technologies/ads [dostęp: 30.05.2018].
19 Zarządzanie personalizacją reklam Google, Google, https://support.google.com/adsense/troubleshoote- r/1631343?hl=pl [dostęp: 30.05.2018].
z prywatnością może wynikać z tego, że zauważyły one wpływ własnej ak-
tywności w internecie, wyników wyszukiwania, kliknięć w reklamy i opi- sy produktów w sklepach na dobór emitowanych reklam. N ie rozstrzygam kwestii, czy reklama targetowana jest mniej agresywna od reklamy maso- wej dzięki lepszemu dopasowaniu. Można jednak przypuszczać, że bada- nia agregujące tracą subiektywne zaufanie użytkowników przez badania
argetujące.
Wymagana zgoda
Jednym z nowych wymagań regulacji RO DO stało się uzyskanie for- malnej, niedomniemanej zgody na przetwarzanie danych. W chwili reda- gowania tekstu rozporządzenie wchodzi w życie, można więc zapytać, jak w pierwszych dniach wygląda w praktyce skuteczność regulacji prawnych.
Wiele osób skarży się na olbrzymią liczbę powiadomień mailowych, doku- mentów do podpisania i ekranów w aplikacjach i na stronach www wyma-
gających wyrażenia zgody na przetwarzanie danych osobowych. Wydaje
się, że ich liczba jest znacznie UJiększa niż akceptowalny przez przeciętnego internautę poziom. Może to oznaczać, że zgody te nie zawsze były wyrażone świadomie, służyły jedynie uzyskaniu ponownego dostępu do używanych usług. Z drugiej strony, duża liczba powiadomień o przetwarzaniu danych osobowych uświadomiła wielu osobom, w jak wielu miejscach przechowy- wane są informacje na ich temat.
Wyrażenie formalnej zgody na przetwarzanie ma jednak pewne konse- kwencje dla twórców aplikacji. Może wpłynąć na mniejszą liczbę użytkow
ników, bo im bardziej skomplikowany interfejs formularza rejestracyjnego, tym większa liczba osób, które nie ukończyły jego wypełniania. Można ide- alistycznie powiedzieć, że mimo mniejszej liczby użytkownicy są bardziej
świadomi i wyrazili świadomie swoją zgodę. Nie ma jednak pewności, czy olbrzymia liczba zgód nie wywoła efektu podobnego do powiadomień
o stosowaniu ciasteczek - zamykanych niemal odruchowo przez internau- tów ze względu na ich uciążliwość w korzystaniu ze stron.
Wprowadzenie formalnych zgód na przetwarzanie może też wpłynąć
na wzmocnienie pozycji dużych firm kosztem mniejszych. Największe pod- mioty na rynku elektronicznym mogą za pomocą jednej deklaracji uzyskać zgodę na przetwarzanie danych na potrzeby większości swoich usług, na- wet z bardzo różnych obszarów. W takim przypadku jedna zgoda załatwia
wszystko, firma nie musi więc ponownie w kolejnych usługach o nią prosić,
co stawia ją na uprzywilejowanej pozycji względem małych twórców. Ist- nieje więc przynajmniej teoretyczne ryzyko, że nowe regulacje będą sprzyja-
85
86
ły gromadzeniu dużej liczby danych osobowych przez jeden duży podmiot, a w konsekwencji ograniczały prowadzenie badań zachowań w aplikacji przez mniejszych twórców, których nie będzie stać na drogich prawników.
N
ie~tandardowetechniki identyfilrncji
Z dzisiejszego punktu widzenia zaletą krytykowanej dziś często techno- logii ciasteczek była jej przejrzystość. Począwszy od łat dziewięćdziesiątych można było łatwo sprawdzić w ustawieniach przeglądarki, jakie dokładnie
ma ona ustawione ciasteczka i w razie potrzeby je usunąć. W miarę upły
wu czasu, gdy rodziła się opinia o zagrożeniach związanych z ciasteczkami dla prywatności, twórcy internetowi stosowali coraz trudniejsze do iden- tyfikacji techniki, takie jak łocałStorage czy Flash cookies20• Według naj- nowszych badań możliwe jest zidentyfikowanie, z wysokim prawdopodo-
bieństwem, konkretnej przeglądarki za pomocą łącznej analizy szczegółów
konfiguracji bez konieczności zapisywania jakichkolwiek identyfikatorów
wewnątrz urządzenia21• Technika ta, określana mianem fingerprintingu, jest dużo bardziej agresywna niż ciasteczka, pozwala na rozpoznanie prze-
glądarki nawet w trybie prywatnym22 i chociaż może podlegać regulacjom prawnym, w praktyce bardzo trudno udowodnić jej istnienie (aby wyeg-
zekwować prawo), nie zostawia bowiem po sobie żadnego unikalnego identyfikatora, w pełni zastępując jego funkcjonalność. Unaocznia to, jak walka o ochronę prywatności użytkowników może się niekiedy obrócić
przeciwko nim.
Aplikacje mobilne mają zazwyczaj dostęp do wielu informacji w tele- fonie, na podstawie których możliwe jest zidentyfikowanie użytkownika
w pośredni sposób łub stworzenie jego profilu na podstawie zarejestrowa- nych zachowań. Choć jest to zaskakujące, użytkownicy aplikacji wyrażają często zgodę na dostęp aplikacji do wielu funkcji w telefonie, które nie
mają żadnego związku z jej zastosowaniem23• W tabeli 1 zestawiłem przy-
kłady technik, które mogą posłużyć do takiego profilowania. Z punktu widzenia ochrony danych osobowych jest to potężne zagrożenie, z punktu widzenia badaczy danych - równie potężne wyzwanie. Głośnym przy-
kładem zastosowania ukrytej analityki w telefonach było opublikowanie przez firmę Sełectiu zagregowanych danych na temat uczestników fest.i-
20 Szersze omówienie znajduje się w: M. Robak, Lęk przed ciasteczkami ...
21 P. Eckersley, How Unique Is Your Web Browser?, https://panopticlick.eff.org/~atic/browser-uniqueness.pdf [do~ęp: 30.05.2018].
22 Właściwość ta zo~ała potwierdzona puez te~y autora.
23 L. Goode, App Permissions Don't Tell Us Nearly Enough About Our Apps, https://www.wired.com/~ory/app- permissions/ (do~ęp: 30.05.2018].
>{fx :§
Ogranic2enia badań aplilwcji wobec batalii o prywatność ''~'t]w4
walu Open'er w 2017 roku, z których wynikało na przykład, że 14 proc.
spośród nich stara się o dziecko24•
Tabela 1. Niestandardowe techniki analityczne w aplikacjach
Technika Opis
Położenie Analiza dostępnych teraz lub w przeszłości sieci Wi-Fi na podstawie Wi-Fi pozwala na podstawie ich unikalnego układu ustalić
pozycję z wyłączonym czujnikiem GPS oraz wewnątrz
zadaszonLJch pomieszczeń.
Lista aplikacji Lista zainstalowanych aplikacji pomaga ustalić zaintere- sowania osoby, płeć, orientacyjny wiek, niekiedy stan zdrowia.
Odczyt położenia GPS Aplikacje niezwiązane z usługami nawigacyjnymi mogą wymagać zgody na odczyt położenia GPS z czujnika. Po-
zwała to kojarzLJĆ konkretne akcje z miejscem.
Żyroskop Czujnik ruchu pomaga określić kierunek ruchu i jego pręd- kość, ale dzięki głębszej analizie możliwa jest na przykład
identLJfikacja osobLJ na podstawie jej sposobu chodzenia.
Mikrofon Mikrofon w telefonie może być aktywny nawet w sy- tuacjach, gdy użytkownik nie zdaje sobie z tego sprawy.
Pozwala to na wykrywanie rodzaju miejsca (ulica, dom, park), WlJchwljt4wanie wypowiadanych słów.
Czujnik światła Najnowsze badania nad prywatnością potwierdzają możliwość identyfikacji miejsca na podstawie unikalnej sekwencji światła w danym miejscu*. Na przykład czujnik
światła w telefonach dwóch osób w tym samym pomiesz- czeniu będzie rejestrował podobną sekwencję światła.
Analiza transmisji Jeżeli aplikacja ma dostęp do warstwy sieciowej telefonu, sieciowej można na tej podstawie wykrywać pobieranie danych
z charakten.JstLJCZnLJch witrLJn.
Wirus Złośliwa aplikacja może, oprócz oficjalnie zadeklarowa- nego celu, wykonywać w tle dodatkowe aktywności łub próbować przejąć kontrolę nad telefonem.
* L. Olejnik, Priuacy analysis of Ambient Light Sensors, https://błog.łukaszołejnik.
com/priuacy-of-ambient-łight-sensors/ [dostęp: 3.09.2018].
Źródło: Opracowanie własne.
24 Open'er Festiual 2017 - analiza uczestników, http://selectiuu.com/opener-festiual-2017-uzytkownicy-smartfo- now-liczbach-infografika/ [dostęp: 30.05.2018]; M. Maj, Skąd wiadomo, że 14 proc. uczestników Open'era stara się o dziecko?, „Niebezpiecznik", https://niebezpiecznik.pl!post/za-darmowe-aplikacje-mobilne-placisz-informacjami-o- sobie-wyjasniam y-smartfonowy-skandal-z-openera/ [dostęp: 30.05.2018].
87
88
Zakończenie
Począwszy od lat dziewięćdziesiątych minionego wieku zauważalny jest wzrost znaczenia komputerowej analizy danych w działaniu organizacji.
Jeszcze autorzy klasycznych prac na temat Business Intelligence zwracali
uwagę na stopień dojrzałości analitycznej, mierzony zdolnością organiza- cji do zbierania i analizowania danych oraz umiejętnością przewidywania trendów25• Zbieranie danych i ich analiza nie jest kaprysem firmy, ale spo- sobem na świadome rozwijanie działalności dzięki analizie faktów, które
pełnią rolę sygnału zwrotnego26; dotyczy to nie tylko firm, ale instytucji
państwowych i trzeciego sektora27• Twórcy stron internetowych28, podmio- ty publikujące w mediach społecznościowych29, a później autorzy aplika- cji muszą mieć najpierw możliwości zbierania danych oraz narzędzi do ich przetwarzania, by -nie prowadzić na ślepo swojej działalności, by dobrze ro-
zumieć zachowania ich użytkowników i poprawiać własne produkty. Coraz
więcej przykładów potwierdza, że analiza dużych zbiorów danych popra- wia sprawność działania i daje przewagę konkurencyjną30•
Celem, który sobie stawiałem, nie było podważanie wartości badań apli- kacji, lecz przeciwnie, pokazanie obszarów, w których badania te podlegają
ograniczeniom, po to, by je poprawiać i lepiej rozumieć wartość używanych wskaźników. Badania prowadzone w aplikacjach dostarczają wielu cennych danych w ilości, o której trzydzieści lat wcześniej wydawcy czasopism mogli tylko pomarzyć. Masowe badania pozwalają zbierać fakty na temat pełnej działalności użytkowników o wiele dokładniej niż w przypadku prostego badania jakościowego na kilkuosobowej próbie. N ie są to jednak badania
łatwe do przeprowadzenia. Cierpią niekiedy na „choroby wieku dziecię
cego", ponieważ ich efektywność jest dopiero weryfikowana. Wymagają
wielu nakładów finansowych. Ograniczone są wieloma barierami technicz- nymi, które nie są łatwe do zrozumienia dla osób „nietechnicznych': Brakuje standardów badań i mechanizmów zewnętrznego audytu.
Lista ograniczeń, którym podlegają badania aplikacji, została pogru- powana w dwa duże obszary. Pierwsza grupa ograniczeń miała charakter
25 Th.H. Davenport, J.G. Harris, Inteligencja analityczna w biznesie. Nowa nauka zwyciężania, nowa nauka
zwyciężania, przeł. A. Sobolewska, Warszawa 2010.
26 M. Robak, Analiza danych„.
27 Tenże, Analityka internetowa i jej potencjał w trzecim sektorze, „Kultura - Media - Teologia" Nr 30 (2017), s. 52-69, http://kmt.uksw.edu.pl/analityka-intern-artykul [dostęp: 30.05.2018].
28 A. Kaushik, Web Analytics 2.0. Świadome rozwijanie witryn internetowych, tłum. M. Szczepaniak, Gliwice 201 O.
29 A. Miotk, Skuteczne social media. Prowadź działania, osiągaj zamierzone efekty, Gliwice 2017.
30 V. Mayer-Schonberger, K. Cukier, Big Data, rewolucja, która zmieni nasze myślenie, pracę i życie. Efektywna analiza danych, przel~ł. M. Głatl~i. Warszawa 2014.
