Zwroty z akcji a sentyment w mediach społecznościowych

GRUDZIEŃ 2020ISBN 978-83-66698-22-2WARSZAWA

Zwroty z akcji

a sentyment w mediach

społecznościowych

Cytowanie:

Batorski, D., Baranowski, M., Bławat, B., Krawiec, J., Młodożeniec, M., Talarek, P. (2020), Zwroty z akcji a sentyment w mediach społecznościowych, Polski Instytut Ekonomiczny, Warszawa.

Poglądy i analizy prezentowane w publikacji są odzwierciedleniem stanowiska autorów.

Publikacja dotowana w ramach projektu „Algorytmiczny system oceny cech kwantytatywnych i kwalitatywnych emitenta instrumentów rynku kapitałowego” finansowanego w ramach programu Ministra Nauki i Szkolnictwa Wyższego pod nazwą „DIALOG” nr rej 0180/20117

Warszawa, grudzień 2020 r.

Autorzy: Dominik Batorski, Maciej Baranowski, Bogusław Bławat, Jakub Krawiec, Marek Młodożeniec, Paweł Talarek

Redakcja: Jakub Nowak, Małgorzata Wieteska Projekt graficzny: Anna Olczak

Współpraca graficzna: Liliana Gałązka, Tomasz Gałązka, Joanna Cisek Skład i łamanie: Sławomir Jarząbek

Polski Instytut Ekonomiczny Al. Jerozolimskie 87 02-001 Warszawa

© Copyright by Polski Instytut Ekonomiczny

ISBN 978-83-66698-22-2

3

Spis treści

Kluczowe liczby. . . .4

Kluczowe wnioski . . . 5

Wprowadzenie . . . 6

Zakres analizowanych danych . . . .8

Kompletność danych i selekcja profili . . . 9

Wstępna eksploracja danych . . . 12

Selekcja i ocena wydźwięku treści . . . 17

Agregacja danych i inżynieria cech . . . 19

Modelowanie . . . .20

Model klasyfikacyjny . . . .23

Konstrukcja ratingu . . . 27

Walidacja metody na danych z giełdy wiedeńskiej . . . .34

Bibliografia . . . 41

Spis infografik, wykresów i tabel . . . .42

4

Kluczowe liczby

462 spółek notowanych na GPW poddanych analizie.

8 makrosektorów

i  83 ^branże były reprezentowane przez badane spółki.

956 profili na Facebooku

zidentyfikowano dla spółek.

499 050 unikalnych postów pięciu typów (wydarzenie, link, zdjęcie, status, wideo) spółki opublikowały na Facebooku.

83,3 ^proc. trafność predykcji zwrotu z inwestycji w akcje przy pomocy danych z mediów społecznościowych, mierzona na grupie testowej.

84,7 ^proc. trafność przypisania spółek

do właściwej klasy ratingu

(dla wersji ratingu składającej

się z trzech klas).

5

Kluczowe wnioski

→

Tworzenie unii rynków kapitałowych w Eu- ropie jest dla Polski sporym wyzwaniem.

Nie tylko ze względu na niski poziom za- ufania w ramach kapitału społecznego, ale także z powodu luki w ofercie ratingowej.

Sytuację na rynku kapitałowym małych i średnich przedsiębiorstw może poprawić wykorzystanie algorytmicznego systemu oceny atrakcyjności inwestycyjnej emi- tenta instrumentów finansowych, który powstał na podstawie danych dostępnych w mediach społecznościowych.

→

Algorytmiczny system oceny cech ilo- ściowych i jakościowych emitenta in- strumentów rynku kapitałowego – jako alternatywna metoda ratingowa – umożli- wia skuteczne przewidywanie przyszłego zachowania kursów akcji i stopy zwrotu.

Zaś korzystanie z łatwo dostępnych da- nych – np. z Facebooka – pozwala rów- nież oceniać podmioty nienotowane na giełdzie.

→

Upowszechnienie tej metody może ogól- nie poprawić wiarygodność firm na ryn- ku papierów wartościowych a także uła- twiać do niego dostęp małym i średnim przedsiębiorstwom.

→

Niepowodzeniem zakończyły się próby zbudowania ratingu na podstawie prze- widywanej miesięcznej stopy zwrotu z in- westycji w akcje danej spółki na bazie da- nych z mediów społecznościowych. Żaden

z testowanych modeli predykcyjnych nie dawał zadowalających wyników.

→

Pozytywne rezultaty przyniosło podejście oparte na modelach klasyfikacyjnych. Uży- cie metody lasów losowych pozwoliło osią- gnąć 83,3 proc. trafności przewidywania.

Na podstawie tego modelu predykcyjnego stworzono 5- i 3-wartościowy rating, osią- gając 84,7 proc. poprawności przy klasyfi- kacji dla 3-wartościowego ratingu.

→

Dzięki wykorzystaniu danych z giełdy wie- deńskiej, algorytmiczny system oceny atrakcyjności inwestycyjnej emitenta in- strumentów finansowych pomyślnie prze- szedł test ogólności zastosowania.

→

Wnioski sformułowane w trakcie przepro- wadzonych badań stanowią istotne źródło informacji w zakresie wykorzystywania na- rzędzi mediów społecznościowych przez podmioty publiczne. Może to stanowić punkt wyjścia do upowszechnienia wiedzy w zakresie istotności roli mediów społecz- nościowych w postrzeganiu spółek pu- blicznych przez inwestorów giełdowych.

Powinno to prowadzić do wzrostu aktyw- ności podmiotów publicznych objętych ratingiem, a następnie zainteresowania tymi zagadnieniami innych spółek publicz- nych, które obecnie wykazują się brakiem takiej aktywności, bądź charakteryzują się jedynie sporadyczną aktywnością w tym zakresie.

6

Wprowadzenie

R

ozwój pozakredytowych form finan- sowania firm zwiększa innowacyjność i konkurencyjność gospodarek. Jed- nak w Polsce, w porównaniu z innymi krajami UE, istotnymi barierami są ogólnie niskie zaufa- nie społeczne i duża luka w ofercie ratingowej.

W ramach programu „Dialog” MNiSW zrealizo- waliśmy projekt badawczy, którego efektem było opracowanie algorytmicznego systemu oceny cech kwantytatywnych i kwalitatyw- nych emitenta instrumentów rynku kapi- tałowego bazującego na danych z mediów społecznościowych.

Opracowanie algorytmicznego systemu oceny atrakcyjności inwestycyjnej emitenta jest jednym z kryteriów wykreowania wiarygod- nego rynku dłużnych papierów wartościowych i ułatwienia dostępu do niego małym i średnim przedsiębiorstwom. Na podstawie obiecujących wyników prac naukowych dotyczących wykorzy- stania dużych danych dotyczących wydźwięku informacji medialnych i komentarzy użytkowni- ków do przewidywania zachowań i wyników na rynkach finansowych podjęliśmy próbę zdefi- niowania nowej metodyki ratingu przy wyko- rzystaniu danych z mediów społecznościo- wych. Założeniem było zbudowanie modelu, który pozwoli zaklasyfikować również firmy, któ- re jeszcze nie są notowane na Giełdzie Papierów Wartościowych (GPW) w Warszawie, ale są obec- ne na Facebooku.

Pośrednim celem badań była weryfikacja hipotezy o możliwości predykcji stopy zwrotu z inwestycji w akcje spółek publicznych za po- mocą danych uzyskanych z mediów społecz- nościowych. Wypracowane rozwiązanie było walidowane danymi z kolejnych okresów oraz danymi z innego rynku, tj. giełdy papierów war- tościowych w Wiedniu (Wiener Börse AG).

Jednym ze sposobów zwiększających in- nowacyjność i konkurencyjność gospodarek jest tworzenie zachęt do inwestowania i me- chanizmów efektywnej alokacji kapitału – m.in.

rozwój pozakredytowych form finansowania firm (Strategia Rozwoju Rynku Kapitałowego, 2019). Ko- misja Europejska wskazuje, że relatywnie duże uzależnienie podmiotów gospodarczych od źró- deł bankowych jest jednym z czynników ograni- czających ich rozwój. W ramach tworzenia unii rynków kapitałowych, KE będzie dążyć do róż- nicowania kanałów finansowania firm (Plan dzia- łania na rzecz tworzenia unii rynków kapitałowych, 2015). Polska boryka się z niskim poziomem za- ufania i dużą luką w ofercie ratingowej, szczegól- nie w odniesieniu do przedsiębiorstw. Jako kraj będzie zatem miała znacznie poważniejsze wy- zwania niż większość krajów UE, w których rola rynków kapitałowych jest dziś zdecydowanie większa. Dostępne usługi ratingowe są ofero- wane zwykle przez międzynarodowe korporacje nieposiadające konkurencji na polskim rynku.

Nie uwzględniają zatem w optymalny sposób specyfiki związanej z ich przynależnością do określonych sektorów czy branż.

W raporcie przedstawiliśmy etapy prac prowadzących do stworzenia modeli ratingo- wych, zaczynając od pokazania źródeł danych oraz eksploracji danych i inżynierii cech. Poka- zaliśmy różne podejścia do konstrukcji ratingu oraz wyniki analiz w przypadku wykorzystania modeli klasyfikacyjnych. Opisaliśmy testowa- nie modeli, w szczególności dotyczące analiz stabilności ratingu w czasie oraz jego zdolności predykcji wyników giełdowych. Dodatkowe testy przeprowadziliśmy przy użyciu danych z giełdy wiedeńskiej.

Użycie metody lasów losowych pozwoli- ło osiągnąć 84,7 proc. trafności w klasyfikacji

7

Wprowadzenie

dla 3-wartościowego ratingu. Potwierdzili- śmy też możliwości jego wykorzystania jako instrumentu oceny atrakcyjności inwestycyj- nej, umożliwiającego skuteczne przewidy- wanie przyszłego zachowania kursów akcji i stopy zwrotu. Zastosowanie opracowanego

systemu alternatywnej oceny stopnia atrak- cyjności inwestycyjnej emitenta może przyczy- nić się do wykreowania wiarygodnego rynku dłużnych papierów wartościowych, ułatwia- jąc dostęp do finansowania małym i średnim przedsiębiorstwom.

8

Zakres analizowanych danych

R

ealizacja projektu wymagała łącznego wykorzystania dwóch typów danych.

Z jednej strony sięgnęliśmy po dane dotyczące wyników notowań spółek na Giełdzie Papierów Wartościowych, a z drugiej – po dane z mediów społecznościowych, które dotyczą tych spółek. Wybranie jako przedmiotu analizy spółek publicznych wynika z większej dostępności infor- macji na ich temat. Zgromadzone dane posłużyły jako zbiór testowy do wytworzenia odpowiedniej metody oceny atrakcyjności inwestycyjnej spół- ek, którą w przyszłości będzie można zastosować również do ratingu firm nienotowanych na giełdzie.

Dane giełdowe obejmowały notowania akcji wszystkich emitentów obecnych na ryn- ku głównym oraz NewConnect Giełdy Papierów Wartościowych w Warszawie. Tworzyły je staty- styki dzienne zawierające informacje o kursach, wolumenie transakcji, liczbie akcji znajdujących się w wolnym obrocie (free float), wypłacanej dywi- dendzie czy emisji prawa poboru, a także struktu- rze akcjonariatu. Analiza obejmowała dane za lata 2018-2019 oraz za wcześniejsze okresy. Dane te stały się źródłem dla utworzenia szeregu zmien- nych pomocniczych, zwłaszcza tych o charak- terze analizy technicznej (opartej na wynikach badań historycznych przebiegów szeregów cza- sowych i prognozowaniu ich przyszłych zacho- wań). Z przeprowadzonych obserwacji wynika, że duża część inwestorów obserwuje wskaźniki analizy technicznej, dlatego notowania spółek nie zawsze odzwierciedlają ich wskaźniki fundamen- talne, jak np. zysk czy poziom zadłużenia. Mając to na uwadze dołączyliśmy do zbioru zmiennych wejściowych modelu szereg zmiennych najczę- ściej używanych przez inwestorów, wyliczonych na podstawie analizy technicznej.

Przyjęliśmy, że sygnałem wejścio- wym w procesie budowy ratingu będą dane

dotyczące aktywności na portalu Facebook (FB) na profilach należących do spółek noto- wanych na GPW oraz NC. Decyzja ta wynika- ła z analizy dotyczącej korzystania z mediów społecznościowych w Polsce. Według wyników badań Gemius/PBI Facebook jest najpopu- larniejszą platformą mediów społecznościo- wych w Polsce. Co miesiąc odwiedza ją ponad 21 mln użytkowników, z czego prawie 18 mln ma konto w serwisie. Dodatkowo za wyborem tego portalu przemawia to, że swoje profile w tym medium na całym świecie ma 65 mln firm (Interaktywnie.com, 2019). Inne platfor- my, jak choćby Twitter czy LinkedIn, są w Pol- sce zdecydowanie mniej popularne i używane przez dość wąskie grupy odbiorców. Również bardziej specjalistyczne fora przeznaczone dla inwestorów są używane przez stosunkowo nie- wielką liczbę osób.

Analiza danych z mediów społecznościo- wych może obejmować różne rodzaje informa- cji. Wyodrębniliśmy dwa rodzaje treści związa- nych z danym podmiotem. Po pierwsze są to treści publikowane w kanałach należących do tego podmiotu, a także reakcje użytkowników względem nich. Po drugie mogą to być wszystkie wzmianki publikowane w serwisach społeczno- ściowych dotyczące danego podmiotu. W przy- padku serwisu Facebook dane pierwszego typu są łatwo dostępne, zaś drugiego znacznie mniej, ze względu na brak możliwości monitorowania treści na profilach prywatnych. Choć narzędzia social monitoring umożliwiają monitorowanie me- diów społecznościowych, to jednak w praktyce pozwalają zbierać tylko część treści publikowa- nych przez użytkowników. Z tego też względu zdecydowano się skupić na pierwszym rodzaju informacji, uwzględniając to co piszą firmy oraz komentarze użytkowników.

9

Kompletność danych i selekcja profili

P

odczas badań potwierdziliśmy obser- wacje: nie wszystkie spółki giełdowe posiadają swój profil w serwisie Face- book, a niektóre posiadają takich profili wiele.

Mogą być one związane z poszczególnymi mar- kami należącymi do spółki, bądź też być profila- mi należącymi do spółek zależnych. Dlatego też w niniejszym projekcie jako profile należące do danej spółki zdefiniowaliśmy wszystkie te, które dotyczą danej spółki, jednej z jej spółek zależ- nych lub jednej z marek należących do spółki lub jej spółek składowych.

Łącznie przeanalizowaliśmy dane dla 462 spółek notowanych na GPW przypisanych do 83 branż w 8 sektorach. Rozkład spółek w po- szczególnych sektorach oraz liczbę spółek, któ- re nie są obecne na Facebooku przedstawiliśmy na infografice 1. Udział spółek z danego sekto- ra prowadzących przynajmniej jeden profil jest różny w poszczególnych branżach – najniższy w tych, w których notowano najwięcej spółek.

Największa grupa spółek prowadzi 1-2 profile facebookowe. Drugą grupą pod wzglę- dem liczebności są spółki nieposiadają- ce żadnego profilu na analizowanym portalu społecznościowym.

Przy wykorzystaniu specjalnych narzędzi pobraliśmy z API serwisu Facebook dane trzech typów: statystyki dzienne profili, dane dotyczące publikowanych postów, dane dotyczące publiko- wanych komentarzy.

Zgromadzone dane obejmowały okres 01.2018-12.2019 r. Proces zbierania danych prze- biegał w dwóch etapach. Na początku 2019 r. po- braliśmy dane historyczne za cały 2018 r., a dal- sze dane gromadziliśmy na bieżąco w ramach

procesu comiesięcznej aktualizacji danych. Ze względu na rozpoczęcie prac nad ratingiem, przyjęliśmy że wykorzystane zostaną dane za okres 01.2018-04.2019 r. włącznie. Dane zbie- rane w kolejnych okresach wykorzystaliśmy do badania stabilności ratingu w czasie.

Rodzaje zgromadzonych danych:

1. Statystyki dzienne profili, które agregują wszystkie aktywności na profilach do po- ziomu poszczególnych dni. Zawierają na- stępujące informacje: liczba postów do- danych na profilu, zaangażowanie fanów w formie wskaźników Interactivity Index i People Talking About That, liczba reakcji zebranych przez posty opublikowane na profilu (komentarze, udostępnienia oraz reakcje typu: „Lubię to”, „Super”, „Ha-ha”,

„Smutek”, „Złość” i „Zaskoczenie”), dane o liczbie reakcji i komentarzy dodanych przez stronę wraz z informacją o respon- sywności danego profilu względem ak- tywności użytkowników. Dodatkowo dane dzienne zawierają również informacje o liczbie fanów profilu wraz z ich dzienną zmianą.

2. Dane dotyczące publikowanych postów, które zawierają szczegółowe informacje o postach opublikowanych na rozpatrywa- nych profilach. Podstawowego podziału ja- kościowego można dokonać ze względu na autora posta: na posty publikowane przez profile, na których się znalazły oraz posty publikowane przez użytkowników. Dane w tym przypadku zawierały następujące informacje: data i godzina publikacji tre- ści, typ posta (materiał wideo, zdjęcie lub

10

Kompletność danych i selekcja profili

↘ Infografika 1. Analizowane spółki i ich aktywność na Facebooku

sektorów

8

branże

83

spółki

462

Finanse 32

Produkcja przemysłowa

i budowlano-montażowa 38

Paliwa i energia 137

Ochrona zdrowia 139

Technologie 122

Chemia i surowce 310

Handel i usługi 62

Dobra konsumpcyjne 115

Sektor Udział spółek prowadzących

profil na Facebooku Liczba profili

44 69

48 60

10 54

4 47

21 23

8 15

6 32

6 15

Spółki bez profili na FB

Spółki z przynajmniej 1 profilem na FB Źródło: opracowanie własne PIE.

11

Kompletność danych i selekcja profili

tekst), treść tekstowa, liczba zebranych reakcji (komentarze, udostępnienia oraz reakcje typu: „Lubię to”, „Super”, „Ha ha”,

„Smutek”, „Złość” i „Zaskoczenie”), zaan- gażowanie w formie wskaźnika Interactivity Index oraz link URL do posta. Dodatkowo, jeśli był to wpis użytkownika, została rów- nież zawarta informacja czy post ten uzy- skał odpowiedź administratora strony.

3. Dane dotyczące publikowanych ko- mentarzy zawierają szczegółowe infor- macje o komentarzach do postów, które

opublikowano na rozpatrywanych profi- lach. Podobnie jak w przypadku postów, podstawowego podziału jakościowego komentarzy można dokonać ze względu na autora: na komentarze opublikowane przez właścicieli profili, na których się zna- lazły oraz komentarze publikowane przez użytkowników. Dane dotyczące komenta- rzy zawierają następujące informacje: data i godzina publikacji komentarza, treść ko- mentarza, link URL oraz nazwa profilu, na którym opublikowano komentarz.

12

Wstępna eksploracja danych

P

rzed przystąpieniem do dalszych prac wykonaliśmy wstępną analizę eksplo- racyjną. Jej znaczenie jest związane z ustaleniem specyfiki danych, w tym w szcze- gólności takich, które są istotne na etapie mo- delowania. Przedstawiamy jedynie kluczowe ustalenia mające konsekwencje dla dalszych prac i podejmowanych decyzji.

Pierwszym wnioskiem, na który należy zwrócić uwagę, jest bardzo nierównomierny roz- kład aktywności między profilami należącymi do poszczególnych spółek. Na wykresie 1 przedsta- wiliśmy rozkład liczby postów opublikowanych w okresie nieco ponad roku przez wszystkie profile FB przypisane do spółek z głównego

rynku GPW, uszeregowane od spółek, które pu- blikowały najwięcej do spółek, które nie publi- kowały wcale. Każdy słupek obrazuje łączną liczbę postów opublikowaną przez daną spółkę.

Poziomą linią zaznaczyliśmy średni wynoszącą 1053 postów. Wyraźnie widać, że kilka spółek publikuje dużo więcej postów niż reszta. Najwię- cej postów w rozpatrywanym okresie – 159 823 – opublikowały profile należące do spółki Wirtu- alna Polska Holding Spółka Akcyjna (WPL). Tyl- ko 40 spółek (8,66 proc. wszystkich) opubliko- wało więcej postów niż wynosi średnia, zaś aż 170 spółek (36,8 proc.) nie opublikowało żadnego posta (uwzględniliśmy tu spółki, które nie pro- wadzą żadnego profilu na Facebooku).

↘ Wykres 1. Rozkład liczby postów opublikowanych przez wszystkie profile na Facebooku przypisane do spółek z głównego parkietu GPW, uszeregowane od spółek, które publikowały najwięcej do spółek, które nie publikowały wcale

1 10 100 1 000 10 000 100 000 1 000 000

Liczba postów w skali logarytmicznej

Spółka Źródło: opracowanie własne PIE.

13

Wstępna eksploracja danych

↘ Infografika 2. Rozkład aktywności internautów na posty firm ma Facebooku według miesięcy i dni tygodnia (w mln)

59,7

0,5 14,8

9,7

Rozkład liczby postów i udostępnień w kolejnych miesiącach i według dni tygodnia (w tys.)

0 10 20 30 40

02.1901.1912.1811.1810.1809.1808.1807.1806.1805.1804.1803.1802.1801.18

0 20 40 60 80

Niedziela

Sobota

Piątek

Czwartek

Środa

Wtorek

Poniedziałek

Udostępnienia Posty

Rozkład liczby reakcji i komentarzy w kolejnych miesiącach i według dni tygodnia (w tys.)

0 1 000 2 000 3 000 4 000 5 000 6 000

02.1901.1912.1811.1810.1809.1808.1807.1806.1805.1804.1803.1802.1801.18

0 1 000 2 000 3 000 4 000 5 000 6 000 7 000 8 000

Niedziela

Sobota

Piątek

Czwartek

Środa

Wtorek

Poniedziałek

Reakcje Komentarze

Posty Udostępnienia

Komentarze Reakcje

Źródło: opracowanie własne PIE.

14

Wstępna eksploracja danych

Analogiczną analizę wykonaliśmy z podzia- łem na poszczególne profile. Rozkład nadal jest bardzo nierównomierny, ale w wyraźnie mniej- szym stopniu niż to miało miejsce w przypadku całych spółek. Najwięcej postów w rozpatrywa- nym okresie (21 800) było publikowanych na pro- filu Wirtualnej Polski. Średnia dla całej populacji wynosi 514. Powyżej średniej publikowało 130 profili, co daje 13,84 proc. wszystkich rozpatry- wanych profili, a żadnych postów nie opubliko- wało 104 profili (11,08 proc. wszystkich profili).

Rozkład sumy liczby postów oraz udo- stępnień w kolejnych miesiącach zmienia się w niewielkim stopniu, co jest jednym z czynni- ków wskazujących na stabilność danych w cza- sie. Ma to znaczenie w przypadku budowania modeli predykcyjnych na podstawie danych historycznych. Najniższe wartości obie cechy przyjmują w lutym 2018 r. i 2019 r. (infografika 2).

Należy przypuszczać, że wynika to z długości tego miesiąca.

Po rozbiciu danych na poszczególne dni tygodnia wyraźnie widać, że zarówno łączna liczba postów publikowanych przez wszystkie profile jak i udostępnień użytkowników Facebo- oka maleje w dni wolne od pracy (weekendowe).

Dla liczby postów można także zaobserwować lekką tendencję wzrostową w dni robocze.

Rozbicie danych na poszczególne dni ty- godnia pozwala zauważyć dość nieregularny podział reakcji z dwoma szczytami: w czwartek i niedzielę.

Nieco inną charakterystykę przyjmuje rozkład sumy reakcji oraz komentarzy w po- szczególnych miesiącach. Załamanie pośrod- ku wykresu prawdopodobnie można tłuma- czyć sezonowością aktywności użytkowników Facebooka.

↘ Wykres 2. Rozkład liczby postów według poszczególnych rodzajów postów możliwych do opublikowania na Facebooku

0 50 000 100 000 150 000 200 000 250 000 300 000 350 000

Wydarzenie Status

Wideo Zdjęcie

Link 321 009

129 651

46 798

5 532 1

Źródło: opracowanie własne PIE.

Dla 462 badanych spółek zidentyfikowa- no 956 profili na Facebooku. W analizowanym

okresie 839 z nich (88 proc.) opublikowało przy- najmniej 1 post na Facebooku. Łącznie profile te

15

Wstępna eksploracja danych

opublikowały 499 050 unikalnych postów pięciu typów: wydarzenie, link, zdjęcie, status, wideo.

Na wykresie 2 przedstawiliśmy rozkład liczby po- stów poszczególnych rodzajów. Wśród wszyst- kich opublikowanych przez profile spółek noto- wanych na głównym parkiecie GPW, najwięcej postów zawierało linki (321 tys.), druga w kolej- ności była liczba zdjęć (130 tys.).

Oprócz samych postów elementami treści dostarczającymi istotnych danych są reakcje względem tych postów. Użytkownicy mogą je ko- mentować, zostawiać tzw. reakcje, tj. polubienia i inne oceny jak „Super”, „Ha ha”, „Przykro mi”.

Mogą również udostępniać dalej posty publiko- wane przez innych. Średnią liczbę aktywności użytkowników, które zostały pozostawione pod określonymi typami postów opublikowanych na profilach spółek, prezentujemy na infografice 3.

W przypadku wszystkich rodzajów postów naj- częstszym typem aktywności były reakcje, a dru- gim w kolejności – komentarze. Warto zwrócić uwagę na niewielką różnicę między średnią licz- bą komentarzy i udostępnień w przypadku tre- ści wideo, które były najchętniej udostępnianymi treściami przez użytkowników.

Analiza liczby komentarzy w zależności od typu posta, wykazała że najwyższą średnią licz- bę komentarzy uzyskały posty zawierające treści wideo (średnio ponad 48 komentarzy). Drugimi najchętniej komentowanymi treściami były sta- tusy (średnio 37), na trzecim miejscu znalazły się zdjęcia (29), a na czwartym posty zawierające linki (ponad 26).

Jedną z istotnych statystyk postów pu- blikowanych w mediach społecznościowych jest liczba ich udostępnień. Ma ona duży wpływ na to, jak wiele osób zetknie się z daną treścią w wyniku polecenia przez znajomych (tzw. zasięg wirusowy). Najwięcej wszystkich udostępnień

wygenerowały posty zawierające linki – niemal 6 mln pojedynczych udostępnień. Na kolejnych miejscach w zestawieniu znalazły się posty typu wideo (ponad 2 mln), posty ze zdjęciami (1,77 mln) oraz statusy (prawie 15 tys.).

Najwyższą średnią liczbę udostępnień uzy- skały posty typu wideo (44 udostępnienia na je- den post), drugie w kolejności były posty z lin- kami (18), trzecie zdjęcia (14), a czwarte statusy (2,7).

Oprócz komentarzy i dalszego udostęp- niania postów, użytkownicy Facebooka mogą reagować na oglądaną treść również w inny spo- sób. Oprócz od dawna dostępnej możliwości po- lubienia danego posta lub komentarza, dostęp- nych jest również pięć innych reakcji: „Ha ha”,

„Przykro mi”, „Super”, „Wow”, „Wrr”.

Najwięcej wszystkich reakcji wygenerowa- ły posty zawierające linki – ponad 33 mln. Dalej w kolejności były zdjęcia (prawie 19 mln reakcji), wideo (7,4 mln) i statusy (246 tys.). Średnia liczba wszystkich reakcji, które zebrały posty danego typu, jest dość zróżnicowana. Najwięcej reakcji na jeden post zebrały treści typu wideo – śred- nio 158,5 reakcji. Drugie w kolejności były zdję- cia (145,4), trzecie – posty zawierające linki do zewnętrznych stron (103,4), a czwarte – kolejne posty typu status (44,5).

W przypadku wszystkich rodzajów postów najczęstszym typem reakcji były polubienia – najwięcej z nich otrzymywały zdjęcia oraz treści wideo. W przypadku zdjęć, statusów oraz treści wideo drugą najczęściej pojawiającą się reakcją była „Super”. Z kolei w przypadku postów zawie- rających link do zewnętrznego źródła, kolejnymi najczęstszymi reakcjami były „Wrr” (symbolizują- ca złość) oraz „Ha Ha”. Posty z linkami zawiera- ły również średnio więcej reakcji – „Przykro mi”

oraz „Wow” – niż pozostałe rodzajów postów.

16

Wstępna eksploracja danych

↘ Infografika 3. Rodzaje postów zamieszczanych przez firmy na Facebooku i reakcje internautów

321

5 130

47 Rodzaj postów na FB i ich liczba (w tys.)

Status Wideo

Zdjęcie Link

103 26

18

145 29

14

159 48

44

44 37 3 Średnia liczba aktywności użytkowników w odpowiedzi na różne rodzaje postów

Średnia liczba reakcji internautów na różne typy postów

Reakcje Komentarze Udostępnienia

62,92 7,73 11,06 3,38 12,21 6,92 120,63 16,35 4,52 2,31 0,91 0,91 117,17 21,00 12,09 3,09 2,75 2,72 36,27 4,39 2,03 0,49 1,59 0,53

Lubię to! Super Ha ha Wow Wrr Przykro mi

Uwaga: jedna z firm zamieściła również post typu wydarzenie, nieujęty w infografice.

Źródło: opracowanie własne PIE.

17

Selekcja i ocena wydźwięku treści

Z

arówno w przypadku rynku głównego GPW, jak i NewConnect, ocena wy- dźwięku rozpoczynała się od selekcji treści istotnych. W następnych krokach pro- wadziliśmy agregację i standaryzację zmien- nych uzyskanych w wyniku oceny wydźwięku, jako element inżynierii cech, które w dalszej kolejności wykorzystywaliśmy do budowania modelu.

Jak wspomnieliśmy wcześniej, nie wszyst- kie treści publikowane w mediach społeczno- ściowych na profilach spółek oraz w komen- tarzach do nich dotyczą bezpośrednio tych podmiotów, ich produktów bądź usług. Dlatego też, aby wnioskować o kondycji danego podmio- tu, istotne jest wyselekcjonowanie tych treści z mediów społecznościowych, które faktycznie się do danego podmiotu odnoszą.

Za istotne uznaliśmy wszystkie posty, które zawierały nazwę spółki, jej profilu Facebook lub przynajmniej jednej z marek do niej należących, a także komentarze do nich. Taka procedura wy- boru została zastosowana do spółek notowa- nych na rynku głównym GPW i NewConnect oraz ich spółek zależnych. Udział postów istotnych we wszystkich postach opublikowanych przez profile na poszczególnych rynkach wynosił pra- wie 20 proc.

Przed przystąpieniem do analizy wydźwię- ku sprawdzaliśmy rozkład języków w jakich napi- sano posty. Zdecydowaną większość (88 proc.) stanowiły treści w języku polskim, nieco ponad 6 proc. w języku angielskim, a resztę – treści w innych językach.

Podobnie przedstawia się rozkład dla istotnych treści związanych ze spółkami noto- wanymi na NewConnect, choć w ich przypadku praktycznie nie ma innych języków poza polskim, stanowiącym ponad 91 proc. oraz angielskim

(ponad 8 proc.). Na podstawie przedstawionych wyników podjęliśmy decyzję o analizowaniu wy- dźwięku wypowiedzi nie tylko dla języka polskie- go, ale również dla angielskiego.

Każdy z istotnych postów oraz komentarzy do tych postów poddaliśmy analizie za pomocą modelu do wykrywania języka danego tekstu.

Następnie za pomocą jednego z dwóch modeli klasyfikacyjnych (osobno dla polskiego i angiel- skiego) przydzielaliśmy tekst do jednej z trzech klas wydźwięku (sentymentu):

→

neutralny – post niezawierający jedno- znacznie pozytywnego lub negatywnego wydźwięku lub zawierający zarówno pozy- tywny, jak i negatywny wydźwięk o podob- nym natężeniu;

→

pozytywny – post zawierający jednoznacz- nie pozytywny wydźwięk;

→

negatywny – post zawierający jednoznacz- nie negatywny wydźwięk.

Proces działania modelu do oceny wy- dźwięku rozpoczęliśmy od wstępnego przetwo- rzenia (preprocessingu) analizowanego tekstu.

W szczególności przeprowadzaliśmy tokeniza- cję, która polegała na podziale tekstu na słowa i inne znaczące symbole, np. znaki przestanko- we i emoji. Następnie przeprocesowany tekst wykorzystywaliśmy do stworzenia reprezentacji wektorowej. Teksty o podobnym znaczeniu po- winny mieć podobną reprezentację wektorową.

Algorytmy tworzące te wektory, czyli tzw. embed- dingi, są tworzone na podstawie baz tekstowych, by mogły nauczyć się, które słowa, wyrażenia czy zdania mają podobne znaczenie. Do analizowania tekstów z mediów społecznościowych utworzyli- śmy nową bazę wykorzystującą algorytmy embe- dingowe typu fastText stworzone przez Facebook AI Research (FAIR) (https://fasttext.cc/, 2020) i dostosowane do specyfiki tekstów z mediów

18

Selekcja i ocena wydźwięku treści

społecznościowych przy wykorzystaniu ogrom- nych zbiorów danych z Facebooka i Instagrama.

Jest to o tyle istotne, że modele do tworzenia em- bedingów są zazwyczaj uczone na danych z tek- stów formalnych, albo z Wikipedii – czyli takich, które nie przypominają tekstów pisanych w social mediach.

W dalszej kolejności otrzymane wektory wykorzystaliśmy jako warstwę wejściową do sieci neuronowej. W zależności od języka użyte sieci mają różne architektury:

→

dla języka polskiego użyliśmy BiGRU (Ga- ted Recurrent Unit) (Cho i in., 2014);

→

dla języka angielskiego użyliśmy modelu opartego na sieci typu MLP (Mulitlayer Per- ceptron), którego cechą wejściową jest suma wektorów dla słów w zdaniu).

Na wyjściu modelu wygenerowaliśmy prawdopodobieństwo przynależności do każdej z grup sentymentu. Wybieraliśmy najbardziej prawdopodobną grupę i na tej podstawie okre- ślaliśmy sentyment.

19

Agregacja danych i inżynieria cech

K

olejnym krokiem prac było stwo- rzenie cech opisujących spółki na podstawie danych z mediów spo- łecznościowych. Prezentowane wyżej dane nie- przetworzone zawierają statystyki na poziomie poszczególnych jednostek treści – postów i ko- mentarzy. Dla jednych i drugich mamy również statystyki reakcji. Treści te są także powiązane z profilami, na których były publikowane. Tym sa- mym dla każdej spółki, prowadzącej swoje profi- le na Facebooku, mamy przynajmniej jeden profil oraz różnego rodzaju treści na nim publikowane i ich statystyki. Docelowo podejmowane działa- nia służyły zdefiniowaniu zmiennych, które złożą się na opis spółki.

Ze względu na znaczące zróżnicowanie po- szczególnych spółek pod względem aktywności w mediach społecznościowych, konieczne jest skonstruowanie takich miar, które będą miały charakter relatywny. Ponadto powinny w spój- ny sposób dobrze opisywać zarówno podmioty, które publikują bardzo wiele (np. spółki medial- ne), jak i takie, których aktywność w mediach społecznościowych jest niewielka. Stąd też zmienne otrzymane w wyniku procesu agregacji opisanego powyżej poddaliśmy następującym przekształceniom:

→

wyliczenie udziału poszczególnych reakcji użytkowników pod postami we wszystkich reakcjach;

→

standaryzacja zmiennych w dwóch warian- tach: względem średniej kwartalnej oraz względem średniej rocznej.

Wykorzystanie zmiennych, które pokazują udziały konkretnych wartości, np. procent reak- cji „super” na posty publikowane przez spółkę, pozwala na porównywanie spółek o bardzo róż- nej liczbie aktywności. Gdybyśmy posługiwali się

bezwzględną liczbą reakcji tego typu, to spółki, które publikują więcej lub mają relatywnie wię- cej fanów byłyby znacząco uprzywilejowane. Po- dobnie jest ze standaryzacją. Zamiast koncen- tracji na bezwzględnych wartościach, używamy zmiennych, które pokazują odchylenia od warto- ści przeciętnych dla danej spółki.

Ostatnim elementem przygotowania cech (zmiennych) opartych na danych z mediów spo- łecznościowych było ustalenie właściwych skal czasowych. Dane dzienne nie nadają się bo- wiem do przewidywania zjawisk, które zachodzą w dłuższych okresach. Modelowanie długookre- sowego zwrotu z inwestycji za pomocą danych z mediów społecznościowych wymaga więc uwzględnienia również danych, które są zagre- gowane w czasie i przyjmują wartości opisują- ce co się działo w mediach społecznościowych w dłuższym okresie.

W projekcie uwzględniliśmy i przete- stowaliśmy różne skale czasowe, agregując dzienne dane z mediów społecznościowych do okresów liczących od kilku dni do trzech miesięcy. W ostatecznych wersjach modeli wy- korzystaliśmy zmienne z okresów 21- i 28-dnio- wych oraz 3-miesięcznych, ze względu na ich wartość predykcyjną i większą stabilność. Do- datkową zaletą przyjęcia takich okresów było rzadsze występowanie zmiennych przyjmu- jących wartości zerowe, co stanowiło szcze- gólny problem dla firm mniej aktywnych na Facebooku.

Agregację wartości w czasie przeprowadzi- liśmy na kilka różnych sposobów. Dla każdego z przyjętych okresów wyliczaliśmy wartości mi- nimalne, maksymalne oraz różne rodzaje śred- nich (między innymi w celu uwzględnienia zależ- ności krzywoliniowych).

20

Modelowanie

C

elem podjęcia prac badawczych było opracowanie algorytmu, który dla określonego z góry przedziału czasu (np. miesiąca) przypisze każdemu z emitentów akcji na polskiej Giełdzie Papierów Wartościo- wych (dalej używamy określenia „spółka”) ozna- czenie, korespondujące ze skalą ocen ryzyka kredytowego, np. A, B i C. Algorytmiczny sposób przypisania spółek do tych rozłącznych i wyczer- pujących podzbiorów (dalej: klasyfikacja, rating) powinien spełniać następujące warunki:

→

oznaczenia są silnie powiązane z wynikami giełdowymi badanych emitentów, spółki z oznaczeniem A osiągają wyraźnie lepsze wyniki giełdowe niż spółki z grupy B, a te z kolei – istotnie wyższe stopy zwrotu niż spółki z grupy C;

→

przy opracowywaniu metody klasyfikacji mogą być wykorzystywane informacje fi- nansowe, np. o kursach akcji, ale ostateczna wersja algorytmu ma korzystać tylko z infor- macji niezwiązanych z wynikami giełdowymi;

w opracowanej metodzie korzystaliśmy wy- łącznie ze wskaźników aktywności na stro- nach sieci społecznościowych (konkretnie:

na stronach portalu Facebook), które repre- zentują spółkę lub marki do niej należące;

→

rating spółek ma charakter prospektywny:

korzysta z danych na temat przeszłości, ale wykazuje się trafnością w przewidywaniu wyników giełdowych notowanych obecnie.

Założenia przyjęte podczas tworzenia ratingu spółek giełdowych na podstawie ich działalności w mediach społecznościowych są odpowiedzią na potrzebę stworzenia metody oceny atrakcyjności inwestycyjnej nadającej się do szerszego zastosowania. Metoda ta po- winna być oparta na powszechnie dostępnych danych, tak aby możliwe było jej zastosowanie

również do podmiotów, które nie są notowane na giełdzie. Powinna być także powiązana z in- formacjami, które są użyteczne z punktu widze- nia potencjalnego inwestora. Stąd w jej stworze- niu zdecydowaliśmy się na powiązanie ratingu z notowaniami spółek na giełdzie. Zrealizowanie tych założeń wymaga zbudowania modelu pre- dykcyjnego, który będzie przewidywać stopę zwrotu dla danej spółki na podstawie danych z mediów społecznościowych.

W modelowaniu wykorzystaliśmy różne po- dejścia, m. in.:

→

modele predykcyjne,

→

podejście oparte na wartościach rezy- dualnych,

→

eksperckie modele ratingu,

→

modele klasyfikacyjne.

Ostatecznie okazało się, że metodą, któ- ra wyróżniała się największą trafnością prze- widywania wyników giełdowych jest podejście oparte na modelach klasyfikacyjnych, dlatego też w tym opracowaniu opisaliśmy jedynie tę metodę oraz uzyskane na jej podstawie wyniki.

Budowa dowolnego modelu predykcyjnego wymaga określenia i wyliczenia wartości jednej zmiennej zależnej (inaczej: zmiennej wyjaśnia- nej) oraz zestawu zmiennych niezależnych (tzw.

predyktorów). Poniżej opisaliśmy zmienne, które zostały włączone do modelu w charakterze jed- nych i drugich.

Zmienną wyjaśnianą w modelu jest mie- sięczna stopa zwrotu z inwestycji w akcje. Wy- rażona jest wartością procentową, opisaną wzorem:

ݏݐ݋݌ܽݖݓݎ݋ݐݑ ൌ

ൌ ͳͲͲΨ ڄ൬݇ݑݎݏݖܽ݉݇݊݅¸ܿ݅ܽ

݇ݑݎݏ݋ݐݓܽݎܿ݅ܽ െ ͳ൰

21

Modelowanie

Wartość stopy zwrotu można wyliczyć dla dowolnego okresu. Przy wyliczaniu dziennej stopy zwrotu uwzględnia się kursy otwarcia i zamknięcia z tego samego dnia. W przypadku tygodniowej lub miesięcznej stopy zwrotu, kurs otwarcia rozumie- my jako kurs z pierwszego dnia notowań w tym okresie (zwykle pierwszy dzień roboczy), a kurs zamknięcia – z ostatniego dnia notowań.

W niniejszej analizie podstawą wyliczenia wartości zmiennej zależnej jest miesięczna stopa zwrotu z inwestycji w akcje spółki. Wyliczaliśmy ją dla każdego dnia oddzielnie, posługując się infor- macjami o kursie zamknięcia w danym dniu oraz o kursie otwarcia w dniu odległym o 21 dni robo- czych (średnia liczba dni roboczych w miesiącu).

Przewidywanie absolutnej wartości zwrotu z inwestycji nie jest jednak zasadne. Inwestycja w akcje spółki, która notuje miesięczną stopę zwrotu np. rzędu 1 proc., nie zawsze jest tak samo korzystna. W okresie prosperity, gdy inne spółki odnotowują dużo większe wzrosty, zakup akcji takiej spółki byłby nieoptymalną alokacją zasobów. Inwestując te same środki w spółki szybciej rosnące, można by osiągnąć większy zysk. W warunkach dekoniunktury, gdy indeks całej giełdy jest ujemny, może to być jednak optymalny wybór. W takich warunkach nawet inwestycja w akcje spółki notującej niewielkie spadki (niższe niż inni emitenci) mogłaby być stosunkowo korzystna.

↘ Wykres 3. Przeciętna wartość miesięcznej stopy zwrotu dla spółek z głównego parkietu GPW uwzględnionych w modelowaniu

-8 -6 -4 -2 0 2 4 6

04.2019 02.2019

12.2018 10.2018

08.2018 06.2018

04.2018

Źródło: opracowanie własne PIE.

Dobrze obrazuje to wykres 3, na którym pokazujemy zmiany przeciętnej stopy zwrotu dla analizowanych spółek notowanych na głównym rynku GPW. Gdyby rating przewidywał absolutną stopę zwrotu, proporcje spółek z oznaczeniami

A, B i C byłyby bardzo mocno uzależnione od ogólnej kondycji gospodarki. W okresach wzro- stu większość spółek miałaby rating A, w okre- sach spadku – najczęściej kategorię C. Natu- ralne jest unikanie takich zdarzeń. Poprawnie

22

Modelowanie

stworzony rating powinien odzwierciedlać za- sadność inwestycji w akcje spółki w danym cza- sie i przy zastanej kondycji gospodarki i giełdy.

Dlatego za zmienną przewidywaną obrano nie absolutną stopę zwrotu, lecz relatywną stopę zwrotu, wyliczoną wg wzoru:

relatywna miesięczna stopa zwrotu = mies.st.zwrotu – mediana mies.st.zwrotu dla danego dnia W ten sposób opisana wcześniej spółka

z miesięczną stopą zwrotu równą 1 proc., w czasie w którym giełda rośnie przeciętnie w tempie 3 proc.

na miesiąc, będzie miała relatywną miesięczną sto- pę zwrotu równą -2 proc. W okresie, gdy ceny akcji na giełdzie spadają o 3 proc. w okresie miesiąca, spółka ta przy tej samej dynamice wzrostu ma re- latywną miesięczną stopę zwrotu równą +4 proc.

Na potrzeby algorytmów uczenia ma- szynowego wykorzystanych do stworzenia ratingu, relatywną miesięczną stopę zwrotu

przekodowaliśmy na dwie wartości: z relatywną miesięczną stopą zwrotu powyżej i poniżej zera.

Grupy te nazwaliśmy „powyżej mediany rynku”

(spółki osiągające przeciętnie lepsze wyniki niż inni emitenci) i „poniżej mediany rynku” (prze- ciętnie gorsze wyniki). Ze względu na to, że re- latywna miesięczna stopa zwrotu równa 0 jest równoważna miesięcznej stopie zwrotu na po- ziomie mediany, grupy te były bardzo zbliżone pod względem liczebności (49,9 proc. powyżej i 50,1 proc. poniżej mediany) (wykres 4).

↘ Wykres 4. Rozkład wartości relatywnej miesięcznej stopy zwrotu

0 1 2 3 4 5

100 90 80 70 60 50 40 30 20 10 0 -10 -20 -30 -40 -50 -60 -70 -80 -90

0,1 0,1 0,20,30,6 1,3

2,7 4,6 4,6

2,5

1,2

0,60,3 0,20,10,1 0,1

Ralatywna stopa zwrotu

Uwaga: kolorem czerwonym zaznaczyliśmy wartości poniżej mediany rynku, zielonym – powyżej mediany rynku.

Źródło: opracowanie własne PIE.

Jako zmienne niezależne (predykto- ry) wykorzystywaliśmy zmienne z  mediów

społecznościowych, których konstrukcję opisa- liśmy wcześniej.

23

Model klasyfikacyjny

W

 podejściu opartym na klasyfikacji skupiliśmy się na budowie mode- lu przewidującego czy dana spół- ka w kolejnym okresie będzie dawała ponad- przeciętne zwroty z inwestycji. Jako zmienną zależną uwzględniliśmy binarną zmienną okre- ślająca czy miesięczna stopa zwrotu dla danej spółki była wyższa od przeciętnej, niższa bądź równa przeciętnej.

Do przewidywania wartości zmiennej za- leżnej wykorzystaliśmy tzw. lasy losowe (random forest). Ten model uczenia maszynowego nale- ży do szerokiej klasy modeli wykorzystujących drzewa decyzyjne. Drzewa te powstają w wyni- ku sukcesywnych podziałów zbioru, wyznaczo- nych przez wartości zmiennych niezależnych, aż do uzyskania możliwie jak najwyższej zgodności między przypisaniem wskazanym przez drzewo decyzyjne (predykcją), a wartościami zmiennej zależnej. Lasy losowe od innych modeli wyko- rzystujących drzewa decyzyjne odróżnia fakt wy- konywania dużej liczby (zwykle kilkuset) drzew – każdego na podstawie niepełnych danych.

Każde drzewo powstaje na podstawie losowo wybranej części przypadków, a kolejne podzia- ły wykorzystują tylko niewielką część obecnych w zbiorze zmiennych. Przewidywanie jest wyni- kiem agregacji decyzji podjętych przez wszystkie drzewa w „lesie”. Decyzje o przynależności kon- kretnej obserwacji do grupy zapadają w wyniku głosowania większościowego, każde drzewo ma jeden głos. Zaletami lasów losowych, mimo ich dużej złożoności obliczeniowej, są odporność na losowe zakłócenia w danych oraz małe ryzyko przetrenowania modelu (overfitting), tj. nadmier- nego dostosowania go do danych treningowych, kosztem jakości predykcji w zbiorze testowym.

Uwzględnienie w modelu wszystkich 706 potencjalnych predyktorów obecnych w zbiorze

danych rodzi dwie trudności. Przede wszystkim wyliczanie modeli o tej skali trwa bardzo długo.

Ponadto zalecane jest włączanie do lasów loso- wych mniejszej liczby zmiennych uprzednio wy- selekcjonowanych. Dlatego model uwzględnia- jący wszystkie predyktory (tzw. model nasycony, saturated model) wyliczyliśmy tylko raz, a przy wy- liczaniu kolejnych modeli posługiwaliśmy się już skróconą listą 50 predyktorów, uzyskaną z mo- delu nasyconego. Do selekcji tych 50 predykto- rów posłużyliśmy się miarą ważności zmiennych w modelu Mean Decrease in Gini. Miara ta, zwana też „ważnością Gini” (Gini importance), określa skuteczność zmiennej w podwyższaniu trafności predykcji we wszystkich drzewach tworzących las. Uwzględniona w ostatecznym modelu lista predyktorów powstała przez wybór 50 predyk- torów z modelu nasyconego o najwyższej waż- ności Gini w tym modelu.

Działanie modelu uczenia maszynowego jest determinowane przez tzw. „hiperparametry”.

Dobór tych parametrów jest najtrudniejszym zadaniem przy konstruowaniu modelu. Osta- tecznego wyboru dokonaliśmy wykonując wiele konkurencyjnych modeli i porównując osiągane przez nie wartości wskaźnika trafności przewidy- wania (accuracy). Zarazem jednak godziliśmy się na wartości wskaźników, które nieznacznie obni- żały trafność predykcji, ale w zamian oferowały model przejrzystszy, oszczędniejszy, niebędący wynikiem przetrenowania.

W przypadku naszego modelu ostatecznie wybrane hiperparametry były następujące:

→

liczba drzew w „lesie” – zwykle im jest większa, tym wyższa trafność przewidy- wania, jednak od pewnej liczby drzew zysk jest niewielki lub żaden, kompromis między trafnością a czasem obliczeń osiągnęliśmy przy liczbie drzew równej 500;

24

Model klasyfikacyjny

→

udział przypadków losowo usuwanych ze zbioru przy tworzeniu każdego kolejnego drzewa – zdecydowaliśmy się tu na po- wszechnie przyjęty poziom parametru: 1/e

~ 36,8 proc.;

→

liczba zmiennych branych pod uwagę przy kolejnych podziałach zbioru – wraz z jej wzrostem, rośnie trafność przewidywania, dlatego zdecydowaliśmy się na uwzględ- nienie przy każdym podziale wszystkich 50 predyktorów włączonych do modelu;

→

maksymalna liczba końcowych węzłów drzewa (nodes) oraz minimalna liczebność grupy wyznaczonej przez końcowy węzeł, zwany też „liściem” – zmniejszanie pierw- szego lub zwiększanie drugiego z tych pa- rametrów jest równoznaczne z „przycię- ciem” gałęzi drzewa (pruning), ogranicza to wprawdzie trafność modelu, ale poprawia jego interpretowalność i pozwala wyciągać bardziej ogólne wnioski, dlatego do pew- nego stopnia jest konieczne; zadowalają- ce efekty uzyskaliśmy ograniczając liczeb- ność końcowego węzła do 200 obserwacji.

Ostateczny model random forest, wyliczo- ny z zastosowaniem tych wartości parametrów, osiągnął trafność predykcji na grupie testowej (out-of-bag accuracy) równą 83,3 proc. Oznacza to, że składające się na las drzewa decyzyjne, oparte na części zbioru obejmującej losowo wybrane 63 proc. obserwacji, zastosowane do przewidywania zmiennej zależnej dla pozosta- łych obserwacji, myliły się tylko w co szóstym przypadku (out-of-bag error rate = 16,7 proc.).

W zastosowaniu do całego zbioru, model był jeszcze skuteczniejszy: trafność przewidywania wynosiła aż 88,3 proc.

Kluczowymi zmiennymi dotyczącymi ak- tywności na stronach Facebook spółki i powią- zanych z nią marek, które okazały się niezbędne do przewidzenia wyników giełdowych spółki, są:

→

ogólne natężenie aktywności (wskaźnik INI – ogólnie i w przeliczeniu na post),

→

łączna liczba polubień i reakcji „wow”,

→

liczba postów opublikowanych przez auto- ra strony, szczególnie typu: status, zdjęcie, wideo,

→

zmiana liczby fanów w czasie.

↘ Wykres 5. Macierz błędów predykcji – wszystkie obserwacje Wartości rzeczywiste poniżej

mediany rynku

powyżej mediany rynku

Wartości przewidywane poniżej mediany rynku 31 005

(44,5 proc.)

4 229 (6,1 proc.)

powyżej mediany rynku 3 921

(5,6 proc.)

30 478 (43,8 proc.)

Źródło: opracowanie własne PIE.

25

Model klasyfikacyjny

Model predykcyjny wykazał bardzo wyso- ką, ponad 88-procentową trafność w przewidy- waniu rzeczywistych wartości zmiennej zależnej dla całego zbioru danych. Trafność przewidywa- nia była równie wysoka w przypadku obserwacji lokujących się powyżej i poniżej mediany rynku, co pokazuje macierz błędów (confusion matrix) (wykres 5).

Zadaliśmy sobie pytanie o stabilność modelu w czasie. Jak się okazuje, w kolejnych okresach trafność przewidywania nie zmienia- ła się, pozostając w wąskim przedziale między 86,7 proc. (10.2018 r.) a 90,8 proc. (02.2019 r.).

Niezmienną skuteczność modelu w kolejnych okresach pokazujemy na wykresach 6 i 7.

↘ Wykres 6. Macierz błędów predykcji w kolejnych okresach 3-miesięcznych Wartości rzeczywiste

poniżej mediany rynku

powyżej mediany rynku

poniżej mediany rynku

powyżej mediany rynku

11.2018-01.2019 02.2019-04.2019

Wartości przewidywane poniżej mediany rynku 7 352

(44,3 proc.) 960

(5,8 proc.) 7 686

(45,3 proc.) 900 (5,3 proc.)

powyżej mediany rynku 981

(5,9 proc.)

7 315 (44,0 proc.)

820 (4,8 proc.)

7 579 (44,6 proc.)

05.2018-07.2018 08.2018-10.2018

poniżej mediany rynku 7 780

(44,0 proc.)

1 137 (6,4 proc.)

8 187 (44,6 proc.)

1 232 (6,7 proc.)

powyżej mediany rynku 1 080

(6,1 proc.) 7 666

(43,4 proc.) 1 040

(5,7 proc.) 7 918 (43,1 proc.)

Źródło: opracowanie własne PIE.

26

Model klasyfikacyjny

↘ Wykres 7. Macierz błędów predykcji w kolejnych miesiącach

Wartości rzeczywiste poniżej

me- diany rynku

powy- żej me-

diany rynku

poniżej me- diany rynku

powy- żej me-

diany rynku

poniżej me- diany rynku

powy- żej me-

diany rynku

poniżej me- diany rynku

powy- żej me-

diany rynku

Wartości przewidywane

05.2018 06.2018 07.2018 08.2018

poniżej me- diany rynku

2 499 (44,7 proc.)

351 (6,3 proc.)

2 580 (43,8 proc.)

397 (6,7 proc.)

2 701 (43,7 proc.)

389 (6,3 proc.)

2 737 (44,1 proc.)

424 (6,8 proc.)

powyżej me- diany rynku 301 (5,4 proc.)

2 435 (43,6 proc.)

373 (6,3 proc.)

2 543 (43,2 proc.)

406 (6,6 proc.)

2 688 (43,5 proc.)

382 (6,2 proc.)

2 665 (42,9 proc.)

09.2018 10.2018 11.2018 12.2018

poniżej me- diany rynku

2 564 (45,3 proc.)

323 (5,7 proc.)

2 886 (44,3 proc.)

485 (7,5 proc.)

2 506 (44,4 proc.)

301 (5,3 proc.)

2 104 (43,9 proc.)

296 (6,2 proc.)

powyżej me- diany rynku 278 (4,9 proc.)

2 495 (44,1 proc.)

380 (5,8 proc.)

2 758 (42,4 proc.)

316 (5,6 proc.)

2 519 (44,6 proc.)

299 (6,2 proc.)

2 095 (43,7 proc.

01.2019 02.2019 03.2019 04.2019

poniżej me- diany rynku

2 742 (44,4 proc.)

363 (5,9 proc.)

2 534 (45,2 proc.)

246 (4,4 proc.)

2 616 (44,5 proc.)

324 (5,5 proc.)

2 536 (46,1 proc.)

330 (6,0 proc.)

powyżej me- diany rynku 366 (5,9 proc.)

2 701 (43,8 proc.)

266 (4,8 proc.)

2 554 (45,6 proc.)

324 (5,5 proc.)

2 614 (44,5 proc.)

230 (4,2 proc.)

2 411 (43,8 proc.)

Źródło: opracowanie własne PIE.

27

Konstrukcja ratingu

E

fektem zastosowania modelu predyk- cyjnego jest przypisanie do każdej spółki, w każdym dniu, jednej z dwóch wartości przewidywania: +1 (wyniki spółki po- wyżej mediany rynku) lub -1 (poniżej mediany rynku). Przewidywania te – podobnie jak rze- czywiste wartości zmiennej zależnej i podobnie jak kursy akcji – są nazbyt podatne na losowe wahania i dlatego nie należy na nich opierać algorytmu przypisującego oceny ratingowe.

Rating, który zmieniałby się codziennie, nie byłby bowiem godny zaufania. Nie spełniałby również celów związanych z oceną atrakcyjno- ści inwestycyjnej spółek. Stabilność może mu zapewnić tylko oparcie go na wynikach przewi- dywań z dłuższych okresów. Zbliża to metodę klasyfikacji do rzeczywistych ocen ratingowych wiarygodności kredytowej podmiotów gospo- darczych, które zmieniane są raz na jakiś czas, a nie codziennie.

Zdecydowaliśmy się oprzeć rating spółek z Giełdy Papierów Wartościowych w Warszawie na agregacji pochodzących z modelu przewidy- wań dla okresów miesięcznych. Agregacja prze- widywań dała dla każdej spółki i miesiąca liczbę dni (roboczych, w których prowadzone były no- towania), w których dla tej spółki przewidywano, że jej wyniki będą lokowały się powyżej mediany rynku (dla uproszczenia nazwaliśmy je „dodatni- mi”), i liczbę dni, w których przewidywano wyniki poniżej mediany rynku (przewidywania „ujem- ne”). Proporcje między tymi wartościami wyzna- czają przydział do klasy:

→

ocenę A+ otrzymały spółki, dla których wszystkie lub prawie wszystkie przewidy- wania były dodatnie;

→

ocenę A – spółki, dla których liczba przewi- dywań dodatnich była znacząco wyższa od liczby przewidywań ujemnych;

→

ocenę B – spółki, które miały mniej więcej wyrównane proporcje przewidywań dodat- nich i ujemnych;

→

ocenę C – spółki, które miały wyraźnie większą liczbę przewidywań ujemnych;

→

ocenę C- – spółki, które uzyskały wyłącz- nie lub prawie wyłącznie przewidywania ujemne.

Rating ten zmodyfikowaliśmy również do postaci uproszczonej, z podziałem na trzy gru- py: A, B i C. Grupę A stanowiły połączone grupy A i A+, a grupę C – połączone grupy C i C-. W tej uproszczonej wersji, ocena A jest przynależna spółkom, których przewidywane wyniki loku- ją się konsekwentnie powyżej mediany rynku, a ocena C – spółkom poniżej mediany rynku.

Klasa B zarezerwowana jest dla spółek, których wyniki giełdowe są przeciętne – równie często znajdują się powyżej, jak i poniżej mediany.

W dalszej części publikacji omówimy li- czebności i udziały spółek z poszczególnych klas oraz zweryfikujemy różnice między spółka- mi różnych klas pod względem dynamiki wzrostu lub spadku cen akcji.

Częstości przypisania poszczególnych ocen atrakcyjności inwestycyjnej są różne, ale – jak widać w tabeli 1 – mimo nierównoliczności grup, ich rozkład odznacza się wysoką symetrią:

ocena A+ jest równie częsta jak C-, a ocena A – równie częsta jak C.

Warto podkreślić, że od tego momentu jako jednostki obserwacji przyjmowaliśmy spółkomie- siące i dla nich wyliczaliśmy rating. Stąd łączna liczebność jest niższa niż liczebność zbioru da- nych surowych, pojedynczą obserwację stanowi- ły spółkodni, tj. iloczyn spółka × dzień.

Oprócz ratingu opartego na wartościach przewidywanych, pochodzących z modelu pre- dykcyjnego, na potrzeby wykazania ich trafności

28

Konstrukcja ratingu

wyliczyliśmy też bliźniaczy rating, opierając się na rzeczywistych wynikach giełdowych spółek.

Metoda tworzenia tego ratingu była identycz- na jak w przypadku ratingu opartego na prze- widywaniach, z tą różnicą, że posłużyliśmy się

informacją o rzeczywistej dynamice zmian kur- sów akcji: czy miesięczna stopa zwrotu z inwe- stycji w akcje spółki lokowała się powyżej, czy poniżej mediany miesięcznych stóp zwrotu dla wszystkich spółek.

↘ Tabela 1. Udziały liczebności i częstości przypisania różnych ocen atrakcyjności inwestycyjnej

Ocena (5 klas) N Proc. Ocena (3 klasy) N Proc.

A+ 1 146 31,4

A 1 577 43,2

A 431 11,8

B 438 12,0 B 438 12,0

C 438 12,0

C 1 633 44,8

C- 1 195 32,8

RAZEM 3 648 100 RAZEM 3 648 100

Źródło: opracowanie własne PIE.

Macierz (wykres 8) zawiera prezentację trafności przypisania ocen. Udziały procen- towe znajdujące się na głównej przekątnej oznaczają częstość sytuacji, w których trafnie przewidziano przypisanie do jednej z pięciu klas. Suma tych udziałów, równa 64,3 proc., może być uznana za wskaźnik trafności ratingu.

Szczegółowa analiza macierzy pozwala stwierdzić, że:

→

przynależność do jednej z klas skrajnych jest wykrywana z bardzo wysoką trafno- ścią, niezwykle rzadko zdarzają się sytu- acje, gdy spółka – według rzeczywistych wyników giełdowych – powinna być zali- czona do klasy A+ lub C-, ale przewidywa- nie wskazuje inną klasę;

→

przynależność do klasy środkowej (B), mimo jej stosunkowo niskiej liczebności, jest dość trafnie wykrywana; wśród spółek

o rzeczywistej wartości ratingu równej B, ocena ta jest również najczęściej wskazy- wana przez model predykcyjny, jakkolwiek zdarzają się błędne przypisania do klas A i C;

→

najczęstsze błędy polegają na przypi- saniu do klasy skrajnej (A+ lub C-), pod- czas gdy spółce – na podstawie rzeczy- wistych danych – należałoby przypisać ocenę A lub C; jest to efekt, który trudno skorygować, nie obniżając ogólnej jako- ści modelu – wynika on przede wszyst- kim z tego, że model dokonuje pewnych uproszczeń i „wyostrza” obraz sytuacji, tam, gdzie spółka osiąga bardzo dobre wyniki, lecz od czasu do czasu zdarza jej się notować też spadki (relatywne w odniesieniu do mediany rynku), mo- del upraszcza obraz sytuacji i przewiduje same wzrosty kursów.

29

Konstrukcja ratingu

↘ Wykres 8. Macierz błędów predykcji stopnia atrakcyjności inwestycyjnej (5 klas) Wartości rzeczywiste

Wartości przewidywane

A+ A B C C-

A+ 650

(19,3 proc.) 319

(9,5 proc.) 58

(1,7 proc.) 7

(0,2 proc.) 3 (0,1 proc.)

A 25

(0,7 proc.) 279

(8,3 proc.) 109

(3,2 proc.) 5 (0,1 proc.)

B 6

(0,2 proc.) 52

(1,5 proc.) 291

(8,6 proc.) 55

(1,6 proc.) 2 (0,1 proc.)

C 2

(0,1 proc.) 7

(0,2 proc.) 135

(4,0 proc.) 266

(7,9 proc.) 15 (0,4 proc.)

C- 3

(0,1 proc.) 9

(0,3 proc.) 63

(1,9 proc.) 328

(9,7 proc.) 681 (20,2 proc.)

Źródło: opracowanie własne PIE.

Błędy w klasyfikacji, które następują między ocenami A i A+ oraz C i C-, skłaniają do zastoso- wania ratingu uproszczonego, w którym spółkom przypisywana jest jedna z trzech ocen: A, B lub C (wykres 9). W tym wariancie trafność przypisa- nia ocen jest dużo wyższa i wynosi aż 84,7 proc.

(suma wartości procentowych na przekątnej po- niższej macierzy). Zdecydowana większość błę- dów przypisania oceny polega na tym, że spółka, która wg rzeczywistych danych ma stopień atrak- cyjności inwestycyjnej B, otrzymuje ocenę A lub B.

Te sytuacje zdarzają się w ok. 11 proc. przypadków.

Błędy następują dużo rzadziej w przypadku spółek, które powinny uzyskać oceny A lub C. Takie spółki niemal zawsze otrzymują prawidłową ocenę.

Najważniejszym sprawdzianem trafności ra- tingu jest jego przydatność do oceny rzeczywistej atrakcyjności inwestycyjnej spółki. Spodziewamy się, że spółki z grup A+ i A będą osiągały znacząco lepsze wyniki na giełdzie niż spółki z grupy B, a te z kolei będą miały wyższe stopy zwrotu niż spół- ki z grup C i C-. W tym celu porównaliśmy akcje spółek, które otrzymały różne oceny atrakcyjno- ści inwestycyjnej.

30

Konstrukcja ratingu

↘ Wykres 9. Macierz błędów predykcji stopnia atrakcyjności inwestycyjnej (3 klasy)

Wartości rzeczywiste

A B C

Wartości przewidywane A 1 273

(37,8 proc.)

167 (5,0 proc.)

15 (0,4 proc.)

B 58

(1,7 proc.)

291 (8,6 proc.)

57 (1,7 proc.)

C 21

(0,6 proc.)

198 (5,9 proc.)

1 290 (38,3 proc.)

Źródło: opracowanie własne PIE.

Na wykresach 10 i 11 pokazujemy różnice średnich i median wartości relatywnej miesięcz- nej stopy zwrotu z inwestycji między spółkami, którym przypisano poszczególne oceny, w wa- riancie oceny pięciostopniowej i trzystopniowej.

Końce szarych pionowych odcinków na wykre- sach wyznaczają kwartyle rozkładów w podgru- pach, zaś poziomy szary odcinek pośrodku lo- kalizuje medianę w podgrupie. Czerwone punkty połączone linią wyznaczają regresję średnich, czyli relatywne miesięczne stopy zwrotu w po- szczególnych podgrupach. Jak widać różnice między tymi wartościami są bardzo duże.

W klasach A+ i A stopy zwrotu są zna- cząco wyższe od przeciętnych, natomiast w klasach C i szczególnie C- – znacząco niż- sze. Jednoczynnikowa analiza wariancji wy- kazała istotność statystyczną różnic między

średnimi w podgrupach (F = 125,2 dla pięciu klas, F = 223,9 dla trzech, w  obu przypadkach p < 0,001), co dowodzi, że wynik ten jest bardzo daleki od przypadkowości.

Uzyskane wyniki dowodzą, że tak stwo- rzony rating z bardzo dużą trafnością pozwa- la przewidzieć czy miesięczna stopa zwrotu w kolejnym okresie będzie powyżej czy po- niżej przeciętnej. Tym samym spełnia warun- ki bycia dobrym wskaźnikiem atrakcyjności inwestycyjnej.

W kolejnym kroku oszacowaliśmy przy- pisanie analizowanych spółek do poszczegól- nych klas. Ratingi obejmują okres 12 kolejnych miesięcy. Przykład wyników zawiera tabela 2.

Jak można zaobserwować widoczne są znaczne skoki pomiędzy klasami, w tym również pomię- dzy skrajnymi klasami.

31

Konstrukcja ratingu

↘ Wykres 10. Relatywna miesięczna stopa zwrotu dla spółek o różnym stopniu atrakcyjności inwestycyjnej (5 klas)

mediana = +6,3 mediana = +2,8

mediana = +0,4

mediana = -2,2

mediana = -6,2 średnia = +10,7

średnia = +4,7

średnia = +0,7 średnia = -2,7

średnia = -8,3

A+ A B C C-

10 5 0 -5 -10

Przewidywana przynależność do kategorii (5 grup) Odchylenie od mediany miesięcznego zwrotu (w proc.)

Źródło: opracowanie własne PIE.

↘ Wykres 11. Relatywna miesięczna stopa zwrotu dla spółek o różnym stopniu atrakcyjności inwestycyjnej (3 klasy)

mediana = +5,2

mediana = +0,4

mediana = -5,0 średnia = +9,1

średnia = +0,7

średnia = -6,8

A B C

10

5

0

-5

-10

Przewidywana przynależność do kategorii (3 grupy) Odchylenie od mediany miesięcznego zwrotu (w proc.)

Źródło: opracowanie własne PIE.