Dostęp online: DOI: 10.

(1)

(2)

Dostęp online:

https://www.bibliotekacyfrowa.pl/publication/144227 https://www.repozytorium.uni.wroc.pl/publication/144209 DOI: 10.34616/144209

(3)

Folia Iuridica Universitatis Wratislaviensis

pod ogólną redakcją Leonarda Górnickiego ( Uniwersytet Wrocławski)

Vol. 11, No. 1

pod redakcją Dagmary Kornobis-Romanowskiej (Uniwersytet Wrocławski)

Wrocław 2022

(4)

Kolegium Redakcyjne

prof. dr hab. Leonard Górnicki – przewodniczący prof. dr hab. Jolanta Blicharz – członek dr hab. Tomasz Dolata – członek

dr Julian Jezioro – zastępca przewodniczącego mgr Aleksandra Dorywała – sekretarz mgr Łukasz Baszak – członek mgr Ewa Gałyga-Michowska – członek mgr Bożena Górna – członek Redaktorzy tematyczni

Prawo prywatne: dr hab. prof. UWr Krzysztof Zagrobelny

Historia oraz teoria i filozofia prawa: dr hab. prof. UWr Rafał Wojciechowski, dr hab. prof. UWr Przemysław Kaczmarek Prawo europejskie i międzynarodowe: dr hab. prof. UWr Barbara Mielnik, prof. dr hab. Dagmara Kornobis-Romanowska Prawo administracyjne: dr hab. prof. UWr Piotr Lisowski

Prawo finansowe: prof. dr hab. Patrycja Zawadzka

Prawo konstytucyjne: dr hab. prof. UWr Ryszard Balicki, dr hab. Anna Śledzińska-Simon Prawo karne: dr Dagmara Gruszecka, dr Rajnhardt Kokot

Prawo gospodarcze i handlowe: dr hab. prof. UWr Bogusław Sołtys Prawo pracy: dr hab. prof. UWr Artur Tomanek

Prawo wyznaniowe: prof. dr hab. Józef Koredczuk Redaktor językowy (język polski)

mgr Aleksandra Dorywała Korekta

mgr Aleksandra Dorywała, mgr Ewa Gałyga-Michowska, mgr Marta Godlewska, mgr Karina Sołtysiak Korekta abstraktów (język angielski)

mgr Karina Sołtysiak Rada Naukowa

PhD Assoc. Prof. Oleg Halabudenko, Political Science and Law Department, Kyiv National University of Construction and Architecture, Kyiv, Ukraine

Prof. Dr. Hannes Hofmeister, Free University of Bozen-Bolzano, Faculty of Economics and Management, Italy prof. dr hab. Mariusz Jabłoński, Wydział Prawa, Administracji i Ekonomii, Uniwersytet Wrocławski prof. Tetiana Kolomoiets, Faculty of Law, Zaporizhzhia National University, Zaporizhzhia, Ukraine dr hab. prof. UWr Artur Kozłowski, Wydział Prawa, Administracji i Ekonomii, Uniwersytet Wrocławski prof. dr hab. Witold Kwaśnicki, Wydział Prawa, Administracji i Ekonomii, Uniwersytet Wrocławski

prof. Volodymyr Makoda, Civil Law Department, Taras Shevchenko National University of Kyiv, Kyiv, Ukraine prof. dr hab. Elwira Marszałkowska-Krześ, Wydział Prawa, Administracji i Ekonomii, Uniwersytet Wrocławski prof. dr hab. Piotr Machnikowski, Wydział Prawa, Administracji i Ekonomii, Uniwersytet Wrocławski prof. Hendryk Malevski, Mykolas Romeris University, Institute of Criminal Law and Procedure, Vilnius, Lithuania prof. dr hab. Jacek Mazurkiewicz, Wydział Prawa i Administracji, Uniwersytet Zielonogórski

prof. dr hab. Mirosław Sadowski, Wydział Prawa, Administracji i Ekonomii, Uniwersytet Wrocławski dr Joanna Siekiera, Postdoctoral fellow, Universitetet i Bergen, Det juridiske fakultet

prof. dr hab. Zofia Sienkiewicz, emerytowany profesor Wydziału Prawa, Administracji i Ekonomii, Uniwersytet Wrocławski

© Copyright by Wydział Prawa, Administracji i Ekonomii Uniwersytetu Wrocławskiego

Projekt i wykonanie okładki: Marta Pawlak

Skład i opracowanie techniczne: mgr Magdalena Gad eBooki.com.pl Wydawca

E-Wydawnictwo. Prawnicza i Ekonomiczna Biblioteka Cyfrowa.

Wydział Prawa, Administracji i Ekonomii Uniwersytetu Wrocławskiego

Do vol. 3 no. 2 (2014) czasopismo ukazywało się pod nazwą „Folia Iuridica Wratislaviensis”

i z numerem ISSN 2299-8322.

ISSN 2450-3932

Wersją pierwotną (referencyjną) czasopisma jest wydanie elektroniczne

(5)

Spis treści

Problemy współczesnego prawa europejskiego i międzynarodowego Mateusz Bartoszek

Zastosowanie sztucznej inteligencji w sądownictwie w świetle zasady skutecznej ochrony sądowej ... 8 Łukasz Bielski

Problematyka dopuszczalności uboju rytualnego zwierząt w prawie Unii Europej- skiej ... 30 Zuzanna Choińska

Wykorzystanie technologii rozpoznawania twarzy w Chińskiej Republice Ludowej ... 52 Kevin Kaczor

Gold-plating – problem nadtranspozycji dyrektyw unijnych do krajowego porządku prawnego ... 76 Kamila Knitter

Warunki dopuszczalności reklamy porównawczej na przykładzie reklamy porów- nawczej cenowej odnoszącej się do ceny produktów sprzedawanych w sklepach róż- nej wielkości lub różnego formatu. Glosa do wyroku Trybunału Sprawiedliwości z dnia 8 lutego 2017 r. w sprawie C-562/15 Carrefour Hypermarchés SAS przeciwko ITM Alimentaire International SASU ... 99 Aleksandra Kołodziejczyk

Porozumienia z zakresu zrównoważonego rozwoju w łańcuchu żywnościowym – pra- wo konkurencji jako element hamujący rozwój sustainable food chain ... 115 Oskar Kwiatkowski

Klauzule waloryzacyjne stosowane w umowach kredytowych indeksowanych do franka szwajcarskiego ... 134 Jan Łukaszewicz

Prawo do odstąpienia od umowy zawartej na odległość dotyczącej usług finanso- wych – glosa do orzeczenia Trybunału Sprawiedliwości z 11 września 2019 r.

w sprawie C-143/18 ... 151 Adrian Maryniak

Zwalczanie opóźnień w płatnościach w transakcjach handlowych na przykładzie opóźnienia w płatności czynszu najmu. Glosa do wyroku Trybunału Sprawiedliwości z dnia 1 czerwca 2017 r. w sprawie C-330/16 Piotr Zarski przeciwko Andrzejowi Stadnickiemu ... 170

(6)

Spis treści

Joanna Szczęch

Czerwony kolor podeszwy szpilek jako kształt. Glosa do wyroku Trybunału Spra- wiedliwości z dnia 12 czerwca 2018 r., C-163/16 ... 189 Patrycja Szczuka

Dopuszczalność istnienia zasady ogólnej równego traktowania akcjonariuszy mniejszościowych i akcjonariusza dominującego w prawie unijnym. Glosa do wyroku Trybunału Sprawiedliwości w sprawie C-101/08 ... 201 Marta Trębacka

Prawo europejskie wobec stereotypizacji i mowy nienawiści ... 212 Varia

Martyna Pacek

Uwagi dotyczące ewolucji regulacji prawnych związanych z ochroną zabytków archeologicznych w świetle działalności poszukiwaczy zabytków w Polsce ... 235

(7)

Problemy współczesnego prawa europejskiego

i międzynarodowego

(8)

Folia Iuridica Universitatis Wratislaviensis 2022 vol. 11 (1), 8–29 DOI: 10.34616/144212

Mateusz Bartoszek

Uniwersytet Warszawski Wydział Prawa i Administracji

Zastosowanie sztucznej inteligencji w sądownictwie w świetle zasady skutecznej ochrony sądowej

Application of artificial intelligence in judiciary in view of the principle of effective judicial protection

Streszczenie

Przedmiotem artykułu jest analiza zaproponowanych przez Komisję Europejską przepisów aktu w sprawie sztucznej inteligencji w kontekście potencjalnych zagrożeń naruszenia praw podstawowych, a dekodowanych z zasady skutecznej ochrony sądowej, które wynikać mogą z zastosowania sztucznej inteligencji w sądownictwie. Przytaczane przykłady zastosowania systemów sztucznej inteligencji zaczerpnięte są zarówno z państw członkowskich Unii Europejskiej, jak i spoza UE. Przed- stawiono etapy prac nad strategią zmierzającą do stworzenia proponowanego rozporządzenia oraz konkretne zawarte w treści projektu rozwiązania, które mają zapewnić bezpieczeństwo działania sys- temów sztucznej inteligencji. Analizę projektu zestawiono z wnioskami na temat potencjalnych za- grożeń naruszenia zasady skutecznej ochrony sądowej oraz przedmiotowymi stanowiskami organizacji pozarządowych i międzynarodowych.

Słowa kluczowe

prawa podstawowe, ochrona sądowa, sztuczna inteligencja, akt w sprawie sztucznej inteligencji Abstract

The subject of the article is the analysis of the draft of Artificial Intelligence Act in the context of potential threats of violation of fundamental rights included in the principle of effective judicial protection that may arise from the use of artificial intelligence in the judiciary. Examples of artificial intelligence systems are based both in EU member states and in states outside of EU. The article presents the stages of work on the strategy for the creation of the draft regulation, as well as the specific solutions included in the draft, which aim to ensure the safety of use of artificial intelligence systems. The analysis of the draft is juxtaposed with conclusions on the potential threats to the principle of effective judicial protection and the opinions of non-governmental and international organizations.

Keywords

fundamental rights, judicial protection, artificial intelligence, Artificial Intelligence Act

(9)

Zastosowanie sztucznej inteligencji w sądownictwie w świetle zasady skutecznej ochrony sądowej

Wstęp 1.

Sztuczna inteligencja (SI) to nowe zagadnienie, z którym mierzy się ustawodaw- stwo każdego systemu prawnego: międzynarodowego i państwowego, a także unijnego.

Kilka lat temu zauważono zainteresowanie, jakie sztuczna inteligencja wzbudziła w śro- dowisku naukowym, a także niezliczoną ilość możliwych zastosowań tej technologii.

Należy wspomnieć, że wśród sektorów, w których sztuczna inteligencja może potencjalnie odgrywać dużą rolę, są m.in.: transport (pojazdy autonomiczne), medycyna (wykorzystanie inteligentnych maszyn do wspomagania pracy lekarzy), rozrywka (systemy sztucznej inteligencji są w stanie pokonać nawet największych mistrzów w grach strate- gicznych) oraz przemysł zbrojeniowy (systemy automatycznego namierzania, drony autonomiczne itp.)¹.

Również w sferze publicznej coraz więcej jest przykładów zastosowania systemów sztucznej inteligencji. We Włoszech, w regionie Emilia-Romagna, działa system pod na- zwą RiskER, którego zadaniem jest przewidywać ryzyko hospitalizacji². Zgodnie z ra- portami z jego działania pozwolił on skutecznie zapobiegać hospitalizacji poprzez wcze- śniejsze nawiązanie kontaktu i udzielenie porad osobom zaliczonym przez RiskER do najwyższej kategorii ryzyka³. Postępująca cyfryzacja i wysiłki prowadzące do przyspie- szenia i ułatwienia postępowań sądowych przyczyniły się do wprowadzenia systemów zautomatyzowanego podejmowania decyzji i systemów sztucznej inteligencji także w sądach. Wskazać można między innymi system COMPAS, wprowadzony w sądach stanowych m.in. Nowego Jorku, Wisconsin i Kalifornii, a służący do oceny ryzyka recydywy oskarżonych w postępowaniach karnych⁴.

Kompetencja Unii Europejskiej do podejmowania działań zmierzających do ustanowienia prawa regulującego wprowadzanie do obrotu i stosowanie systemów sztucznej inteligencji wynika wprost z przepisu art. 114 Traktatu o funkcjonowaniu Unii Europejskiej (dalej TFUE). Na jego mocy Parlament Europejski i Rada mają kompetencję do przyjęcia środków dotyczących zbliżenia przepisów państw członkowskich, które mają na celu usta-

1 Szerzej na temat zagrożeń związanych z pojazdami autonomicznymi: G. Dede, R. Hamon, H. Junkle- witz, R. Naydenov, A. Malatras, M. Sanchez, Cybersecurity challenges in the uptake of Artificial Intelligence in Autonomous Driving, Publications Office of the European Union, Luxembourg 2021. Szerzej na temat systemów sztucznej inteligencji wyspecjalizowanych do grania w gry strategiczne: C. Metz, The Sadness and Beauty of Watching Google’s AI Play Go, “Wired”, 3 listopada 2016 r., https://www.wired.com/2016/03/

sadness-beauty-watching-googles-ai-play-go/ [dostęp: 20.11.2021].

2 Zob. AlgorithmWatch, Automating Society Report 2019, 1 stycznia 2019 r., s. 89, https://algorithmwatch.

org/en/automating-society/ [dostęp: 20.11.2021].

3 Ibidem, s. 89.

4 Szerzej zob.: F. Rahman, COMPAS Case Study: Fairness of a Machine Learning Model, “Towards Data Science”, 7 września 2020 r., https://towardsdatascience.com/compas-case-study-fairness-of-a-machine- learning-model-f0f804108751 [dostęp: 20.11.2021].

(10)

Mateusz Bartoszek

nowienie i funkcjonowanie rynku wewnętrznego⁵. Powszechny jednolity rynek cyfrowy, którego elementem są rozwiązania dotyczące cyfryzacji (w tym sztucznej inteligencji), jest właśnie częścią rynku wewnętrznego. Regulacja rynku wewnętrznego, w myśl art. 4 TFUE, należy do kompetencji dzielonych pomiędzy UE i państwa członkowskie (art. 4 pkt 2 lit. a).

Sztuczna inteligencja stwarza ogromne możliwości dla usprawniania lub upraszczania wielu obszarów działalności ludzkiej, co w pełni uzasadnia przyjęcie środków prawnych zmie- rzających do jej regulacji lub przynajmniej harmonizacji przepisów na poziomie unijnym.

W przeciwnym wypadku brak koordynacji ustawodawstw państw członkowskich skutko- wałby brakiem spójności przepisów obowiązujących w państwach członkowskich, spad- kiem pewności prawa i mocno utrudnionym obrotem transgranicznym pomiędzy państwa- mi członkowskimi UE.

Wprowadzanie systemów niezależnych w swoim działaniu od człowieka do tak kluczowych dla demokracji i praworządności instytucji jak sądy wiąże się z wieloma zagrożeniami nie tylko dla zakazu dyskryminacji, ale także dla niezawisłości sędziow- skiej, prawa dostępu do sądu i prawa do rzetelnego procesu. W związku z tym przyjąłem zasadę skutecznej ochrony sądowej, obowiązującą w prawie Unii Europejskiej, a także na mocy Konwencji o ochronie praw człowieka i podstawowych wolności jako wzorzec, którego potencjalne naruszenia i ochronę należy rozważyć.

Istotą zasady skutecznej ochrony sądowej jest gwarancja prawa do skutecznego środka prawnego przed sądem dla każdego, kto uważa, że jego prawa zostały naruszone w jakikolwiek sposób. Dookoła tego rdzenia jest jednak wiele dodatkowych elemen- tów, które mają albo wzmacniać prawo jednostki, albo też nakładać obowiązki na insty- tucje wymiaru sprawiedliwości⁶. Wśród tych elementów wymienić należy: prawo do sprawiedliwego rozpatrzenia sprawy, prawo do rozpatrzenia sprawy w rozsądnym ter- minie, zasadę niezawisłości i bezstronności sędziowskiej i wymóg ustanowienia sądu na mocy ustawy.

Niniejszy artykuł ma dwa cele. Pierwszym jest przedstawienie zagrożeń naruszenia praw podstawowych wchodzących w skład zasady skutecznej ochrony sądowej, które wynikają z zastosowania systemów sztucznej inteligencji w sądownictwie. Drugim jest odpowiedź na pytanie, czy proponowane przez Komisję Europejską przepisy rozporzą- dzenia Parlamentu Europejskiego i Rady ustanawiającego zharmonizowane przepisy dotyczące sztucznej inteligencji (akt w sprawie sztucznej inteligencji) i zmieniające nie-

5 Zob art. 114, pkt 1, Traktat o funkcjonowaniu Unii Europejskiej, Dz. Urz. UE C 326/47 z 26.10.2012 r.

6 Źródło, z którego wywodzona jest zasada skutecznej ochrony sądowej, stanowią wspólne tradycje konstytucyjne państw członkowskich, a potwierdzeniem tej zasady są przepisy art. 6 i art. 13 EKPC i art. 47 KPP. Zob. wyrok Trybunału z dnia 13 marca 2007 r. w sprawie C-432/05 Unibet (London) Ltd i Unibet (International) Ltd przeciwko Justitiekanslern, ECLI:EU:C:2007:163.

(11)

które akty ustawodawcze Unii (Artificial Intelligence Act) mogą służyć skutecznemu zapobieganiu tymże potencjalnym zagrożeniom⁷.

Przykłady wykorzystania sztucznej inteligencji w sądownictwie 2. i wynikające z tego zagrożenia

Przedstawienie dokładnej definicji sztucznej inteligencji do dziś jest niemalże nie- możliwe. Sztuczna inteligencja traktowana jest jako osobna gałąź nauki, a zamknięcie samego pojęcia w ramach definicji niweczone jest kolejnymi postępami w rozwoju technologicznym⁸. W motywach projektu AIA Komisja Europejska opisała sztuczną inteli- gencję jako „szybko rozwijającą się grupę technologii, które muszą przyczyniać się do wielu korzyści społeczno-ekonomicznych we wszystkich gałęziach przemysłu i obszarach działalności gospodarczej”⁹. W treści proponowanych przepisów AIA zdefiniowano pojęcie systemu sztucznej inteligencji: „oprogramowanie opracowane przy użyciu co najmniej jednej z technik i podejść wymienionych w załączniku I, które może – dla da- nego zestawu celów określonych przez człowieka – generować wyniki, takie jak treści, przewidywania, zalecenia lub decyzje wpływające na środowiska, z którymi wchodzi w interakcję”¹⁰. W wyliczeniu technik i podejść objętym załącznikiem I zawarto m.in.

technologie uczenia maszynowego, rozumowania symbolicznego i różnych metod wy- szukiwania, które stanowią cechy charakterystyczne systemów sztucznej inteligencji.

Potencjalne zastosowania systemów sztucznej inteligencji w sądownictwie są nie- zliczone. Wszędzie tam, gdzie obecnie używane są systemy teleinformatyczne, możliwe jest wdrożenie systemów sztucznej inteligencji jako „ulepszenia”. Usprawnienie funkcjonowania sądów jest prawdopodobnie najczęściej używanym argumentem mającym przemawiać za wprowadzaniem sztucznej inteligencji do użytku. W teorii systemy sztucznej inteligencji mogą przejąć zadania na niemal każdym poziomie funkcjonowania sądu: od przydzielania spraw sędziom, poprzez ocenę kompletności pisma proceso-

7 Zob. Wniosek Komisji Europejskiej, Rozporządzenie Parlamentu Europejskiego i Rady ustanawiające zharmonizowane przepisy dotyczące sztucznej inteligencji (Akt w sprawie sztucznej inteligencji) i zmieniające niektóre akty ustawodawcze Unii, 21 kwietnia 2021 r., COM/2021/206 final, https://eur-lex.europa.eu/legal- content/EN/TXT/?qid=1623335154975&uri=CELEX%3A52021PC0206 [dostęp: 20.11.2021], dalej AIA.

8 Aktualność zachowuje definicja stworzona przez J. McCarthy’ego, jednego z ojców sztucznej inteligencji, w 1956 r.: „nauka i inżynieria tworzenia inteligentnych maszyn” (zaczerpnięta ze strony interneto- wej: https://www.sztucznainteligencja.org.pl/definicja/sztuczna-inteligencja/ [dostęp: 20.11.2021]). Dwaj z najwybitniejszych naukowców zajmujących się współcześnie sztuczną inteligencją, P. Norvig i S. Russel, opracowali definicję bardziej złożoną, ale nadal prostą do zrozumienia: „sztuczna inteligencja to maszyny imitujące funkcje kognitywne charakterystyczne dla ludzkiego mózgu, takie jak np.: uczenie się, rozwiązy- wanie problemów, analizowanie języka naturalnego, dokonywanie obliczeń”. S. Russel, P. Norvig, Artificial Intelligence: a modern approach, Pearson Education Inc., Berkeley 1994.

9 Zob. AIA, s. 22, motyw 3.

10 Zob. Załącznik nr I do AIA.

(12)

Mateusz Bartoszek

wego pod względem formalnym, aż po analizę materiału dowodowego. Spośród przy- kładów zastosowania systemów sztucznej inteligencji w sądownictwie przedstawiam dwie kategorie systemów istotnie wpływających na proces orzekania, tj.: systemy anali- zujące dane i wspierające pracę sędziego oraz systemy mogące zastąpić sędziego.

Przykładem pierwszego ze wspomnianych modeli jest funkcjonujący w Stanach Zjednoczonych system mający służyć ocenie ryzyka ponownego złamania prawa przez oskarżonego w procesie karnym. Zaprojektowany i stworzony przez Northpoint Correc- tional Offender Management Profiling for Alternative Sanctions (COMPAS) pozwala ocenić ryzyko recydywy, przez co wspomaga podejmowanie przez sędziego decyzji, czy wydać wyrok w zawieszeniu. COMPAS ocenia ryzyko w trzech kategoriach: ryzyko recydywy przed zakończeniem procesu, ogólne ryzyko recydywy, ryzyko recydywy z uży- ciem przemocy. Dane, których używa COMPAS pochodzą częściowo z kartoteki oskar- żonego, a częściowo z formularza uzupełnianego w trakcie wywiadu z oskarżonym¹¹. Formularz zawiera 137 pytań, pośród których są np. pytania o historię kryminalną człon- ków rodziny, o uczestnictwo w bójkach w szkole i o liczbę przestępstw popełnianych w sąsiedztwie domu oskarżonego¹². Kontrowersje dotyczyły między innymi postulatów dotyczących powielania przez COMPAS uprzedzeń, a nawet dyskryminacji¹³.

Eric Loomis, jeden ze skazanych w sprawach, w których wyrokowanie było wspie- rane oceną ryzyka przeprowadzoną przez program COMPAS, po nieudanej apelacji zło- żył skargę kasacyjną do Sądu Najwyższego Stanu Wisconsin, w której zarzucił m.in.

naruszenie jego prawa do rzetelnego procesu, ponieważ sędzia w wydawaniu wyroku kierował się wskazówkami programu, którego działanie jest objęte tajemnicą handlową.

Sąd Najwyższy Stanu Wisconsin oddalił skargę, uznając, że sądy mogą wspomagać się oceną ryzyka uzyskaną dzięki programom komputerowym, ale nie mogą polegać na takiej ocenie. Konieczne jest uzasadnienie wyroku argumentami innymi niż tylko ocena ryzyka ponownego popełnienia przestępstwa przez oskarżonego¹⁴. Ponadto Sąd Naj-

11 Zob. wyrok Sądu Najwyższego Stanu Wisconsin z 13 lipca 2016 r. w sprawie State przeciwko Loomis, sygn. 881 N.W.2d 749 (2016), pkt 13 i 14.

12 J. Angwin, J. Larson, S. Mattu, L. Kirchner, Machine Bias There’s software used across the country to predict future criminals. And it’s biased against blacks, ProPublica, 23 maja 2016 r., https://www.propublica.

org/article/machine-bias-risk-assessments-in-criminal-sentencing [dostęp: 20.11.2021]. Krytyki tego artykułu podjęli się A. Flores, C. Lowenkamp, K. Bechtel w False Positives, False Negatives, and False Analyses:

A Rejoinder to “Machine Bias: There’s Software Used Across the Country to Predict Future Criminals. And it’s Biased Against Blacks”, “Federal Probation Journal” 2016, t. 80, nr 2, ale artykuł wydany w ProPublica zawie- ra skany formularza z pytaniami używanego do oceny ryzyka przez program COMPAS. Skany te dostępne są pod adresem internetowym https://www.documentcloud.org/documents/2702103-Sample-Risk-Assessment- COMPAS-CORE.html [dostęp: 20.11.2021].

13 Jedną z najszerzej dyskutowanych publikacji dotykających tego problemu była: J. Angwin, J. Larson, S. Mattu, L. Kirchner, op. cit.

14 Zob. wyrok Sądu Najwyższego Stanu Wisconsin z 13 lipca 2016 r. w sprawie State przeciwko Loomis, sygn. 881 N.W.2d 749 (2016) pkt 123-125.

(13)

wyższy Stanu Wisconsin zaznaczył, że wyniki ocen ryzyka według programu COMPAS oparte są na danych grupowych, przez co nie są całkowicie miarodajne dla pojedyn- czych osób¹⁵. Fakt, że COMPAS jest prywatną własnością, co uniemożliwia publiczne ogłoszenie algorytmu programu i ujawnienia oskarżonym lub nawet sądowi, w jaki spo- sób program oblicza ryzyko i jak dokładnie dane udostępnione programowi są ważone, został uznany za istotny i wskazano, że sądy wspomagające się podczas wyrokowania oceną ryzyka dokonaną przez COMPAS muszą informować o tym oskarżonych¹⁶.

Francuskie sądy apelacyjne w Rennes i Douai w 2017 r. brały udział w pilotażowym programie testowym systemu Predictice¹⁷. Program ten miał być pierwszym krokiem do cyfryzacji sądownictwa we Francji. Jeden z twórców Predictice, Louis Larret-Chahine, zadeklarował, że „położy koniec nieprzewidywalnemu, przypadkowemu i zróżnicowane- mu nawet w obrębie jednego kraju wymiarowi sprawiedliwości i ruszy w kierunku cze- goś bardziej logicznego, naukowego, lub przynajmniej bardziej możliwego do kontrolo- wania”¹⁸. Predictice był używany wyłącznie w celu obliczania wysokości odpraw zasądzanych w sprawach pracowników zwolnionych bez „rzeczywistej i poważnej przy- czyny”. Docelowo miało to doprowadzić do redukcji różnic w wysokości zasądzanych świadczeń i ujednolicić kryteria przyjmowane jako istotne w poszczególnych sprawach, przyjmując za źródło takiego celu zasadę równości obywateli wobec prawa¹⁹. Wynik tego testu był jednak negatywny. Systemowi udostępniono w celu nauki tylko fragmenty orze- czeń, czego efektem był brak umiejętności analizy wszystkich informacji dostępnych w bieżących sprawach i niezadowalające efekty działania programu. Francuskie Mini- sterstwo Sprawiedliwości w komunikacie na temat rezultatów programu pilotażowego mającego testować działanie Predictice oświadczyło, że program „wymaga znaczących popraw […] i obecnie jego użycie nie jest żadną korzyścią dla sędziów”²⁰.

Do drugiej kategorii zaliczyć trzeba pierwszy w Europie w pełni zautomatyzowany system rozstrzygania sporów. Stosowany w Królestwie Niderlandów od 2010 r. system e-Court jest używany w rozstrzyganiu spraw windykacyjnych. Niderlandzki system wymiaru sprawiedliwości oprócz sądów publicznych obejmuje również sądy prywatne, bę- dące sądami arbitrażowymi. Sąd e-Court jest właśnie takim sądem prywatnym. W całym

15 Ibidem, pkt 74.

16 Ibidem, pkt 66.

17 R. Letteron, Digital access to the law, “Digital Issues of Les Annales des Mines” 2018, nr 3.

18 Predictive justice: when algorithms pervade the law, “Paris Innovation Review” 2017, nr 9, http://parisinnovationreview.com/articles-en/predictive-justice-when-algorithms-pervade-the-law [do- stęp: 20.11.2021].

19 Europejska Komisja na rzecz skutecznego wymiaru sprawiedliwości, European ethical Charter on the use of Artificial Intelligence in judicial systems and their environment, przyjęta w Strasbourgu 4 grud- nia 2018 r., s. 42.

20 R. Letteron, op. cit.

(14)

Mateusz Bartoszek

postępowaniu interwencja człowieka jest wymagana tylko na ostatnim etapie – wydania tytułu egzekucyjnego²¹.

Całość postępowania odbywa się online, strony zamieszczają pisma procesowe na specjalnie do tego przeznaczonej platformie, gdzie są one dostępne dla obu stron przez cały czas trwania postępowania. Rozstrzygnięcie sprawy jest wydawane przez system sztucznej inteligencji na podstawie obowiązujących przepisów oraz imitacji rozumowania sędziowskiego prowadzonej na podstawie przeszłych spraw, których akta zostały udostępnione systemowi na początku jego funkcjonowania. Niderlandzkie prawo krajo- we nadal nie zawiera regulacji dotyczących sędziego-sztucznej inteligencji, wobec czego zgodnie ze zmianami w prawie dotyczącym sądów prywatnych (arbitrażowych), któ- re weszły w życie 1 stycznia 2015 r., system wydaje rozstrzygnięcie w imieniu sędziego.

Zadaniem sędziego jest natomiast kontrola rozstrzygnięć wydawanych przez system. Do końca 2015 r. nie wystąpiła sytuacja, w której sędzia musiałby poprawiać lub zmieniać orzeczenie wydane przez e-Court²².

W 2019 r. powstał w Estonii projekt mający na celu stworzenie sztucznej inteligencji, która zastąpi sędziów w sprawach cywilnych o drobne roszczenia, nieprzekraczające 7000 euro. Warto zauważyć, że nawet Estonia, kraj będący w czołówce cyfryzacji administracji publicznej i wymiaru sprawiedliwości, który jako jeden z pierwszych krajów na świecie wprowadził wybory powszechne przez Internet²³, nie podjęła kroków w celu całkowitego zastąpienia sędziów systemami sztucznej inteligencji²⁴. Sztuczna inteligencja w Estonii, podobnie jak e-Court w Holandii, ma rozstrzygać jedynie sprawy o drobne roszczenia. Nasuwa się wniosek, że stan prac nad rozwojem sztucznej inteligencji nie jest jeszcze wystarczająco zaawansowany, żeby móc zastąpić sędziego. Podobnie uwa- żają J. Morison i A. Harkens, którzy w artykule Re-engineerig justice? Robot judges, computerised courts and (semi) automated legal decision-making²⁵ stwierdzili: „Obec- nie jednak, algorytmy pozostają inteligentnymi doradcami i narzędziami. Gdyby algorytmy wykorzystujące uczenie maszynowe […] przejęły rolę tworzenia i egzekwowania prawa bez nadzoru, nie ma gwarancji, że kontynuowałyby te same wzory przewidywań.

W takiej sytuacji, rozwoju nowych sposobów rozumowania i argumentowania, opartych

21 H. Nakad-Weststrate, T. Jongbloed, H. van der Herik, A. Salem, Digitally Produced Judgements in Modern Court Proceedings, “International Journal of Digital Society” 2015, nr 4, s. 1102.

22 Ibidem, s. 1006-1008.

23 https://e-estonia.com/solutions/e-governance/i-voting/ [dostęp 15.07.2021].

24 Oficjalnym argumentem wykorzystywanym przez rząd do promowania tego projektu jest zbyt duża liczba spraw sądowych i zbyt mała liczba sędziów. Statystyki dostępne na oficjalnej stronie e-Estonia.com wskazują, że liczba sędziów w Estonii jest obecnie taka sama jak 20 lat temu, natomiast liczba spraw sądo- wych podwoiła się. Skuteczność i prędkość działania sądów jest więc według władz Estonii najważniejszym argumentem przemawiającym za wdrożeniem programu sędziego-sztucznej inteligencji.

25 J. Morison, A. Harkens, Re-engineerig justice? Robot judges, computerised courts and (semi) auto- mated legal decision-making, Queen’s University Belfast, “Legal Studies” 2019, t. 39, nr 4, s. 618-635.

(15)

o rozpoznawanie wzorców i język niezrozumiały dla podmiotów prawa, prawo mogłoby stawać się coraz bardziej niepewne i podważalne”²⁶.

Najbardziej zaawansowane w kwestii imitacji rozumowania sędziowskiego są pro- jekty naukowe dotyczące przewidywania przez systemy sztucznej inteligencji rozstrzy- gnięć sądów. Na szczególną uwagę zasługuje tutaj projekt przewidywania orzeczeń ETPC prowadzony w 2016 r.²⁷ Model sztucznej inteligencji skonstruowany w ramach tego projektu używał uczenia maszynowego i przetwarzania języka naturalnego w celu analizy akt spraw wnoszonych przed Trybunał, procedury stosowanej przez Trybunał i właściwego prawa.

Na podstawie tych informacji system przewidywał rozstrzygnięcie. Analizie poddano akta 584 spraw dotyczących potencjalnych naruszeń trzech różnych przepisów Europejskiej Konwencji Praw Człowieka. Rezultatem projektu było osiągnięcie średnio 79% skuteczności w przewidywaniu rozstrzygnięć ETPC (największą, 84% skuteczność system osiągnął w przewidywaniu rozstrzygnięć dotyczących art. 6 EKPC).

Wskazane przykłady pozwalają wyznaczyć kilka podstawowych problemów zwią- zanych z wykorzystaniem sztucznej inteligencji w sądownictwie i potencjalnych zagro- żeń dla praw podstawowych tworzących zasadę skutecznej ochrony sądowej. Problemy to: brak transparentności systemów SI działających w sądownictwie („efekt czarnej skrzynki”); całkowita zależność wyników pracy systemów od danych, które są mu udo- stępniane; bezpośredni wpływ twórców systemów SI na ich działanie; brak możliwości zrozumienia działania systemów SI przez sędziów oraz brak możliwości uzyskania peł- nej kontroli nad systemami przez sądy. Z powodu tych problemów zagrożona jest m.in.

zasada niezawisłości sędziowskiej, ponieważ system SI stanowi element de facto ze- wnętrzny w stosunku do sędziego. Jeżeli system jest pod faktyczną kontrolą podmiotu prywatnego lub nawet podmiotu publicznego, zewnętrznego w stosunku do sądu, jak zagwarantować, że wpływ systemu na proces orzekania nie będzie naruszał niezawisło- ści sędziego²⁸. Również zasada sprawiedliwego rozpatrzenia sprawy może zostać naru- szona poprzez wykorzystanie systemów SI w sądach. Przykładem takiego naruszenia może być brak umiejętności zrozumienia i wyjaśnienia przez sędziego pracy systemu, co uniemożliwia realizację prawa do uzyskania uzasadnienia wyroku²⁹. Wreszcie, jak

26 Ibidem, s. 627.

27 N. Aletras, D. Tsarapatsanis, D. Preotiuc-Pietro, V. Lampos, Predicting judicial decisions of the Eu- ropean Court of Human Rights: a Natural Language Processing perspective, “PeerJ Computer Science”

2016, t. 93.

28 Zob. wyrok ETPC z dnia 22 października 1984 r. w sprawie Sramek przeciwko Austrii, skarga nr 8790/79, pkt 42. Por. także wyrok ETPC z dnia 28 czerwca 1984 r. w sprawie Campbell i Fell przeciwko Zjednoczonemu Królestwu, skargi nr 7819/77 i 7878/77, pkt 81.

29 Zob. opinia nr 11 Rady Konsultacyjnej Sędziów Europejskich (CCJE) w sprawie jakości orzecznic- twa, 18 grudnia 2008 r., pkt 34-35; także wyrok ETPC z dnia 30 listopada 1987 r. w sprawie H. przeciwko Belgii, skarga nr 8950/80, pkt 53; także wyrok Trybunału z dnia 6 września 2012 r. w sprawie C-619/10 Trade Agency Ltd przeciwko Seramico Investments Ltd, ECLI:EU:C:2012:531, pkt 53.

(16)

Mateusz Bartoszek

zagwarantować rzetelne rozpatrzenie sprawy w sytuacji, gdy analiza stanu faktycznego należy w całości do systemu SI, a nie do człowieka³⁰.

Na drodze do stworzenia unijnej regulacji sztucznej inteligencji 3.

Wstępem do prac nad AIA były Wytyczne w zakresie etyki dotyczące godnej zaufania sztucznej inteligencji przygotowane przez grupę ekspertów wysokiego szczebla do spraw sztucznej inteligencji (Wytyczne), opublikowane 8 kwietnia 2019 r.³¹ Dokument ten okre- śla ramy dla godnej zaufania sztucznej inteligencji, jednocześnie wskazując kierunki dal- szych prac zmierzających ostatecznie do stworzenia regulacji prawnych. Podstawą tego podejścia jest pogląd, że zaufanie jest fundamentem budowania społeczeństwa i syste- mów ekonomicznych, a więc pełny potencjał wykorzystania sztucznej inteligencji może być osiągnięty dopiero przy pełnym zaufaniu do systemów SI na wszystkich etapach ich cyklu życia: tworzenia, wdrażania i używania³². Wytyczne zawierają zbiór zasad etycz- nych, a także postulaty dotyczące technicznej solidności systemów sztucznej inteligencji, które muszą być spełnione, aby systemy SI mogły zostać uznane za godne zaufania³³. Wizję grupy ekspertów najlepiej streszcza wyrażona w podsumowaniu Wytycznych na- dzieja na „stworzenie kultury «godnej zaufania sztucznej inteligencji dla Europy», dzięki której wszyscy będą mogli czerpać korzyści z SI w sposób zapewniający poszanowanie naszych podstawowych wartości: praw podstawowych, demokracji i praworządności”³⁴.

Jak podkreśla M. Safjan, prawo do sądu, a więc także zasada skutecznej ochrony sądowej, której prawo do sądu jest nieodłącznym elementem, ma kluczowe znaczenie nie tylko dla skutecznej ochrony wszystkich innych praw podstawowych, ale także dla stosowania całości prawa Unii Europejskiej jako narzędzie urzeczywistniające wartości i zasady wynikające z art. 2 Traktatu o Unii Europejskiej³⁵. Nasuwa się zatem wniosek, że w celu zrealizowania wizji grupy ekspertów zawartej w podsumowaniu Wytycznych konieczne jest, aby systemy sztucznej inteligencji wykorzystywane w procesie ochrony praw podstawowych, a więc m.in. w sądownictwie, zapewniały zgodność z zasadą sku-

30 Zob. P. Hofmański, A. Wróbel, [w:] Garlicki L. (red.), Konwencja o Ochronie Praw Człowieka i Pod- stawowych Wolności. Tom I. Komentarz do artykułów 1-18, Warszawa 2010, komentarz do art. 6.

31 Zob. niezależna grupa ekspertów wysokiego szczebla do spraw sztucznej inteligencji powołana przez Komisję Europejską w czerwcu 2018 r., Wytyczne w zakresie etyki dotyczące godnej zaufania sztucznej inteli- gencji, 8 kwietnia 2019 r., https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai [do- stęp: 20.11.2021].

32 Szerzej na temat idei zaufania do sztucznej inteligencji, zob. S. Thiebes, S. Lins, A. Sunyaev, Trustworthy artificial intelligence, “Electronic Markets” 2021, t. 31, nr 2, s. 447-464.

33 Zob. Wytyczne w zakresie etyki dotyczące godnej zaufania sztucznej inteligencji…, s. 8-9.

34 Zob. ibidem, s. 47.

35 Zob. M. Safjan, Prawo do skutecznej ochrony sądowej – refleksje dotyczące wyroku TSUE z 19.11.2019 r. w sprawach połączonych C-585/18, C-624/18, C 625/18, „Palestra” 2020, nr 5, s. 5-29.

(17)

tecznej ochrony sądowej. W przeciwnym wypadku ochrona praw podstawowych może być utrudniona lub nawet niemożliwa.

Po Wytycznych następnym krokiem w strategii Komisji Europejskiej na temat roz- woju i regulacji sztucznej inteligencji jest Biała Księga w sprawie sztucznej inteligencji.

Europejskie podejście do doskonałości i zaufania (Biała Księga), opublikowana 19 lute- go 2020 r.³⁶ Komisja w ślad za grupą ekspertów ponownie zwraca w tym dokumencie szczególną uwagę na zaufanie społeczeństwa do systemów sztucznej inteligencji, wy- mieniając brak zaufania, obok braku inwestycji i umiejętności, jako jeden z głównych czynników powstrzymujących upowszechnianie sztucznej inteligencji³⁷.

W Białej Księdze Komisja po raz pierwszy porusza także temat praw podstawo- wych, dla ochrony których potencjalnie niebezpieczne jest wykorzystanie sztucznej inteligencji. Komisja wskazuje na prawo do rzetelnego procesu, czyli element zasady skutecznej ochrony sądowej, podkreślając jednocześnie, że w związku z rozwojem technologicznym i poszerzającym się wykorzystaniem systemów sztucznej inteligencji coraz częściej będą miały miejsce sytuacje, w których zarówno osoby fizyczne, jak i prawne będą podlegać działaniom takich systemów. Wynika z tego coraz poważniej- sza potrzeba utworzenia ram legislacyjnych, które zapewnią m.in. skuteczną ochronę i egzekwowanie prawa³⁸.

Biała Księga wskazuje na niezwykle istotny zwrot w podejściu Komisji do proble- matyki regulacji prawnych dotyczących sztucznej inteligencji. Zasady etyczne i postulat godnej zaufania sztucznej inteligencji stanowią dla Komisji drogowskazy, którymi nale- ży się kierować podczas tworzenia regulacji prawnych, ale jednocześnie pojawia się idea oparcia proponowanych przepisów na analizie ryzyka. Komisja wskazuje, że wykorzystanie analizy ryzyka pozwoli na stworzenie regulacji prawnych proporcjonalnych do zagrożeń stwarzanych przez różne sposoby wykorzystania systemów sztucznej inteligencji. Projektowana kategoria sztucznej inteligencji wysokiego ryzyka oparta jest na dwóch kryteriach.

Pierwszym kryterium jest wykorzystanie systemu sztucznej inteligencji w sektorach, w których zazwyczaj podejmowane działania charakteryzują się możliwością wy- stąpienia znaczącego ryzyka. Komisja postuluje stworzenie wykazu takich sektorów i okresowe poddawanie go przeglądowi i aktualizacji w celu dostosowania do szybkiego tempa rozwoju technologicznego³⁹.

36 Zob. Komisja Europejska, Biała Księga w sprawie sztucznej inteligencji, Europejskie podejście do doskonałości i zaufania, Bruksela, 19 lutego 2020 r., COM/2020/65.

37 Ibidem, s. 10.

38 Ibidem, s. 13.

39 W treści Białej Księgi Komisja podaje przykłady sektorów spełniających pierwsze kryterium: opieka zdrowotna, transport, energetyka, polityka azylowa, sądownictwo, zabezpieczenie społeczne.

(18)

Mateusz Bartoszek

Drugie kryterium odnosi się do konkretnego zastosowania systemów sztucznej inteligencji w ramach tych sektorów. Nie wszystkie sposoby wykorzystania SI wiążą się bowiem z wysokim ryzykiem właściwym dla sektora. Treść Białej Księgi wskazuje mię- dzy innymi na zastosowania SI, wywierające skutki prawne lub podobnie istotne skutki w odniesieniu do praw jednostki lub przedsiębiorstwa⁴⁰. Systemy SI, których działanie nie ma wystarczająco doniosłego wpływu na osoby dotknięte tym działaniem, nie mogą zostać uznane za systemy wysokiego ryzyka.

W ramach konsultacji społecznych, którym poddana została Biała Księga, stanowi- sko wyraziła Rada Adwokatur i Stowarzyszeń Prawniczych Europy (CCBE). CCBE zwróciła uwagę na problem zastosowania systemów sztucznej inteligencji w sądownic- twie, wskazując na szereg problemów i zagrożeń oraz zaproponowała rozwiązania ma- jące na celu przeciwdziałanie tym zagrożeniom⁴¹.

CCBE postuluje między innymi ustanowienie obowiązku informowania stron i uczestników postępowania o każdym użyciu systemu sztucznej inteligencji mającym wpływ na proces rozstrzygania sprawy. W kontekście zgodności z zasadą skutecznej ochrony sądowej taka regulacja prowadzić może do znacznego zwiększenia przejrzysto- ści zastosowań systemów SI w sądownictwie i przez to zapobiegać potencjalnym naruszeniom prawa do uzyskania uzasadnienia orzeczenia i prawa do sprawiedliwego rozpatrzenia sprawy. W porównaniu do postulatów wypracowanych przez grupę ekspertów i Komisję rozwiązania proponowane przez CCBE są konkretne i odpowiadają na realne zagrożenia charakterystyczne dla sądownictwa.

Również Rada Europy pracuje nad strategią utworzenia ram prawnych regulują- cych sztuczną inteligencję. Prace te, w przeciwieństwie do dokumentów publikowanych przez organy UE, nie dotyczą jednak sztucznej inteligencji ogólnie, ale skupiają się wła- śnie na zastosowaniu systemów sztucznej inteligencji w sądownictwie. Europejska Ko- misja na rzecz Efektywnego Wymiaru Sprawiedliwości (CEPEJ) w grudniu 2018 r. opu- blikowała Ethical Charter on the Use of Artificial Intelligence in Judicial Systems and their environment. Dokument ten przedstawia pięć zasad, których przestrzeganie jest konieczne do prawidłowego funkcjonowania systemów sztucznej inteligencji w sądow- nictwie: poszanowanie praw podstawowych, zakaz dyskryminacji, jakość i bezpieczeń- stwo, przejrzystość i obiektywność oraz nadzór użytkownika⁴².

40 Zob. Biała Księga, s. 19-21.

41 Zob. Rada Adwokatur i Stowarzyszeń Prawniczych Europy, CCBE Response to the consultation on the European Commission’s White Paper on Artificial Intelligence, 5 czerwca 2020 r., s. 6-7, https://

www.ccbe.eu/documents/position-papers/ [dostęp: 20.11.2021].

42 Zob. European Commission for the Efficiency of Justice, European Ethical Charter on the Use of Ar- tificial Intelligence in Judicial Systems and their Environment, 4 grudnia 2018 r., s. 7.

(19)

Różnice pomiędzy Wytycznymi i Białą Księgą a Ethical Charter prowadzą do wnio- sku, że w celu zagwarantowania najwyższego poziomu ochrony praw podstawowych, a przez to także zgodności z zasadą skutecznej ochrony sądowej, konieczne może być przyjęcie przez organy ustawodawcze UE aktów prawnych regulujących w sposób kon- kretny zastosowanie systemów sztucznej inteligencji w sądownictwie, a nie tylko ogól- nych, horyzontalnych rozwiązań dotyczących wszelkich możliwych zastosowań sztucznej inteligencji.

Proponowany akt w sprawie sztucznej inteligencji 4.

Skutkiem omówionych powyżej prac jest przedłożony 21 kwietnia 2021 r. projekt Aktu w sprawie sztucznej inteligencji. Po rozpatrzeniu wszystkich odpowiedzi uzyska- nych w ramach konsultacji społecznych i przeprowadzeniu oceny pod kątem skutków gospodarczych i społecznych możliwych wariantów regulacji Komisja przedstawiła projekt horyzontalnego instrumentu legislacyjnego UE, uwzględniającego proporcjo- nalne podejście oparte na analizie ryzyka, uzupełniony o kodeksy postępowania doty- czące systemów sztucznej inteligencji, które nie są obarczone wysokim ryzykiem⁴³.

Komisja nie podjęła postulowanej np. przez CCBE pracy nad rozwiązaniami sek- torowymi, które mogłyby być lepiej dostosowane do konkretnych zagrożeń związanych z wykorzystaniem systemów sztucznej inteligencji w różnych sferach, ale przedstawiła projekt rozporządzenia ustanawiającego wymogi dotyczące wszystkich systemów sztucznej inteligencji. Podjęto także decyzję o powiększeniu zapowiadanej początkowo liczby kategorii ryzyka z dwóch do czterech: niedopuszczalne ryzyko, wysokie ryzyko, ograniczone ryzyko i minimalne ryzyko.

Powstanie kategorii systemów sztucznej inteligencji niedopuszczalnego ryzyka, któ- rych użytek jest całkowicie zakazany, otwiera drogę do wprowadzenia zakazu zastosowania niektórych rodzajów systemów sztucznej inteligencji również w sądownictwie. Zakaz taki może okazać się w przyszłości konieczny do zapewnienia zgodności z zasadą skutecznej ochrony sądowej, zwłaszcza biorąc pod uwagę szybki rozwój technologiczny w zakresie przewidywania treści orzeczeń sądowych przez systemy sztucznej inteligencji⁴⁴.

Sprzeciw wśród komentatorów wzbudza jednak niemal nieistniejąca regulacja sys- temów sztucznej inteligencji ograniczonego i minimalnego ryzyka. W przypadku ryzyka ograniczonego jedynym proponowanym wymogiem, jaki musiałby spełnić system SI, jest obowiązek informowania użytkownika lub odbiorcy, że stosowane systemy (chatbo- ty lub programy wykorzystujące technologię deepfake) są systemami sztucznej inteli-

43 Zob. AIA, s. 11.

44 Zob. N. Aletras, D. Tsarapatsanis, D. Preotiuc-Pietro, V. Lampos, op. cit.

(20)

Mateusz Bartoszek

gencji. Systemy ryzyka minimalnego nie są obejmowane żadnymi wymogami. Nie da się jednak wykluczyć, że systemy obecnie zaliczane wstępnie do kategorii ograniczonego lub minimalnego ryzyka mogą po wprowadzeniu na rynek lub udostępnieniu do użyt- ku okazać się niebezpieczne dla zdrowia lub ochrony praw podstawowych⁴⁵.

Niezwykle istotne dla stosowania proponowanych przepisów jest nadanie AIA for- my rozporządzenia, a nie dyrektywy. Zgodnie z przepisem art. 288 TFUE rozporządze- nie wiąże w całości i jest bezpośrednio stosowane. TSUE, m.in. w wyroku w sprawie Politi, zaznaczył, że chodzi o pełny skutek bezpośredni, wertykalny i horyzontalny⁴⁶. Obecnie, według najlepszej wiedzy autora, polski system prawny nie zawiera żadnych przepisów regulujących tworzenie i zastosowanie sztucznej inteligencji.

Kategoria systemów sztucznej inteligencji wysokiego ryzyka 5.

Dominująca większość przepisów proponowanego rozporządzenia AIA dotyczy systemów sztucznej inteligencji wysokiego ryzyka. Przepisy art. 6 i art. 7 AIA definiują systemy wysokiego ryzyka poprzez odesłanie do list umieszczonych w załącznikach.

Zgodnie z przepisem art. 6 AIA systemami sztucznej inteligencji wysokiego ryzyka są:

„systemy sztucznej inteligencji przeznaczone do wykorzystywania jako związa- –

ne z bezpieczeństwem elementy produktu objętego unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku II lub będące takimi produktami, jeżeli jednocześnie produkt, którego elementem jest system sztucznej inteligencji lub sam system podlegają, na mocy tego prawodawstwa harmonizacyjnego, ocenie zgodności przeprowadzanej przez osobę trzecią w celu wprowadzenia go do obrotu lub oddania do użytku;

systemy, o których mowa w załączniku III”.

–

Pierwsza grupa dotyczy wielu rodzajów produktów: zabawek, wyrobów medycz- nych, urządzeń linii kolejowych, pojazdów silnikowych, statków powietrznych itp., które są przedmiotem prawodawstwa unijnego stwarzającego ramy prawne dla ich certyfikacji i dopuszczania do obrotu⁴⁷. Propozycja AIA zapowiada nowelizację odpowiednich aktów harmonizujących w tych sektorach, w celu dołączenia również wymogów proponowanych w AIA. Druga grupa obejmuje natomiast listę 8 obszarów i specyficznych sposobów

45 F. Reinhold, A. Muller, Algorithm Watch’s response to the European Commission’s proposed regula- tion on Artificial Intelligence – A major steps with major gaps, 22 kwietnia 2021 r., https://algorithmwatch.

org/en/response-to-eu-ai-regulation-proposal-2021/ [dostęp: 20.11.2021].

46 Zob. wyrok Trybunału z dnia 14 grudnia 1971 r. w sprawie C-43/71 Politi przeciwko Ministero delle finanze, ECLI:EU:C:1971:122, pkt 9.

47 Zob. Załącznik II do AIA.

(21)

wykorzystania systemów sztucznej inteligencji w tych obszarach. Jednym z tych obsza- rów są właśnie „sprawowanie wymiaru sprawiedliwości i procesy demokratyczne”⁴⁸.

Propozycja AIA zawiera w obszarze sprawowania wymiaru sprawiedliwości i procesów demokratycznych tylko jedną kategorię: systemy sztucznej inteligencji, które mają służyć organowi sądowemu pomocą w badaniu i interpretacji stanu faktycznego i przepisów prawa oraz w stosowaniu prawa do konkretnego stanu faktycznego⁴⁹. Przykład systemu e-Court i plan utworzenia sędziego-sztucznej inteligencji w Estonii wskazują natomiast, że wykorzystanie SI w sądownictwie rozwija się w kierunku wykraczającym znacząco poza służenie organowi sądowemu pomocą w procesie rozpatrywania sprawy.

Proponowany przez Komisję horyzontalny instrument legislacyjny, który ma regu- lować ogólnie zastosowanie systemów sztucznej inteligencji, wydaje się nakierowany bardziej na wzmocnienie regulacji sektorowych dotyczących bezpieczeństwa produk- tów niż na skuteczne zabezpieczenie sektora publicznego, w tym sądownictwa, przed potencjalnymi naruszeniami praw podstawowych. Przemawia za tym odwołanie się do długiej listy aktów prawnych UE, które mają na celu harmonizację prawa w odniesieniu do konkretnych rodzajów produktów. Także motywy AIA, w szczególności motyw 5, podkreślają, że proponowane rozporządzenie ma umożliwić rozwój, wykorzystanie i upowszechnienie SI na rynku wewnętrznym, a ochrona praw podstawowych wymie- niana jest tylko jako dodatkowy warunek mający wspierać funkcjonowanie rynku we- wnętrznego.

Projektowane wymogi dotyczące systemów sztucznej inteligencji 6. wysokiego ryzyka

Projekt AIA zawiera w przepisach art. 9-15 szereg wymogów, które musi spełnić system sztucznej inteligencji wysokiego ryzyka, aby zostać dopuszczony do obrotu lub użytku. Wymogi te wywiedzione zostały z Wytycznych oraz z Białej Księgi, a motywy AIA podkreślają ich znaczenie dla ograniczenia zagrożenia dla zdrowia, bezpieczeń- stwa i praw podstawowych. Większość przepisów tych artykułów rozpoczyna się od słów: „systemy sztucznej inteligencji wysokiego ryzyka projektuje się i opracowuje się w taki sposób, aby […]”. Wskazuje to na obarczenie odpowiedzialnością za spełnienie tych wymogów twórców systemów SI wysokiego ryzyka. Potwierdza to treść przepisu art. 16 AIA, który jasno wskazuje, że zapewnienie zgodności z wymogami ustanawia- nymi przez AIA jest obowiązkiem dostawców systemów. „Dostawca” jest pojęciem

48 Zob. Załącznik III do AIA.

49 Zob. ibidem.

(22)

Mateusz Bartoszek

normatywnym, zdefiniowanym w przepisie art. 2 AIA jako: „osoba fizyczna lub praw- na, organ publiczny, agencja lub inny podmiot, które opracowują system sztucznej inteligencji lub zlecają jego opracowanie w celu wprowadzenia go do obrotu lub oddania go do użytku pod własną nazwą handlową lub własnym znakiem towarowym – odpłat- nie lub nieodpłatnie”. W przypadku systemów tworzonych przez podmioty prywatne, przykładem czego może być amerykański system COMPAS, odpowiedzialność spo- czywa na tych właśnie podmiotach, twórcach systemów. Jeżeli natomiast stworzenie systemu zostaje zlecone przez organ publiczny, to właśnie ten organ jest odpowiedzial- ny za zgodność takiego systemu z przepisami AIA⁵⁰.

Spełnienie wymogów proponowanych w projekcie AIA ma zapewnić bezpieczeń- stwo systemów sztucznej inteligencji wysokiego ryzyka. Nie ulega wątpliwości, że Komi- sja stara się zrealizować wszystkie postulaty opracowane we wcześniejszych dokumentach politycznych dotyczących sztucznej inteligencji. Szczególnie istotne dla ochrony praw podstawowych, w tym zasady skutecznej ochrony sądowej, są wymogi dotyczące jakości danych, bezpieczeństwa oraz transparentności funkcjonowania systemów SI.

Dane treningowe, walidacyjne i testowe są istotne w przypadku systemów SI stosowanych w sądownictwie. To na ich analizie opiera się przyszłe działanie systemu. Błę- dy i usterki obecne w tych zbiorach danych, np. powielony brak obiektywizmu lub ten- dencyjność, mogą bezpośrednio przełożyć się na wyniki pracy systemu po oddaniu do użytku. Najdonioślejszym zagrożeniem wynikającym z takich błędów jest naruszenie zasady bezstronności sędziowskiej. System SI powinien być jedynie narzędziem, ale jeżeli narzędzie to powielać będzie tendencje zawarte w danych treningowych, sędzia może, nawet nieświadomie, w ślad za systemem, również powielać takie tendencje w swoich orzeczeniach. Zapewnienie odpowiedniej kontroli danych i przeciwdziałanie wymienionym problemom minimalizuje ryzyko naruszenia praw podstawowych, ale za- strzeżenia zgłaszane między innymi przez Swedsoft wskazują, że konieczna może być zmiana brzmienia przepisu art. 10 AIA w celu lepszego oddania rzeczywistych możli- wości technologicznych⁵¹.

W kontekście pozostałych wymienionych wcześniej potencjalnych naruszeń zasady skutecznej ochrony sądowej poprzez wykorzystanie systemów sztucznej inteligencji

50 Zob. art. 8-15 AIA.

51 Komentarz do proponowanego AIA opublikowany przez organizację pozarządową Swedsoft wskazuje wyraźnie, że wymogi adekwatności, reprezentatywności, wolności od błędów i kompletności danych są nierealistyczne. Osiągnięcie takich perfekcyjnych danych jak dotąd się nie udało, pomimo prób podejmowanych przez projektantów systemów sztucznej inteligencji. Ponadto, nawet weryfikacja spełnienia tych wymogów przez zbiory danych, w poszukiwaniu potencjalnych naruszeń, może okazać się niemożliwa przed dopuszczeniem do obrotu lub udostępnieniem do użytku. Zob. Swedsoft, Comments Regarding the European Commission’s proposal for an Artificial Intelligence Act, 24 czerwca 2021 r., s. 4, https://www.

swedsoft.se/en/2021/06/29/comments-regarding-the-artificial-intelligence-act/ [dostęp: 20.11.2021].

(23)

w sądownictwie należy wskazać, że wymogi proponowane przez Komisję zmierzają do wprowadzenia mechanizmów, które miałyby dużą szansę zapobiegać tym zagrożeniom, w szczególności w odniesieniu do braku transparentności i „efektu czarnej skrzynki”.

Wymóg wprowadzenia funkcji rejestracji zdarzeń oraz wymóg przejrzystości pozwalają oczekiwać zapewnienia przez dostawcę, że użytkownik będzie w stanie poznać i zrozu- mieć procedury rządzące funkcjonowaniem systemu sztucznej inteligencji oraz zinter- pretować wyniki ich pracy pod kątem przesłanek prowadzących do tych wyników. Prze- pis art. 12 ust. 4 określa szczegółowo minimalne wymogi funkcji rejestracji zdarzeń w odniesieniu do systemów SI wysokiego ryzyka wykorzystywanych do identyfikacji biometrycznej osób fizycznych w czasie rzeczywistym, ale dla pozostałych sektorów charakteryzujących się wysokim ryzykiem, wymienionych w załączniku III do AIA, minimalne wymogi nie zostały określone. Wskazano jedynie, że poziom identyfikowalno- ści funkcjonowania systemu musi być odpowiedni do jego przeznaczenia. W przypadku zastosowania systemów SI w sądownictwie odpowiedni poziom powinien odpowiadać gwarancjom i obowiązkom wynikającym z praw podstawowych (w tym zasady skutecznej ochrony sądowej) oraz przepisów proceduralnych. Użycie w art. 12 ust. 2 sformuło- wania „odpowiedni do” jest jednym z podkreślanych w komentarzu organizacji Swed- soft przykładów niejasnego sformułowania wymogów, które mogą potencjalnie prowadzić do nadmiernego obciążania odpowiedzialnością podmiotów tworzących systemy SI⁵². Wprowadzenie funkcji rejestrowania zdarzeń poprzez umożliwienie identyfikacji funkcjonowania systemu, a co za tym idzie, lepszego poznania i zrozumienia jego działania, odpowiada między innymi na potencjalne zagrożenia naruszenia prawa do uzyskania uzasadnienia orzeczenia. Kreuje to bowiem dla użytkownika systemu (sędzie- go) narzędzie do wyjaśnienia przebiegu i efektu pracy systemu. Także zasady niezawi- słości i bezstronności sędziowskiej znajdują dodatkowe zabezpieczenie w istnieniu reje- stru zdarzeń. Wprowadzenie kryterium przejrzystości działania systemów SI i jego spełnienie pozwala bowiem dokładniej monitorować ich pracę i szybko wykrywać potencjalne elementy stanowiące zagrożenie dla niezawisłości i bezstronności sędziego korzystającego z pomocy systemu SI, np. brak obiektywności lub potencjalne zewnętrz- ne ataki.

Proponowany przez Komisję wymóg nadzoru ze strony człowieka obejmuje moż- liwość podjęcia decyzji o zaniechaniu użycia systemu sztucznej inteligencji, przerwaniu już podjętej przez system pracy, a także „ręczną” zmianę lub odwrócenie wyniku tej pracy. Szczególnie możliwość podjęcia decyzji o nieużywaniu systemów SI jest istotna, ponieważ wskazuje, że działanie systemu sztucznej inteligencji powinno być jedynie fakultatywną możliwością, a nie koniecznością. W kontekście sądownictwa oznacza to,

52 Ibidem, s. 7.

(24)

Mateusz Bartoszek

że sprawy zawsze muszą być rozpatrywane przez sędziego-człowieka, który musi mieć możliwość podjęcia decyzji o rozpatrzeniu sprawy wyłącznie na podstawie własnej wiedzy i umiejętności, bez wykorzystania sztucznej inteligencji. Zapewnia to dodatkową możliwość rezygnacji z zastosowania przez sędziów wskazówek dostarczanych przez systemy sztucznej inteligencji. Jednocześnie Komisja wskazuje, że środki służące spra- wowaniu nadzoru nad systemami SI ze strony człowieka mają zapewnić sposobność monitorowania działalności systemu tak, aby można było szybko wykrywać nieprawi- dłowe funkcjonowanie i nieoczekiwane wyniki. Ponownie należy wskazać, że tak jak w przypadku ogólnie sformułowanego wymogu wprowadzenia funkcji rejestracji zda- rzeń, tak i w proponowanych przepisach dotyczących wymogu nadzoru stopień konkre- tyzacji jest zbyt niski. Brak jest bowiem jakichkolwiek propozycji dotyczących obszaru sądownictwa, chociaż określono minimalne wymogi dla użytkowania systemów służą- cych do zdalnej identyfikacji biometrycznej osób fizycznych.

Wymóg dokładności, solidności i cyberbezpieczeństwa zmierza do zapewnienia ochrony przed wpływami z zewnątrz, w tym ataków hakerskich i prób wpłynięcia na wyniki pracy systemu poprzez ingerowanie w zbiory danych wejściowych. Szczególnie istotne jest w tym zakresie postulowane w propozycji AIA wprowadzenie środków po- zwalających na weryfikację integralności zbiorów danych treningowych i wejściowych.

Wejście w życie przepisów AIA, w obecnym ich brzmieniu, może pozwolić na skutecz- niejsze zapobieganie potencjalnym naruszeniom wymogów niezawisłości i bezstronno- ści sędziowskiej, które mogą wystąpić jako efekt zewnętrznego wpływu na dane wpro- wadzane do systemów SI lub algorytmy, według których takie systemy funkcjonują.

Sędzia w wykonywaniu swoich zadań musi być całkowicie niezależny od czynników zewnętrznych, a także wolny od uprzedzeń i stronniczości. Systemy SI wykorzystywane przez sędziów stanowią niewątpliwie czynnik zewnętrzny wobec nich. Gwarancja bez- pieczeństwa tych systemów, w tym brak ukrytych celów oraz odporność na ataki z ze- wnątrz, jest konieczna do zapewnienia, że system pozostaje narzędziem i nie wpływa na sędziego w sposób, który może budzić uzasadnione wątpliwości co do jego niezawisło- ści. Przepis art. 15 AIA stanowi, że dostawcy systemów SI powinni wprowadzać nad- mierne zabezpieczenia i rozwiązania techniczne mające służyć solidności tych syste- mów. Wymogi dokładności, solidności i cyberbezpieczeństwa są jednymi z nielicznych wymogów zawartych w AIA, które prawdopodobnie nie wymagają szczególnego dostosowania lub doszczegółowienia dla systemów SI wykorzystywanych w sądownictwie.

Zagrożenia naruszenia zasady skutecznej ochrony sądowej w powyższej sferze, którym stara się przeciwdziałać ten przepis, są bardzo poważne, ale ich bezpośrednią przyczyną są kwestie czysto techniczne: bezpieczeństwo systemu i odporność na ataki z zewnątrz.

(25)

Czysto techniczne jest zatem także rozwiązanie tego problemu, ale prawo powinno prze- widywać obowiązek spełnienia konkretnych kryteriów.

Oprócz zapewnienia zgodności systemów SI z wymogami sformułowanymi w AIA na dostawcach systemów spoczywają również inne obowiązki. W większości są to jednak obowiązki proceduralne związane z właściwym certyfikowaniem systemów SI oraz prze- prowadzaniem kontroli zgodności z wymogami. W kontekście ochrony praw podstawowych, w tym zasady skutecznej ochrony sądowej, znaczenie mają trzy spośród pozosta- łych obowiązków dostawców. Przede wszystkim dostawca ma obowiązek sporządzać dokumentację techniczną swoich systemów SI. Taka dokumentacja jest przekazywana użytkownikowi celem spełnienia wymogu przejrzystości, a możliwość zaznajomienia się z nią jest jednym z elementów umożliwiających użytkownikowi lepsze zrozumienie funkcjonowania systemu SI. Podobną funkcję pełnią rejestry zdarzeń generowane z uży- ciem funkcji rejestrowania zdarzeń. Do obowiązków dostawcy należy przechowywanie tych rejestrów, jeżeli znajdują się one pod kontrolą dostawcy. Im lepiej użytkownik (sę- dzia) rozumie działanie systemu SI, tym lepiej może wyjaśnić, w jaki sposób system osiąga konkretne wyniki. Wzmacnia to gwarancje praw wynikających z zasady skutecznej ochrony sądowej, w szczególności prawa do uzyskania uzasadnienia orzeczenia.

Trzecim obowiązkiem dostawców jest podejmowanie niezbędnych działań naprawczych, jeżeli system SI nie spełnia któregokolwiek z wymogów zawartych w AIA. Nie ma to bezpośredniego związku z zasadą skutecznej ochrony sądowej, ale służy podtrzymaniu i umocnieniu ochrony wynikającej z wymogów proponowanych przez Komisję, w tym także przepisów, które w odniesieniu do systemów sztucznej inteligencji stosowanych w sądownictwie służą ochronie sprawnego funkcjonowania sądów⁵³.

Projekt AIA nakłada obowiązki również na użytkowników systemów sztucznej inteligencji wysokiego ryzyka. Wśród tych obowiązków najdonioślejsze znaczenie w kontek- ście zapobiegania naruszeniom zasady skutecznej ochrony sądowej ma zwłaszcza obowią- zek zapewnienia adekwatności danych wejściowych, zgodnie z przeznaczeniem systemu, w granicach, w jakich użytkownik sprawuje kontrolę nad tymi danymi⁵⁴. Danymi wejścio- wymi w przypadku systemów SI wykorzystywanych w sądownictwie mogą być m.in. akta sprawy. Nadzór nad sposobem wprowadzenia tych danych do systemu, ich integralnością i autentycznością służy zagwarantowaniu prawa do sprawiedliwego rozpatrzenia sprawy, poprzez zapewnienie poprawności pracy systemów SI, a co za tym idzie także rzetelności całości postępowania. Dodatkowo, każdorazowa kontrola wprowadzanych danych służy również minimalizacji ryzyka powielania potencjalnej tendencyjności lub innych usterek w tych danych, uzupełniając ochronę wymogu bezstronności sędziowskiej.

53 Zob. art. 16-24 AIA.

54 Zob. art. 29 AIA.

(26)

Mateusz Bartoszek

Podsumowanie 7.

Proponowane w AIA wymogi i obowiązki, w kontekście opisanych w niniejszym artykule problemów, pozwalają zapobiegać w szczególności zagrożeniom naruszenia zasady skutecznej ochrony sądowej związanym z zabezpieczeniem systemów sztucznej inteligencji przed wpływem zewnętrznym, w tym również atakiem hakerskim, a także przed potencjalną manipulacją danymi wejściowymi. Również postulat spełnienia szcze- gólnych wymogów przez dane wykorzystywane podczas projektowania i testowania systemu sztucznej inteligencji pozwala liczyć na wyższy stopień wczesnego wykrywa- nia problemów wynikających z potencjalnego braku obiektywizmu w zbiorach danych, co służy m.in. minimalizacji ryzyka naruszenia wymogu bezstronności sędziowskiej.

Niestety, zgłaszane przez organizacje pozarządowe trudności związane z osiągnięciem wymaganego przepisami AIA poziomu doskonałości danych budzą wątpliwości co do rzeczywistej możliwości realizacji tych propozycji.

Zagrożenie braku transparentności procesów decyzyjnych podejmowanych przez systemy sztucznej inteligencji, którego efektem może być naruszenie prawa do uzasad- nionego orzeczenia, minimalizowane jest poprzez wprowadzenie wymogów tworzenia szczegółowej specyfikacji technicznej oraz funkcji rejestrowania zdarzeń. Do ich speł- nienia konieczne będzie podniesienie poziomu wiedzy użytkowników systemów SI (sę- dziów) na temat działania tych systemów. Efektem zwiększonej wiedzy powinna być umiejętność adekwatnego wyjaśnienia efektów pracy systemów SI, co zmniejsza zagro- żenie wystąpienia „efektu czarnej skrzynki”. Nie jest to jednak rozwiązanie dopasowane do wykorzystania systemów sztucznej inteligencji w sądownictwie.

Powyższe uzasadnia stwierdzenie, że w pracach Komisji nad utworzeniem ram prawnych regulujących sztuczną inteligencję zauważalna jest tendencja do tworzenia przepisów mających możliwie uniwersalny charakter. Nie można wykluczyć, że takie przepisy w połączeniu z aktami prawa Unii Europejskiej harmonizującymi konkretne sektory rynku wewnętrznego będą wystarczające do zapewnienia skutecznego zapobiegania zagrożeniom dla życia, zdrowia i praw podstawowych w tych sektorach. Sądow- nictwo jest jednak obszarem odmiennym, ponieważ użycie jakiegokolwiek systemu do administrowania pracą sądów, wspierania procesu rozstrzygania spraw przez sędziów, a nawet potencjalnie do rozstrzygania spraw zamiast sędziów musi być zgodne z szere- giem praw i wymogów, których rolą jest zapewnienie skutecznego funkcjonowania ca- łego wymiaru sprawiedliwości – wykonywania władzy sądowniczej. W mojej ocenie postulowane przez CCBE i zgodne ze stanowiskiem CEPEJ rozwiązanie sektorowe, za- projektowane specyficznie dla potrzeb wykorzystania systemów sztucznej inteligencji w sądownictwie, jest konieczne do osiągnięcia celów sformułowanych w Wytycznych i umożliwienia pełnego wykorzystania potencjału technologii sztucznej inteligencji,