Relacja pomiędzy człowiekiem i systemem

W trakcie pierwszego nieformalnego spotkania na forum Konwencji CCW, T. Marauhn zwrócił uwagę na znaczenie dowodzenia i kontroli w świetle legalności użycia AWS. Według niego, dyskusję nad AWS należy zorientować na prawo dotyczące angażowania celu (ang. targeting law). Wprowadzenie całkowitego zakazu AWS byłoby bezcelowe i nieefektywne, ponieważ systemy autonomiczne nie są ani z natury nierozróżniające, ani nie powodują nadmiernych obrażeń lub niepotrzebnego cierpienia.

Główny problem w zastosowaniu AWS dotyczy pytania, czy i w jakim zakresie kluczowe

170 Tamże, s. 10.

171 GGE, Report 2019, s. 4-6.

172 GGE, Report of the 2019 Addendum: Chair’s summary of the discussion of the 2019 GGE, 08.11.2019, CCW/GGE.1/2019/3/Add.1, s. 2.

51 decyzje o przeprowadzeniu ataku powinny być oddelegowane systemowi. Ten problem odzwierciedla fundamentalne pytanie stawiane przez doktrynę MPH, czyli o zakres scedowania decyzji o ataku na niższe stopnie dowodzenia. AWS nie są (i prawdopodobnie nigdy nie będą) tworzone w celu zastąpienia najwyższych poziomów dowodzenia w siłach zbrojnych. Sam AWS znajduje się na niskim (o ile nie najniższym) poziomie dowodzenia.

Stąd, zdaniem eksperta, należy zwrócić uwagę na poziom autonomiczności w obrębie konkretnego poziomu dowodzenia oraz na okoliczności, w których owa autonomiczność może być wykonywana. Analizowany problem jest zbliżony do pytania o to, na którym poziomie dowodzenia w tradycyjnych działaniach zbrojnych następuje podjęcie ostatecznej decyzji o konkretnym użyciu siły. Do tego można dodać decyzję realizującą obowiązek odstąpienia od ataku, jeśli okaże się, że może on spowodować niezamierzone straty cywilne (zgodnie z art. 57 ust. 2 lit. b PD I ten obowiązek ciąży na planującym lub decydującym o podjęciu ataku). Powyższe nie oznacza jednak, że należy całkowicie zignorować różnicę pomiędzy oddaniem upoważnienia człowiekowi a oddaniem upoważnienia systemowi. Proste stwierdzenie, że w tradycyjnych działaniach zbrojnych zawsze występuje człowiek upoważniony i odpowiedzialny za atak, jest mylące. Zdarza się, że podległy kombatant jest mniej rzetelny w zakresie wykonywania zgodnych z prawem rozkazów, niż może być AWS¹⁷³.

N. Sharkey z kolei przedstawił zbiór minimalnych elementów składających się na znaczącą kontrolę człowieka nad systemem. Po pierwsze, dowódca lub operator powinien posiadać pełną kontekstualną i sytuacyjną świadomość obszaru angażowania celu konkretnego ataku. Po drugie, taka osoba powinna być zdolna do dostrzeżenia i reakcji na jakiekolwiek zmiany lub niespodziewane sytuacje, które mogły powstać od momentu zaplanowania ataku. Po trzecie, należy zachować aktywny poznawczy udział w ataku.

Człowiek powinien dysponować czasem na rozważenie znaczenia celu ataku w kontekście jego konieczności i odpowiedniości, jak również prawdopodobieństwa przypadkowych i możliwych wypadkowych skutków ataku. Po czwarte, powinny zostać przyjęte środki pozwalające na szybkie wstrzymanie lub anulowanie ataku¹⁷⁴.

173 T. Marauhn, An Analysis of the Potential Impact of Lethal Autonomous Weapons Systems on Responsibility and Accountability for Violations of International Law, Presentation on the occasion of the CCW expert meeting on lethal autonomous systems, Genewa, 13-16.05.2014,

https://www.unog.ch/80256EDD006B8954/(httpAssets)/35FEA015C2466A57C1257CE4004BCA51/$file/Mara uhn_MX_Laws_SpeakingNotes_2014.pdf (05.01.2020).

174 N. Sharkey, Presentation at CCW informal meeting on LAWS, May 2014, https://www.unog.ch/80256EDD006B8954/(httpAssets)/78C4807FEE4C27E5C1257CD700611800/$file/Sharke y_MX_LAWS_technical_2014.pdf (07.01.2020).

52 O wiele częściej zasada znaczącej kontroli człowieka nad systemem pojawiała się w dyskusjach spotkania nieformalnego w 2015 r. Niektóre państwa wyraziły sceptycyzm wobec użyteczności tego pojęcia. Według nich jest ono niedookreślone, subiektywne i niejasne. Odpowiednie wydaje się zorientowanie na definicję samej autonomiczności, która może być bardziej precyzyjna i odpowiednia jako termin techniczny. Inne państwa z kolei wyraziły zaniepokojenie możliwością wystąpienia niezamierzonych konsekwencji w użyciu AWS nawet z wąskim zakresem znaczącej kontroli człowieka. W zamian, zaproponowały termin „human judgment”. Kontrola człowieka może być szczególnie narażona na wpływ zewnętrzny, zwłaszcza przymus lub działanie pod presją (na przykład na polu walki). Zostało wyrażone i takie stanowisko, że znacząca kontrola człowieka może być użyteczna jako podejście polityczne, jednak nie powinna być uznana jako kryterium prawne. To mogłoby bowiem podważyć istniejące prawo angażowania celu, poprzez wprowadzanie nieścisłości.

Zamiast tego, sztywne stosowanie przeglądu prawnego w dobrej wierze przez państwa, zwłaszcza w odniesieniu do reguł procesu angażowania celu, może być najlepszym gwarantem odpowiedniej ochrony dla ludności cywilnej i obiektów cywilnych¹⁷⁵.

W 2016 roku niektóre państwa podkreśliły wagę znaczącej ludzkiej kontroli jako przesłanki determinującej legalność użycia AWS. Inne z kolei zaproponowały rozszerzenie tej zasady na wcześniejsze fazy implementowania AWS, w tym: wyboru systemu uzbrojenia i wprowadzenia do arsenału zbrojnego. Niektóre państwa skrytykowały konstrukcję tej zasady, opartej na przesłankach subiektywnych. Według nich należałoby je zastąpić sformułowaniem „odpowiedni osąd ze strony człowieka” (ang. appropriate human judgment)¹⁷⁶.

W 2017 roku, w obrębie zagadnień poświęconych relacji pomiędzy człowiekiem a systemem, zostały przedstawione punkty styczne, z perspektywy właściwej regulacji.

Zostały podzielone na następujące części: 1) kierunek działań politycznych w fazie poprzedzającej rozwój AWS, 2) badania i rozwój, 3) testowanie, ocena i certyfikacja, 4) wykorzystanie, szkolenie, również w kontekście dowodzenia i kontroli, 5) użycie AWS, 6) ocena skutków po użyciu AWS. Podczas gdy wszystkie fazy powinny być objęte regulacją krajową, zastosowanie prawa międzynarodowego rozpoczyna się dopiero od 4 fazy, to jest włączenia AWS do arsenału państwa oraz odpowiedniego przeszkolenia, przez użycie,

175 Informal Meeting on LAWS, Report 2015, s. 11-15.

176 Informal Meeting on LAWS, Report 2016, s. 3.

53 do oceny jego skutków¹⁷⁷. Prawo międzynarodowe ma ograniczoną możliwość ingerencji we wcześniejsze etapy.

Konieczność sprawowania kontroli przez człowieka została wywiedziona z wymogu przestrzegania MPH w trakcie procesu angażowania celu. Państwa nie były jednak w stanie zająć wspólnego stanowiska co do odpowiedniego umiejscowienia kontroli ze strony człowieka w poszczególnych fazach procesu włączania AWS do arsenału zbrojnego.

W kontekście użycia systemu uzbrojenia w konflikcie zbrojnym, kombatanci powinni być odpowiedzialni za aktywację systemu oraz monitorowanie jego funkcjonowania.

To wymagałoby odpowiedniej wiedzy operatora na temat właściwości systemu oraz upewnienia się, że system jest gotowy do użycia w zaplanowanym środowisku. Ponadto, musi zostać wyposażony w odpowiednie i rzetelne informacje pozwalające na podjęcie świadomych decyzji i ich zgodność z prawem. Kontrola nad użyciem wiąże się z wymogami proceduralnymi podczas planowania, przydzielania zadań i operowania. Powinna składać się z dwóch części: zdolności do zrozumienia kontekstu i sytuacji, jak również kompetencji do interweniowania w razie potrzeby (poprzez dezaktywację systemu lub manipulowanie jego zachowaniem). Zdolność do interwencji powinna być przewidziana przynajmniej na etapie wyboru i bezpośredniego angażowania celu. W ostatniej fazie – oceny przeprowadzonego ataku – istotna jest możliwość realizacji odpowiedzialności. Zapewnienie takiej możliwości może wymagać rejestrowania poszczególnych czynności systemu w czasie jego pracy, zapewniając ich zrozumienie przez człowieka¹⁷⁸.

W raporcie z 2018 roku można znaleźć wiele propozycji uregulowania relacji pomiędzy człowiekiem a maszyną¹⁷⁹. Zostały one przedstawione w załączonej tabeli.

Czynność Przymiotnik Podmiot Charakter interakcji

Maintaining Substantive Human Participation

Ensuring Meaningful Involvement

Exerting Appropriate Responsibility

Preserving Sufficient Supervision

Minimum level of Validation

Minimum indispensable extent of

Control

177 GGE, Report 2018, s. 13.

178 Tamże, s. 14-15.

179 GGE, Report 2018, s. 16.

54

Judgment Decision Tabela 1: Propozycje ujęcia interakcji pomiędzy człowiekiem a maszyną

Przyjęcie któregokolwiek z powyższych elementów wiąże się z określonymi skutkami prawnymi. Przymiotnik „odpowiednia” (ang. appropriate) jest kontekstualny, wobec czego wymaga oceny post factum, czy w określonych okolicznościach kontrola człowieka była wystarczająca dla zapewnienia zgodności z ius in bello¹⁸⁰. Wystarczający (ang. sufficient) poziom ludzkiej kontroli jest z kolei determinowany wynikiem operacji z użyciem AWS.

W związku z powyższym organizacja pozarządowa Article 36 zaproponowała konfigurację opartą na znaczącej kontroli człowieka nad procesem angażowania celu. Konstrukcja została oparta na dwóch założeniach, po pierwsze, że maszyna używająca siły i operująca bez jakiejkolwiek kontroli człowieka jest nie do zaakceptowania. Po drugie, samo aktywowanie systemu przez człowieka, bez jasności i świadomości sytuacyjnej, nie jest wystarczające¹⁸¹.

W doktrynie zostało wyrażone dalej idące stanowisko, zgodnie z którym wymóg znaczącej kontroli człowieka nad systemem jest normą in statu nascendi¹⁸². Odnosi się nie tylko do wykorzystania systemów autonomicznych w konflikcie zbrojnym, ale nowych technik w ogóle. Zmiana charakteru konfliktów zbrojnych i wzrastające zaangażowanie nowych rozwiązań wymagają innego spojrzenia na MPH. Ten dział prawa międzynarodowego jest podatny na przekształcenia wynikające z techniki, ponieważ oddziałuje ona na sposób zachowania i zdolności stron konfliktu zbrojnego. Zdaniem P. Asaro, podstawą dla wykształcenia normy znaczącej kontroli człowieka nad systemem w międzynarodowym prawie humanitarnym jest klauzula Martensa. Prawo powinno bowiem zmierzać do odnalezienia wspólnych podstaw moralnych, które znajdą w nim odzwierciedlenie¹⁸³.