dr Zbigniew Nawrat
Fundacja Rozwoju Kardiochirurgii, Zabrze, ĝląski Uniwersytet Medyczny dr inĪ. Paweá Kostka
Fundacja Rozwoju Kardiochirurgii, Zabrze, Politechnika ĝląska w Gliwicach, Instytut Elektroniki
dr Zbigniew Maáota
Fundacja Rozwoju Kardiochirurgii, Zabrze
ERGONOMICZNE STANOWISKO OPERATORA ROBOTA
CHIRURGICZNEGO ROBIN HEART – PRACE PROJEKTOWE,
KONSTRUKCYJNE I BADAWCZE 2009í2010
Prezentowana praca przedstawia stan aktualny oraz projekt rozwoju dotyczące rozwiązania stanowiska pracy chirurga, interfejsu czáowiek-maszyna opracowa-nego dla systemu polskiego telemanipulatora chirurgiczopracowa-nego Robin Heart. Konso-la sterowania o nazwie Robin Heart Shell 1 oraz jej nastĊpczyni Robin Heart Shell 2 zostaáy poddane testom laboratoryjnym i zostaáy wykorzystane podczas eksperymentów robotów na zwierzĊtach w styczniu 2009 roku i w maju 2010 roku. W grudniu 2010 r., po zmodyfikowaniu systemu sterowania, model Robin Heart Shell 2 zostaá wykorzystany podczas pierwszego, modelowego eksperymentu tele-operacji. Powstaje kolejny model konsoli sterowania robotem Robin Heart – wprowadzane są miĊdzy innymi stereowizja i sprzĊĪenie siáowe w wybranych stopniach swobody robota. Jednym z podstawowych elementów prac projekto-wych i badawczych konsoli są studia ergonomii pracy chirurga.
THE ERGONOMIC CONTROL CONSOLE
OF SURGICAL ROBOT ROBIN HEART í DESIGN WORK,
CONSTRUCTION AND RESEARCH 2009í2010
Current state and the assumptions of development of surgeon-machine interface for polish Robin Heart telemanipulator is presented. Control console named Robin Heart Shell 1 and its successor Robin Heart Shell 2 were subjected to laboratory testing and has been used in experiments on animals robots in January 2009 and May 2010. In December 2010, after modifying the control system, in model teleoperation experiment Robin Heart Shell 2 has been used. In formed new model of robot control console Robin Heart are introduced stereovision and force feedback in selected degrees of freedom robot. One of the basic elements of design and research studies are the console surgeon ergonomics.
1. WPROWADZENIE, STAN AKTUALNY KONSOLI STERUJĄCEJ SYSTEMU ROBIN HEART
W 2000 roku Fundacja Rozwoju Kardiochirurgii w Zabrzu rozpoczĊáa polski projekt robota kardiochirurgicznego finansowany przez Komitet BadaĔ Naukowych [1].
Telemanipulator sáuĪący do wykonywania operacji chirurgicznych jest urządzeniem, dla którego konsola sterowania robotem odgrywa kluczową rolĊ, gdyĪ bezpoĞrednio wpáywa na efekt i precyzjĊ oraz bezpieczeĔstwo operacji. Podstawowym zadaniem ukáadu zadajnika po-áoĪenia/ prĊdkoĞci/przyĞpieszenia (lub innych wielkoĞci fizycznych) w systemie telemanipu-latora jest mapowanie ruchów operatora chirurga przetwarzanych nastĊpnie przez ukáad steru-jący, wypracowujący sygnaáy sterujące dla ramienia wykonawczego [2, 3, 4]. Sprecyzowano nastĊpujące wymagania podstawowe dla ukáadu sterującego telemanipulatora [1]:
okreĞlanie z zadaną czĊstotliwoĞcią próbkowania pozycji dáoni i przetwarzanie jej na ruchy narzĊdzia wykonawczego (NW);
zapewnienie wymaganej dokáadnoĞci i rozdzielczoĞci;
przeskalowywanie zakresu ruchu dáoni na zakres ruchu NW;
eliminacja efektu drĪenia rąk operatora.
W latach 2000í2010 w Pracowni Biocybernetyki FRK opracowano kilka projektów urzą-dzeĔ typu Master zadających ruch robota (interfejsów lekarz-robot) wykorzystujących za-równo gáos lekarza (komendy wydawane gáosem), jak i zadania sprecyzowane ruchem dáoni za pomocą róĪnego rodzaju zadajników. Konsola sterowania o nazwie Robin Heart Shell 1 oraz jej nastĊpczyni Robin Heart Shell 2 (rys. 1) zostaáy poddane testom laboratoryjnym i zostaáy wykorzystane podczas eksperymentów robotów na zwierzĊtach w styczniu 2009 r. i maju 2010 r. W grudniu 2010 r., po zmodyfikowaniu systemu sterowania, model Robin Heart Stell 2 zostaá wykorzystany podczas pierwszego, modelowego eksperymentu teleoperacji. Powstaje kolejny model konsoli sterowania robotem Robin Heart – wprowadzane są miĊdzy innymi stereowizja i sprzĊĪenie siáowe w wybranych stopniach swobody robota. Jednym z podstawowych elementów prac projektowych i badawczych konsoli są studia ergonomii pracy chirurga.
Cechą charakterystyczną konstrukcji jest oparcie jej na naturalnej idei operatora umiesz-czonego wewnątrz przestrzeni operacji, która zostaáa uzyskana przez zawieszenie przegubu obrotowego zadajników ruchu nad gáową operatora oraz monitora (2D lub 3D) w czĊĞci dol-nej – operator patrzy swobodnie w dóá pod wybranym kątem. Wygodna aĪurowa konstrukcja umoĪliwia dopasowanie wszystkich elementów wpáywających na ergonomiĊ pracy oraz kon-takt z otoczeniem (jeĞli konsola znajduje siĊ na sali operacyjnej). Ukáad przekazu informacji umoĪliwia w wygodny sposób zarówno kontakt ze Ğwiatem zewnĊtrznym, jak i korzystanie on-line z systemu doradczego.
Badania ergonomiczne konsoli oraz wywiad z uĪytkownikami robota podczas testów ope-racji na zwierzĊtach wskazaáy na potrzebĊ podniesienia nieco monitora obserwacyjnego. Od-twarzając w sposób bezpoĞredni naturalną sylwetkĊ chirurga odtworzyliĞmy równieĪ jego nieprawidáowe obciąĪenie krĊgosáupa. DziĊki podniesieniu monitora chirurg oparty plecami o oparcie fotela moĪe swobodnie obserwowaü ruchy narzĊdzi, pod kątem prostym do monito-ra w konsoli Robin Heart Shell 2.
Rys. 1. U góry; chirurg podczas operacji, który staá siĊ inspiracją nowej konsoli oraz operator robota za pomocą konsoli Robin Heart Shell 1, poniĪej konsola Robin Heart Shell 2, na dole widok sali operacyjnej ze stycznia 2009 r. i pola
operacyj-Operator przesuwa w wygodne poáoĪenie zadajniki ruchu o ksztaácie przypominającym narzĊdzie, operuje zadajnikami bezpoĞrednio nad monitorem, co daje wygodną moĪliwoĞü równoczesnej obserwacji ruchu dáoni z zadajnikiem oraz efektu zadanego ruchu. Pod monito-rem, w dobranej przez chirurga lokalizacji, znajdują siĊ pedaáy do odsprzĊgania ukáadu me-chanicznego.
Przez otwory naturalne lub dwa, trzy naciĊcia (odpowiednio oprawione – troakar) w po-wáokach ciaáa pacjenta w pole operacyjne wprowadzone są narzĊdzia chirurgiczne (noĪyczki, kleszczyki itp.), przez kolejny – wizyjny tor endoskopowy za pomocą którego tworzony jest obraz pola operacyjnego. W konsoli zamocowane są co najmniej dwa monitory: jeden obser-wacyjny nad kolanami operatora, drugi wyĪej na wprost – monitor techniczny. Podczas eks-perymentu w maju 2010 r. z konsoli Robin Heart Shell 2 chirurg operowaá robotem Robin Hart mc2 w róĪnej konfiguracji – albo z platformą do pracy lokalnej na ramieniu Ğrodkowym albo w klasycznym juĪ ustawieniu trzech ramion robota – dwóch narzĊdziowych i tor wizyjny osadzony na Ğrodkowym ramieniu.
2. BADANIA ERGONOMICZNE I WIDEO REJESTRACJA PRACY CHIRURGA Ergonomia to dziedzina nauki i praktyki, której celem jest ksztaátowanie dziaáalnoĞci czáo-wieka odpowiednio do jego fizjologicznych i psychologicznych wáaĞciwoĞci. Stanowisko pracy to ukáad, gdzie czáowiek za pomocą Ğrodków pracy (maszyny, narzĊdzia, przyrządy), w okreĞlonej przestrzeni i Ğrodowisku wykonuje zorganizowane, celowe czynnoĞci.
Robot skáada siĊ z zespoáów mechanicznych, napĊdów, czujników, efektorów (np. chwy-tak, noĪyczki) i sterowania. Ukáad sterowania zespoáów napĊdowych pozwala na realizacjĊ przez efektor robota okreĞlonych zadaĔ. Zespoáy napĊdowe manipulatora są zasilane za po-mocą wzmacniaczy mocy, w sposób narzucony przez regulator. Manipulator jest wielowy-miarowym obiektem regulacji. Ukáad sterowania (analizowane sygnaáy są n-wywielowy-miarowymi wektorami) tworzy zamkniĊty ukáad regulacji oceniający aktualną zgodnoĞü faktycznej reali-zacji zadaĔ z planowaną.
Projektowanie miejsca pracy operatora robota chirurgicznego wymaga studiów w wielu aspektach:
ergonomii pracy (cech szczególnych doĞwiadczenia pracy chirurga), fizjologicznych i anatomicznych (np. zakres ruchu, czas reakcji), psychologicznych,
zwartoĞci systemu obejmującego strukturĊ kinematyczną i sterowania robotem.
Konsola jako miejsce kierowania poáoĪeniem i funkcjami wykonawczymi robota chirur-gicznego jest projektem, w którym w sposób najbardziej efektywny naleĪy wykorzystaü wy-brane sposoby sterowania i wiedzĊ dotycząca ergonomii pracy chirurga.
Konstrukcja ludzkiej koĔczyny górnej pozwala nam na wykonywanie róĪnych czynnoĞci i ruchów, prostych i záoĪonych. Ludzka rĊka, która ma 25 stopni swobody, ale ukáad sterowa-nia telemanipulatora jest uproszczony do szeĞciu.
Projektowanie konsoli sterowania robotem musi uwzglĊdniaü zarówno wiedzĊ o klasycz-nej pracy chirurga jak i system badaĔ weryfikacji proponowanych rozwiązaĔ. Wraz z zespo-áem Politechniki ĝląskiej pod kierunkiem G. Ilewicza wykonaliĞmy w FRK wiele badaĔ wy-korzystujących technikĊ wideo rejestracji (rys. 2). W pracy [6] przedstawiono wyniki
pomia-rów doĞwiadczalnych z uĪyciem techniki cyfrowej rejestracji optycznej ruchu áaĔcucha kine-matycznego telemanipulatora Robin Heart Vision™ i chirurga pozycjonującego koĔcówkĊ przeznaczoną do operowania z tkankami Īywymi. Przedstawiono równieĪ zastosowanie da-nych uzyskada-nych podczas pomiarów do monitorowania poprawnoĞci pozycjonowania ramie-nia manipulatora (czĊĞü SLAVE telemanipulatora RHV) na przekazany przez zadajnik (czĊĞü MASTER telemanipulatora RHV) ruch koĔczyny górnej lub gáowy chirurga. Przeprowadzone doĞwiadczenia umoĪliwiáy poznanie wielkoĞci kinematycznych dotyczących koĔczyny górnej chirurga sterującego zadajnikiem ruchu w celu doboru optymalnej (wygodnej) pozycji opera-tora w stosunku do zadajnika ruchu. Dla ruchu koĔczyny górnej wyznaczano zakresy prze-mieszczeĔ liniowych stawu barkowego (rys. 8) oraz zakresy przeprze-mieszczeĔ kątowych ramie-nia i przedramieramie-nia koĔczyny górnej w páaszczyĨnie czoáowej i strzaákowej [6].
DoĞwiadczenia obserwacji pracy chirurga [7] prowadzono przy uĪyciu czterech sensorów optycznych (kamer cyfrowych) A602fc-2 Basler 100 [Hz] (na wyposaĪeniu Katedry Mecha-niki Stosowanej). Kamery zostaáy poáączone transmisją przewodową z jednostką obliczenio-wą, co umoĪliwiáo zsynchronizowany zapis ruchu narzĊdzi torakoskopowych, koĔczyn gór-nych oraz gáowy kardiochirurga. Rejestrowany sygnaá (noĞnik informacji) stanowiáa fala Ğwietlna odbita od refleksyjnych markerów umieszczonych na narzĊdziach torakoskopowych oraz istotnych anatomicznie punktach ciaáa kardiochirurga. Gáównym celem przeprowadzo-nego eksperymentu byáo wyznaczenie wielkoĞci kinematycznych narzĊdzi torakoskopowych klasycznych typu: czas [s], przemieszczenie [m], prĊdkoĞü [m/s], przyspieszenie [m/s2] oraz okreĞlenie wartoĞci zakresów ruchu narzĊdzi torakoskopowych stosowanych w przebiegu modelowanych procedur minimalnie inwazyjnych na sercu odzwierzĊcym [7]. Obiektem ope-racji byáo serce wieprzowe. Otoczenie eksperymentu przygotowane przez ekspertów w dzie-dzinie medycyny minimalnie inwazyjnej wiernie odwzorowywaáo rzeczywistą sytuacjĊ ope-racji torakoskopowej. Obecnie tworzona jest makieta konsoli Shell do celów badawczych i treningowych.
R. Berguer w pracy [9] dokonaá Ğwietnego przeglądu stanu wiedzy w zakresie ergonomii pracy chirurga. Pisze w niej, Īe chociaĪ chirurdzy bez wątpienia byli od dawna zainteresowa-ni projektowazainteresowa-niem i skutecznoĞcią swoich narzĊdzi, Frank Gilbreth, piozainteresowa-nier w dziedzizainteresowa-nie Ba-dania czasu i baBa-dania ruchu, zauwaĪyá, Īe w 1916 roku "... Lekarze mogą dowiedzieü siĊ wiĊ-cej o badaniach ruchu, badaniach czasu i ... naukowym zarządzaniu z przemysáu niĪ przemysá mógáby siĊ uczyü od szpitali". WĞród najwaĪniejszych elementów ergonomii pracy chirurga wymienia [9]:
Wizualizacja. Gáównym zadaniem wizualnej ergonomii jest adekwatna ekspozycja pola
operacyjnego i jakoĞü obrazu.
Manipulacja. Jedne z ostatnich badaĔ wykazaáy 20 % wzrost szybkoĞci dziaáania
pod-czas operacji ginekologicznych dziĊki zastosowaniu robotów. PrzyszáoĞü robotów zaleĪy od równowagi pomiĊdzy wszelkimi ergonomicznych usprawnieniami a korzyĞciami ekonomicznymi ich stosowania.
Postawa. Wykazano, Īe podczas operacji laparoskopowych i ortopedycznych przez wiĊcej
niĪ 70 % czasu pozycja przy pracy jest zasadniczo statyczna. Badaniu ukáadu miĊĞniowo-szkieletowego chirurgów wskazują na znaczną czĊstoĞü wystĊpowania dolegliwoĞci bólo-wych w ramionach (32 %) i szyi (39 %) (to wĞród ortopedów). Pozycja siedząca jest bar-dziej spokojna i wygodna w dáuĪszym okresie np. podczas zakáadania szwów, a takĪe za-pewnia bardziej stabilną postawĊ do kontrolowania instrumentów w czasie mikrochirurgii [9].
Rys. 2. Badania ergonomii pracy chirurga i operatora robota chirurgicznego. U góry – sterowanie ruchem gáowy robotem Robin Heart Vision ((Z. Nawrat) i charakterystyki przemieszczeĔ kątowych ruchu gáowy w páaszczyĨnie poziomej [6]. PoniĪej badania pracy chirurga (J. ĝliwka ĝląskie Centrum Chorób Serca) – trajektoria punktu A
koĔcówki narzĊdzia [8]. PoniĪej – kolejne badania wykonane w FRK podczas pracy chirurga operującego klasycznie oraz za pomocą telemanipulacji robotem Robin Heart z konsoli Robin Heart Shell 2
3. UKàADY POMOCNICZE DLA PROCESU DECYZYJNEGO
Wiedza o motorycznoĞci czáowieka jest podstawowym zagadnieniem w projektowaniu inter-fejsu zrobotyzowanego chirurga. RozpoczĊcie ruchu jest wg Bernsteina [1947], jednego z twórców wspóáczesnej teorii motorycznoĞci, moĪliwe po wyobraĪeniu celu i skonstruowa-niu programu dziaáania. Dziaáanie ruchowe czáowieka polega na nadąĪającym porównywaskonstruowa-niu poĪądanej wartoĞci z aktualną, dotyczącą wskaĨników charakteryzujących ruch. Dlatego wielką wagĊ przykáadamy do procedury planowania i programu doradczego dostĊpnego w konsoli w trakcie operacji. Nasza baza doradcza – zmniejsza obszar niepewnoĞci, dodat-kowe metody wprowadzane sensoryczne poĞrednie i bezpoĞrednie równieĪ.
Monitor techniczny jest moĪe byü podzielony wg uznania operatora na kilka obszarów. WĞród opcji są: panel ustawiania parametrów sterowania (szybkoĞü dziaáania, skala ruchu, poziom odciĊcia drĪenia itp.), monitoring stanu pacjenta (EKG, CiĞnienie, Pulsoksymetr, Saturacja itp.), program doradczy (inteligentna baza danych obejmująca informacje diagno-styczne pacjenta, historiĊ choroby, plan operacji, modelowanie operacji, zadaną choreografiĊ narzĊdzi i dobór narzĊdzi w róĪnych fazach operacji), okno widoku panoramicznego pola operacji, okno kontaktu z tutorem, ekspertem, doradcą. Komputer moĪe byü sterowany przez monitor dotykowy lub niektóre opcje sterowane gáosem.
4. WNIOSKI
Kompleksowy system interfejsu chirurga operatora obejmuje urządzenia do przeprowadzania operacji telemanipulatorem oraz üwiczeĔ treningowych na modelach fizycznych i wirtualnych. System jest optymalizowany pod wzglĊdem funkcjonalnym na podstawie prze-prowadzonych badaĔ i bĊdzie zawieraá elementy siáowego sprzĊĪenia zwrotnego (dla 2 osi) oraz system doradczy z bazą danych dostĊpną w trybie on-line i off-line, dla chirurga operato-ra – zagadnienia do dzisiaj nie rozwiązane w sposób wáaĞciwy w Īadnym tego typu urządze-niu. Wykonano do tej pory dwa typ konsoli: Robn Heart Shell 1 i 2. RóĪnią siĊ ksztaátem i konstrukcją zadajnika ruchu oraz sposobem zestawienia infrastruktury sterowania i obser-wacji pola operacji. Model obecnie tworzony model trzy sáuĪy do badaĔ ergonomicznych i wprowadzenia systemu sterowania z odczuciem siáy.
Badania interfejsu lekarza w aspekcie problematyki telemedycznej obejmowaáy:
testy laboratoryjne,
testy na zwierzĊtach,
testy sterowania na odlegáoĞü (w zakresie opóĨnienia czasowego przy zapewnieniu synchronizacji wzrokowo-ruchowej chirurga operatora).
Projektowana konsola powinna posiadaü wszystkie cechy uĪytkowe stanowiska master te-lemanipulatora chirurgicznego. Zakáadamy, Īe jako element slave moĪemy zastosowaü
obec-nie dziaáające roboty Robin Heart 1, Robin Heart Vision i Robin Heart mc2 oraz wersja
dy-daktyczna – Robin Heart Junior.
Obecnie projektowana konsola posiada system obserwacji pola operacyjnego 2D i 3D oraz odpowiedni system wizualizacji pola pracy. Konsola powinna mieü moĪliwoĞü wspóápracy z inną konsolą, np. Robin Heart Shell 2 w pracy sprzĊĪonej dwóch operatorów w trybie na-uczyciel/obserwator – chirurg operator, nadawca-odbiorca sygnaáów sterowania i obrazów oraz w trybie dwóch wspóápracujących podczas operacji chirurgów.
Istotnym elementem projektowanego interfejsu chirurg-maszyna jest wprowadzenie zwrotnego sprzĊĪenia siáowego do zadajnika chirurga, który dla wybranych stopni swobody przekazywaáby operatorowi wraĪenia/odczucia siáowe z koĔcówki narzĊdzia w ciele pacjenta. Problem sprzĊĪenia siáowego zwrotnego nie zostaá do tej pory rozwiązany adekwatnie do potrzeb chirurgii w Īadnym robocie. Mamy nadzieje, Īe obecnie tworzony w Zabrzu system speáni oczekiwania przyszáych uĪytkowników.
PodziĊkowania:
Praca powstaáa w ramach realizacji projektu rozwojowego Nr N R13 0058 06/2009 „Pro-jekt, konstrukcja, badania i optymalizacja interfejsu czáowiek-robot chirurgiczny. Uniwersal-na konsola sterowania telemanipulatorem Robin Heart oraz stanowiskami treningowymi chi-rurgii maáoinwazyjnej w Ğrodowisku fizycznym i wirtualnym”.
BIBLIOGRAFIA
1. Z. Nawrat, W. Dybka, P. Kostka, K. Rohr. Konsola sterowana robotem chirurgicznym Robin Heart. PAR Pomiary Automatyka Robotyka 2/2008, str. 708–718.
2 A.D. Greer, P.M. Newhook, G.R. Sutherland. Human–Machine Interface for Robotic Sur-gery and Stereotaxy, IEEE/ASME TRANSACTIONS ON MECHATRONICS, VOL. 13, NO. 3, JUNE 2008.
3 Pheng-Ann Heng, Chun-Yiu Cheng, Tien-Tsin Wong, Yangsheng Xu, Yim-Pan Chui, Kai-Ming Chan, and Shiu-Kit Tso, “A Virtual-Reality Training System for Knee Arthroscopic Surgery”, IEEE TRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE, VOL. 8, NO. 2, JUNE 2004.
4 A.E. Trejo, K.N. Done, A.A. DiMartino, D. Oleynikov, M.S. Hallbeck, Articulating vs. conventional laparoscopic grasping tools – surgeons’ opinions.
5 P. Kostka; Z. Nawrat; W. Dybka; K. Rohr; Z. Maáota: „Optymalizacja interfejsu chirurg-telemanipulator. Zintegrowana konsola sterująca systemu Robin Heart”. PAR Pomiary Au-tomatyka Robotyka 2/2010. Automation 2010. XIV Konferencja Naukowo-Techniczna. Automatyzacja – NowoĞci i Perspektywy. str. 546–553.
6 Grzegorz Ilewicz, Robert Michnik, Jacek Jukrojü, Dagmara Tejszerska, Zbigniew Nawrat: „Zastosowanie techniki cyfrowej rejestracji optycznej do okreĞlenia wielkoĞci kinematycz-nych telemanipulatora Robin Heart Vision”. Roboty medyczne. Red.: Z. Nawrat. Zabrze: M-Studio 2007, s.109–116. ISBN: 978-83-88427-71-8.
7 Grzegorz Ilewicz, Robert Michnik, Jacek Jurkojü, Dagmara Tejszersk1, Zbigniew Nawrat, Joanna ĝliwka. .Zastosowanie systemu wizyjnego do opisu ruchu narzĊdzi torakoskopo-wych w trakcie modelowania procedur minimalnie inwazyjnych na sercu odzwierzĊcym. Badania pilotaĪowe.
8 Dagmara Tejszerska, Grzegorz Ilewicz. Studium czynnoĞci ruchowych koĔcówki opera-cyjnej telemanipulatora kardiochirurgicznego.
