Automatyczne indeksowanie
i wyszukiwanie informacji klinicznej i wyszukiwanie informacji klinicznej
Bartosz Kukawka, Szymon Wilk
Seminarium ISWD, 9 listopada 2010
Plan
EBM – evidence-based medicine
Definicja
Źródła i repozytoria
Słowniki i inne narzędzia
Wykorzystanie EBM w praktyce
Wielkopolskie Centrum Telemedycyny
Wielkopolskie Centrum Telemedycyny
Opis projektu
Wykorzystanie EBM w ramach projektu
Zaproponowane rozwiązanie
Projekt i implementacja
Eksperymenty
Podsumowanie
Wspomaganie decyzji w medycynie
Potrzeba zaawansowanych „narzędzi” wspomagających podejmowanie decyzji
Zróżnicowane postępowanie w podobnych przypadkach
Rosnąca liczba możliwych sposobów postępowania
Włączenie pacjentów do procesu decyzyjnego
Włączenie pacjentów do procesu decyzyjnego
Rozwiązanie
Medical decision making (MDM)
Evidence-based medicine (EBM)
⇒ medycyna oparta na dowodach/faktach
Polski Instytut EBM: http://ebm.org.pl/
MDM
Podejście bazujące na analizie decyzji (decision analysis, DA)
Wnioskowane statystyczne
Wnioskowanie bayesowskie
Teoria użyteczności
Dłuższy staż niż EBM, ale bardziej ograniczone wykorzystanie
Dłuższy staż niż EBM, ale bardziej ograniczone wykorzystanie praktyczne
EBM has become a major curricular movement within academic medicine while MDM has remained the interest of a relatively small scholarly community. Its core technique, decision analysis (DA), is used primarily by health policy analysts.
Elstein AS. On the origins and development of evidence-based medicine and medical decision making. Inflamm Res 2004;53 Suppl 2:S184-9.
EBM
ACQ (answerable clinical question) – PICO
P The patient’s problem
I The clinical intervention contemplated
Rozumne, celowe, proste zastosowanie najnowszych i najbardziej rzetelnych danych naukowych w podejmowaniu decyzji dotyczących opieki zdrowotnej nad indywidualnym pacjentem.
I The clinical intervention contemplated
C Compare the contemplated intervention with at least one relevant alternative
O The clinical outcome of interest. The standard used to compare the interventions.
CIRT (clinical information retrieval technology) – technologia wspierająca EBM
Sackett DL, Rosenberg WM, Gray JA, Haynes RB, Richardson WS. Evidence based medicine: what it is and what it isn't. BMJ 1996;312(7023):71-2.
The Cochrane Library
Uznane źródło dowodów dla EBM/CIRT
Tworzona przez The Cochrane Collaboration i zarządzana przez Wiley Inc.
Dostęp na zasadach komercyjnych – darmowy dostęp w Polsce wstrzymany (małe zainteresowanie)
Polsce wstrzymany (małe zainteresowanie)
Obejmuje 8 baz, m.in.
Cochrane Database of Systematic Reviews
Cochrane Central Register of Controlled Trials
Health Technology Assessment Database
…
http://www.thecochranelibrary.com/
The Cochrane Library
Przegląd systematyczny
Opracowanie podsumowują wyniki wielu badań (publikacji) na wybrany i dobrze zdefiniowany temat
Weryfikowane przez zespół recenzentów
Publikacja ISI → impact factor ~ 5.65
Stała struktura opracowania
Stała struktura opracowania
Cześć tekstowa z prezentacją problemu i podsumowaniem wyników
Analiza dostępnych danych
Przegląd systematyczny
MEDLINE/PubMed
MEDLINE
Biomedyczna baza
bibliograficzna (cytowania i streszczenia) utrzymywana przez U.S. NLM
PubMed
Wyszukiwarka dla MEDLINE
Uzupełniająca baza danych
Odnośniki do pełnych tekstów (części) prac
Tematyka wykraczająca poza medycynę i ochronę zdrowia (np. biofizyka, chemia)
Indeksowana przy użyciu terminów MeSH
18 mln cytowań (od 1945), 5400 czasopism, 39 języków
(części) prac
Cytowania prac zgłoszonych do PubMed Central
Cytowania oczekujące na indeksowanie w MEDLINE
Cytowania spoza zakresu tematycznego MEDLINE (np. astrofizyka)
Ponad 20 mln cytowań
http://www.ncbi.nlm.nih.gov/pubmed
PubMed
MeSH
Medical Subject Headings
Słownik (kartoteka) terminów biomedycznych przeznaczonych do indeksowania publikacji opracowana przez U.S. NLM
Pierwsza publikacja w 1954 r. (Subject Heading Authority List)
Pierwsze „oficjalne” wydanie w 1960 r.
Corocznie uaktualniany, poprawiany i rozszerzany: 5 700
Corocznie uaktualniany, poprawiany i rozszerzany: 5 700 terminów w pierwszym wydaniu, 26 140 w najnowszym)
Typy terminów
Deskryptor (Main Heading) → pojęcie biomedyczne
Kwalifikator (Subheading) → doprecyzowanie znaczenia deskryptora
Rekord uzupełniający (Supplementary Concept Record) → lek lub inna substancja chemiczna
MeSH
MeSH.PL
Polska wersja słownika MeSH
Opracowywana przez Bibliotekę Główną AM (od 1997 r.) i Bibliotekę Główną Collegium Medicum UJ (od 1999 r.)
Obecnie dostępna wersja oparta na MeSH z 2007 r. – 24 360 deskryptorów, brak kwalifikatorów
deskryptorów, brak kwalifikatorów
http://www.mesh.pl/
http://slownik.mesh.pl/
MeSH.PL
SNOMED CT
Systematized Nomenclature of Medicine – Clinical Terms
Słownik terminów biomedycznych oryginalnie opracowany przez College of Amercian Pathologists (CAP)
Obecnie utrzymywany i rozpowszechniany przez International Health Terminology Standards Development Organization
(IHTSDO) (IHTSDO)
Aktywnie rozwijany – obecna wersja zawiera 311 000 pojęć
Standard wymiany informacji (treści) w systemach klinicznych zaproponowany przez U.S. Healthcare Information Technology Standards Panel
Brak wersji polskiej
http://www.ihtsdo.org/snomed-ct/
UMLS Metathesaurus
Baza danych (meta-słownik) łącząca wiele biomedycznych słowników, kartotek, standardów kodowania itp.
Hierarchia pojęć oraz powiązania między pojęciami pochodzącymi z różnych źródeł i w różnych językach
Rozwijany przez U.S. NLM jako część UMLS (Unified Medical
Rozwijany przez U.S. NLM jako część UMLS (Unified Medical Language System)
http://www.nlm.nih.gov/research/umls/
UMLS Metathesaurus
MetaMap
System do analizy tekstów biomedycznych w języku angielskim rozwijany przez U.S. NLM
Wykorzystuje techniki przetwarzania języka naturalnego do wykrywania w tekstach terminów z UMLS Metathesaurus
Podstawowy element systemu Medical Text Indexer (MTI)
Podstawowy element systemu Medical Text Indexer (MTI) używanego przez NLM do (prawie-)automatycznego
indeksowania publikacji medycznych
Możliwość wykorzystania we własnych zastosowaniach
Aronson AR, Lang FM. An overview of MetaMap: historical perspective and recent advances. J Am Med Inform Assoc 2010;17(3):229-36.
http://mmtx.nlm.nih.gov/
MetaMap
Tylko MeSH Wszystkie
dostępne słowniki
CIRT w praktyce
Samodzielne systemy wspomagające EBM (repozytoria + wyszukiwarki) bezużyteczne w praktyce
Konieczność integracji EBM z istniejącymi systemami EPR/EHR i automatyczne wyszukiwanie dokumentów
Potencjalnie pozytywny wpływ zintegrowanych rozwiązań na
Potencjalnie pozytywny wpływ zintegrowanych rozwiązań na podejmowane decyzje, ale niejednoznaczne wyniki testów
Konieczność dalszych badań i testów klinicznych
Pluye P, Grad RM, Dunikowski LG, Stephenson R. Impact of clinical information- retrieval technology on physicians: a literature review of quantitative, qualitative and mixed methods studies. Int J Med Inform 2005;74(9):745-68.
Bakken S, Currie LM, Lee NJ, Roberts WD, Collins SA, Cimino JJ. Integrating evidence into clinical information systems for nursing decision support. Int J Med Inform 2008;77(6):413-20.
InfoButtons
Odsyłacze z systemów typu EHR/EPR do potencjalnie interesujących informacji w zewnętrznych repozytoriach
Definiowane przez ekspertów (→ InfoButton Manager) i
wykorzystujące mechanizm wyszukiwania poszczególnych repozytoriów
repozytoriów
Standaryzacja API w ramach konsorcjum HL7 – robocza wersja standardu z 2010 r.
Cimino JJ. An integrated approach to computer-based decision support at the point of care. Trans Am Clin Climatol Assoc 2007;118:273-88.
http://www.infobuttons.org/
InfoButtons
InfoButtons
http://www.clineguide.com/
Integracja CIRT z CPOE
Rozbudowa systemu CPOE o moduł wspierający EBM (treści dostarczane przez BMJ)
Dzieci z zapaleniem oskrzeli hospitalizowane na oddziale niemowlęcym w CHEO,
niemowlęcym w CHEO, 330 pacjentów w teście
Wprowadzenie CIRT obniżyło
zużycie antybiotyków (35% → 22%)
King WJ, Le Saux N, Sampson M, Gaboury I, Norris M, Moher D. Effect of point of care information on inpatient management of bronchiolitis. BMC Pediatr 2007;7:4.
MET3
Integracja z MET3-AE (wspomaganie diagnozowania i leczenia dzieci z astmą)
Automatyczne indeksowanie i wyszukiwanie istotnych dokumentów z The Cochrane Library
Mapowanie pojęć wykorzystywanych lokalnie do terminów ze
Mapowanie pojęć wykorzystywanych lokalnie do terminów ze standardowych słowników (MeSH/SNOMED CT)
Wykorzystanie UMLS Metathesaurus oraz MetaMap
Dobre wyniki we wstępnych eksperymentach, w kolejnym etapie ocena działania systemu przez lekarzy
O'Sullivan D, Wilk S, Michalowski W, Farion K. Automatic indexing and retrieval of encounter- specific evidence for point-of-care support. J Biomed Inform 2010;43(4):623-31.
MET3
Identyfikacja standardowych terminów Identyfikacja dodatkowych terminów
Prezentacja istotnych dokumentów
Wielkopolskie
Centrum Telemedycyny (WCT)
Wspólny projekt PCSS, UM w Poznaniu i PP
Platforma dla zaawansowanych usług telemedycznych
Telekonsultacja
Teleedukacja
Wspomaganie decyzji
Wspomaganie decyzji
Raportowanie dla nadzoru specjalistycznego
Pilotażowe wdrożenie i praktyczna weryfikacja
26 szpitali (Wielkopolska) i 7 oddziałów klinicznych UM
Chirurgia urazowa i urazy wielonarządowe
http://www.telemedycyna.wlkp.pl/
Formularz opisu przypadku
Opis pacjenta, diagnoza oraz podjęte leczenie
Rozbudowana hierarchia atrybutów klinicznych (drzewo klasyfikacji) (drzewo klasyfikacji)
Diagram wytycznych postępowania
Sformalizowane przedstawienie zalecanego postępowania w przypadku specyficznego urazu (grupy urazów)
Reprezentacja w formie algorytmu/schematu blokowego
Standaryzacja postępowania, wspomaganie decyzji i edukacja
Cele pracy
System wyszukiwania i pozyskiwania zasobów medycznych dla aktualnego kontekstu (formularz przypadku, diagram
wytycznych)
Wykorzystanie ogólnych i specjalistycznych repozytoriów
Obsługa zróżnicowanych typów zasobów
Obsługa zróżnicowanych typów zasobów
Artykuły
Zdjęcia
Algorytmy medyczne
Stworzenie uniwersalnego interfejsu do wielu repozytoriów
Repozytoria specjalistyczne
AO Foundation – “setki zabiegów
chirurgicznych wyjaśnione krok po kroku…”
Medal.org – “ponad 14400 skal, wskaźników i innych algorytmów…”
Trauma.org – “materiały edukacyjne i
Trauma.org – “materiały edukacyjne i
informacyjne dla specjalistów od urazów…”
Przykładowy scenariusz
1. Lekarz kieruje zapytanie o dokumenty dotyczące pewnego obrażenia pacjenta z rejestru przypadków
2. Wybrane obrażenie jest mapowane na powiązany termin (jeden lub wiele) MeSH
MeSH ID D01924
Polski termin Wstrząśnienie mózgu Angielski termin Brain concussion
Przykładowy scenariusz
3. System wyszukuje dokumentów powiązanych z terminem
“brain concussion” (MeSH ID = D01924) we wszystkich repozytoriach
4. System łączy wyniki zapytań i zwraca listę odnośników do odpowiednich stron WWW (repozytoriów)
odpowiednich stron WWW (repozytoriów)
Trauma.org (5)
Acute management of traumatic brain…
Glasgow Comma Score
…
AOFundation.org (0) Medal.org (0) PubMed (5)
Concussion care: simple strategies, … Neuropathology. A late hit for …
…
Automatyczne dopasowywanie terminów MeSH
Algorytm automatycznie dopasowuje jeden lub więcej terminów MeSH do węzła drzewa klasyfikacji
Działanie algorytmu:
Budowa indeksu wszystkich terminów występujących w słowniku MeSH.PL
MeSH.PL
Dla każdego węzła drzewa klasyfikacji obrażeń tworzone jest zapytanie
Zapytanie pozwala odnaleźć pasujące deskryptory MeSH
Wybierane są najlepiej dopasowane deskryptory
Mechanizmy poprawiające skuteczność:
Lematyzacja
Pomijanie słów pospolitych
Gabryszak P. Wspomaganie decyzji medycznych poprzez rozszerzanie zapytań do bazy przypadków referencyjnych i artykułów naukowych. Praca magisterska. PP 2009.
Automatyczne dopasowywanie terminów MeSH
głowa i szyja
obrażenia^2 mózgoczaszki^2 sklepienie^3 czaszki^3
złamanie^4 czaszki^4 złamanie^5 linijne^5
Indeks złamanie^5 linijne^5
Projekt systemu
Indeks
AO Foundation
Medal.org
WCT/TeleMed
Crawler Indexer
PubMed Trauma.org Wyszukiwarka
?
WCT
Inny kontekst…
Crawler – Heritrix 3.0
Stworzony i rozwijany przez Internet Archive
Bogata funkcjonalność:
Obsługa wielu typów zawartości
zawartości
Kontrola zakresu
Wielowątkowość
Odporność na awarie
Automatyczne uwierzytelnianie
Java, open-source
http://crawler.archive.org/
Crawler – modyfikacje
Obsługa różnych technologii prezentacji danych
Trauma.org – HTML
Medal.org – ASP.NET
AO Foundation – Flash (sitemap)
„Pomijanie” ograniczeń części serwisów
„Pomijanie” ograniczeń części serwisów
Wyrażenia języka XPath do określania lokalizacji treści na stronach WWW
Zwięzłe, czytelne i precyzyjne
Łatwe do modyfikacji
Crawler – modyfikacje
…
<div class="article">
<div class="article-meta“>
<h1>Chest Radiograph of a Patient Shot in the Chest with an Arrow</h1>
<h2>Dr Mudassir, October 20, 2010</h2>
</div>
…
//div[@class=’article-meta ’]/h1/text()
Chest Radiograph of a Patient Shot in the Chest with an Arrow
Indexer – detekcja terminów MeSH
MetaMap 2009
Możliwość przygotowania własnego słownika
Wykorzystanie fragmentów gotowych słowników z UMLS
Tworzenie od podstaw
Różny stopień filtrowania
Różny stopień filtrowania
Strict
Relaxed
Własny słownik terminów MeSH → kilkukrotnie szybsze indeksowanie
Indexer – indeksowanie
Apache Lucene
Silnik wyszukiwarki pełnotekstowej
Indeksowanie i wyszukiwanie z podziałem na pola (tytuł, autor, treść, itp.)
Sortowanie wyników wyszukiwania wg adekwatności (model wektorowy)
wektorowy)
Analizator i zestaw filtrów wykorzystujących MetaMap
Przejrzysta i elastyczna implementacja
Możliwość zmiany poszczególnych kroków algorytmu
http://lucene.apache.org/
Retriever – PubMed
Entrez Programming Utilities (eUtils)
Skrypty CGI:
http://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi?db=pubmed&
term=cancer&reldate=60&datetype=edat&retmax=100&usehistory=y
Web Service – SOAP
Web Service – SOAP
C# i Visual Basic
Java
…
Retriever – indeks
Wyszukiwanie w indeksie – rozszerzanie zapytań
Przeformułowanie zapytania w celu poprawy skuteczności
Dopisywanie bardziej szczegółowych deskryptorów MeSH
Stosowane również przez wyszukiwarkę PubMed
„Wounds, Penetrating”
"Wounds, Penetrating” "Decapitation" "Eye Injuries, Penetrating"
"Head Injuries, Penetrating" "Wounds, Gunshot" "Wounds, Stab"
"Needlestick Injuries"
Eksperyment
Cel – porównanie skuteczności przy wykorzystaniu:
Różnych słowników
Różnych mechanizmów rozszerzania zapytań
Wykorzystane miary:
Precision@10
Precision@10
MAP@10 (mean average precision)
Eksperyment
Inspirowany TREC–9 Filtering Track
Text REtrieval Conference (TREC) – konferencja poświęcona information retrieval
Filtering Track poświecony budowaniu profili użytkownika skutecznie rozróżniających dokumenty istotne od nieistotnych
Kolekcja OHSUMED
Kolekcja OHSUMED
Zapytania: pojedyncze terminy MeSH z indeksu eksperckiego
Dokumenty adekwatne: zawierające dany termin MeSH wśród słów kluczowych przypisanych przez ekspertów
Robertson S., Hull D.A. The TREC-9 Filtering Track Final Report.
NIST SPECIAL PUBLICATION SP, 25–40, 2001
Kolekcja OHSUMED
Podzbiór bazy MEDLINE
Wszystkie publikacje z 270 czasopism w latach 1987-1991
Łącznie ok. 350 000 pozycji, każda pozycja zawiera:
Tytuł
Abstrakt
Abstrakt
Terminy MeSH przypisane przez ekspertów
106 zapytań w języku naturalnym z przypisanymi zbiorami adekwatnych dokumentów
Problemy z subiektywnymi ocenami istotności dokumentów
Kolekcja OHSUMED
.U
87049089 .S
Am J Emerg Med 8703; 4(6):501-3 .M
Adult; Aircraft/*; Altitude/*; Blood Gas Monitoring, Transcutaneous/*MT; Conjunctiva/*ME;
Female; Human; Male; Monitoring, Physiologic/*MT; Regression Analysis; Transportation of Patients/*MT.
.T
Transconjunctival oxygen monitoring as a predictor of hypoxemia during helicopter transport.
.P
JOURNAL ARTICLE.
JOURNAL ARTICLE.
.W
As the use of helicopters for air transport of critically ill patients increases, the availability of monitoring devices for physiological parameters during flight becomes
important. It has long been known that arterial PO2 (PaO2) decreases during unsupplemented, non-pressurized flight. In this study, the authors examined the use of the transconjunctival oxygen (cjO2) monitor for assessing the adequacy of arterial oxygenation during helicopter flight in four healthy volunteers. Arterial PaO2 as measured by conventional blood gas analysis was compared with cjO2 at ground level, 5,000 feet, and 10,000 feet altitude. Mean PaO2 dropped significantly from 93.5 to 81.5 to 58.5 mm Hg, respectively (P less than 0.001, analysis of variance with repeated measures). Mean cjO2 also decreased significantly from 63.8 to 52.0 to 34.8 mm Hg, respectively (P less than 0.001, analysis of variance with repeated measures). Within individual subjects, cjO2 was an accurate predictor of PaO2 (P less than 0.001, multiple regression analysis). The relationship between cjO2 and PaO2 was linear with a regression coefficient of 1.147. The authors conclude that the transconjunctival O2 monitor may be useful for monitoring the adequacy of arterial oxygenation during helicopter flight in hemodynamically stable patients. The results of study also support the use of supplemental oxygen in all patients subjected to helicopter transport.
.A
Shufflebarger C; Jehle D; Cottington E; Martin M.
Wyniki eksperymentu
MAP@10 simple qe 0.25 qe 0.5 qe 1.0 qe 1/(d+1) qe 1/2^d qe 1/n
full strict 0,4057 0,4326 0,4316 0,4268 0,4331 0,4352 0,4351
mesh relaxed 0,3743 0,4007 0,3998 0,3954 0,4008 0,4021 0,4025
mesh strict 0,3736 0,3989 0,3981 0,3937 0,3990 0,4006 0,4010
mesh strict 0,3736 0,3989 0,3981 0,3937 0,3990 0,4006 0,4010
P@10 simple qe 0.25 qe 0.5 qe 1.0 qe 1/(d+1) qe 1/2^d qe 1/n
full strict 0,3942 0,3971 0,3970 0,3969 0,3971 0,3973 0,3974
mesh relaxed 0,3756 0,3836 0,3835 0,3834 0,3836 0,3836 0,3838
mesh strict 0,3749 0,3824 0,3822 0,3822 0,3823 0,3824 0,3825
TeleMed
Gromadzenie informacji o przypadkach pacjentów w ramach chirurgii urazowej
Wyszukiwanie podobnych przypadków
Wyszukiwanie artykułów w PubMed
Aplikacja internetowa, Java, GWT
Aplikacja internetowa, Java, GWT
Walczak D. System wspomagania decyzji medycznych w oparciu o bazę przypadków referencyjnych. Praca magisterska. PP 2008.
Demonstracja
Plany na przyszłość
Integracja z portalem WCT
Testy praktyczne i ocena przez użytkowników
Bardziej złożone formy zapytań (wybór kilku obrażeń)
Bardziej zaawansowane procedury budowy zapytań, uzależnione od źródła/repozytorium
uzależnione od źródła/repozytorium
Własny indeks dla publikacji z PubMed (ograniczenia dostępnej wyszukiwarki)