JAKOŚĆ DANYCH Z PERSPEKTYWY SYSTEMÓW WSPOMAGANIA DECYZJI KLINICZNYCH Dr hab. inż. Szymon Wilk Politechnika Poznańska Instytut Informatyki
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 2 Afiliacje i doświadczenia Politechnika Poznańska Zakład Inteligentnych Systemów Wspomagania Decyzji Instytut i Wydział Informatyki University of Ottawa, Kanada MET Research Group Telfer School of Management Children s Hospital of Eastern Ontario (CHEO)
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 3 Projekt MET Środowisko do tworzenia systemów wspomagania decyzji klinicznych dla różnego typu problemów medycznych Wsparcie dla całego procesu decyzyjnego zachodzącego w szpitalnej izbie przyjęć (diagnoza, leczenie, ) Oparte na architekturze wielo-agentowej oraz modelach ontologicznych reprezentujących wiedzę dziedzinową Działające na platformach mobilnych
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 4 System MET-AP System wspomagający postępowanie z pacjentami z ostrym bólem brzucha Model decyzyjny oparty na regułach odkrytych z danych, wykorzystujący 13 atrybutów klinicznych (podstawowe badania i testy) Model decyzyjny dopuszczający niekompletną informację System realizowany w środowisku MET Konkurencja: system AAPHELP
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 5 Postępowanie w izbie przyjęć Canadian Triage Acuity Scale (CTAS) CTAS1 natychmiast CTAS2 15 min. CTAS3 30 min. CATS4 1 godz. CTAS5 2 godz. Rejestracja i triaż Oczekiwanie Badania i testy Odesłanie do domu Dalsza obserwacja Konsultacja specjalistyczna
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 6 Model decyzyjny w MET-AP Reguły decyzyjne odkryte ze zweryfikowanych danych historycznych (ok. 700 przypadków) Dane dostępne w wersji papierowej (karty pacjentów) i przeniesione do wersji elektronicznej (baza danych) Niedoskonałości w danych (braki części wartości, niespójności w kategoryzacji) Analiza za pomocą technik teorii zbiorów przybliżonych (rough set theory)
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 7 Testy kliniczne MET-AP Cele Porównanie trafności decyzji podejmowanych przez klinicystów i przez system Porównanie zgodności danych zbieranych przez doświadczonych lekarzy i przez stażystów Ograniczenia Zablokowana możliwość prezentacji decyzji sugerowanej przez system przy pacjencie (względy etyczne) Z punktu widzenia lekarza ograniczenie roli systemu do mobilnej elektronicznej karty pacjenta
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 8 Przebieg testów Rejestracja i triaż Nie Ostry ból brzucha? Tak Użycie systemu MET-AP Kontakt telefoniczny Pierwszy audyt Drugi audyt Wynik pozytywny? Tak Wynik pozytywny? Tak Nie Wykluczenie pacjenta z analizy Nie Włączenie pacjenta do analizy
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 9 Uczestnictwo w testach 34 527 przypadków Czas trwania testów 8 miesięcy 1157 przypadków wyłączonych 2255 przypadków bólu brzucha 467 pominiętych 1098 potencjalnie interesujących 631 poproszonych o uczestnictwo 38 brak zgody 593 uczestników 19 brak kontaktu 457 zbadanych przez lekarzy 574 przypadków analizowanych 339 zbadanych przez stażystów 222 zbadanych przez obu obserwatorów
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 10 Jakość zebranych danych Większa spójność (współczynnik spójności 0.64 0.81) Mniej brakujących wartości w zebranych danych Atrybut Dane historyczne Dane z testów Czas trwania bólu 1.0% 0.2% Obrona mięśniowa 25.2% 0.7% Poprzednia wizyta 1.6% 1.1% Bolesność uciskowa 35.0% 1.1% Przemieszczanie się bólu 95.2% 2.0% Lokalizacja bólu 2.6% 0.0% Lokalizacja bolesności 13.0% 12.1% Temperatura 1.6% 1.3% Typ bólu 10.8% 0.9% Wymioty 0.6% 0.9% WBC 33.4% 77.5%
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 11 Zgodność obserwatorów Zgodność wartości atrybutów współczynnik kappa Istotność atrybutów z punktu widzenia podejmowanych decyzji regresja logistyczna Atrybut Zgodność Istotność lekarze Istotność stażyści Czas trwania bólu +++ Obrona mięśniowa + Poprzednia wizyta ++ Bolesność uciskowa ++ Przemieszczanie się bólu ++ Lokalizacja bólu ++ Lokalizacja bolesności ++ Temperatura +++ Typ bólu ++ Wymioty +++ WBC +++
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 12 Przyczyny niezgodności Brak wystarczającego doświadczenia Zmiana stanu chorego między badaniami Niekonsekwentne odpowiedzi udzielane przez chorego lub opiekunów Stażyści podejmowali decyzje na podstawie danych, których nie potrafili w wiarygodny sposób zebrać
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 13 Trafność diagnostyczna Porównanie decyzji podanej przez klinicystę lub system ze złotym standardem z drugiego audytu 100,00% 100,00% 80,00% 80,00% 60,00% 60,00% 40,00% 40,00% 20,00% 20,00% 0,00% Lekarze Stażyści MET-AP/Lekarze MET-AP/Stażyści 0,00% Odesłanie do domu Obserwacja Konsultacja Ogólna
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 14 Trafność diagnostyczna Lekarze MET-AP/Lekarze Odesłanie Obserwacja Konsultacja Odesłanie 248 85 15 Obserwacja 16 39 6 Konsultacja 1 13 34 Odesłanie Obserwacja Konsultacja Odesłanie 279 39 30 Obserwacja 38 18 5 Konsultacja 12 3 33 Stażyści Odesłanie Obserwacja Konsultacja Odesłanie 166 80 17 Obserwacja 11 24 3 Konsultacja 2 13 23 MET-AP/Stażyści Odesłanie Obserwacja Konsultacja Odesłanie 209 31 23 Obserwacja 23 7 8 Konsultacja 14 5 19
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 15 Przyczyny błędów diagnostycznych Niewystarczający opis przypadków (tacit knowledge) Rozdrobnienie klas decyzyjnych (zwłaszcza klasy obserwacja) Niezrównoważenie klas decyzyjnych w danych użytych do odkrywania reguł (dane niezrównoważone) Odesłanie 57.8% Obserwacja 15.1% Konsultacja 27.1%
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 16 Przykładowe zbiory medyczne Niezrównoważenie danych często w połączeniu z dodatkowymi problemami Rozdrobnienie i nakładanie się klas Szum i przypadki odstające
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 17 Analiza danych niezrównoważonych Podejścia działające na poziomie danych Modyfikacja danych w celu osłabienia niekorzystnej charakterystyki (dodawanie, wzmacnianie lub usuwanie przypadków) Wykorzystanie tradycyjnych algorytmów odkrywania wiedzy Podejścia działające na poziomie algorytmu Specjalizowane podejścia nie wymagające modyfikacji danych Prowadzą do bardziej złożonych modeli decyzyjnych albo wymagają dodatkowej informacji o problemie (np. koszty pomyłek)
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 18 Podsumowanie Czynniki wpływające na jakość danych Sposób pozyskania danych Braki w danych, niespójne klasyfikacje Ustrukturalizowane pozyskiwanie danych Specyfika problemu Niezrównoważenie i nakładanie się klas, przypadki wyjątkowe, Odpowiednie metody odkrywania wiedzy Doświadczenie decydentów Część informacji wymaga odpowiedniego doświadczenia Przystosowanie modeli decyzyjnych i systemów wspomagania decyzji Niedostateczna ilość informacji Automatyczna akwizycja danych Wymiana danych między ośrodkami (standardy!)
Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia 19 MET Research Group Wojtek Michalowski Ken Farion Steven Rubin http://www.mobiledss.uottawa.ca