JAKOŚĆ DANYCH Z PERSPEKTYWY SYSTEMÓW WSPOMAGANIA DECYZJI KLINICZNYCH. Dr hab. inż. Szymon Wilk Politechnika Poznańska Instytut Informatyki

Wielkość: px

Rozpocząć pokaz od strony:

Download "JAKOŚĆ DANYCH Z PERSPEKTYWY SYSTEMÓW WSPOMAGANIA DECYZJI KLINICZNYCH. Dr hab. inż. Szymon Wilk Politechnika Poznańska Instytut Informatyki"

Łucja Lewicka
7 lat temu
Przeglądów:

1 JAKOŚĆ DANYCH Z PERSPEKTYWY SYSTEMÓW WSPOMAGANIA DECYZJI KLINICZNYCH Dr hab. inż. Szymon Wilk Politechnika Poznańska Instytut Informatyki

2 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 2 Afiliacje i doświadczenia Politechnika Poznańska Zakład Inteligentnych Systemów Wspomagania Decyzji Instytut i Wydział Informatyki University of Ottawa, Kanada MET Research Group Telfer School of Management Children s Hospital of Eastern Ontario (CHEO)

decyzji klinicznych dla różnego typu problemów medycznych Wsparcie dla całego procesu decyzyjnego

3 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 3 Projekt MET Środowisko do tworzenia systemów wspomagania decyzji klinicznych dla różnego typu problemów medycznych Wsparcie dla całego procesu decyzyjnego zachodzącego w szpitalnej izbie przyjęć (diagnoza, leczenie, ) Oparte na architekturze wielo-agentowej oraz modelach ontologicznych reprezentujących wiedzę dziedzinową Działające na platformach mobilnych

4 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 4 System MET-AP System wspomagający postępowanie z pacjentami z ostrym bólem brzucha Model decyzyjny oparty na regułach odkrytych z danych, wykorzystujący 13 atrybutów klinicznych (podstawowe badania i testy) Model decyzyjny dopuszczający niekompletną informację System realizowany w środowisku MET Konkurencja: system AAPHELP

5 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 5 Postępowanie w izbie przyjęć Canadian Triage Acuity Scale (CTAS) CTAS1 natychmiast CTAS2 15 min. CTAS3 30 min. CATS4 1 godz. CTAS5 2 godz. Rejestracja i triaż Oczekiwanie Badania i testy Odesłanie do domu Dalsza obserwacja Konsultacja specjalistyczna

6 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 6 Model decyzyjny w MET-AP Reguły decyzyjne odkryte ze zweryfikowanych danych historycznych (ok. 700 przypadków) Dane dostępne w wersji papierowej (karty pacjentów) i przeniesione do wersji elektronicznej (baza danych) Niedoskonałości w danych (braki części wartości, niespójności w kategoryzacji) Analiza za pomocą technik teorii zbiorów przybliżonych (rough set theory)

7 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 7 Testy kliniczne MET-AP Cele Porównanie trafności decyzji podejmowanych przez klinicystów i przez system Porównanie zgodności danych zbieranych przez doświadczonych lekarzy i przez stażystów Ograniczenia Zablokowana możliwość prezentacji decyzji sugerowanej przez system przy pacjencie (względy etyczne) Z punktu widzenia lekarza ograniczenie roli systemu do mobilnej elektronicznej karty pacjenta

8 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 8 Przebieg testów Rejestracja i triaż Nie Ostry ból brzucha? Tak Użycie systemu MET-AP Kontakt telefoniczny Pierwszy audyt Drugi audyt Wynik pozytywny? Tak Wynik pozytywny? Tak Nie Wykluczenie pacjenta z analizy Nie Włączenie pacjenta do analizy

9 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 9 Uczestnictwo w testach przypadków Czas trwania testów 8 miesięcy 1157 przypadków wyłączonych 2255 przypadków bólu brzucha 467 pominiętych 1098 potencjalnie interesujących 631 poproszonych o uczestnictwo 38 brak zgody 593 uczestników 19 brak kontaktu 457 zbadanych przez lekarzy 574 przypadków analizowanych 339 zbadanych przez stażystów 222 zbadanych przez obu obserwatorów

10 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 10 Jakość zebranych danych Większa spójność (współczynnik spójności ) Mniej brakujących wartości w zebranych danych Atrybut Dane historyczne Dane z testów Czas trwania bólu 1.0% 0.2% Obrona mięśniowa 25.2% 0.7% Poprzednia wizyta 1.6% 1.1% Bolesność uciskowa 35.0% 1.1% Przemieszczanie się bólu 95.2% 2.0% Lokalizacja bólu 2.6% 0.0% Lokalizacja bolesności 13.0% 12.1% Temperatura 1.6% 1.3% Typ bólu 10.8% 0.9% Wymioty 0.6% 0.9% WBC 33.4% 77.5%

11 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 11 Zgodność obserwatorów Zgodność wartości atrybutów współczynnik kappa Istotność atrybutów z punktu widzenia podejmowanych decyzji regresja logistyczna Atrybut Zgodność Istotność lekarze Istotność stażyści Czas trwania bólu +++ Obrona mięśniowa + Poprzednia wizyta ++ Bolesność uciskowa ++ Przemieszczanie się bólu ++ Lokalizacja bólu ++ Lokalizacja bolesności ++ Temperatura +++ Typ bólu ++ Wymioty +++ WBC +++

12 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 12 Przyczyny niezgodności Brak wystarczającego doświadczenia Zmiana stanu chorego między badaniami Niekonsekwentne odpowiedzi udzielane przez chorego lub opiekunów Stażyści podejmowali decyzje na podstawie danych, których nie potrafili w wiarygodny sposób zebrać

13 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 13 Trafność diagnostyczna Porównanie decyzji podanej przez klinicystę lub system ze złotym standardem z drugiego audytu 100,00% 100,00% 80,00% 80,00% 60,00% 60,00% 40,00% 40,00% 20,00% 20,00% 0,00% Lekarze Stażyści MET-AP/Lekarze MET-AP/Stażyści 0,00% Odesłanie do domu Obserwacja Konsultacja Ogólna

14 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 14 Trafność diagnostyczna Lekarze MET-AP/Lekarze Odesłanie Obserwacja Konsultacja Odesłanie Obserwacja Konsultacja Odesłanie Obserwacja Konsultacja Odesłanie Obserwacja Konsultacja Stażyści Odesłanie Obserwacja Konsultacja Odesłanie Obserwacja Konsultacja MET-AP/Stażyści Odesłanie Obserwacja Konsultacja Odesłanie Obserwacja Konsultacja

15 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 15 Przyczyny błędów diagnostycznych Niewystarczający opis przypadków (tacit knowledge) Rozdrobnienie klas decyzyjnych (zwłaszcza klasy obserwacja) Niezrównoważenie klas decyzyjnych w danych użytych do odkrywania reguł (dane niezrównoważone) Odesłanie 57.8% Obserwacja 15.1% Konsultacja 27.1%

16 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 16 Przykładowe zbiory medyczne Niezrównoważenie danych często w połączeniu z dodatkowymi problemami Rozdrobnienie i nakładanie się klas Szum i przypadki odstające

17 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 17 Analiza danych niezrównoważonych Podejścia działające na poziomie danych Modyfikacja danych w celu osłabienia niekorzystnej charakterystyki (dodawanie, wzmacnianie lub usuwanie przypadków) Wykorzystanie tradycyjnych algorytmów odkrywania wiedzy Podejścia działające na poziomie algorytmu Specjalizowane podejścia nie wymagające modyfikacji danych Prowadzą do bardziej złożonych modeli decyzyjnych albo wymagają dodatkowej informacji o problemie (np. koszty pomyłek)

18 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 18 Podsumowanie Czynniki wpływające na jakość danych Sposób pozyskania danych Braki w danych, niespójne klasyfikacje Ustrukturalizowane pozyskiwanie danych Specyfika problemu Niezrównoważenie i nakładanie się klas, przypadki wyjątkowe, Odpowiednie metody odkrywania wiedzy Doświadczenie decydentów Część informacji wymaga odpowiedniego doświadczenia Przystosowanie modeli decyzyjnych i systemów wspomagania decyzji Niedostateczna ilość informacji Automatyczna akwizycja danych Wymiana danych między ośrodkami (standardy!)

19 Warszawa, Konferencja ekspercka dotycząca e-zdrowia 19 MET Research Group Wojtek Michalowski Ken Farion Steven Rubin

Podobne dokumenty

Ocena i porównanie funkcjonalności aplikacji medycznych Prezentacja Platformy

Ocena i porównanie funkcjonalności aplikacji medycznych Prezentacja Platformy Joanna Rybka Collegium Medicum UMK, Hasselt University Fundacja Life4Science, Scienceventure Małgorzata Plechawska-Wójcik Instytut