Badanie kwestionariuszowe Kamil Barański Na podstawie prezentacji Pani Dr hab. n. med. Małgorzaty Kowalskiej
Badanie kwestionariuszowe A B C Konstrukcja kwestionariusza Cechy wywiadu standaryzowanego Ograniczenia i błędy w badaniu kwestionariuszowym Ankieta vs. kwestionariusz Planowanie badania z wykorzystaniem kwestionariusza Metody tworzenia kwestionariuszy Wywiad lekarski vs. wywiad epidemiologiczny Ocena wartości kwestionariusza Akceptowalność Powtarzalność/Zgodność Wewnętrzna spójność Czułość/Swoistość Procedura walidacji kwestionariusza Zadania dla studenta Analiza powtarzalności Analiza trafności Konstrukcja własnego kwestionariusza 2015-12-17 KIZE 2015 2
Cechy wywiadu standaryzowanego Wartość: trafność i rzetelność Odpowiednio przygotowane pytania Liczba pytań 2015-12-17 KIZE 2015 3
Cechy wywiadu standaryzowanego Treść pytań: Trafne Dostosowane do respondenta Nie powinny dotyczyć zbyt odległej przeszłości Akceptowane 2015-12-17 KIZE 2015 4
Cechy wywiadu standaryzowanego Forma pytań: Słownictwo Język Jasne niedwuznaczne Nie powinny sugerować odpowiedzi? 2015-12-17 KIZE 2015 5
Cechy wywiadu standaryzowanego Kolejność i liczba pytań Sensowna całość Jedno zagadnienie Technika lejka Technika odwrotnego lejka Pytania wstępne powinny być łatwe Pytania kłopotliwe? 2015-12-17 KIZE 2015 6
Cechy wywiadu standaryzowanego Struktura wywiadu standaryzowanego: Wprowadzenie/wstęp Metryka/dane osobowe Część właściwa Zakończenie 2015-12-17 KIZE 2015 7
Struktura wywiadu standaryzowanego Wstęp: Metryka: Temat badania cel badania Opis badania Identyfikator Instrukcja udzielania odpowiedzi Informacje o zespole badawczym/afiliacja Źródło finansowania Apel o szczerość Podziękowanie Płeć Miejsce zamieszkania Dochody Stan cywilny Wykształcenie Masa ciała Wzrost Wyznanie 2015-12-17 KIZE 2015 8
Ograniczenia i błędy w badaniu kwestionariuszowym Fałszywe założenie znawstwa Efekt ankieterski Pytania sugerujące odpowiedź Pytania sprzeczne Pytania niejednoznaczne Pytania niedostosowane np. kulturowo Niepełna skala odpowiedzi pytań zamkniętych Efekt podłogi i sufitu 2015-12-17 KIZE 2015 9
1. Fałszywe założenie znawstwa Ad. 1 Jakie są wady/zalety stosowanego przez Pana/ią leku? 2. Efekt ankieterski Ad. 2 Masa ciała, poglądy polityczne, wpływanie ankietera na udzielane odpowiedzi 3. Pytanie sugerujące odpowiedź Ad. 3 Większość Polaków stosuje lek X czy Pan/i również stosuje ten lek? 2015-12-17 KIZE 2015 10
4. Pytanie sprzeczne Ad. 4 Jakie są wady/zalety stosowanego przez Pana/ią leku? 5. Pytania niejednoznaczne Ad. 5 Ile leków spożywa Pana/i rodzina? 6. Pytania niedostosowane Ad. 6 Czy wskutek stresu występuje u Pana/i tachykardia? 7. Niepełna skala odpowiedzi pytań zamkniętych Ad. 7 Czy stosował Pan/i lek przeciwbólowy firmy X? (zamiast TAK/NIE odpowiedzi TAK, NIE, NIE PAMIĘTAM ) 2015-12-17 KIZE 2015 11
Ankieta vs. kwestionariusz Sposób przeprowadzenia badania Może mieć znaczenie dla wyników badania Posiada wady i zalety Effect size Konieczny właściwy opis w metodologii badania 2015-12-17 KIZE 2015 12
Planowanie badania z wykorzystaniem kwestionariusza 2015-12-17 KIZE 2015 13
2015-12-17 KIZE 2015 14
Kwestionariusz ankieta samozwrotna Zalety: 1. Jednolity sposób zadawania pytań zmniejsza możliwość wystąpienia błędów systematycznych 2. Respondenci dysponują dłuższym czasem niezbędnym do przemyślenia odpowiedzi 2015-12-17 KIZE 2015 15
Kwestionariusz ankieta samozwrotna Wady 1. Kłopoty z odzyskaniem wypełnionych ankiet 2. Niepewność co do rzetelności wypełniania i udzielonych odpowiedzi 2015-12-17 KIZE 2015 16
Metody tworzenia kwestionariuszy Rodzaje pytań Skale: Likerta Guttmana 2015-12-17 KIZE 2015 17
Skala Likerta Zawiera odpowiedzi wzajemnie się wykluczające Respondent może zaznaczyć tylko jedną odpowiedź Powinna charakteryzować się symetrią i równowagą 2015-12-17 KIZE 2015 18
WHOQOL-BREF Questionnaire Jaka jest Pana/i jakość życia? Czy jest Pan zadowolony ze swojego zdrowia? Warianty odpowiedzi: 1. Bardzo zła (1), 2. zła (2), 3. Ani dobra, ani zła (3), 4. Dobra (4), 5. Bardzo dobra (5) 2015-12-17 KIZE 2015 19
2015-12-17 KIZE 2015 20
Rodzaje pytań Otwarte Zamknięte Półotwarte 2015-12-17 KIZE 2015 21
Dobra rada Jeśli to możliwe to korzystaj z kwestionariusza standardowego! 2015-12-17 KIZE 2015 22
Przykładowy kwestionariusz 2015-12-17 KIZE 2015 23
Kwestionariusz oceniający poziom satysfakcji pacjenta Developing a standard short questionnaire for the assessment of patient satisfaction with outof-hours primary care C Salisbury et al. Family Practice 2005;22:560-569 http://fampra.oxfordjournals.org/content/22/5/560.full
2015-12-17 KIZE 2015 25
2015-12-17 KIZE 2015 26
2015-12-17 KIZE 2015 27
Kwestionariusz punktowy dla oceny sposobu żywienia /wg Gawęcki, Jeszka Żywienie Człowieka PWN 1995 Lp. Przedmiot oceny Liczba punktów 1. Ile posiłków dziennie spożywano 2. 3. 4. 5. W ilu posiłkach w ciągu tygodnia występował produkt dostarczający białka zwierzęcego? Jak często spożywano mleko lub jego przetwory? Jak często spożywano warzywa i owoce? Jak często spożywano surówki z warzyw i owoców? 4 lub 5 5 3 2 mniej niż 3 0 we wszystkich 5 w 75% posiłków 2 rzadziej 0 codziennie min. w 2 posiłkach 5 codziennie min. w 1 posiłkach 2 rzadziej 0 codziennie min. w 2 posiłkach 5 codziennie min. w 1 posiłkach 2 rzadziej 0 codziennie 5 w 75% posiłków 2 rzadziej 0 Liczb pkt. ocenianego jadłospisu
Ocena uzyskanych odpowiedzi sposób żywienia Bardzo dobry 25 pkt. Dobry 21-25 pkt. Dostateczny 10-20 (bez ocen 0) Z błędami 10-20 pkt. (z ocenami zerowymi) Zły 9 pkt. i mniej 2015-12-17 KIZE 2015 29
Wywiad lekarski vs. wywiad epidemiologiczny 2015-12-17 KIZE 2015 30
Wywiad lekarski Wywiad niestandardowy Treść słownictwo i sekwencja pytań zależą od okoliczności, rodzaju choroby i stanu pacjenta 2015-12-17 KIZE 2015 31
Wywiad epidemiologiczny Wywiad standaryzowany Treść słownictwo i sekwencja pytań są jednakowe pozwala na większą powtarzalność wyników 2015-12-17 KIZE 2015 32
Ocena wartości kwestionariusza WIARYGODNOŚĆ ZASTOSOWANEGO NARZĘDZIA to nadrzędny cel 2015-12-17 KIZE 2015 33
Ocena wartości kwestionariusza Akceptowalność Wartość Rzetelność Trafność 2015-12-17 KIZE 2015 34
Ocena wartości kwestionariusza Akceptowalność Liczba pytań Zastosowany język Rodzaj pytań JAK ZBADAĆ AKCEPTOWALNOŚĆ? 2015-12-17 KIZE 2015 35
Ocena wartości kwestionariusza Powtarzalność/Zgodność (Rzetelność) Czy można wyeliminować problem braku zgodności kwestionariusza? J.E. Zejda: Akceptowalny kwestionariusz i czytelna instrukcja jego wypełnienia powinny ograniczyć, ale nie wyeliminują problemu 2015-12-17 KIZE 2015 36
Ocena wartości kwestionariusza Analizy statystyczne wykorzystywane do oceny zgodności/powtarzalności Rodzaj testu Zmienna ilościowa Zmienna jakościowa Uwagi McNemar a X Współczynnik rang Spearmana Test Bland-Altmana X X Konieczność zwrócenia uwagi na wykres Zastosować poprawkę Lin a Kappa Cohen a X Można zastosować również: współczynniki Yule a, Cramer a, Kendall a 2015-12-17 KIZE 2015 37
Ocena wartości kwestionariusza Ocena powtarzalności dla kluczowych pytań kwestionariusza PZO Przewlekłe Zapalenie Oskrzeli Wyniki 2 rundy Razem + - + A B A+B Wyniki 1 rundy - C D C+D Razem A+C B+D N=A+B+C+D Statystyka KAPPA COHEN A! Kappa = 2 x (A x D B x C) / [(A+C) x (C+D) + (A+B) x (B+D)] 2015-12-17 KIZE 2015 38
Statystyka KAPPA COHEN A! Wynik Powtarzalność 0 0,40 0,41 0,60 0,60 0,80 > 0,80 Słaba Średnia Dobra Bardzo dobra Źródło: Landis JR, Koch GG (1977) The measurement of observer agreement for categorical data. Biometrics 33: 159 174. doi: 10.2307/2529310 2015-12-17 KIZE 2015 39
Ocena wartości kwestionariusza Wewnętrzna spójność (Rzetelność) = wewnętrzna poprawność Ocena wewnętrznej spójności na podstawie kwestionariusza PHQ (PATIENTS HEALTH QUALITY) 2015-12-17 KIZE 2015 40
Ocena wartości kwestionariusza Ocena czułości i swoistości (trafność) 2015-12-17 KIZE 2015 41
Test diagnostyczny Liczności obserwowane Wynik badania potwierdzony przez lekarza Choroba PZO (+) Brak choroby PZO (-) Suma Reality (gold-standard) Wynik badania kwestionariuszowego Wynik pozytywny PZO (+) Wynik negatywny PZO (-) TP FP TP+FP FN TN FN+TN Suma TP+FN FP+TN N=TP+FP+ FN+TN TP wyniki prawdziwie dodatnie FP wyniki fałszywie dodatnie FN wyniki fałszywie ujemne TN wyniki prawdziwie ujemne
Test diagnostyczny Liczności obserwowane Wynik badania potwierdzony przez lekarza Choroba PZO (+) Brak choroby PZO (-) Suma Wynik pozytywny PZO (+) 50 15 TP+FP Reality (gold-standard) Wynik badania kwestionariuszowego Wynik negatywny PZO (-) 5 250 FN+TN Suma TP+FN FP+TN N=TP+FP+ FN+TN 2015-12-17 KIZE 2015 43
Ocena wartości kwestionariusza Czułość Swoistość Wartość predykcji dodatnia Wartość predykcji ujemna Chorobowość TP/(TP+FN) TN/(FP+TN) TP/(TP+FP) TN/(FN+TN) (TP+FN)/n 2015-12-17 KIZE 2015 44
Wyniki podsumowanie Czułość - to odsetek chorych, u których poprawnie zdiagnozowano chorobę, czyli uzyskali pozytywny wynik badania Swoistość - to odsetek zdrowych, którzy zostali poprawnie zdiagnozowani czyli uzyskali negatywny wynik badania Wartość predykcji dodatnia (PPV) to informacja o prawdopodobieństwie pewności właściwego wyniku w przypadku uzyskania pozytywnego wyniku (dla chorych) Wartość predykcji ujemna (NPV) informacja o prawdopodobieństwie pewności właściwego wyniku w przypadku uzyskania negatywnego wyniku badania (dla zdrowych) 2015-12-17 KIZE 2015 45
Ocena wartości kwestionariusza Procedura walidacji kwestionariusza Nowo opracowany kwestionariusz musi być zweryfikowany, zanim zostanie użyty w badaniach epidemiologicznych 1. Sprawdzony w badaniu pilotażowym, na tej samej/podobnej populacji, która będzie przedmiotem badania zasadniczego Jędrychowski W.: Metoda zbierania wywiadów lekarskich i budowa kwestionariuszy zdrowotnych. PZWL, Warszawa, 1982 2015-12-17 KIZE 2015 46
Ocena wartości kwestionariusza Procedura walidacji kwestionariusza 2. Poprawiony i przetestowany ponownie 3. Zwalidowany Jędrychowski W.: Metoda zbierania wywiadów lekarskich i budowa kwestionariuszy zdrowotnych. PZWL, Warszawa, 1982 2015-12-17 KIZE 2015 47
TEST RETEST CZAS? 2015-12-17 KIZE 2015 48
Najczęściej występujące problemy Konstrukcja kwestionariusza Dostosowanie do percepcji Akceptowalność Dystrybucja Brak standaryzacji 2015-12-17 KIZE 2015 49
Ocena wartości kwestionariusza INNE METODY - Weryfikacja z zastosowaniem biomarkerów - Weryfikacja z zastosowaniem badań diagnostycznych 2015-12-17 KIZE 2015 50
Praktyczne wskazówki przeprowadzenia badania z wykorzystaniem kwestionariusza wg/ J.E. Zejdy 1. Kwestionariusz autorski tak pod warunkiem przeprowadzenia walidacji (kwestionariusz o charakterze diagnostycznym podlega obowiązkowej walidacji). 2. Kwestionariusz standardowy, przetłumaczony z języka obcego wymaga walidacji. 3. Pomiar akceptowalności nie posiada standardowej procedury. 2015-12-17 KIZE 2015 51
Podsumowanie - wskazówki 1. Im lepszy kwestionariusz tym łatwiejsza budowa bazy danych 2. Istnieje możliwość zakupu licencji standardowego kwestionariusza 2015-12-17 KIZE 2015 52
BADANIE KWESTIONARIUSZOWE Kamil Barański Piśmiennictwo: 1. R. Beaglehole.: Podstawy epidemiologii, 2002 2. L. Jabłoński.: Epidemiologia, Podręcznik dla lekarzy i studentów, 1999 3. W. Jędrychowski.: Epidemiologia w medycynie klinicznej i zdrowiu publicznym, 2010 4. J.E. Zejda: Epinarium- nieformalny biuletyn Polskiego Towarzystwa Epidemiologicznego, Grudzień 2010 (6) 5. Spencer H. K. i wsp.: Development and validation of a patient questionnaire to determine New York Heart Association Classification.
Wywiad lekarski zadanie dla studenta Klasyfikacja NYHA (New York Heart Association) Klasa NYHA I Objawy kliniczne Chorzy z niewydolnością serca, która nie powoduje jednak u nich ograniczenia aktywności fizycznej. Zwykłe codzienne czynności nie powodują nadmiernego zmęczenia, kołatania serca, duszności ani bólu dławicowego. II Chorzy z niewielkim upośledzeniem aktywności. Codzienne czynności powodują pojawienie się powyższych objawów. Dolegliwości nie występują w spoczynku. III Chorzy ze znacznie ograniczoną aktywnością, wskutek pojawiania się dolegliwości przy małych wysiłkach, takich jak mycie lub ubieranie się. Dolegliwości w spoczynku nie występują. IV Chorzy, u których najmniejszy wysiłek powoduje pojawienie się zmęczenia, duszności, kołatania serca lub bólu dławicowego, a dolegliwości pojawiają się także w spoczynku. 2015-12-17 KIZE 2015 54
Wywiad lekarski zadanie dla studenta Klasyfikacja nasilenia duszności Medical Research Council Stopień Objawy 0 Duszność występująca przy dużych wysiłkach. 1 Duszność występuje przy wchodzeniu na niewielkie wzniesienie lub przy szybkim marszu. 2 Pacjent musi się zatrzymywać do nabrania tchu, z powodu duszności chodzi wyraźnie wolniej od rówieśników. 3 Chory nie może przejść 100 m po płaskim terenie bez zatrzymania się celem nabrania oddechu. 4 Duszność spoczynkowa, uniemożliwiająca choremu opuszczenie domu lub samodzielne ubranie się. 2015-12-17 KIZE 2015 55