Badanie z randomizacją Wprowadzenie. Prof. Hanna Szajewska Klinika Pediatrii WUM Zespół EBM i Badań Klinicznych

Transkrypt

1 Badanie z randomizacją Wprowadzenie Prof. Hanna Szajewska Klinika Pediatrii WUM Zespół EBM i Badań Klinicznych hanna.szajewska@wum.edu.pl 1

2 Cele Po zakończeniu zajęć każdy uczestnik powinien wiedzieć: Co to jest badanie z randomizacją? Czy istotne jest w jaki sposób przeprowadzono badanie z randomizacją? Co to jest błąd systematyczny i jak go uniknąć? Badanie z randomizacją O czym mówiliśmy? Co to jest badanie z randomizacją? Czy istotne jest w jaki sposób przeprowadzono badanie z randomizacją? Co to jest błąd systematyczny i jak go uniknąć? 2

3 Hierarchia badań naukowych Ocena skuteczności leczenia/zapobiegania W I A R Y G O D N O Ś Ć Metaanaliza Badanie z randomizacją Badania obserwacyjne (kliniczno-kontrolne, kohortowe) Badania obserwacyjne (opis przypadku, seria przypadków) Badania doświadczalne R Y Z Y K O B Ł Ę D U Badanie z randomizacją Randomised controlled trial RCT 3

4 Badana populacja Randomizacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe Badanie z randomizacją Definicja Badanie, w którym pacjentów przydziela się losowo do grupy eksperymentalnej poddawanej ocenianej interwencji albo do grupy kontrolnej, a następnie obserwuje występowanie określonych punktów końcowych Medycyna Praktyczna. Słownik podstawowych pojęć używanych w opisie badań klinicznych,

5 Cel randomizacji Uzyskanie grupo podobnych pod względem wszystkich czynników rokowniczych (zwłaszcza tych nieznanych) z wyjątkiem stosowanej interwencji. Medycyna Praktyczna. Słownik podstawowych pojęć używanych w opisie badań klinicznych, Czy istotne jest jak zostało zaplanowane i przeprowadzone badanie z randomizacją? 5

6 Na jakie pytanie kliniczne odpowiada badanie? PICO 4 elementy dobrze sformułowanego pytania klinicznego: P I C O Population Intervention Comparison Outcome Pytanie kliniczne i rodzaj badania Pytanie kliniczne Jaka jest częstość występowania alergii u dzieci warszawskich? Rodzaj badania Opis serii przypadków Badanie kohortowe Badanie klinicznokontrolne Badanie przekrojowe Badanie z randomizacją 6

7 Pytanie kliniczne i rodzaj badania Pytanie kliniczne Jaka jest skuteczność ampicyliny w leczeniu ostrego zapalenia ucha środkowego u dzieci? Rodzaj badania Opis serii przypadków Badanie kohortowe Badanie klinicznokontrolne Badanie przekrojowe Badanie z randomizacją Czy istotne jest jak zostało zaplanowane i przeprowadzone badanie z randomizacją? 7

8 Błąd systematyczny Bias (systematic error) Błąd systematyczny, czyli nielosowy Błąd w ocenie uzyskanych wyników, którego źródłem mogą być nieprawidłowości w planowaniu badania, jego przeprowadzeniu lub błędy powstałe przy analizowaniu danych. Badana populacja Randomizacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe 8

9 Badana populacja Randomizacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe Błąd systematyczny związany z kwalifikacją badanych Selection bias Jak uniknąć? Prawidłowa randomizacja Utajnienie randomizacji (alokacji) 9

10 Czy randomizacja była przeprowadzona prawidłowo? Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Dzień / noc Oddział Juni, Altman, Egger 2001 Czy randomizacja była przeprowadzona prawidłowo? Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Dzień / noc Oddział Tak Juni, Altman, Egger

11 Czy randomizacja była przeprowadzona prawidłowo? Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Dzień / noc Oddział Tak Tak Juni, Altman, Egger 2001 Czy randomizacja była przeprowadzona prawidłowo? Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Dzień / noc Oddział Tak Tak Nie Juni, Altman, Egger

12 Czy randomizacja była przeprowadzona prawidłowo? Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Dzień / noc Oddział Pseudorandomizacja Tak Tak Nie Nie Juni, Altman, Egger 2001 Utajnienie randomizacji Allocation concealment Procedury stosowane w celu uniknięcia świadomego lub nieświadomego wpływu na alokację uczestników do grup Procedury zapewniające, że wiedza badacza o rodzaju następnej interwencji nie wpłynie na sposób podejmowania przez niego decyzji o wprowadzeniu pacjenta do badania Zawsze jest możliwe! 12

13 Utajnienie randomizacji Allocation concealment Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Juni, Altman, Egger 2001 Utajnienie randomizacji Allocation concealment Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Tak Juni, Altman, Egger

14 Utajnienie randomizacji Allocation concealment Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Tak Tak Juni, Altman, Egger 2001 Utajnienie randomizacji Allocation concealment Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Tak Tak Tak Juni, Altman, Egger

15 Utajnienie randomizacji Allocation concealment Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Tak Tak Tak Nie Juni, Altman, Egger 2001 Utajnienie randomizacji Allocation concealment Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Tak Tak Tak Nie Nie Juni, Altman, Egger

16 Utajnienie randomizacji Allocation concealment Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Tak Tak Tak Nie Nie Nie Juni, Altman, Egger 2001 Badana populacja Randomizacja Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe 16

17 Błąd systematyczny związany ze znajomością interwencji Performance bias Jak uniknąć? Maskowanie (ślepa próba) Maskowanie Blinding, masking Procedury zapobiegające identyfikacji rodzaju interwencji (leczenia), której została poddana osoba otrzymująca interwencję (pacjent) przez wszystkich uczestników badania eksperymentalnego na wszystkich jego etapach Maskowanie nie zawsze jest możliwe! 17

18 Badanie Metodą otwartą Maskowanie Blinding, masking Pojedynczo ślepej próby Podwójnie ślepej próby Potrójnie ślepej próby Poczwórnie ślepej próby Czy metodologia RCT jest ważna? Przegląd 250 badań z randomizacją Badania z prawidłowym utajnieniem randomizacji Efekt interwencji o 30-40% mniejszy niż badania bez niego lub z nieprawidłowym utajnieniem! Badania z podwójną ślepą próbą Mniejszy efekt leczenia o ok. 4-29% niż badania bez metody podwójnie ślepej próby Schulz et al. JAMA 1995;273:408 18

19 Badana populacja Randomizacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Punkty końcowe Punkty końcowe Błąd systematyczny związany z dyskwalifikacją (wykluczeniem) Attrition (exclusion) bias Jak uniknąć? Analizą objęto wszystkich pacjentów poddanych randomizacji ang. completness of follow up Analiza wykonana zgodnie z zaplanowanym leczeniem ang. intention to treat analysis (ITT analysis) 19

20 Analiza wyników Leczenie A 100 pacjentów 15 nie toleruje A 85 otrzymuje A Randomizacja Kontrola B Analiza zgodnie z protokołem 100 pacjentów Analiza zgodnie z zaplanowanym leczeniem Dzięki uprzejmości J Mrukowicza Intention-to-treat vs per protocol analysis Intention-to-treat Analiza wystąpienia punktów końcowych w grupach, do których badane osoby zostały wyjściowo przydzielone przez randomizację, niezależnie od tego czy ostatecznie zostały poddane zaplanowanej interwencji, czy nie Pozwala zachować istotę randomizacji! Per protocol analysis Grupy tworzą tylko osoby, które faktycznie zostały poddane i niepoddane badanej interwencji Nie ma pewności co do wyjściowego podobieństwa porównywanych grup Wiarygodność wyników jest podważalna! 20

21 Badana populacja Randomizacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe Błąd systematyczny związany z oceną punktów końcowych Detection bias Jak uniknąć? Maskowanie (ślepa próba) oceniający punkty końcowe autor analizy autor artykułu 21

22 Badana populacja Randomizacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Prawidłowa randomizacja, utajnienie alokacji Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Maskowanie Błąd związany z dyskwalifikacją Obserwacja Obserwacja Analiza ITT Min. 80% Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe Maskowanie Nie ma idealnego badania! 22

23 Jak czytać publikacje naukowe dotyczące leczenia? Podstawowe kryteria oceny badania Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej? 23

24 Podstawowe kryteria oceny badania Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej? Czy wyniki badania są wiarygodne? Kryteria wiarygodności badań opisujących skuteczność interwencji w leczeniu Randomizacja i jej utajnienie Maskowanie (jeżeli możliwe) Analiza zgodnie z zaplanowanym leczeniem Znajomość losu min. 80% pacjentów Odpowiednio długi okres obserwacji 24

25 Podstawowe kryteria oceny każdego badania Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej? Jakie są wyniki badania? Czy wyniki są istotne klinicznie? Oszacowanie wielkości efektów, jakich można się spodziewać po zastosowaniu określonej interwencji Istotność statystyczna Istotność kliniczna 25

26 Istotność statystyczna P<0.05 Arbitralny próg prawdopodobieństwa Gdy prawdopodobieństwo zaobserwowania jakiegoś zjawiska jest mniejsze niż 5%, to jego wystąpienia nie da się wytłumaczyć udziałem przypadku Istotność kliniczna RR RRR ARR NNT CI Relative Risk Relative risk reduction Absolute risk reduction Number needed to treat Confidence interval Ryzyko względne Względne zmniejszenie ryzyka Bezwzględne zmniejszenie ryzyka Liczba pacjentów, których należy poddać leczeniu, aby zapobiec jednemu niekorzystnemu punktowi końcowemu Przedział ufności 26

27 Wersja polska (streszczenie): Medycyna Praktyczna 9/2007 Napój jogurtowy z L casei DN podczas antybiotykoterapii Populacja >50. rż, otrzymujący 1 antybiotyk Interwencja Napój jogurtowy z probiotykiem Porównanie Placebo (napój bez bakterii) Punkt końcowy Biegunka związana ze stosowaniem antybiotyków (>2 płynne stolce w ciągu 3 dni) Hickson et al. BMJ 2007;335:

28 Napój jogurtowy z L casei DN podczas antybiotykoterapii P=0.007 Hickson et al. BMJ 2007;335:80-5. Napój jogurtowy z L casei DN podczas antybiotykoterapii RR Ryzyko względne 0.36 RRR ARR NNT Względne zmniejszenie ryzyka Bezwględne zmniejszenie ryzyka Number needed to treat % 5 Hickson et al. BMJ 2007;335:

29 Number needed to treat (NNT) Biegunka Probiotyk 12% Placebo 34% Chorzy pomimo interwencji (n=12) Zdrowi mimo braku interwencji (=66) Mogą skorzystać z interwencji (n=22) Number needed to treat (NNT) NNT = 100/22 5 Liczba pacjentów, których należy poddać leczeniu, aby zapobiec jednemu niekorzystnemu punktowi końcowemu NNT 5 Dużo czy mało? 29

30 NNT w różnych interwencjach medycznych Interwencja Statyny w zapobieganiu zawału przez 1 rok Wit D w zapobieganiu złamania kości udowej Antybiotyki w leczeniu zapalenia zatok Aspiryna w zapobieganiu chorób układu krążenia NNT Merenstein D. FASEB July 2011 NNT w różnych interwencjach medycznych Interwencja NNT Statyny w zapobieganiu zawału przez 1 rok Wit D w zapobieganiu złamania kości udowej Antybiotyki w leczeniu zapalenia zatok Aspiryna w zapobieganiu chorób układu krążenia Merenstein D. FASEB July

31 NNT w różnych interwencjach medycznych Interwencja NNT Statyny w zapobieganiu zawału przez 1 rok Wit D w zapobieganiu złamania kości udowej 50 Antybiotyki w leczeniu zapalenia zatok Aspiryna w zapobieganiu chorób układu krążenia Merenstein D. FASEB July 2011 NNT w różnych interwencjach medycznych Interwencja NNT Statyny w zapobieganiu zawału przez 1 rok Wit D w zapobieganiu złamania kości udowej 50 Antybiotyki w leczeniu zapalenia zatok 15 Aspiryna w zapobieganiu chorób układu krążenia Merenstein D. FASEB July

32 NNT w różnych interwencjach medycznych Interwencja NNT Statyny w zapobieganiu zawału przez 1 rok Wit D w zapobieganiu złamania kości udowej 50 Antybiotyki w leczeniu zapalenia zatok 15 Aspiryna w zapobieganiu chorób układu krążenia 40 Merenstein D. FASEB July 2011 NNT w różnych interwencjach medycznych Interwencja NNT Statyny w zapobieganiu zawału przez 1 rok Wit D w zapobieganiu złamania kości udowej 50 Antybiotyki w leczeniu zapalenia zatok 15 Aspiryna w zapobieganiu chorób układu krążenia 40 L casei DN w zapobieganiu biegunce poantybiotykowej 5 32

33 Podstawowe kryteria oceny każdego badania Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej? Podjęcie decyzji klinicznej Pediatra przepisuje 5-letniemu dziecku antybiotyk. Właśnie usłyszał na sympozjum wyniki badania dotyczącego napoju jogurtowego Actimel (Hickson et al. 2007). Czy i jak powinien zastosować Actimel u dziecka, aby zapobiec biegunce związanej ze stosowaniem antybiotyków? 33

34 Podjęcie decyzji klinicznej W gabinecie lekarskim Czy nasz pacjent różni się od pacjenta w badaniu? Czy podobne leczenie jest możliwe w naszych warunkach? Jakie są potencjalne działania niepożądane leczenia? Badanie z randomizacją O czym mówiliśmy? Co to jest badanie z randomizacją? Czy istotne jest w jaki sposób przeprowadzono badanie z randomizacją? Co to jest błąd systematyczny i jak go uniknąć? 34

35 Na koniec. Powiedz mi, a zapomnę, pokaż mi, a zapamiętam, pozwól mi zrobić, a zrozumiem. Konfucjusz Co teraz? Warsztaty Ocena wiarygodności badania z randomizacją 35

36 Ocena wiarygodności badania Ocena wiarygodności badania z randomizacją Każda grupa Wspólnie omawia odpowiedź na zadane pytanie Zapisuje uzgodnioną odpowiedź na flipcharcie Wybiera przedstawiciela, który w imieniu grupy przedstawia odpowiedź Wspólna dyskusja 36

37 Podstawowe kryteria oceny badania Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej? Ocena wiarygodności badania z randomizacją Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej? 1. Czy badanie odpowiada na precyzyjne i klinicznie sensowne pytanie (PICO)? 2. Czy to było badanie z randomizacją i czy słusznie? 3. Prawidłowość randomizacji? Utajnienie alokacji? 4. Maskowanie? 5. Follow-up >80%? Analiza intention-to-treat? 6. Takie same dodatkowe interwencje? 7. Wyliczenie wielkości próby? 8. Jakie są najważniejsze wyniki? 9. Jaka jest precyzja wyników? 10. Czy uwzględniono wszystkie istotne punkty końcowe? Czy moi pacjenci są podobni do tych w badaniu? Czy korzyści przewyższają działania niepożądane/koszty? 37

38 1. Did the study ask a clearlyfocused question? Czego szukać? PICO Population Intervention Comparison Outcome Gdzie szukać? Tytuł, streszczenie, ostatni akapit wprowadzenia Jeżeli nie możesz znaleźć, poszukaj innego badania Nasz przykład Population Mothers prenatally & infants for 6 mo Intervention LGG Comparison [Placebo] Outcome Atopic disease Kalliomaki et al. Lancet 2001;357:

39 2. Was this a randomised controlled trial and was it appropriate so? Consider Why this study was carried out as an RCT If this was the right research approach for the question being asked Yes Can t tell No Rodzaje i metodyka badań klinicznych Pytanie Leczenie/zapobieganie Diagnostyka Etiologia/ryzyko Rokowanie Optymalna metodyka Badanie z randomizacją Badanie przekrojowe Badanie kohortowe Badanie kohortowe Guyatt, Rennie. User s guides to the medical literature

40 If you have answered YES to both screening questions, it is worth continuing with the appraisal 3. Where participants appropriately allocated to intervention and control groups? Consider Sequence generation: Was the allocation sequence adequately generated? Allocation concealment: Was allocation adequately concealed? If the groups were well balanced? 40

41 3. Where participants appropriately allocated to intervention and control groups? Where do I find the information The Methods should tell you How patients were selected for the study How patients were allocated to groups and whether or not randomisation was concealed Yes Can t tell No Badana populacja Randomizacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe 41

42 Błąd systematyczny związany z kwalifikacją badanych Selection bias Jak uniknąć? Prawidłowa randomizacja Utajnienie randomizacji (alokacji) Czy randomizacja była przeprowadzona prawidłowo? Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Dzień / noc Oddział Juni, Altman, Egger

43 Czy randomizacja była przeprowadzona prawidłowo? Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Dzień / noc Oddział Pseudorandomizacja Tak Tak Nie Nie Juni, Altman, Egger 2001 Czy randomizacja była przeprowadzona prawidłowo? Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Rzut monetą Rzut kostką Numer historii choroby Data urodzenia Dni parzyste / nieparzyste Dzień / noc Oddział Tak Tak Nie Nie Nie Nie Nie Nie Nie Juni, Altman, Egger

44 Utajnienie randomizacji Allocation concealment Procedury stosowane w celu uniknięcia świadomego lub nieświadomego wpływu na alokację uczestników do grup Procedury zapewniające, że wiedza badacza o rodzaju następnej interwencji nie wpłynie na sposób podejmowania przez niego decyzji o wprowadzeniu pacjenta do badania Zawsze jest możliwe! Utajnienie randomizacji Allocation concealment Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Juni, Altman, Egger

45 Utajnienie randomizacji Allocation concealment Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Tak Tak Tak Nie Nie Nie Juni, Altman, Egger 2001 Nasz przykład Allocation sequence: Allocation concealment: Kalliomaki et al. Lancet 2001;357:

46 Nasz przykład Allocation sequence: YES (i.e. low risk of bias) Allocation concealment: UNCLEAR (ie. Uncertain risk of bias). Insufficient information to permit judgment Baseline characteristics If the randomisation process worked (that is, achieved comparable groups) the groups should be similar. The more similar the groups, the better it is. Where do I find the information The Results should have a table Baseline characteristics 46

47 Nasz przykład Randomizacja powiodła się Grupy są do siebie podobne Kalliomaki et al. Lancet 2001;357: Were the participants, staff and study personnel blind to participants study group? Consider The fact that blinding is not always possible If every effort was made to achieve blinding If you think it matters in this study Yes Can t tell No 47

48 Badana populacja Randomizacja Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe Błąd systematyczny związany ze znajomości interwencji Performance bias Jak go uniknąć? Maskowanie 48

49 Błąd systematyczny związany z oceną punktów końcowych Detection bias Jak go uniknąć? Maskowanie Maskowanie Blinding, masking Procedury zapobiegające identyfikacji rodzaju interwencji (leczenia), której została poddana osoba otrzymująca interwencję (pacjent) przez wszystkich uczestników badania eksperymentalnego na wszystkich jego etapach Maskowanie nie zawsze jest możliwe! 49

50 Badanie Metodą otwartą Maskowanie Blinding, masking Pojedynczo ślepej próby Podwójnie ślepej próby Potrójnie ślepej próby Poczwórnie ślepej próby Nasz przykład Blinding of intervention: Blinding of outcome measurements: Kalliomaki et al. Lancet 2001;357:

51 Nasz przykład Blinding of intervention: YES Blinding of outcome measurements: YES Kalliomaki et al. Lancet 2001;357: Czy metodologia RCT jest ważna? Przegląd 250 badań z randomizacją Badania z prawidłowym utajnieniem randomizacji Efekt interwencji o 30-40% mniejszy niż badania bez niego lub z nieprawidłowym utajnieniem! Badania z podwójną ślepą próbą Mniejszy efekt leczenia o ok. 4-29% niż badania bez metody podwójnie ślepej próby Schulz et al. JAMA 1995;273:408 51

52 5. Were all the participants who entered the trial accounted for at its conclusion? Consider Did so many patients drop out of the trial that its results are in doubt? Was the study long enough to allow outcomes to become manifest? Were patients analysed in the groups to which they were originally assigned? Yes Can t tell No Nasz przykład Publikacja raportująca wyniki badania z randomizacją powinna zawierać schemat przebiegu badania (flowchart) Kalliomaki et al. Lancet 2001;357:

53 Badana populacja Randomizacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Punkty końcowe Punkty końcowe Błąd systematyczny związany z dyskwalifikacją (wykluczeniem) Attrition (exclusion) bias Jak uniknąć? Analizą objęto wszystkich pacjentów poddanych randomizacji ang. completness of follow up Analiza wykonana zgodnie z zaplanowanym leczeniem ang. intention to treat analysis (ITT analysis) 53

54 Analiza wyników Leczenie A 100 pacjentów 15 nie toleruje A 85 otrzymuje A Randomizacja Kontrola B Analiza zgodnie z protokołem 100 pacjentów Analiza zgodnie z zaplanowanym leczeniem Dzięki uprzejmości J Mrukowicza Intention-to-treat vs per protocol analysis Intention-to-treat Analiza wystąpienia punktów końcowych w grupach, do których badane osoby zostały wyjściowo przydzielone przez randomizację, niezależnie od tego czy ostatecznie zostały poddane zaplanowanej interwencji, czy nie Pozwala zachować istotę randomizacji! Per protocol analysis Grupy tworzą tylko osoby, które faktycznie zostały poddane i niepoddane badanej interwencji Nie ma pewności co do wyjściowego podobieństwa porównywanych grup Wiarygodność wyników jest podważalna! 54

55 Nasz przykład Losses to follow up 27/159 (17%) lost Intention-to-treat analysis no How important were the losses? None of the dropouts had shown signs of atopic disease before discontinuation Kalliomaki et al. Lancet 2001;357: Were the participants in all groups followed up and data collected in the same way? Consider If, for example, they were reviewed at the same time intervals and if they received the same amount of attention from researchers and health workers. Any differences may introduce bias Unequal treatment invalidates results 55

56 6. Were the participants in all groups followed up and data collected in the same way? Where do I find the information? Look for the Methods for the precise protocol followed for each groups (such as folllow-up schedule), permitted additional treatments) and in the Results for further information Yes Can t tell No 7. Did the study have enough participants to minimise the play of chance? Consider If there is a power calculation This will estimate how many participants are needed to be reasonably sure of finding something important (if it really exist and for a given level of uncertainty about the final result) 56

57 Nasz przykład Kalliomaki et al. Lancet 2001;357: How are the results presented and what is the main result? Consider What measure was used? How large was the treatment effect? 57

58 Egzema Lactobacillus GG vs placebo 50% 40% 30% 20% 10% 0% LGG (n=64) 23% Placebo (n=68) Eczema 46% Kalliomaki et al. Lancet 2001;357: Istotność statystyczna P<0.05 Arbitralny próg prawdopodobieństwa Gdy prawdopodobieństwo zaobserwowania jakiegoś zjawiska jest mniejsze niż 5%, to jego wystąpienia nie da się wytłumaczyć udziałem przypadku 58

59 Istotność kliniczna RR RRR ARR NNT CI Relative Risk Relative risk reduction Absolute risk reduction Number needed to treat Confidence interval Ryzyko względne Względne zmniejszenie ryzyka Bezwzględne zmniejszenie ryzyka Liczba pacjentów, których należy poddać leczeniu, aby zapobiec jednemu niekorzystnemu punktowi końcowemu Przedział ufności Egzema Lactobacillus GG vs placebo 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% LGG (n=64) Placebo (n=68) 46% 23% Eczema RR EER/CER RRR 1 RR ARR CER EER NNT 100/ARR Kalliomaki et al. Lancet 2001;357:

60 Egzema Lactobacillus GG vs placebo 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% LGG (n=64) Placebo (n=68) 46% 23% Eczema RR EER/CER 0.5 RRR 1 RR ARR CER EER NNT 100/ARR Kalliomaki et al. Lancet 2001;357: Egzema Lactobacillus GG vs placebo 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% LGG (n=64) Placebo (n=68) 46% 23% Eczema RR EER/CER 0.5 RRR 1 RR 0.5 ARR CER EER NNT 100/ARR Kalliomaki et al. Lancet 2001;357:

61 Egzema Lactobacillus GG vs placebo 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% LGG (n=64) Placebo (n=68) 46% 23% Eczema RR EER/CER 0.5 RRR 1 RR 0.5 ARR CER EER 23% NNT 100/ARR Kalliomaki et al. Lancet 2001;357: Egzema Lactobacillus GG vs placebo 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% LGG (n=64) Placebo (n=68) 46% 23% Eczema RR EER/CER 0.5 RRR 1 RR 0.5 ARR CER EER 23% NNT 100/ARR 5 Kalliomaki et al. Lancet 2001;357:

62 Miary efektu Zmienne dychotomiczne RR RRR ARR NNT Relative risk Relative risk reduction Absolute risk reduction Number needed to treat Określa jaka część ryzyka podstawowego pozostała po interwencji Określa jaka część ryzyka wystąpienia niekorzystnego punktu końcowego została usunięta w wyniku zastosowania określonej interwencji Określa bezwzględną wielkość usuniętego ryzyka. Liczba pacjentów, których trzeba poddać danej interwencji przez określony czas, aby zapobiec jednemu niekorzystnemu punktowi końcowemu. NNT number needed to treat LGG 23% Placebo 46% N=23 N=54 N=23 Egzema pomimo naszej interwencji Zdrowi mimo braku interwencji Mogą skorzystać z interwencji 62

63 Number needed to treat (NNT) NNT = 100/23 5 Liczba pacjentów, których trzeba poddać danej interwencji przez określony czas, aby zapobiec jednemu niekorzystnemu punktowi końcowemu. Co jest ważniejsze? Relative risk reduction (RRR) or absolute risk reduction (ARR)? 63

64 RRR vs ARR Relative risk reduction vs Absolute risk reduction LGG Placebo RR RRR ARR NNT 23% 46% % 5 RRR vs ARR Relative risk reduction vs Absolute risk reduction LGG Placebo RR RRR ARR NNT 23% 46% % % 0.46% 64

65 RRR vs ARR Relative risk reduction vs Absolute risk reduction LGG Placebo RR RRR ARR NNT 23% 46% % % 0.46% 0.5 RRR vs ARR Relative risk reduction vs Absolute risk reduction LGG Placebo RR RRR ARR NNT 23% 46% % % 0.46%

66 RRR vs ARR Relative risk reduction vs Absolute risk reduction LGG Placebo RR RRR ARR NNT 23% 46% % % 0.46% %! RRR vs ARR Relative risk reduction vs Absolute risk reduction LGG Placebo RR RRR ARR NNT 23% 46% % % 0.46% %! 500! 66

67 9. How precise are these results? Consider If the result is precise enough to make decision If a confidence interval was reported If a p-value is reported where CI are unavailable Confidence intervals (CI) are generally more informative than P-values Egzema Lactobacillus GG vs placebo 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% LGG (n=64) Placebo (n=68) 46% 23% Eczema RR 0.5 (95% CI 0.32 to 0.84) Kalliomaki et al. Lancet 2001;357:

68 10. Will the results help in carying for my patient? Consider Were the study patients similar to my patient? Were all clinically important outcomes considered? Are the likely treatment benefits worth the potential harm and costs? Czy wyniki badania mogę wykorzystać w opiece nad konkretnym bacjentem? Czy nasz pacjent jest podobny do przeciętnego uczestnika badania? Czy interwencja, którą chcemy zastosować u naszego pacjenta, będzie taka sama jak w badaniu? Czy uwzględniono wszystkie punkty końcowe ważne dla naszego pacjenta? Czy skutki korzystne danej interwencji przeważają nad skutkami niekorzystnymi? 68

69 Summary of critical appraisal of the LGG study 1. Did the study ask a clearly focused question? P mothers & infants at risk I Lactobacillus GG C placebo O eczema 2. Was this an RCT and was it appropriately so? Yes 3. Sequence generation? Allocation concealment? Computer generated No information (unclear risk of bias) 4. Blinding? Double-blind RCT (identical capsules; treatment codes blinded until the analysis) 5. Follow-up >80%? Intention-to-treat- analysis? 83%. No ITT analysis 6. Equal co-interventions? Yes 7. Power calculation? Yes 8. What is the main result? Atopic eczema at 2 y RR How precise are these results? 95% CI 0.3 to Were the study patients similar to my patient? Were all clinically important outcomes considered? Benefits vs harm and costs? Yes Asthma? Allergic rhinitis? Generally safe Cost depends Nie ma idealnego badania! 69

70 Cele Po zakończeniu warsztatów każdy uczestnik powinien Znać hierarchię badań Umieć zdefiniować co to jest badanie z randomizacją Znać 4 możliwe błędy systematyczne w badaniu z randomizacją Ocenić wiarygodność badania z randomizacją Hierarchia badań naukowych Ocena skuteczności leczenia/zapobiegania W I A R Y G O D N O Ś Ć Metaanaliza Badanie z randomizacją Badania obserwacyjne (kliniczno-kontrolne, kohortowe) Badania obserwacyjne (opis przypadku, seria przypadków) Badania doświadczalne R Y Z Y K O B Ł Ę D U 70

71 Badana populacja Randomizacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe Badana populacja Randomizacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe 71

72 Badana populacja Randomizacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Prawidłowa randomizacja, utajnienie alokacji Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Maskowanie Błąd związany z dyskwalifikacją Obserwacja Obserwacja Analiza ITT Min. 80% Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe Maskowanie Jak wykorzystać wiedzę o badaniach z randomizacją? Przy planowaniu własnego badania Do oceny badania przeprowadzonego przez innych 72

73 Na koniec. Dziękuję za uwagę! 73