POPRAWNOŚĆ REALIZACJI PROGRAMU DOMOWYCH DETEKTYWÓW A JEGO SKUTECZNOŚĆ

Transkrypt

1 Alkoholizm i Narkomania Tom 13, Nr 2, ss , 2000 POPRAWNOŚĆ REALIZACJI PROGRAMU DOMOWYCH DETEKTYWÓW A JEGO SKUTECZNOŚĆ Katarzyna Okulicz-Kozaryn, Krzysztof Bobrowski, Anna Borucka, Krzysztof Ostaszewski, Agnieszka Pisarska Pracownia Profilaktyki Młodzieżowej "Pro-M" Zakład Promocji Zdrowia Psychicznego Instytutu Psychiatrii i Neurologii w Warszawie ADEQUACY OF THE "PROGRAM DOMOWYCH DETEKTYWÓW" (A POLISH ADAPTAnON OF THE SLlCK TRACY HOME TEAM PROGRAM) IMPLEMENTATION AND ITS EFFECTlVENESS ABSTRACT - The aim ofthc study was to establish relationships between adequate or inadequate implementation ofthe Program Domowych Detektywów (POD) and its immediate effects. Thc POD 1S an carły ałcohol prcvcntion program dcsigncd for elementary schoo! students agcd 10-11, and for thcii:.parcnts. A positivc effeet of the PDD on reduetion of alcohol drinking frcqucncy and on other óutcomc variabies was found in a study carricd out in the ycars 1998/1999 in Warsaw primary sehools. A more detailed analysis the samc materiał is prcscnted in this papcr, including data on the proeess of the PDD impjemcntation in particular elasses. On the grounds of infonnation obtained from teaehers, students and parents two groups of elasscs were distinguished: with either proper (subgróup El) or inadequatc (subgroup E2) POD implementation. Outeomes of students in eaeh of the subgroups (El and E2) werc eompared with these in a comparative group (e) in successive analyses ofvariance with repeated measurcsmanova. Obtained results indicate that proper implementation of the program was assoeiated with a reduction in alcohol drinking frcquency. Moreovcr, advantagcous effeets eoneerning intention to drink, frcqucncy of diseussing alcohol-rclatcd issues by children and their parents, changes in peer group norms, and incrcased knowledge about conscquenees of aleohol drinking werc found in E I subgroup. Howevcr, no cffcct suggesting the PDD efficacy was notcd in the subgroup or classes in which the program implementation was markedly inferior. The findings do not show cithcr any ilcgative effects of inadequate implemcntation ofthe POD, On the grounds of the rcseareh findings perccntage słandards for the program routinc implementation could be cstablishcd. The standards pertain to issucs ciucial for the POD, Le. paients' aetivity and involvcment in work with theii child, parental partieipation in a meeting closing the program, as well as the program pereeption (cvaluation) by students and thelr parents. Key words: outcome evaluation, proecss cvaluation, sehool-based prevention, aleohol. 235

2 K. Okulicz-Kozaryn, K. Bobrowski, A. Borucka, K. OsIaszewski, A. Pisarska WSTĘP Opracowanie programu profilaktycznego i przygotowanie go do rutynowego wdrożenia jest złożonym i zazwyczaj długotrwałym procesem. Model sześciu faz zaproponowany przez zespół ekspertów z kilkunastu krajów europejskich (10) przedstawia najważniejsze etapy przygotowania programu. Według tego modelu, każdej fazie działań towarzyszą prace badawcze. I tak, opracowanie wstępnego programu oddziaływań jest poprzedzone naukowymi ustaleniami na temat epidemiologii i etiologii danego zjawiska w interesującej nas populacji. Następnym krokiem jest etap badań pilotażowych, w których testowane i poprawiane są kolejne wersje programu. Gdy program oddziaływań zostanie dopracowany, przystępuje si'l. do oceny jego skuteczności. Jeśli zostanie ona potwierdzona, program można przekazać do rutynowego wdrożenia. Ten etap z kolei wymaga kontroli standardów realizacji oddziaływań, aby upewnić się, czy rutynowa realizacja programu profilaktycznego nie odbiega od tej, której skuteczność została wykazana w badaniach ewaluacyjnych. Jest to szczególnie ważne, gdy przewiduje się realizację programu w dużej skali, na przykład w całym kraju. Problem związku skuteczności programów profilaktycznych z jakością realizacji jest rzadko podejmowany w literaturze przedmiotu, choć niewątpliwie zasługuje na uwagę. Trudności lub zakłócenia w realizacji mogą być jednym z czynników obniżających skuteczność programu profilaktycznego. Potwierdzają to wyniki tych nielicznych badań ewaluacyjnych, w których kontrolowano jakość działań. Tobler (9), w swoim przeglądzie obejmującym 143 programy profilaktyki uzależnień przeznaczone dla młodzieży, odnotowuje, że do porównań uwzględniających jakość realizacji mogła włączyć jedynie II programów. Jednak, nawet przy tak niewielkiej liczbie przypadków, różnice wyników na korzyść programów o poprawnej realizacji były istotne statystycznie. Do podobnych wniosków doszli Durlak i WelIs (2) dokonuj ąc meta-analizy wyników badań ewaluacyjnych nad programami promocji zdrowia psychicznego dla dzieci i młodzieży. Ich zdaniem, niezadowalające efekty części programów wynikają nie tyle z faktu, że te programy są nieskuteczne, co z faktu ich wadliwej realizacji. Podobny związek między jakością działań profilaktycznych a ich efektami odnotowują badacze posługujący się różnymi metodami kontroli procesu wykonania. Przykładem monitorowania jakości na podstawie relacji oraz ocen realizatorów i obserwatorów zajęć może być badanie Hansena i wsp. (3), które dotyczyło porównania skuteczności szkolnych programów profilaktyki alkoholowej Gednego opartego na strategii odpierania presji oraz drugiego poświęconego przekonaniom normatywnym). Z kolei w badaniach dotyczących skuteczności programu terapeutycznego dla rodzin, w których ojciec jest alkoholikiem - od rodziców (odbiorców) i terapeutów zbierano dane kwestionariuszowe na temat ich zaangażowania w zajęcia, satysfakcji z udziału w programie oraz oczekiwanych efektów (5). Również autorzy posługujący sięjakościowymi metodami badawczymi zwracają uwagę na zależność między skutecznością oddziaływań, a jakością realizacji programu profilaktycznego (8). W cy- 236

3 Poprawność realizacji Programu Domowych Detektywów a jego skuteczność lowanych badaniach wniosek taki jest uzasadniony stwierdzeniem, że "W grupach, w których stosunkowo często pojawiały się opisy niewłaściwego prowadzenia kolejnych "kroków", dominującą postawą wśród respondentów był brak dostrzegania przez nichjakiegokolwiek wpływu "Drugiego Elementarza... " na ich zachowanie lub określanie go jako nieznaczny... ". Zakłócenia w realizacji programu profilaktycznego mogą wynikać z wielu różnych powodów. Jednym z krytycznych momentów jest przekazanie programu do rutynowego wdrożenia i utrata kontroli autorów nad sposobem realizacji programu. Doświadczenia wskazują, że częstymi przyczynami "odstępstw" w realizacji są między innymi: niedostateczne przygotowanie realizatorów, brak odpowiednich warunków organizacyjnych i finansowych dla poprawnej realizacji, skłonność realizatorów do "ulepszania" lub dowolnego modyfikowania treści programu, a także, po prostu, rezygnowanie z niektórych jego elementów. Innym ważnym źródłem zmian w realizacji programu jest - występująca nierzadko - konieczność dostosowania szeroko stosowanego programu do specyficznych potrzeb środowiska lokalnego. Z tym zagadnieniem wiąże si" trudny do rozwiązania dylemat: jak zapewnić wysoką skuteczność programu i jednocześnie zadbać o jego "elastyczność" w dostosowaniu się do lokalnej specyfiki lub preferencji realizatorów? Innymi słowy, w jaki sposób modyfikować program, aby zachować jego podstawowe elementy, które decydują o jego skuteczności? Uwzględniając specyficzne (np. lokalne) potrzeby nie można bowiem zapominać, źe każda modyfikacja działań może mieć ujemny wpływ na skuteczność programu. Niewątpliwie, dokonywanie modyfikacji ustrukturalizowanego programu wymaga wnikliwej analizy założeń programu i dobrej znajomości jego kluczowych elementów. Bo, na przykład, dokonywanie zmian w programie, który oparty jest na aktywnej współpracy szkoły z rodzicami, nie może polegać na zastąpieniu tej współpracy zintensyfikowaną pracą nauczycieli na lekcjach lub działalnością liderów młodzieżowych. Podobnie jest, gdy próbuje się zastosować program w nieodpowiedniej grupie wiekowej, np. program, którego pozytywne efekty bezpośrednie zostały slwierdzone w badaniach prowadzonych wśród uczniów klas czwartych szkoły podstawowej, może być nieadekwatny dla uczniów klas szóstych. Podjęte przez nas badania ewaluacyjne nad nowym programem profilaktyki alkoholowej, zatytułowanym Program Domowych Detektywów, wykazały, że jego realizacja w piątych kłasach szkoły podstawowej przynosi szereg pozytywnych efektów (7). Przede wszystkim program wpływa na ograniczenie wzrostu częstości picia alkoholu przez uczniów. Temu efektowi towarzyszy zmniejszenie intencji picia alkoholu, wzrost wiedzy uczniów o skutkach picia alkoholu przez młodych ludzi oraz większa intensywność prowadzenia rozmów rodziców z dziećmi na tematy związane z piciem alkoholu. Ponadto badania wykazały, że program wpływa korzystnie na ograniczenie częstości palenia papierosów. Jednocześnie wyniki ewaluacji procesu wykazały istotne różnice w poziomie realizacji programu w poszczególnych klasach. Stworzyło to okazję do oceny związku realizacji ze skutecznością programu i pozwoliło na określenie minimalnych warunków poprawnej realizacji. Zgodnie z koncepcją pytań ewaluacyj- 237

4 K. Okulicz-Kozaryn, K. Bobrowski, A. Borucka, K. Ostaszewski, A. Pisarska nych zaproponowaną przez Hawkinsa i Nederhood (4) jest to jedna z kwestii dotyczących efektywności programu. Program Domowych Detektywów Program Domowych Detektywów (PDD) jest adaptacją pierwszej cz~ści amerykańskiego programu Project Northland (11, 12). Jego głównym celem jest opóźnienie momentu, w którym młodzi ludzie po raz pierwszy sięgną po alkohol oraz ograniczenie picia alkoholu wśród uczniów, którzy sąjuż po inicjacji. PDD jest przeznaczony dla dzieci w wieku lat. Jego realizacja składa się z dwóch części: szkolnej i domowej. Kluczowe znaczenie dla powodzenia programu ma aktywny udział rodziców. Mają oni utworzyć wraz z dziećmi tzw. "Domową Drużynę". Zadaniem Drużyn jest wspólne rozwiązywanie zadań z zeszytów przynoszonych przez dziecko do domu po każdych kolejnych zajęciach w klasie. Każdy zeszyt zawiera historyjkę komiksową, zadania dla Domowych Drużyn i Uwagi dla rodziców. Dowodem wykonania zadań przez Domową Drużynę są Karty Wyników, które uczniowie oddają nauczycielowi. Karty Wyników znajdują się w każdym z czterech zeszytów przeznaczonych do pracy w domu. Zajęcia w klasie są realizowane pod kierunkiem nauczyciela. Wprowadzają one uczniów w tematykę kolejnych zeszytów oraz służą omówieniu doświadczeń związanych z pracą wykonywaną w domu. Pomocnikami nauczyciela w czasie lekcji są liderzy, wybrani przez kolegów i koleżanki z klasy. Do zadań liderów należy prezentowanie całej klasie historyjek komiksowych, zachęcanie kolegów do pracy nad kolejnymi zeszytami i zadaniami dla Domowych Drużyn oraz prowadzenie w czasie lekcji zajęć w podgrupach. Cykl zaj~ć składających się na PDD kończy Wieczór Jasia i Małgosi. Jest to spotkanie, podczas którego uczniowie prezentują zaproszonym gościom - rodzicom, dyrekcji szkoły oraz przedstawicielom społeczności lokalnej - swoje prace dotyczące różnych zagadnień związanych z alkoholem. Szczegółowa charakterystyka PDD została przedstawiona w artykule Ostaszewskiego i in. (6). CELE BADANIA Podstawowym celem prezentowanych badań jest określenie relacji między poprawną lub niepoprawną realizacj ą Programu Domowych Detektywów a jego bezpośrednimi efektami. Ponadto, niniejsze opracowanie ma na celu sfonnułowanie standardów, jakie powinny być spełnione przy rutynowej realizacji programu. Chodzi o określenie takiego poziomu wykonania, jaki daje szansę osiągnięcia, przy każdej kolejnej realizacji PDD, wyników zbliżonych do tych, jakie stwierdzono w badaniach eksperymentalnych (7). Standardy towarzyszące wdrażaniu PDD, chociaż określone na podstawie badań, muszą być praktyczne. Oznacza to, że ich liczba powinna być niewielka - ograniczona do kluczowych aspektów programu, a sposób pomiaru łatwy, czyli niewyrnagający czasu, pieni~dzy i zaawansowanej wiedzy metodologicznej. 238

5 Poprawność realizacji Programu Domowych Detektywów a jego skuteczność Podstawowe pytanie badawcze, na jakie będziemy starali się odpowiedzieć, brzmi: Czy poprawna lub niepoprawna realizacja PDD znajduje odzwierciedlenie w wynikach dotyczących jego bezpośredniej skuteczności? METODA Schemat badawczy i analizy statystyczne Materiał badawczy wykorzystany w tym opracowaniu pochodzi z badań przeprowadzonych w roku szkolnym 1998/1999 w warszawskich szkołach podstawowych. Grupę eksperymentalną (grupa E) stanowili uczniowie 10 klas piątych, w których w pierwszym semestrze miała miejsce realizacja PDD. Klasy te pochodziły z pięciu szkół wybranych losowo z całej puli 10 szkół, które wyraziły gotowość realizacji tego programu. Pozostałych pięć szkół stanowiło grupę porównawczą (grupa P). Badania efektów PDD zostały przeprowadzone w schemacie quasi-eksperymentalnym. Ankietępre-testową uczniowie wypełniali tuż przed rozpoczęciem zajęć, a posttestową bezpośrednio po ich zakończeniu. Szczegółowa analiza przebiegu programu pozwoliła nam ex post wyłonić klasy o poprawnej (podgrupa El) i niepoprawnej (podgrupa E2) realizacji. Interpretacja realizacji PDD jako "poprawnej" lub "niepoprawnej" została przeprowadzona na podstawie analizy następujących aspektów wykonania programu w poszczególnych klasach: 1. Formalnej strony realizacji programu - Czy zostały zrealizowane wszystkie elementy programu? Czy program zajęć edukacyjnych w klasach został w pełni zrealizowany? Jaka była frekwencja uczniów w czasie zajęć przewidzianych w programie? 2. Udziału dzieci i rodziców w programie - Jaka część uczniów wraz z rodzicami utworzyła Domowe Drużyny i podjęła pracę nad dostarczonymi zeszytami? W jakim stopniu Domowe Drużyny zrealizowały swoje zadania? Jaka część rodziców uczestniczyła w spotkaniu kończącym program? 3. Odbioru (oceny) programu przez jego uczestników - Jak cały program oraz jego poszczególne elementy były oceniane przez uczniów, rodziców i nanczycieli? Dlajasności opisu, w niniejszym artykule, każdej klasie uczestniczącej w programie nadaliśmy numer porządkowy od 1 do 10. Do oceny różnic we wskaźnikach dotyczących realizacji PDD wykorzystano test chi-kwadrat. Wyniki uczniów z klas o poprawnej (El) lub niepoprawnej realizacji (E2) zostały zestawione z wynikami uczniów z grupy porównawczej (P) w kolejno przeprowadzonych analizach wariancji z powtarzanymi pomiarami MANOVA. Osobno analizowane są zmiany w zakresie picia alkoholu i pięciu zmiennych pośredniczących. Zmienne pośredniczące dotyczą: intencji picia alkoholu, spostrzegania rozmiarów picia alkoholu, upijania się i palenia papierosów wśród rówieśników (tzw. normy rówieśnicze), umiejętności odmawiania, częstości roz- 239

6 K. Okulicz-Kozaryn, K. Bobrowski, A. Borucka, K. Ostaszewski, A. Pisarska mów dzieci z rodzicami na tematy związane z POD oraz wiedzy o alkoholu. Wskaźniki dotyczące bezpośredniej skuteczności programu są analogiczne do tych, jakie były zastosowane we wcześniejszym opracowaniu zebranego materiału badawczego (7). Wyniki wcześniejszych analiz, nie uwzględniających jakości realizacji programu (czyli dla całej grupy E) są z kolei odniesieniem dla wyników tej pracy. Jednostką obliczeniową wabu opracowaniach są pojedynczy UCZlllOWle. Źródła informacji o przebiegn programu Sprawozdania nauczycielek. Wszystkie nauczycielki, które realizowały POD, zostały zobowiązane do prowadzenia bieżących notatek z przebiegu zajęć w klasie. Posługiwały się ustrukturalizowanym arkuszem sprawozdania, który zawierał pytania dotyczące pięciu głównych zajęć POD prowadzonych w klasie szkolnej oraz przygotowań do Wieczoru Jasia i Małgosi. Pytano nauczycielki o formalną stronę realizacji programu (czas przeznaczony na prowadzenie zajęć, frekwencję, itp.), problemy występujące w czasie lekcji i ewentualne modyfikacje scenariuszy. Oceniały one również poziom zainteresowania uczniów i pracę liderów. Wywiad grupowy z nauczycielkami. W celu uzyskania opinii wszystkich 10 nauczycielek, które realizowały program, przeprowadzono z nimi wywiad grupowy. Wywiad przeprowadzono w dwóch grupach; 4 i 6-osobowej zgodnie z wcześniej opracowanym scenariuszem. Dotyczył on opinii na temat mocnych i słabych stron programu, oceny zajęć w klasie, przygotowań oraz przebiegu Wieczoru Jasia i Małgosi. W trakcie wywiadu nauczycielki indywidualnie oceniały, na skali od l (najniższa ocena) do 5 (ocena najwyższa), współpracę z liderami i z rodzicami oraz poziom własnej satysfakcji z uczestniczenia w programie. Dane ankietowe od uczniów oraz od ich rodziców. Dane ankietowe od uczniów i od ich rodziców na temat realizacji programu zbierano tuż po jego zakończeniu. Ankieta dla rodziców była głównie adresowane do rodzica, który wraz z dzieckiem utworzył Domową Drużynę. W ankiecie dla uczniów zastosowano następujące pytania: "Zkim utworzyłeś Drużynę Domowych Detektywów?", "Czy brałeś udział w Wieczorze Jasia i Małgosi?", "Kto z dorosłych przyszedł z Tobą na Wieczór Jasia i Małgosi?". Rodzice byli pytani o to, nad iloma zeszytami pracowali wspólnie z dzieckiem, z ilu zeszytów czytali uwagi dla rodziców, kto z dorosłych uczestniczył z dzieckiem w Wieczorze Jasia i Małgosi. Ankieta dla uczniów i dla rodziców zawierała kilka pytań dotyczących ogólnej oceny programu. Każde z nich miało 5-punktową skalę odpowiedzi od "bardzo zadowolony" do "bardzo niezadowolony". Uczniowie i rodzice pytani byli również o to, na ile podobały im się poszczególne elementy programu, a do odpowiedzi służyły 5-punktowe skale od "bardzo mi się podobały" do "w ogóle mi się nie podobały". 240

7 Poprawność realizacji Programu Domowych Detektywów a jego skuteczność Dodatkowe informacje o uczniach. Zebrano także informacje dotyczące charakterystyki socjodemograficznej uczniów: wieku, płci, sytuacji rodzinnej, osiągnięć szkolnych oraz dane na temat rodziców: częstość picia alkoholu w domu oraz palenie papierosów przez któregoś z rodziców. Przy ocenie realizacji programu uwzględniono także informacje z Kart Wyników. Charakterystyka uczestników programu Uczniowie. Spośród 231 uczniów 10 klas piątych, którzy brali udział w realizacji programu, 226 (98% badanej próby) odpowiedziało na pytania ankietowe pretestu. Braki danych w odpowiedziach uczniów na poszczególne pytania dotyczące charakterystyki badanych wahały się pomiędzy 3,5-5,3% (tabela l). W badanej grupie było 54,5% chłopców i 45,5% dziewcząt. Większość uczniów (93%) urodziła się w 1987 roku. Starsi uczniowie (rok urodzenia 19861ub 1985), prawdopodobnie powtarzający klasę, stanowili 5% uczestników programu. Średnia wieku wynosiła 11 lat i 6 miesięcy. Około 86% dzieci pochodziło z rodzin pełnych, gdzie dziecko mieszkało z obojgiem naturalnych rodziców, dalsze 8% dzieci mieszkało głównie z matką, pozostała grupa dzieci ok. 6% pochodziła bądź z rodzin częściowo zrekonstruowanych bądź mieszkała z innymi krewnymi lub przybranymi rodzicami. Większość dzieci (około 60%) miała wysokie wyniki w nauce, co znaczy, że ich średnia ocen zjęzyka polskiego i matematyki z poprzedniego roku szkolnego była równa lub wyższa od 4, w skali od l do 6. Zbliżona grupa uczniów (68%) miała wysokie oceny ze sprawowania (ocena bardzo dobra lub wzorowa). Ankiety dotyczące udziału w PDD ijego oceny wypełniło 210 uczniów (91 % uczestników programu). Różnice w odsetkach ankiet wypełnionych w dziewięciu klasach wahały się w granicach 88% - 100%. Tylko w jednej klasie (numer 7) udział w badaniach był niższy - ankiety wypełniło jedynie 67% uczniów. Rodzice i inni dorośli partnerzy Domowych Drużyn. Na pytania ankiety odpowiedziało 158 dorosłych osób (głównie rodziców), które wraz z dziećmi tworzyły Domowe Drużyny. Stanowi to ok. 68% populacji potencjalnych dorosłych członków Domowych Drużyn. Zdecydowanie częściej osobami odpowiadającymi na ankietę były matki (70%) niż ojcowie (li%). W ok. 17% ankiet dane ankietowe nie pozwalały na ustalenie tego, kto spośród rodziców odpowiadał na pytania ankiety. W kilku przypadkach (ok. 2%) odpowiedzi udzielali inni dorośli. Wśród osób, które podały informację o swoim wykształceniu (n= 149) najwięcej było osób ze średnim wykształceniem, uwzględniającym szkoły pomaturalne (49%), następnie z wyższym (37,6%) i najmniej z podstawowym (l3,4%). Odsetki rodziców, którzy udzielili odpowiedzi na pytania ankiety, były zróżnicowane w poszczególnych klasach. Wynosiły one odpowiednio: w klasach o numerach 3 i 10 powyżej 90%, w klasach o numerach 5, 6, 8 ponad 80%, w klasie numer 4 ok. 70%, w klasie numer 9 ponad 50% i w klasach 1,2 i 7 niewiele ponad 30%. W naszym opracowaniu jako podstawę do oceny udziału dzieci i rodziców w programie przyjęliśmy dane pochodzące od uczniów. Informacje od rodziców traktuje- 241

8 K. Okuliez-Kozaryn, K. Bobrowski, A. Bomeka, K. Ostaszewski, A. Pisarska TABELA 1 Charakterystyka badanej próby. Charakterystyka Odsetek uczniów (N=226) Płeć chłopcy dziewczęta brak danych Wiek > 11 lat!l lat < II lat Charakterystyka rodziny pełna niepełna/zrekonstruowana brak danych Częstość picia alkoholu przez rodziców nigdy kilka razy w roku kilka razy w miesiącu kijka razy w tygodniu/codziennie brak danych Nałogowe palenie papierosów przez rodziców żadne z rodziców nie pali nałogowo przynajmniej jedno z rodziców pali nałogowo brak danych Średnia ocen wysoka niska brak danych Ocena ze sprawowania wzorowa bardzo dobra dobra nieodpowiednia brak danych Wykształcenie rodziców podstawowe średnie wyższe brak danych 52,7 43,8 3,5 2% 93% 5% 82,7 13,3 4,0 8,4 58,8 20,4 8,8 3,5 53,5 41,6 4,9 56,2 38,5 5,3 25,2 39,8. 28,8 2,2 4,0 8,8 31,4 24,3 35,4 242

9 Poprawność realizacji Programu Domowych Detektywów a jego skuteczność my jako uzupełniające. Wynika to z faktu, że niższy odsetek rodziców niż dzieci udzielił odpowiedzi na pytania ankietowe oraz z nierównego rozkładu odpowiedzi rodziców z poszczególnych klas. Stopień realizacji programu Prezentowanie programu rodzicom WYNIKI We wszystkich dziesiąciu klasach zostało przeprowadzone zebranie informacyjne dla rodziców. W ośmiu klasach zostało ono zorganizowane po szkoleniu przygotowującym nauczycieli do realizacji programu i przebiegało zgodnie ze scenariuszem umieszczonym w podręczniku dla nauczyciela. Zebranie z rodzicami klas o numerach l i 2 zostało przeprowadzone przed szkoleniem dla realizatorów i z tego powodu nauczycielki były słabiej przygotowane do przedstawienia rodzicom założeń PDD. W dwóch klasach, w trakcie zebrania, rodzice sygnalizowali niechęć wobec propozycji przeprowadzenia PDD. W klasie oznaczonej numerem 7 miał miejsce zadawniony konflikt pomiędzy realizatorką a grupą rodziców, co "owocowało" między innymi tym, że rodzice krytykowali inicjatywy wychowawcze nauczycielki. Natomiast w klasie numer 9 zebranie z rodzicami miało burzliwy przebieg, ze względu na opór grupy przeciwników programu, wśród których szczególnie aktywna była jedna z matek. Wychowawczyni przeprowadziła z nią dwugodzinną rozmowę, której efektem było ujawnienie problemu alkoholowego w rodzinie oraz wyrażenie przez matkę zgody na udział dziecka w programie. Wybór liderów oraz ich funkcjonowanie w klasac/. We wszystkich klasach wyłoniono liderów rówieśniczych i przeprowadzono ich standardowe szkolenie. W ocenie nauczycieli rola lidera w tym programie była spostrzegana przez dzieci jako bardzo prestiżowa. W związku z tym w kilku klasach wybory liderów wywołały rywalizację między dziećmi o to, kto ma zostać liderem. Do konfliktów dochodziło w tych klasach, w których było wielu kandydatów na liderów (prawie wszyscy uczniowie chcieli być liderami - klasa numer 3, 7) lub tam, gdzie ktoś, kto bardzo chciał zostać liderem, nie został nim (klasy numer 8, lo). W ocenie realizatorek dzieci wybrane na liderów bardzo dobrze wywiązywały się ze swoich zdań, choć pewnych trudności przysparzało im utrzymanie dyscypliny wśród swoich kolegów i koleżanek. Wychowawczynie z kilku klas sygnalizowały trudności, z jakimi zetknęły się w pracy z liderami. Problemy te wynikały z: nieumiejętności współpracy z rówieśnikami ze strony jednego z liderów (klasa oznaczona numerem l), niesolidności niektórych liderów (klasa numer 2), zmianami na tym "stanowisku" z powodów losowych (klasa numer 4) oraz nierozwiązanym do końca progra- 243

10 K. Okulicz-Kozaryn, K. Bobrowski, A. Borucka, K. OsIaszewski, A. Pisarska mu konfliktem pomiędzy uczniami w jednej z podgrup o to, kto ma być liderem (klasa numer 7). Czas przeznaczony na prowadzenie zajęć w kłasie i frekwencja uczniów W siedmiu klasach zajęcia poświęcone pracy nad zeszytami trwały pełną godzinę lekcyjną (40-45 minut). W jednej klasie (numer 1) wszystkie lekcje zostały skrócone - trwały minut. W pozostałych dwóch klasach (numer 4 i 5) dwie, trzy lekcje trwały krócej, około minut. Frekwencja na lekcjach wahała się od 78% do 100%. Nieobecność uczniów na lekcjach była prawdopodobnie spowodowana zdarzeniami losowymi np. chorobą i kształtowała się na podobnym poziomie we wszystkich klasach. Czas przeznaczony na przygotowanie do Wieczoru Jasia i Małgosi oraz poziom zaangażowania uczniów i rodziców Przygotowania do Wieczoru, które są w mniejszym stopniu ustrukturalizowane niż lekcje poświęcone zeszytom, miały różny przebieg w poszczególnych klasach. Dane od nauczycieli wskazują, że liczba godzin poświęcona na przygotowania, w zależności od klasy, wahała się od 2 do 10 godzin. Najkrócej przygotowania trwały w klasach o numerach I, 9 i 10. W pięciu klasach wszyscy uczniowie brali aktywny udział w przygotowywaniu prezentacji na Wieczór. W trzech klasach (numer 4, 5 i 7) pojedyncze osoby (od jednego do trzech uczniów) nie włączyły się do prac związanych z Wieczorem, natomiast w dwóch klasach (numer 1 i 2) po sześciu uczniów nie uczestniczyło w realizacji tej części programu. Według nauczycielek, w jednej z tych klas (numer 1) powodem nieuczestniczenia w przygotowaniach była negatywna ocena programu przez rodziców i uczniów. Z kolei w klasie numer 2 osoby niebiorące udziału w przygotowaniach, zdaniem nauczycielki, były stale nieobecne z powodu choroby. Jedoocześnie nauczycielka tej klasy stwierdziła, że w trakcie przygotowań do Wieczoru dał się odczuć brak zaangażowania i pomocy ze strony rodziców. W efekcie czuła się ona przytłoczona ilością ciążących na niej zadań, w tym trudoościami ze zdobyciem potrzebnych materiałów. Na brak zaangażowania ze strony rodziców zwracały również uwagę nauczycielki klas oznaczonych numerami 9 i 10. W trzech klasach nie odbyły się próby prezentacji przygotowywanych przez dzieci (klasy o numerach 1,7 i 9), co może świadczyć o mniejszym zaangażowaniu nauczycielek w przygotowanie Wieczoru. Wskaźniki udziału w programie. Tworzenie Domowych Drużyn Dane ankietowe od uczniów wskazują, że prawie wszystkim (94%) udało się znaleźć partnera do Domowej Drużyny. Jedynie 12 uczniów (6%) nie miało swojej drużyny. 244

11 Poprawność realizacji Programu Domowych Detektywów a jego skuteczność Najcz"ściej dorosłym partnerem w drużynie była mama (około 80% Drużyn) a ojcowie angażowali się w 13% rodzin. Odpowiedzi rodziców wskazują, że w 17% rodzin więcej niż jedna osoba dorosła (mama i ktoś jeszcze) brała udział w PDD. Analiza odpowiedzi uczniów wskazuje na występowanie ciekawej zależności między częstością picia alkoholu przez rodziców a utworzeniem/nieutworzeniem Domowej Drużyny (X'= 19, 74, p<o,oo I). Na 12 uczniów, którzy w trakcie realizacji programu nie mieli dorosłego partnera, czterech podało, że ich rodzice nigdy nie piją alkoholu i również czterech - że ich rodzice piją alkohol kilka razy w tygodniu lub codziennie. Ten wynik może wskazywać, że w rodzinach abstynentów oraz w rodzinach, gdzie alkohol pije się bardzo często, były trudności z utworzeniem Domowych Drużyn. Nie stwierdzono różnic w zakresie tworzenia Domowych Drużyn ze względu na fakt palenia/niepalenia papierosów przez rodziców. Aż pięciu z dwunastu uczniów, którzy nie utworzyli Domowej Drużyny, uczęszczało do tej samej klasy (oznaczonej nr 2). W klasie numer 7 dwóch uczniów nie miało swojej drużyny. W trzech klasach biorących udział w programie drużyny utworzyli wszyscy uczniowie, a w pozostałych pięciu klasach, nie udało się jej stworzyć pojedynczym uczniom. Różnice między poszczególnymi klasami były istotne statystycznie (X'=20,96, p<0,05). Realizacja zadań Domowych Drużyn Z faktem utworzenia Domowej Drużyny wiąże się oddawanie nauczycielowi poświadczonych Kart Wyników, czyli potwierdzenia wykonania zadań dla Domowych Drużyn. Żadnej karty nie oddało 10 uczniów (ok. 4%). Przynajmniej jedną kartę oddało 96% uczniów biorących udział w programie, natomiast 3 lub 4 karty oddało ok. 87% uczniów. Informacje uzyskane od rodziców, którzy odpowiedzieli na pytania w ankiecie (N=158) wskazują, że prawie wszyscy spośród nich (99%) czytali przynajmniej jeden komiks, pracowali wspólnie z dzieckiem nad rozwiązywaniem co najnmiej jednego zadania, a także czytali "Uwagi dla rodziców" przynajmniej z jednego zeszytu. Odsetek rodziców znających 3 lub 4 zeszyty oscylował w granicach 85%. W pi"ciu z dziesięciu klas biorących udział w programie wszyscy uczniowie oddali karty potwierdzające realizację zadaó z trzech lub czterech zeszytów dla Domowych Drużyn. W kolejnych trzech klasach odsetek uczniów, którzy oddali 3-4 karty wahał się mi"dzy 76%-84%. Wyraźnie mniej uczniów z dwóch klas oznaczonych numerami 2 i 7 oddało 3-4 karty: 55% i 56%. Różnice mi"dzy poszczególnymi klasami były istotne statystycznie (X'=91,2, p<o,ooi). Udział w Wieczorze Jasia i Małgosi Dane od uczniów wskazują, że 74% spośród nich wzi"ło udział w Wieczorze Jasia i Małgosi zorganizowanym w ich szkołach na zakończenie programu, a około 56% uczniów przyszło na to spotkanie z jednym z rodziców lub inną osobą dorosłą. Odsetek uczniów, którzy sami lub z kimś dorosłym brali udział w Wieczorze był wyraźnie zróżnicowany w poszczególnych klasach (X'=51,1, p<o,ooi). W jednej z klas oznaczonej numerem 5, ponad 90% uczniów przyszło na imprez" z kimś doro- 245

12 K. Okuliez..Kozaryn, K. Bobrowski, A. Borueka, K. Ostaszewski, A. Pisarska słym. W siedmiu klasach ponad połowa uczniów i rodziców brała udział w Wieczorze (frekwencja wahała się między 52% a 73%). Wyraźnie niższe wskaźniki udziału w imprezie podsumowującej POD stwierdzono w dwóch klasach pochodzących z jednej szkoły (oznaczonych numerami I i 2). W pierwszej z nich, na Wieczór przyszło jedynie 29% rodziców, a w drugiej nie przyszedł ani jeden rodzic. Odbiór (ocena) programu przez uczestników i realizatorów Uczniowie Większość uczniów pozytywnie oceniła POD. Ogólna ocena programu przez uczniów przedstawiała się następująco: 66% uczniów było "bardzo zadowolonych" lub "zadowolonych" z udziału w programie; 14% było niezadowolonych, a 20% wybrało odpowiedź "trudno powiedzieć". Większości uczniów (66-73%) podobały się poszczególne części programu, takie jak: współdziałanie z rodzicami, zajęcia w klasie, przygotowanie prezentacji, Wieczór Jasia i Małgosi, a także komiksy. Różnice w ocenie programu miały związek z tym, do której klasy uczęszczały dzieci. Okazało się bowiem, że odsetki uczniów pozytywnie oceniających program były znacznie niższe w klasach oznaczonych numerem I, 2 i 7 niż w pozostałych siedmiu klasach i kształtowały się w granicach 18%-45% (w zależności od klasy i pytania). Podobnie jak w przypadku ogólnej oceny programu ocena jego elementów różniła się w poszczególnych klasach (wyniki testu X2 były w każdym przypadku istolne na poziomie p< 0,001 i przyjmowały wartości od 48,85 - ocena komiksów, do 76,69 - ocena Wieczoru). Mniej niż połowa uczniów z dwóch klas oznaczonych numerami 1 i7 pozytywnie oceniła komiksy (28% i 42%), przygotowywanie prezentacji (33% i 42%), rozwiązywanie zadań w domu wspólnie z rodzicami (22% i 33%), a także zajęcia w klasach (24% i 33%). Zajęcia w klasie zyskały niską akceptację również u uczniów z klasy numer 2 (45% tych, którym się podobały). Również uczniowie z klas o numerach 1 i 2 niżej niż pozostali ocenili Wieczór Jasia i Małgosi (6% i 39% zadowolonych). Warto zaznaczyć, że w tych klasach najniższy był udział rodziców w Wieczorze. Rodzice Podobnie jak dzieci, większość rodziców pozytywnie oceniła POD. Zadowolonych lub bardzo zadowolonych z własnego udziału w programie było 78% rodziców, a 3% było niezadowolonych. Bardzo zadowolonych lub zadowolonych z tego, że ich dziecko brało udział w tym programie było 87% rodziców. Zdecydowana większość rodziców (82%) chciałoby, żeby ich dziecko uczestniczyło w kontynuacji programu w następnych latach. Odpowiedzi większości rodziców (64-80%) świadczą o tym, że pozytywnie ocenili oni poszczególne części programu: komiksy, wspólną pracę z dzieckiem w ramach Domowej Drużyny, Wieczór Jasia Małgosi oraz Uwagi dla rodziców. Nie porównywaliśmy ocen POD między klasami ponieważ w trzech klasach (numer 1,2 i 7) zdecydowanie mniej rodziców oddało wypełnione ankiety niż w 246

13 Poprawność realizacji Programu Domowych Detektywów ajego skuteczność pozostałych siedmiu klasach. Niski wskaźnik udziału w badaniach interpretujemy jako wyraz niech (tnego stosunku rodziców uczniów tych klas do całego programu. Nauc7J>cielki Informacje zebrane w czasie wywiadu grupowego z realizatorkami wskazują, że PDD był bardzo atrakcyjną propozycją dla uczniów klas piątych, a także ich wychowawców. Nauczycielki wysoko oceniły program ze wzgl (du na jego założenia, czyli włączenie do współpracy rodziców i liderów, a także atrakcyjną dla dzieci form ( realizacji (komiksy, zaj (cia w grupach, wykonywanie plakatów i zabawy). Zdaniem nauczycielek program wzbudza zainteresowanie zdecydowanej wi (kszości dzieci i aktywizuje wszystkich uczniów, nawet tych, którzy zazwyczaj są bierni na zaj (ciach w szkole. Ponadto, w opinii jednej z realizatorek (z klasy fi 3) wprowadzenie programu profilaktyki alkoholowej jest skuteczniejsze wśród dzieci letnich, ponieważ uczniowie ci, w przeciwieństwie do ich starszych kolegów, nie mają jeszcze ugruntowanych poglądów na temat alkoholu. Większość nauczycielek wysoko oceniła (średnia ocen 4,3) swój poziom satysfakcji z uczestniczenia w programie. Również wysokie oceny realizatorek zyska! przebieg współpracy z liderami - średnia ocen wyniosła 4,6. Wychowawczynie podkreślały zaangażowanie i rzetelność uczniów, którzy pełnili rolę liderów. We własnym odczuciu nauczycielek doświadczenie, jakim była współpraca z dziećmi, pozostawiło miłe wspomnienia. Realizatorki, które oceniły t ( współpracę na,,4", wskazały na pewne trudności (opisane wyżej) z włączaniem uczniów do pomocy w prowadzeniu zaj (ć. Nieco niższa była średnia ocen odnośnie do współpracy z rodzicami (średnia ocen 3,8). Zaważyły na niej oceny nauczycielek z czterech klas (numer l, 2, 7 i 9), które sygnalizowały trudności związane z prowadzeniem zebrania informacyjnego dla rodziców lub brak ich zaangażowania w przygotowanie Wieczoru Jasia i Małgosi. Podsumowanie wyników ewaluacji procesu W trakcie realizacji programu, w trzech spośród dziesi (ciu klas obj (tych PDD odnotowano wyraźnie więcej trudności. Były to klasy oznaczone numerami l, 2 i 7 (tabela 2). W tych klasach wystąpiły problemy związane ze współpracą z rodzicami uczniów. Trudności pojawiały si ( od początku, czyli od zebrania informacyjnego, które nauczycielki oceniły jako nieudane (klasy numer l, 2, 7). W efekcie niepełnej akceptacji rodziców mniej dzieci niż w pozostałych klasach utworzyło DomowąDrużynę (klasy numer 2 i 7) i systematycznie pracowało nad dostarczanymi im zeszytami, czego wyrazem był niższy odsetek oddanych Kart Wyników (klasy numer l i 7). Małe zaangażowanie rodziców odnotowano w trakcie przygotowań do Wieczoru Jasia i Małgosi (klasa numer 2) i w czasie samego Wieczoru, na który wi (kszość rodziców nie przyszła (klasy numer l i 2). Prawdopodobnie odzwierciedleniem tych trudności i niech (ci rodziców wobec programu jest również niski odsetek oddanych ankiet ewaluacyjnych (klasy numer l, 2, 7). 247

14 K. Okulicz-Kozaryn, K. Bobrowski, A. Borucka, K. Ostaszewski, A. Pisarska TABELA 2 Zestawienie trudności pojawiających się w poszczególnych klasach w trakcie realizacji PDD. Wskaźnik realizacji Numer klasy I 4 I I WSPÓŁPRACA Z RODZICAMI Nieudane'" zebranie informujące rodziców o programie x x x x Niiszy odsetek uczniów, którzy utworzyli Drużynę Domowych Detektywów Niższy odsetek uczniów, którzy oddali 3-4 Karty Wyników Małe zaangażowanie rodziców w przygotowanie Wieczoru Niższa frekwencja uczniów i rodziców w trakcie Wieczoru Funkcjonowanie liderów w klasie lub rywalizacja między nimi x x x x x x x x x x x x x x x x x FORMALNA STRONA REALIZACJI PROGRAMU Skrócony czas lekcji x x x Krótki czas przygotowajl do Wieczoru x x x Brak próby prezentacji przygotowywanych na Wieczór x x x Frekwencja uczniów w czasie przygotowywania Wieczoru Niższa ocena programu przez uczniów x x x Suma problemów występujących w klasie O * Wszystkie zamieszczone w tabeli wskaźniki są oceniane relatywnie w stosunku do pozostalych klas realizujących PDD. Problemy we współpracy z rodzicami pojawiały się też W innych klasach, ale dotyczyły tylko pojedynczych jej aspektów (klasy 9 i 10) lub zostały pomyślnie rozwiązane. Tak było np. w klasie oznaczonej numerem 9, gdzie nauczycielce mimo "burzliwego" wstępnego zebrania z rodzicami udało się wyjaśnić przyczyny oporujednego z rodziców i doprowadzić do porozumienia. Oprócz życzliwego zaangażowania rodziców, w myśl założeń POD, duże znaczenie mają działania liderów rówieśniczych. W klasach numer I, 2.i 7 wystąpiły trudności związane z rywalizacj ą między nimi lub gorszym wypełnianiem swoich obowiązków. Podobne problemy pojawiły się też W czterech innych klasach (o numerach 3, 4, 8 i 10) i często dotyczyły zachowania pojedynczych uczniów. 248 x x

15 Poprawność realizacji Programu Domowych Detektywów a jego skuteczność W klasach l, 2 i 7 występowały też pewne niedociągnięcia, jeśli chodzi o fonnalną stronę realizacji programu. Jednak z wyjątkiem klasy numer I pojawiały się one sporadycznie, podobnie jak w innych klasach (oznaczonych numerami 4,5,9 i 10). Nasilenie trudności związanych z prowadzeniem programu w trzech klasach (numer I, 2, 7) znalazło swoje odbicie w niskiej ocenie programu przez uczniów. Wyniki badań nad procesem realizacji programu pozwalają wydzielić dwie grupy klas - grupę siedmiu klas, w których realizacja programu przebiegła poprawnie (podgrupa El) oraz grupę trzech klas, w których wystąpiły liczne trudności (podgrupa E2). Skuteczność programu a jakość jego realizacji Wyniki przeprowadzonych analiz wskazują, że poprawnej realizacji programu (podgrupa E I) towarzyszył szereg efektów świadczących o skuteczności programu. Efekty te dotyczyły zarówno częstości picia alkoholu (tabela 3) jak i zmiennych pośredniczących (Tabela 4). Nie stwierdzono natomiast j akiegokolwiek efektu, który mógłby świadczyć o skuteczności oddziaływań profilaktycznych w grupie klas, w których realizacja programu napotykała na liczne trudności (podgrupa E2). W grupie tej, pomiędzy pretestem a posttestem, wartości średnie poszczególnych skal zmieniały się w podobny sposób, jak w grupie porównawczej. Innymi słowy grupa ta "zachowywala się" tak, jakby w ogóle nie uczestniczyła w programie profilaktycznym. Uzyskane wyniki nie dają natomiast podstaw do twierdzenia o występowaniujakichkolwiek efektów negatywnych w przypadku gorszej realizacji PDD. Można także z pewnym przybliżeniem odpowiedzieć na pytanie, czym, na tle całej grupy eksperymentalnej w zakresie skuteczności, wyróżnia się podgrupa klas, w której realizacja programu nie napotkała większych przeszkód. Umożliwia to porównanie wartości statystyk F oraz odpowiadających im poziomów istotności statystycznej p w przypadku, gdy analizowane są efekty programu w grupie E oraz El. Otóż w przypadku podgrupy E l mamy większą pewność (p<o,o l), że zrealizowane oddzia- TABELA 3 Wpływ programu na częstość picia alkoholu, przy uwzględnieniu jakości realizacji programu. Skala Grupa E Wartości statystyki F Efekty Efekty Efekty Czas Cała grupa Podgrupa Podgrupa Grupa P programu- programu - programupomiaru E El E2 n= 151 porównanie porównanie porównanie n=174 n=135 n=39 grupelip grup E2 i P grup E (cała grupa) i P Picie alkoholu Pretest 2,56 2,63 2,39 2,09 (zakres 10,09 0,25 5,54* wartości od O do 12) Posttest 2,94 2,75 3,59 3,07 * P <0,05, ** P <0,

16 .. Ul = TABELA 4 Wpływ programu na zmienne pośredniczące, przy uwzględnieniu jakości realizacji programu. W wielowymiarowej analizie wariancji MANOVA uwzględniono jednocześnie pięć zmiennych zależnych, co umoźliwiło uzyskanie wyników zarówno dla wszystkich tych zmiennych łącznie jak i dla każdej z osobna. Wartości średnie Wartości statystyki F Skale Grupa E Czas badania Porównanie (w nawiasach - zakresy Porównanie wartości skal) Grupa P Porównanie Cala grupa E Podgrupa El Podgrupa E2 grup E (cala 0=156 grup El ip grup E2 i P 0=168 01=129 02=39 grupa) i P Intencja picia (O~ 12) pretest 2,33 2,44 1,95 2,06 10,45*** 0,35 5,28* posttest 2,77 2,58 3,39 3,17 Rozmowy z rodzicami (0-3) pretest 1,99 2,15 1,49 2,24 6,54' 0,15 4,99* posttest 2,32 2,53 1,62 2,30 Nonny rówieśnicze (0-18) pretest 1,23 1,05 1, ,96* 0,01 2,78 posttest 1,71 1,33 3,00 2,14 Nieumiejętność odmowy (0-20) pretest 1,43 1,36 1,67 1,82 0,77 0,69 0,09 posttest 2,05 1,75 3,03 2,56 Wiedza o skutkach picia alk. (0-5) pretest 2,85 3,00 2,33 2,92 34,12"'* 1,61 25,20*** posttest 3,51 3,78 2,62 2,91 Wszystkie skale analizowane jednocześnie jako zmienne zależne w wielowymiarowej analizie wariancji (MANOVA) 9,51 *** 0,60 6,81 *** * P <0,05, *** P <0,001 ~ O a ~ j ~ Ol g.. 8!.?> Ol ł ~ O r; ~ p:?> ::? ~

17 Poprawność realizacji Programu Domowych Detektywów ajego skuteczność ływania profilaktyczne korzystnie wpłynęły na częstość picia alkoholu wśród uczestników programu, niż w przypadku całej grupy E (p<0,05, Tabela 3). Jeśli realizacja programu jest poprawna, można mówić także o wyrażniejszym wpływie oddziaływań profilaktycznych na intencje picia alkoholu przez uczniów oraz na ich przekonania o rozpowszechnieniu picia alkoholu i używania innych substancji psychoaktywnych wśród rówieśników (Tabela 4). Ostatni z tych efektów w ogóle nie wystąpi!, gdy analizowano skuteczność programu w całej grupie eksperymentalnej (E). Standardy realizacji PDD Przeprowadzone badania pozwalają na sformułowanie standardów, jakie powinny być zachowane przy rutynowej realizacji POD. Zgodnie z przyjętymi przez nas założeniami, standardy te mają dotyczyć kluczowych elementów programu oraz charakteryzować się prostotą pomiaru. Poza tym powinny się one opierać na danych możliwie obiektywnych, a nie np. na opiniach realizatorów. Trzy wskaźniki najlepiej spełniają te kryteria. Są to: odsetek oddanych Kart Wyników (ich zbieranie przez nauczyciela jest elementem standardowej realizacji PDD), frekwencja rodziców w trakcie Wieczoru Jasia i Małgosi oraz ocena POD przez uczniów (konieczne jest przeprowadzenie krótkiej ankiety w klasie). Proponowane wskaźniki bardzo wyraźnie różnicują obie podgrupy, co widać w Tabeli 5. TABELA 5 Podstawowe wskaźniki udziału w Programie Domowych Detektywów oraz jego oceny przez uczniów w klasach o poprawnej (podgrupa El) i niepoprawnej realizacji (podgrupa E2). podgrupa E l, podgrupa E2, Wartość X n=l72 n=59 Odsetek uczniów oddających 3-4 Karty Wyników ,S"' Odsetek uczniów, którzy przyszli z kimś dorosłym na Wieczór Jasia i Małgosi ,6* * Odsetek uczniów zadowolonych z udziału w POD ,6"' *** p<o,ool Porównanie odsetków uczniów i ich rodziców aktywnie uczestniczących w POD oraz uczniów wysoko oceniających ten program w obu podgrupach pozwala określić procentowe wartości standardów realizacji. Ze względu na bardzo duże różnice między podgrupami, wydaje się możliwe ustalenie standardów nieco poniżej wartości średnich dla klas o poprawnej realizacji (zamieszczonych w Tabeli 5). Proponowane przez nas standardy są następujące: - ponad 80% uczniów oddaje 3-4 Karty Wyników; - ponad 50% rodziców uczestniczy wraz ze swoimi dziećmi w Wieczorze Jasia i Małgosi; - ponad 60% uczniów pozytywnie ocenia swój udział w programie. 251

18 K. Okuliez-Kozaryn, K. Bobrowski, A. Bomeka, K. Ostaszewski, A. Pisarska DYSKUSJA Wyniki przedstawionych tu analiz jednoznacznie wskazują na wyraźną zależność między sposobem realizacji POD a jego wynikami. W siedmiu klasach, w których realizacja przebiegała bez większych zakłóceń, uzyskano znaczące korzystne efekty w zakresie częstości picia alkoholu oraz w czterech spośród pięciu zmiennych pośredniczących. Warto podkreślić, że wyniki w tych klasach są wyraźnie lepsze od tych, jakie odnotowaliśmy w całej grupie badanej. Natomiast w trzech klasach, gdzie zidentyfikowano poważne trudności i niedociągnięcia w realizacji POD, nie stwierdzono istotnych zmian ani w częstości picia, ani w pięciu zmiennych pośredniczących. Na uwagę zasługuje również fakt, że w klasach o niepoprawnej realizacji nie stwierdzono niekorzystnych skutków ubocznych. Przedstawione wyniki są kolejnym potwierdzeniem tego, że POD jest programem profilaktycznym, który warto propagować w polskich szkołach. Przemawia za tym fakt, że w grupie klas o niepoprawnej realizacji nie wystąpiły negatywne efekty. Oznacza to, że nawet przy złej realizacji POD nie szkodzi dzieciom i nie. wywołuje ich buntu polegającego np. na piciu alkoholu. Z drugiej strony, ten wniosek, podobnie jak każdy inny dotyczący skutków działań profilaktycznych, wymaga potwierdzenia w badaniach uwzględniających efekty odroczone. Interpretując wyniki ewaluacji procesu realizacji POD, można stwierdzić, że podstawowym warunkiem uzyskania pozytywnych efektów jest akceptacja programu przez rodziców i icb aktywny udział w jego poszczególnych elementach. Zaangażowanie i życzliwy stosunek rodziców do programu ma prawdopodobnie decydujący wpływ nie tylko na efekty bezpośrednie, ale również na ocenę POD przez dzieci. Powyższe wnioski mogą mieć istotne znaczenie dla sposobu przygotowywania realizatorów programu. Niewątpliwie, dla zapewnienia poprawnej realizacji konieczne jest szkolenie nauczycieli. Program takiego szkolenia został opracowany przez autorów adaptacji. Szkolenie trwa 8-10 godzin i jest nastawione na przybliżenie nauczycielom kluczowych elementów programu (I). Powyżej przedstawione wyniki wskazują, że w szkoleniu należy najwięcej uwagi poświęcić sprawie nawiązywania i kontynuowania współpracy między wychowawcą klasy a rodzicami. W świetle uzyskanych wyników bardzo dużego znaczenia nabiera postulat monitorowania jakości wdrażania POD na szeroką skalę. Rutynowa realizacja programu zgodna z proponowanymi kryteriami daje szansę na osiągnięcie zamierzonych cclów, czyli ograniczenie rozmiarów picia alkoholu przez uczniów lub odroczenie ich inicjacji alkoholowej. Pomiar proponowanych przez nas standardów nie powinien stanowić trudności dla nauczycieli realizujących program. Kontrolowanie liczby oddanych Kart Wyników oraz frekwencj i uczniów i rodziców podczas Wieczoru wymaga jedynie starannego prowadzenia dokumentacji związanej z programem. Trochę trudniejsza jest ocena stopnia satysfakcji uczniów. Wymaga bowiem krótkich badań ankietowych. Byłoby dobrze, aby te badania mogły wykonywać osoby niebędące realizatorami programu. 252

19 Poprawność realizacji Programu Domowych Detektywów ajego skuteczność Uzyskane dane na temat związku pomię.dzy realizacją programu ajego skutecznością należy traktować jako pewną symulację. pokazującą,jak mogłaby wyglądać skuteczność programu, gdyby w całej grupie eksperymentalnej wskaźniki zmiennych wynikowych osiągały wartości takie, jak w podgrupie o gorszej lub lepszej realizacji programu. Jest to efektem niedoskonałości zastosowanej metody, która polegała na pomijaniu w obliczeniach jednej z podgrup. Wyniki grupy porównawczej porównywano raz z wynikami podgrupy charakteryzującej się nasileniem trudności w realizacji programu (E2), a raz z wynikami podgrupy, w której program zrealizowano poprawnie (El). Poza tym rzeczywista skuteczność programu może być nieco niższa niż sugerują to zaprezentowane wyniki. Problem ten, związany z różnymi jednostkami randomizacji w schemacie badawczym i obliczeniach statystycznych, był omawiany we wcześniejszej pracy prezentującej skuteczność programu (7). STRESZCZENIE Celem badań było określenie związku między poprawną lub niepoprawną realizacją Programu Domowych Detektywów a jego bezpośrednimi efektami. Program Domowych Detektywów jest programem wczesnej profilaktyki alkoholowej przeznaczonym dla uczniów IO-ll-letnich i ich rodziców. Pozytywny wpływ PDD na ograniczenie cz,<stości picia alkoholu i inne zmienne wynikowe stwierdzono w badaniach przeprowadzonych w roku szkolnym 1998/1999 w warszawskich szkołach podstawowych. W niniejszym opracowaniu wykorzystano ten sam materiał badawczy, poszerzony o dane na temat procesu realizacji PDD w poszczególnych klasach. Na podstawie analizy informacji zebranych od nauczycielek, uczniów i rodziców wyłoniono klasy o poprawnej (podgrupa E I) i niepoprawnej (podgrupa E2) realizacji. Wyniki uczniów z obu podgrup (E l i E2) zostały zestawione z wynikami uczniów z grupy porównawczej (P) w kolejno przeprowadzanych analizach wariancji z powtarzanymi pomiarami MANOVA. Wyniki wskazują, że poprawnej realizacji programu towarzyszyło ograniczenie cz,<stości picia alkoholu przez uczniów. W grupie E l stwierdzono również korzystne efekty dotyczące intencji picia, częstości rozmów dzieci i rodziców na tematy związane z piciem, zmiany w zakresie norm rówieśniczych i wzrost wiedzy o konsekwencjach picia alkoholu. Nie stwierdzono jakiegokolwiek efektu, który mógłby świadczyć o skuteczności programu w grupie klas, w których realizacja była znacznie gorsza. Uzyskane wyniki nie dają także podstaw do twierdzenia o występowaniu jakichkolwiek negatywnych efektów w przypadku gorszej realizacji PDD. Przeprowadzone badania pozwoliły określić procentowe standardy rutynowej realizacji programu. Standardy te dotyczą kwestii o kluczowym znaczeniu w PDD, czyli: aktywności i zaangażowania rodziców w pracę ze swoim dzieckiem, uczestniczenia rodziców w spotkaniu kończącym program oraz odbioru (oceny) programu przez uczniów i rodziców. 253

20 K. Okulicz-Kozaryn, K. Bobrowski, A. Borueka, K. OsIaszewski, A. Pisarska Slowa kluczowe: ewaluacja wyników, ewaluacja procesu, szkolna profilaktyka, alkohol. PIŚMIENNICTWO l. Borueka A., Okulicz-Kozaryn K., Pisarska A., Ostaszewski K., Bobrowski K. (2000): Program szkolenia realizatorów Programu Domo-wych Detektywów. Maszynopis IPiN. 2. Durlak J.A., WeUs A.M. (1997): Primary prevention mental health programs for chi/dren and adolescellls: A meta~analytic review. American Joumal ofcommunity Psychology. No 25; li Hansen W.B., Graham I.W., Wolkenstein B.H., Rohrbaeh L.A. (1991): Program integrity as a moderator of preventioll program ejjectiveness: Results for fiftiz~grade students in the Adolescent Alcohol Prevention Trial. loumal ofstudies on Aleohol, No 52; Hawkins J.D., Nederhood B. (1994): Podręcznik ewaluacji programów profilaktycznych. IPiN, PTP, Warszawa-Olsztyn. 5. Nye C.L., Zueker R.A., Fitzgerald H.E. (1999): Early fami/y-based intervention in the patl! to a/cohol problems: Rationale and Relationship between trealment process clzaracteristics and chi/d and parenting autcames. loumal of Studies on Aleohol, Supplement No 13; 1O-2ł. 6. Ostaszewski K., Bobrowski K., Borueka A., Okulicz-Kozaryn K., Pisarska A., Perry C., Williams C. (1998): Program Domowych Detektywów. Adaptacja amerykańskiego programu profilaktyki alkoholowej dla mladzieży we wczesnym okresie dojrzewania. Alkoholizm i Narkomania, 3/32; Ostaszewski K., Bobrowski K., Borueka A., Okuliez-Kozaryn K., Pisarska A. (2000): Ocena skuteczności programu wczesnej profilaktyki alkoholowej.,program Domowych Detektywów". Alkoholizm i Narkomania, 13/1; Soehoeki M.I. (1998): Portret zbiorowy, czyli postawy ludzi młodych i osób <Wrosłych wobec problematyki stosowania substancji psychoaktywnych oraz profilaktyki (prezentacja wyników badań), Warszawa. 9. Tobler N.S. (1986): Meta-anałysis of 143 adolescent drugpreventionprograms: quantitative outeome resu/ts ofparticipants eompared to a eontroi ar comparison group. The JournaI ofdrug Issues, 16 (4), lo. Ulh A., i wsp. (1998): Evaluation of primary prevention in the field of illicit drugs: Definitions-Concepts-Prob/ems. In: Springer A., Uhl A. (Eds.) Evalualion researeh in regard to primary prevention of drug abuse. European Commission, COST A6; II. Williams CL, Perry C.L., Dudavitz 8., Veblen-Mortenson S., Anstine P., Komro K.A., Toomey T.L. (1995):A home-based prevention programfor six/h-grade a/cohol ase: Results from Project Northland. The Joumal ofprimary Prevention, Vol, 16 No 2; Williams c.l., Perry C.L., Farbakhsh K., Veblen-Mortenson S. (1999): Project Northland: Comprehensive a/coho! use preventionfor young ado!escents. their parents, schoo/s, peers and cammunities. loumal of Studies on Alcohol, Supplement Na 13;