4 Badania ankietowe Edyta Charzyńska Lektura polskich i zagranicznych artykułów dotyczących rozumienia tekstu i metod jego pomiaru rozbudziła nasz głód poznawczy. Dysponowaliśmy wprawdzie stosunkowo obszerną rodzimą literaturą na ten temat, przedstawiającą m.in. cechy lingwistyczne tekstu mogące wpływać na poziom zrozumienia, dostrzegaliśmy duży potencjał użytkowy wzoru Pisarka (1969, 2007), brakowało nam jednak dowodów empirycznych, umacniających przesłanki teoretyczne. Z tego powodu postanowiliśmy nie ograniczać się do przeglądu literatury, lecz skonfrontować nasze hipotezy z odpowiedziami możliwie reprezentatywnej grupy dorosłych Polaków. W ramach projektu przeprowadziliśmy więc dwa badania z udziałem czytelników. Głównym celem pierwszego badania była weryfikacja stworzonego przez Pisarka wzoru na trudność tekstu. Drugie badanie wykonaliśmy, aby: powtórnie sprawdzić trafność wzoru Pisarka, tym razem z uwzględnieniem większej liczby tekstów; zidentyfikować zmienne lingwistyczne inne niż długość zdania i procent wyrazów trudnych, istotne z punktu widzenia zrozumienia tekstu; zweryfikować związek między wykształceniem i zmiennymi psychologicznymi a poziomem zrozumienia czytanego tekstu. Pierwsze badanie prowadziliśmy od kwietnia do czerwca 2013 r. 1, drugie od czerwca do września 2014 r. Narzędzia badawcze w obu pomiarach miały formę papier ołówek. Wykluczyliśmy elektroniczną formę testów, sądząc, że różnice w zakresie zastosowanej metody badawczej mogą mieć znaczący wpływ na wyniki. W dalszej części rozdziału opisujemy przebieg i rezultaty obu pomiarów. 1 Część rezultatów pierwszego badania została opublikowana w czasopiśmie Cognitive Studies (p. Charzyńska i Dębowski 2015).
78 Edyta Charzyńska 4.1. Badanie 1 4.1.1. Osoby badane Łącznie w pierwszym badaniu wzięło udział 1321 osób. Dla wszystkich respondentów językiem ojczystym był język polski. Z dalszych analiz usunęliśmy dane pochodzące od 12 osób, które zwróciły niewypełnione testy. Łącznie uwzględniliśmy dane pochodzące od 1309 osób. Tabela 4.1 prezentuje strukturę badanej grupy pod względem socjodemograficznym. Przebadaliśmy 844 kobiety i 464 mężczyzn, jedna osoba nie określiła swojej płci. Średnia wieku osób badanych wyniosła prawie 35 lat, najmłodsza spośród badanych osób była w wieku 15 lat, najstarsza 83 lat. Blisko 1/3 osób badanych posiadała wykształcenie podstawowe, gimnazjalne bądź zasadnicze zawodowe, niemal 1/3 miała wykształcenie średnie, a pozostali legitymowali się wykształceniem wyższym. Najwięcej osób badanych zamieszkiwało w województwie śląskim (82%), następnie w małopolskim (7%), opolskim (3%), podkarpackim (3%), świętokrzyskim (2%), wielkopolskim (2%) i dolnośląskim (1%). Większość respondentów stanowili mieszkańcy miast liczących do 100 tysięcy mieszkańców oraz między 100 a 500 tysięcy mieszkańców. Ponad połowa badanych pozostawała aktywna zawodowo (byli to przedstawiciele różnych zawodów, zarówno pracownicy fizyczni, jak i umysłowi), prawie co trzecia osoba uczyła się lub studiowała. 4.1.2. Narzędzia badawcze W badaniu wykorzystaliśmy 15 tekstów użytkowych w języku polskim (por. tab. 4.2). Każdy składał się z około 300 słów. Wybierając teksty do badań, kierowaliśmy się przede wszystkim ich zróżnicowaniem rodzajowym i tematycznym, a także poziomem trudności określonym wstępnie za pomocą indeksu mgły Gunninga (1952). Teksty zkwalifikowane do badań to: a) fragmenty z podręczników szkolnych do gimnazjum i do liceum, b) teksty naukowe z dziedzin humanistycznych i ścisłych, c) ustawy, d) listy urzędowe, e) instrukcje obsługi, f) broszury prawne oraz g) artykuły z gazet/czasopism. Zgodnie ze wzorem Pisarka, najtrudniejszym tekstem powinna okazać się dla czytelników Ustawa o rachunkowości (tekst 14), a dalej Tekst naukowy z zakresu dyscyplin ścisłych (tekst 6). Najniższe indeksy trudności odnotowano natomiast dla Instrukcji zażywania leku (tekst 4) oraz dla Uproszczonej parafrazy listu urzędowego (tekst 2). Pojedynczy zestaw badawczy, który otrzymywał każdy respondent, składał się z metryczki oraz trzech tekstów. W metryczce znalazły się pytania dotyczące płci
Rozdział 4. Badania ankietowe 79 Tabela 4.1. Charakterystyka socjodemograficzna badanej próby (badanie 1). Płeć N = 1309 % kobieta 844 64,5 mężczyzna 464 35,4 brak danych 1 0,1 Wiek (w latach) 15 18 264 20,4 19 29 351 26,8 30 40 225 17,2 41 51 224 17,1 52 62 143 10,9 63 73 68 5,2 74 84 21 1,6 brak danych 13 1,0 Wykształcenie podstawowe 85 6,5 gimnazjalne 235 17,9 zasadnicze zawodowe 90 6,9 średnie 413 31,6 wyższe 486 37,1 Miejsce zamieszkania wieś 288 22,0 miasto do 100 tys. mieszkańców 470 35,9 miasto od 100 do 500 tys. mieszkańców 437 33,4 miasto powyżej 500 tys. mieszkańców 84 6,4 brak danych 30 2,3 Stan zawodowy uczeń 280 22,4 student 89 6,8 osoba pracująca 750 57,3 osoba niepracująca 77 5,9 emeryt 105 8,0 rencista 23 1,8 brak danych 39 3,0
80 Edyta Charzyńska Tabela 4.2. Charakterystyka tekstów użytych w badaniach ankietowych (badanie 1). Nr Temat tekstu Liczba zdań Średnia długość zdania (w wyrazach) Procent wyrazów trudnych Trudność tekstu (wzór Pisarka) 1 Tekst z podręcznika do szkoły średniej 20 13,8 10,2 8,6 z zakresu biologii 2 Uproszczona parafraza listu urzędowego 26 12,6 7,3 7,3 3 Fragment z podręcznika do szkoły średniej 18 15,7 6,0 8,4 z zakresu historii 4 Instrukcja zażywania leku 25 11,6 8,6 7,2 5 Tekst naukowy z zakresu dyscyplin 14 20,2 12,7 11,9 humanistycznych 6 Tekst naukowy z zakresu dyscyplin ścisłych 13 22,6 11,6 12,7 7 Artykuł z gazety codziennej 18 16,3 6,1 8,7 8 Decyzja urzędowa 16 19,7 11,8 11,5 9 Instrukcja obsługi urządzenia 30 9,5 13,0 8,0 10 Decyzja urzędowa 22 13,6 10,0 8,4 11 Tekst z broszury prawnej 18 16,7 7,6 9,2 12 Tekst z broszury prawnej 19 15,3 16,9 11,4 13 Artykuł z gazety ekonomicznej 16 17,4 7,5 9,5 14 Ustawa o rachunkowości 11 28,6 9,5 15,1 15 Ustawa o języku polskim 21 15,5 9,8 9,2
Rozdział 4. Badania ankietowe 81 osoby badanej, jej wieku, wykształcenia, miejsca zamieszkania, statusu zawodowego oraz wykonywanego zawodu. Do każdego tekstu opracowaliśmy 3 rodzaje testów sprawdzających zrozumienie: 4 pytania jednokrotnego wyboru z 4 alternatywnymi odpowiedziami, test luk (cloze), w którym przygotowano 50 luk (poprzez usunięcie co 5. wyrazu, poczynając od drugiego zdania) oraz 5 pytań otwartych. Przed każdym tekstem zamieściliśmy instrukcję. Dla testu luk przedstawiała się ona następująco: Przed Panem/ią tekst, z którego usunięto co piąty wyraz. Pierwsze zdanie pozostawiono bez zmian. Prosimy spróbować uzupełnić tekst, wpisując w każdą lukę TYLKO JEDEN WYRAZ, który Pana/i zdaniem został usunięty. Usunięte wyrazy mają różną długość. Prosimy samodzielnie wypełnić test i nie korzystać z żadnych pomocy. Prosimy się nie zniechęcać, jeśli będzie Pan/i miał/a trudności z uzupełnieniem jakiejś luki rzadko udaje się uzupełnić wszystkie bezbłędnie. W przypadku instrukcji do tekstów opatrzonych pytaniami otwartymi osoby badane proszone były o niecytowanie fragmentów tekstu i odpowiadanie własnymi słowami. W instrukcji do pytań zamkniętych podkreśliliśmy, iż należy wybrać tylko jedną odpowiedź z czterech zaproponowanych. Po każdym teście osoba badana proszona była o ocenę subiektywnego poziomu zrozumienia tekstu. Dokonywała jej z wykorzystaniem następujących kategorii odpowiedzi: 1 bardzo mały, 2 mały, 3 średni, 4 duży i 5 bardzo duży. Zestawy tworzyliśmy na drodze losowej: z każdej grupy testów losowaliśmy po jednym tekście, a następnie łączyliśmy je w komplety. W przypadku wylosowania tego samego tekstu powtarzaliśmy procedurę losowania. Aby kontrolować wpływ kolejności rodzaju testów na zmienną wyjaśnianą, zmienialiśmy kolejność poszczególnych rodzajów testów w zestawie. Odpowiedzi na pytania zamknięte jednokrotnego wyboru oraz poprawność wypełnienia luk w teście luk sprawdzane były przez ankieterów, zgodnie z kluczem odpowiedzi. Odpowiedzi na pytania otwarte oceniało niezależnie dwoje lingwistów, niewchodzących w skład zespołu konstruującego testy. 4.1.3. Procedura badania W badaniu wykorzystaliśmy metodę kuli śniegowej: kwestionariusze rozdaliśmy około 50 osobom pochodzącym z różnych środowisk i o różnym wykształceniu, prosząc je o przeprowadzenie badania w możliwie najbardziej zróżnicowanych grupach. Badanie miało charakter indywidualny. Przed przystąpieniem do pomiaru ankieter zapoznawał respondentów z celem badania, jego anonimowością i dobrowolnością
82 Edyta Charzyńska udziału. Kolejność odczytywania tekstów i rozwiązywania testów zrozumienia była dowolna. Nie ustalaliśmy również limitu czasu na wypełnienie testów. Przeciętny czas wypełniania zestawu testów wynosił około 30 40 minut. 4.1.4. Rezultaty Wyniki testów rozumienia Tabela 4.3 przedstawia procent poprawnych odpowiedzi udzielonych przez osoby ankietowane w testach zrozumienia. Najwyższy poziom zrozumienia w teście pytań zamkniętych odnotowaliśmy dla tekstów 3 (Fragment z podręcznika historii dla gimnazjum) oraz 4 (Instrukcja zażywania leku). Najtrudniejsze do zrozumienia okazały się teksty nr 12 (Tekst z broszury prawnej) oraz 8 (Decyzja urzędowa). Dla najłatwiejszych tekstów poziom prawidłowych odpowiedzi wyniósł około 85% 89%, podczas gdy dla najmniej zrozumiałych poziom ten był nieco większy od 50%. W przypadku testu luk największy procent prawidłowych odpowiedzi stwierdziliśmy dla tekstów 4 (Instrukcja zażywania leku) oraz 2 (Uproszczona parafraza tekstu urzędowego), najmniejszy dla tekstów 6 (Tekst naukowy z zakresu dyscyplin ścisłych) i 1 (Tekst z biologii z podręcznika do liceum). W najłatwiejszych do zrozumienia tekstach osoby badane wypełniły poprawnie około 60% luk, podczas gdy w najtrudniejszych niecałe 30% luk. Najwięcej prawidłowych odpowiedzi na pytania otwarte badani udzielili dla tekstów 2 (Uproszczona parafraza tekstu urzędowego) oraz 11 (Tekst z broszury prawnej), najmniej dla tekstów 5 (Tekst naukowy z zakresu dyscyplin humanistycznych) oraz 6 (Tekst naukowy z zakresu dyscyplin ścisłych). W przypadku najłatwiejszych tekstów poziom prawidłowych odpowiedzi na pytania otwarte wyniósł około 85%, podczas gdy dla najtrudniejszych oscylował wokół wartości 30%. Subiektywna ocena poziomu zrozumienia tekstów Tabela 4.4 przedstawia rezultaty subiektywnej oceny stopnia zrozumienia tekstów, dokonanej przez osoby badane. W przypadku testu pytań zamkniętych najwyższe poczucie zrozumienia odnotowano dla tekstów 3 (Fragment z podręcznika historii do gimnazjum) i 11 (Tekst z broszury prawnej), najniższe dla tekstów 14 (Ustawa o rachunkowości) oraz 6 (Tekst naukowy z zakresu dyscyplin ścisłych). W subiektywnej ocenie respondentów najbardziej zrozumiałe teksty w teście luk to: tekst 7 (Artykuł z gazety codziennej na temat dopalaczy) oraz tekst 2 (Uproszczona parafraza listu urzędowego), podczas gdy do najmniej zrozumiałych zaliczono teksty 14 (Ustawa o rachunkowości) i 8 (Decyzja urzędowa). W przypadku tekstów opatrzonych pytania-
Rozdział 4. Badania ankietowe 83 Tabela 4.3. Poziom zrozumienia poszczególnych tekstów (badanie 1). Nr tekstu n pyt. zamk. % popr. odp. pyt. zamk. Ranga pyt. zamk. n test luk % popr. odp. test luk Ranga test luk n pyt. otw. % popr. odp. pyt. otw. Ranga pyt. otw. 1 105 80,87 4 77 29,19 14 73 42,50 10 2 91 76,37 5 102 58,30 2 73 84,72 1 3 85 88,92 1 89 46,45 8 71 71,59 3 4 79 84,49 2 69 61,67 1 92 43,96 7 5 79 70,57 8 117 30,31 12 99 27,14 15 6 75 69,56 9 97 29,00 15 93 30,67 14 7 110 74,24 6 75 47,33 6 103 68,63 4 8 89 51,78 14 81 36,30 10 76 53,87 6 9 86 66,86 10 81 43,38 9 123 67,50 5 10 73 72,95 7 101 49,90 5 77 37,63 13 11 100 84,00 3 68 57,49 4 87 83,72 2 12 89 51,40 15 104 47,03 7 88 43,29 8 13 70 57,80 13 87 30,74 11 88 38,82 12 14 76 62,83 11 94 28,30 13 85 39,76 11 15 102 60,78 12 67 56,39 3 81 42,78 9 Uwagi: najniższa ranga oznacza tekst, który okazał się najłatwiejszy do zrozumienia w danym teście, najwyższa tekst najtrudniejszy; n = liczba osób przebadanych za pomocą danego tekstu.
84 Edyta Charzyńska mi otwartymi za najbardziej zrozumiałe uznane zostały teksty 9 (Instrukcja obsługi urządzenia) i 3 (Podręcznik historii do gimnazjum), za najmniej teksty 14 (Ustawa o rachunkowości) i 6 (Tekst naukowy z zakresu dyscyplin ścisłych). W następnym kroku analiz postanowiliśmy sprawdzić, czy subiektywny stopień zrozumienia tekstów korelował istotnie z rzeczywistym poziomem ich zrozumienia mierzonym za pomocą testów. Do obliczeń zastosowaliśmy współczynnik korelacji r Pearsona. Odnotowaliśmy istotne dodatnie zależności dla wszystkich rodzajów testów: dla testu pytań zamkniętych korelacja była równa 0,32; p < 0, 001, dla testu luk: 0,52; p < 0, 001, podczas gdy dla testu pytań otwartych: 0,36; p < 0, 001. Weryfikacja indeksu trudności Pisarka Naszym najważniejszym celem była weryfikacja wzoru Pisarka (p. 2.12 w rozdziale 2.2) pozwalającego obliczyć trudność tekstu. W celu oceny trafności tego wzoru obliczyliśmy współczynniki korelacji między trudnością tekstu a poziomem zrozumienia czytanego tekstu szacowanym przy użyciu testów zrozumienia oraz na podstawie subiektywnej oceny czytelników. Do obliczenia siły związku między zmiennymi użyliśmy współczynnika korelacji r Pearsona. Uzyskane rezultaty zaprezentowane zostały w tabeli 4.5. Analiza współczynników korelacji między wymienionymi zmiennymi lingwistycznymi a poziomem zrozumienia przyniosła następujące rezultaty: średnia długość zdania korelowała istotnie ze zrozumieniem sprawdzanym za pomocą testu luk (r(15) = 0, 61; p = 0, 016); odnotowaliśmy ujemny kierunek zależności między średnią długością zdania a prawidłowymi odpowiedziami w teście pytań zamkniętych i w pytaniach otwartych, choć współczynniki korelacji nie osiągnęły poziomu istotności statystycznej (r zamk (15) = 0, 32; p = 0, 243; r otw (15) = 0, 40; p = 0, 139); procent wyrazów trudnych wiązał się istotnie ujemnie ze zrozumieniem sprawdzanym przy użyciu testu pytań zamkniętych (r(15) = 0, 61; p = 0, 016) oraz na poziomie tendencji statystycznej ze zrozumieniem mierzonym za pomocą pytań otwartych (r(15) = 0, 48; p = 0, 072); ujemna zależność między procentem wyrazów trudnych a prawidłowymi odpowiedziami w teście luk nie osiągnęła istotności statystycznej (r(15) = 0, 28; p = 0, 320); w przypadku subiektywnej oceny poziomu zrozumienia odnotowaliśmy istotne współczynniki korelacji dla średniej długości zdania, ale nie dla procentu słów trudnych. W ostatnim, najistotniejszym kroku analiz, obliczyliśmy współczynniki korelacji między trudnością tekstów według wzoru Pisarka a poziomem ich zrozumienia przez respondentów. Relacje te okazały się istotne dla wszystkich rodzajów testów.
Rozdział 4. Badania ankietowe 85 Tabela 4.4. Subiektywna ocena stopnia zrozumienia tekstów (badanie 1). Nr Pytania zamknięte Test luk Pytania otwarte tekstu n M SD Ranga n M SD Ranga n M SD Ranga 1 104 3,42 0,94 9 67 2,43 1,05 12 69 3,13 0,87 12 2 90 3,84 0,86 4 100 3,47 0,82 2 72 3,83 0,96 3 3 85 4,26 0,90 1 88 3,45 0,98 3 68 3,96 0,94 2 4 76 3,41 1,05 10 66 3,30 0,98 4 90 3,36 1,11 8 5 79 3,49 1,13 8 105 2,70 1,00 10 90 3,10 1,11 13 6 75 2,88 1,00 14 94 2,32 1,13 13 90 2,84 1,15 14 7 110 3,89 0,93 3 75 3,55 1,13 1 99 3,52 1,06 7 8 88 2,98 0,98 13 78 2,19 0,98 14 74 3,14 1,16 11 9 86 3,80 0,81 5 76 3,05 0,89 7 108 4,20 0,73 1 10 73 3,58 1,03 7 96 3,23 1,01 5 75 3,35 1,03 9 11 100 3,99 0,87 2 63 3,16 0,97 6 84 3,81 1,09 4 12 86 3,59 0,74 6 100 2,96 1,00 9 83 3,53 0,97 6 13 67 3,07 0,93 12 83 2,55 0,90 11 84 3,63 1,04 5 14 76 2,75 3,26 15 80 1,91 1,03 15 82 2,83 1,2 15 15 102 3,38 0,87 11 60 3,02 1,08 8 76 3,20 1,06 10 Uwagi: kategorie odpowiedzi: tekst zrozumiały w stopniu: 1 bardzo małym, 2 małym, 3 średnim, 4 dużym, 5 bardzo dużym; skróty: n liczba osób przebadanych danym testem, M średnia, SD odchylenie standardowe. Najniższa ranga oznacza tekst, który okazał się (w subiektywnej ocenie czytelników) najłatwiejszy do zrozumienia w danym teście, najwyższa tekst najtrudniejszy.
86 Edyta Charzyńska Tabela 4.5. Korelacje między miarami zrozumienia a indeksem trudności Pisarka (badanie 1). Rodzaj miary zrozumienia Średnia długość zdania Procent słów trudnych Indeks trudności Pisarka Testy rozumienia Pytania zamknięte 0,32 0,61* 0,53* Test luk 0,61* 0,28 0,66** Pytania otwarte 0,40 0,48 t 0,52* Ocena subiektywna Pytania zamknięte 0,65** 0,31 0,69** Test luk 0,72** 0,38 0,79*** Pytania otwarte 0,69** 0,23 0,68** Uwagi: t p < 0, 1; *p < 0, 05; **p < 0, 01; ***p < 0, 001. Obliczenia wykonano dla uśrednionych wyników w testach zrozumienia. Współczynniki korelacji wyniosły odpowiednio: 0, 53 dla testu pytań zamkniętych (p = 0, 043), 0, 66 dla testu luk (p = 0, 008) oraz 0, 52 dla testu pytań otwartych (p = 0, 047). Również w przypadku subiektywnej oceny poziomu zrozumienia współczynniki korelacji z trudnością tekstu okazały się istotne i ujemne (między 0, 68 a 0, 79). Rezultaty te oznaczają, że im wyższa wartość indeksu trudności według wzoru Pisarka, tym niższy poziom zrozumienia mierzonego za pomocą zarówno metod obiektywnych, jak i subiektywnych. 4.1.5. Omówienie wyników Nadrzędnym celem przeprowadzonego przez nas badania było zweryfikowanie wzoru Pisarka określającego trudność tekstu. Ogólnie rzecz biorąc, zebrane dane empiryczne rezultaty badań ankietowych potwierdzają użyteczność tego wzoru. Może być on m.in. wykorzystywany w pracy redakcyjnej do określenia trudności tekstów, a co z tym związane oceny stopnia adekwatności stylu, w jakim został napisany tekst do umiejętności jego potencjalnych czytelników. Uznając użyteczność wzoru Pisarka, zwróciliśmy równocześnie uwagę na fakt, iż korelacje między indeksem trudności tekstu a zrozumieniem mierzonym za pomocą testów zrozumienia choć istotne, były niższe, niż się spodziewaliśmy. Oczekiwaliśmy bowiem wysokich korelacji, podczas gdy otrzymane współczynniki okazały się tylko
Rozdział 4. Badania ankietowe 87 umiarkowane. Dodatkowo, w przypadku dwóch składowych wzoru Pisarka, tj. średniej długości zdania oraz procentu wyrazu trudnych wystąpiły istotne korelacje tylko dla niektórych testów zrozumienia. Doszliśmy do wniosku, iż istotny wpływ na uzyskane rezultaty mogła mieć niewielka liczba tekstów wykorzystanych w badaniu (15). Wielkość próby ma bowiem znaczenie dla istotności współczynnika korelacji (Rubin 2013). Mając na uwadze powyższe ograniczenia pierwszego badania postanowiliśmy przeprowadzić kolejne, uwzględniające większą liczbę tekstów. Miało ono na celu z jednej strony powtórne sprawdzenie wzoru Pisarka, z drugiej znalezienie zmiennych lingwistycznych i psychologicznych istotnych z punktu widzenia poziomu zrozumienia czytanego tekstu. 4.2. Badanie 2 4.2.1. Osoby badane W badaniu drugim wzięły udział 1782 osoby posługujące się językiem polskim jako językiem ojczystym. Z dalszych analiz usunęliśmy dane pochodzące od 23 osób nie podjęły one próby rozwiązania testów. Ostatecznie analizowaliśmy więc dane pochodzące od 1759 osób, w tym od 1108 kobiet i 650 mężczyzn (jedna osoba nie określiła swojej płci). Charakterystykę badanej próby przedstawia tabela 4.6. Średnia wieku badanej próby wyniosła 36 lat, najmłodszy respondent liczył 15 lat, najstarszy 87 lat. Większość badanych (ponad 80%) posiadała wykształcenie średnie bądź wyższe. Prawie 30% respondentów zamieszkiwało w miastach liczących od 100 do 500 tysięcy mieszkańców, niemal tyle samo było mieszkańcami miast do 100 tysięcy mieszkańców. Co piąta osoba badana to mieszkaniec wsi, podobnie co piąta osoba zamieszkiwała w mieście mającym powyżej 500 tysięcy mieszkańców. Najwięcej respondentów zamieszkiwało w województwach: śląskim (55,5%), wielkopolskim (21,8%) i mazowieckim (10,6%), pozostałe osoby badane zamieszkiwały w innych 11 województwach. Większość badanych (prawie 2/3) była aktywna zawodowo. Podobnie jak w pierwszym badaniu, byli to przedstawiciele różnych zawodów, zarówno pracownicy fizyczni, jak i umysłowi. Około 1/5 badanej próby stanowili uczniowie szkół średnich oraz studenci. 4.2.2. Narzędzia badawcze Wyboru tekstów do badania dokonywaliśmy wieloetapowo. W pierwszej kolejności wyodrębniliśmy 7 klas tekstów różniących się poziomem trudności: 1. teksty zrozumiałe po ukończeniu 1 3 lat nauki w szkole podstawowej; 2. teksty zrozumiałe po ukończeniu 4 6 lat nauki w szkole podstawowej;
88 Edyta Charzyńska Tabela 4.6. Charakterystyka socjodemograficzna badanej próby (badanie 2). Płeć N = 1759 % kobieta 1108 63,0 mężczyzna 650 36,9 brak danych 1 0,1 Wiek (w latach) 15 18 132 7,5 19 29 671 38,1 30 40 348 19,8 41 51 290 16,5 52 62 163 9,3 63 73 62 3,5 74 87 23 1,3 brak danych 70 4,0 Wykształcenie podstawowe 29 1,6 gimnazjalne 97 5,5 zasadnicze zawodowe 157 8,9 średnie 762 43,4 wyższe 710 40,4 brak danych 4 0,2 Miejsce zamieszkania wieś 353 20,0 miasto do 100 tys. mieszkańców 497 28,3 miasto od 100 do 500 tys. mieszkańców 504 28,7 miasto powyżej 500 tys. mieszkańców 382 21,7 brak danych 23 1,3 Stan zawodowy uczeń 120 6,8 student 301 17,1 osoba pracująca 1153 65,5 osoba niepracująca 109 6,2 emeryt 123 7,0 rencista 29 1,6 brak danych 6 0,1
Rozdział 4. Badania ankietowe 89 3. teksty zrozumiałe po ukończeniu gimnazjum; 4. teksty zrozumiałe po ukończeniu liceum; 5. teksty zrozumiałe po ukończeniu studiów licencjackich lub inżynierskich; 6. teksty zrozumiałe po ukończeniu studiów magisterskich; 7. teksty zrozumiałe po ukończeniu doktoratu lub dla osób specjalizujących się w dziedzinie, której dotyczy tekst. Następnie każdy członek zespołu projektowego przygotował po kilka tekstów dobrze reprezentujących, jego zdaniem, każdą klasę tekstów. W ten sposób zgromadziliśmy po około 30 tekstów dla każdej klasy, łącznie ponad 200 tekstów. Głównymi źródłami wyselekcjonowanych tekstów były: artykuły z poradników oraz magazynów i czasopism dla młodzieży; artykuły z magazynów i gazet dla dorosłych; podręczniki szkolne i książki popularnonaukowe; artykuły naukowe z dziedzin humanistycznych i ścisłych; komentarze prawne. Do klasy 1 zakwalifikowaliśmy wyłącznie bajki. Pomimo że nie są to teksty użytkowe, zdecydowaliśmy się na takie rozwiązanie, niemożliwe bowiem okazało się znalezienie innych tekstów o tak niskim poziomie trudności. W kolejnym kroku przygotowań korpusu tekstów do badań przeanalizowaliśmy wszystkie teksty pod kątem ich trudności, wykorzystując indeks mglistości FOG (Gunning 1952). W ten sposób teksty przynależące do każdej klasy uszeregowaliśmy według poziomu trudności. Do finalnej puli weszły teksty, które w naszej ocenie najlepiej reprezentowały daną klasę trudności. Były to w większości przypadków teksty o przeciętnym poziomie trudności dla danej klasy. W ten sposób wyłoniliśmy 35 tekstów po 5 tekstów na każdą klasę trudności, które następnie poddaliśmy badaniom ankietowym. Podobnie jak w poprzednim badaniu, każdy z tekstów składał się z około 300 słów. Tabela 4.7 zawiera charakterystykę lingwistyczną badanych tekstów w oparciu o indeks trudności. Zgodnie ze wzorem Pisarka najłatwiejszy do zrozumienia powinien być tekst 1.3 (Bajka o życiu smoków), następnie teksty 1.1 (Bajka o kocie Miśku) oraz 1.5 (Bajka o włoskim psie), najtrudniejszy natomiast tekst 6.5 (Istota symboli), a dalej teksty 6.3 (Najdawniejsze słowniki) i 7.5 (Wizualizacje w matematyce). Każdy respondent otrzymywał zestaw badawczy składający się z metryczki oraz dwóch tekstów. Zredukowaliśmy liczbę tekstów z trzech do dwóch w stosunku do pierwszego badania w celu zminimalizowania zmęczenia osób badanych. W metryczce zamieściliśmy pytania dotyczące: płci osoby badanej, jej wieku, wykształcenia, statusu zawodowego, wykonywanego zawodu oraz obecnego miejsca zamieszkania. Dla każdego tekstu przygotowaliśmy po dwa testy sprawdzające zrozumienie: test cloze złożony z 50 luk oraz 5 pytań otwartych, przy czym osoba badana wypełniała
90 Edyta Charzyńska Tabela 4.7. Charakterystyka tekstów użytych w badaniach ankietowych (badanie 2) część pierwsza. Nr Temat tekstu Liczba zdań Średnia długość zdania (w wyrazach) Procent wyrazów trudnych Trudność tekstu (wzór Pisarka) 1.1 Bajka o kocie Miśku 31 9,39 2,41 4,85 1.2 Bajka o poduszce 29 9,90 2,09 5,06 1.3 Bajka o życiu smoków 39 7,74 2,98 4,15 1.4 Bajka o Jacku i Wacku 27 10,52 2,11 5,36 1.5 Bajka o włoskim psie 33 9,67 4,08 5,25 2.1 Greccy bogowie 24 12,29 1,69 6,20 2.2 Opis gatunków zwierząt 24 13,25 2,52 6,74 2.3 Praca w schronisku dla zwierząt 28 10,46 6,83 6,25 2.4 Sytuacja szkolna 23 12,87 5,07 6,92 2.5 Sytuacja rodzinna 29 9,83 3,86 5,28 3.1 Sposoby zapamiętywania 28 11,32 5,36 6,26 3.2 O chłopcu pochodzącym ze wsi 23 14,30 4,86 7,55 3.3 Zasady zdrowego żywienia 22 16,32 6,13 8,72 3.4 Spożywanie alkoholu 25 14,32 4,19 7,46 3.5 Problemy nastolatków 21 15,90 7,19 8,73 4.1 Poezja Jana Kasprowicza 23 12,74 6,14 7,07 4.2 Okulary Google 20 14,05 11,39 9,04 4.3 Zasada psychologiczna 19 16,79 8,46 9,40 4.4 Kultura masowa 18 17,83 9,97 10,22 4.5 Konflikt w Syrii 18 15,67 9,22 9,09
Rozdział 4. Badania ankietowe 91 Tabela 4.7. Charakterystyka tekstów użytych w badaniach ankietowych (badanie 2) część druga. Nr Temat tekstu Liczba zdań Średnia długość zdania (w wyrazach) Procent wyrazów trudnych Trudność tekstu (wzór Pisarka) 5.1 Polskie środowisko dziennikarskie 23 14,87 13,45 10,03 5.2 Film Woody ego Allena 17 18,82 9,69 10,59 5.3 Zjawisko retardacji 15 20,93 9,87 11,57 5.4 Droga artystyczna S. Barei 16 18,75 8,00 10,19 5.5 Wskaźnik masy ciała BMI 18 17,39 10,86 10,25 6.1 Procesy topnienia i zamarzania 19 16,63 14,24 10,95 6.2 Zanieczyszczenia w pyle drogowym 15 20,67 11,61 11,85 6.3 Najdawniejsze słowniki 9 32,56 10,58 17,12 6.4 Modele ojcostwa 17 17,47 14,14 11,24 6.5 Istota symbolu 11 29,64 17,79 17,28 7.1 Procedura badań sondażowych 21 16,43 13,33 10,58 7.2 Uruchamianie elektrowni 23 14,39 14,20 10,11 7.3 Koncepcja związana z kulturą 14 23,79 17,12 14,65 7.4 Egzekucja sądowa 16 21,31 17,30 13,73 7.5 Wizualizacje w matematyce 14 23,00 20,19 15,30
92 Edyta Charzyńska dla danego tekstu tylko jeden z nich. Instrukcja do obu testów była identyczna jak w badaniu pierwszym. Przed każdym tekstem umieściliśmy krótką informację dotyczącą jego tematu. Następnie poprosiliśmy osoby badane o odpowiedź na następujące pytania: a) Czy tekst może Pana/ią zainteresować?, b) Jak chętnie wykona Pan/i to zadanie?. Odpowiedzi na pytanie dotyczące zainteresowania tekstem ankietowani udzielali przy użyciu 7-stopniowej skali, w której 1 oznaczało zdecydowanie nie, 2 nie, 3 raczej nie, 4 trudno powiedzieć, 5 raczej tak, 6 tak, 7 zdecydowanie tak. Pytanie dotyczące chęci przeczytania tekstu opatrzyliśmy 7-stopniową skalą, w której 1 oznaczało bardzo niechętnie, 2 niechętnie, 3 raczej niechętnie, 4 trudno powiedzieć, 5 raczej chętnie, 6 chętnie, 7 bardzo chętnie. W przypadku tekstów należących do klas 4 7 dodatkowo umieściliśmy jeszcze jedno pytanie przed tekstem: Jak Pani/Pan ocenia swoją orientację w dziedzinie, której dotyczy tekst?. Zrezygnowaliśmy z pomiaru tej zmiennej dla tekstów z klas 1 3 (bajki, poradniki i magazyny dla dzieci i nastolatków), jako że w ich przypadku trudno mówić o wiedzy mogącej mieć znaczący wpływ na zrozumienie tekstu. Odpowiadając na to pytanie, osoby badane wybierały 1 z 7 zaproponowanych opcji: 1 bardzo mała, 2 mała, 3 raczej mała, 4 trudno powiedzieć, 5 raczej duża, 6 duża, 7 bardzo duża. Po każdym teście prosiliśmy osoby badane o subiektywną ocenę stopnia zrozumienia tekstu, z wykorzystaniem 7-stopniowej skali, w której 1 oznaczało bardzo mały, 2 mały, 3 raczej mały, 4 trudno powiedzieć, 5 raczej duży, 6 duży, 7 bardzo duży. Zestawy badawcze tworzyliśmy podobnie jak w pierwszym badaniu: z obu grup testów losowaliśmy po jednym tekście, a następnie łączyliśmy je w komplet. Jeśli wylosowaliśmy ten sam tekst do jednego zestawu, powtarzaliśmy losowanie. W celu kontroli wpływu rodzaju testu na zrozumienie w połowie przypadków pierwszym tekstem w zestawie był test luk, a w połowie pytania otwarte. Odpowiedzi w teście luk sprawdzały osoby przeprowadzające badanie. Otrzymały one klucz odpowiedzi, zgodnie z którym oceniały poprawność wypełnienia luk. Odpowiedzi na pytania otwarte oceniane były przez troje lingwistów. W przypadku wątpliwości co do poprawności odpowiedzi konsultowano się z pozostałymi osobami odpowiedzialnymi za sprawdzenie tekstów. 4.2.3. Procedura badania Zestawy badawcze rozdaliśmy około 80 osobom pochodzącym z różnych środowisk i o odmiennym wykształceniu, z prośbą o przeprowadzenie badania w jak najbardziej zróżnicowanych grupach osób. Ankieterzy odpowiedzialni za wykonywanie badań zostali przez nas przeszkoleni w zakresie procedury dokonywania pomiaru. Przebieg badania był identyczny jak w pierwszym pomiarze: ankieter zapoznawał każdego respondenta z celem badania, jego anonimowym i dobrowolnym charakte-
Rozdział 4. Badania ankietowe 93 rem. Osoby badane zostały poinformowane o możliwości wycofania się z badania w dowolnym jego momencie. Badanie przeprowadzane było indywidualnie. Respondenci mogli wypełniać zestaw w dowolnej kolejności. Czas wypełniania testów nie był ograniczony, przeciętnie wyniósł około 20 30 minut. 4.2.4. Rezultaty Wyniki testów rozumienia W pierwszej kolejności na podstawie wyników testu luk i pytań otwartych obliczyliśmy procentowy poziom zrozumienia poszczególnych tekstów (por. tab. 4.8). Największy procent prawidłowo wypełnionych luk odnotowano dla tekstów: 3.5 (Problemy nastolatków), 1.2 (Bajka o poduszce) i 1.4 (Bajka o Jacku i Wacku), najmniejszy dla tekstów: 7.3 (Koncepcja związana z kulturą), 6.5 (Istota symbolu) i 7.2 (Uruchamianie elektrowni). W przypadku tekstów, które okazały się najłatwiejsze do zrozumienia, osoby badane wypełniały prawidłowo około 60 65% luk, podczas gdy w tekstach najtrudniejszych do zrozumienia prawidłowe odpowiedzi stanowiły około 20 30% wszystkich odpowiedzi. Najwięcej prawidłowych odpowiedzi na pytania otwarte osoby badane udzieliły dla tekstów: 2.5 (Sytuacja rodzinna), 2.4 (Sytuacja szkolna) oraz 2.3 (Praca w schronisku dla zwierząt), najmniej dla tekstów: 7.3 (Koncepcja związana z kulturą), 6.1 (Procesy topnienia i zamarzania) i 5.1 (Polskie środowisko dziennikarskie). Poziom prawidłowych odpowiedzi w przypadku tekstów, które okazały się najłatwiejsze do zrozumienia dla osób badanych, wynosił około 90%, natomiast dla tekstów najtrudniejszych do zrozumienia mieścił się on między 30% a 39%. Subiektywny poziom zrozumienia W tabeli 4.9 zaprezentowaliśmy rezultaty subiektywnej oceny poziomu zrozumienia czytanych tekstów. W teście luk najłatwiejszy do zrozumienia okazał się tekst 3.5 (Problemy nastolatków), następnie teksty 1.2 (Bajka o poduszce) i 3.3 (Zasady zdrowego żywienia), natomiast jako najmniej zrozumiałe respondenci wskazali teksty: 7.3 (Koncepcja związana z kulturą), 6.5 (Istota symbolu) i 6.1 (Procesy topnienia i zamarzania). W przypadku tekstów zawierających pytania otwarte jako najbardziej zrozumiały oceniono tekst 1.2 (Bajka o poduszce), w następnej kolejności teksty 1.5 (Bajka o włoskim psie) i 2.2 (Opis gatunków zwierząt). Podobnie jak w teście luk, tekstem najtrudniejszym do zrozumienia na podstawie subiektywnej oceny czytelników okazał się tekst 7.3 (Koncepcja związana z kulturą), dalej teksty 6.1 (Procesy topnienia i zamarzania) i 7.2 (Uruchamianie elektrowni).
94 Edyta Charzyńska Tabela 4.8. Poziom zrozumienia poszczególnych tekstów (badanie 2). Nr Test luk Pytania otwarte tekstu n % popr. odp. Ranga n % popr. odp. Ranga 1.1 63 50,95 9 53 87,92 6 1.2 61 61,61 2 50 88,40 5 1.3 51 56,51 4 55 86,55 11 1.4 49 59,80 3 49 80,00 14 1.5 52 50,62 11 53 87,92 6 2.1 57 49,40 13 61 88,85 4 2.2 53 55,92 5 54 87,04 10 2.3 52 53,88 7 67 88,96 3 2.4 54 47,33 15 50 90,80 2 2.5 59 49,46 12 49 93,47 1 3.1 48 39,92 24 54 83,80 12 3.2 50 47,56 14 56 87,50 9 3.3 46 51,83 8 57 81,75 13 3.4 46 55,91 6 50 87,60 8 3.5 52 66,88 1 51 61,96 25 4.1 50 34,60 32 54 78,15 15 4.2 50 37,00 27 52 75,00 16 4.3 53 43,58 20 50 73,20 18 4.4 48 37,13 26 47 60,85 26 4.5 51 50,86 10 50 71,20 20 5.1 46 43,65 19 44 38,64 33 5.2 45 34,71 31 49 64,49 21 5.3 46 38,22 25 48 64,17 22 5.4 46 35,78 28 43 62,33 24 5.5 46 45,30 16 48 74,58 17 6.1 56 35,14 30 41 38,54 34 6.2 49 43,67 18 44 42,27 31 6.3 50 35,28 29 46 60,00 27 6.4 46 42,13 22 45 63,56 23 6.5 43 28,88 34 51 39,61 32 7.1 46 45,09 17 50 57,60 29 7.2 50 31,40 33 44 71,82 19 7.3 44 22,23 35 46 30,43 35 7.4 51 43,10 21 51 50,98 30 7.5 50 41,92 23 47 58,72 28 Uwagi: najniższa ranga oznacza tekst, który okazał się najłatwiejszy do zrozumienia w danym teście, najwyższa tekst najtrudniejszy; n liczba osób przebadanych za pomocą danego tekstu.
Rozdział 4. Badania ankietowe 95 Tabela 4.9. Subiektywna ocena stopnia zrozumienia tekstów (badanie 2). Nr Test luk Pytania otwarte tekstu n M SD Ranga n M SD Ranga 1.1 63 5,06 1,32 9 52 5,73 1,32 14 1.2 59 5,66 1,42 2 49 6,59 1,00 1 1.3 49 5,31 1,48 7 53 6,17 0,91 7 1.4 48 5,56 1,38 4 46 6,20 1,07 5 1.5 49 5,49 1,33 6 52 6,37 0,86 2 2.1 54 4,80 1,34 13 60 5,78 1,42 13 2.2 53 4,87 1,42 12 54 6,29 1,23 3 2.3 50 5,52 1,07 5 66 5,98 1,39 11 2.4 51 5,00 1,55 10 50 6,26 0,85 4 2.5 58 4,90 1,55 11 48 6,04 1,13 10 3.1 43 4,53 1,28 16 54 6,06 1,37 9 3.2 48 4,75 1,33 14 54 5,81 1,17 12 3.3 45 5,58 1,12 3 56 6,16 1,06 8 3.4 43 5,19 1,16 8 49 6,20 1,08 5 3.5 50 5,88 1,08 1 50 5,56 1,20 16 4.1 46 4,35 1,80 17 52 5,58 1,29 15 4.2 50 3,88 1,44 24 52 4,73 1,67 24 4.3 53 4,62 1,56 15 49 5,37 1,54 17 4.4 47 3,45 1,47 28 42 4,69 1,60 25 4.5 47 3,81 1,48 25 44 4,80 1,37 22 5.1 45 4,20 1,27 20 41 3,90 1,66 31 5.2 41 3,90 1,59 23 45 5,31 1,24 18 5.3 45 3,98 1,14 22 46 5,28 1,17 19 5.4 46 4,17 1,50 21 41 4,80 1,49 22 5.5 44 4,34 1,38 18 45 5,20 1,60 20 6.1 49 2,73 1,59 33 37 3,03 1,55 34 6.2 46 3,52 1,53 27 42 4,48 1,60 26 6.3 45 2,69 1,36 34 42 4,17 1,17 28 6.4 45 4,27 1,42 19 40 4,90 1,74 21 6.5 40 3,22 1,89 29 50 3,66 1,62 32 7.1 42 3,21 1,14 30 45 4,27 1,21 27 7.2 48 2,81 1,35 32 43 3,49 1,71 33 7.3 40 2,60 1,63 35 40 2,47 1,62 35 7.4 49 3,71 1,44 26 50 3,98 1,61 30 7.5 48 2,96 1,50 31 46 4,17 1,62 28 Uwagi: kategorie odpowiedzi tekst zrozumiały w stopniu: 1 bardzo małym, 2 małym, 3 raczej małym, 4 trudno powiedzieć, 5 raczej dużym, 6 dużym, 7 bardzo dużym; skróty: n liczba osób przebadanych danym testem, M średnia, SD odchylenie standardowe. Najniższa ranga oznacza tekst, który okazał się (w subiektywnej ocenie) najłatwiejszy do zrozumienia w danym teście, najwyższa tekst najtrudniejszy.
96 Edyta Charzyńska Subiektywna ocena poziomu zrozumienia a jego obiektywne miary Przed przystąpieniem do właściwych obliczeń sprawdziliśmy zależności między subiektywną oceną zrozumienia a wynikami w testach sprawdzających zrozumienie. Chcieliśmy w ten sposób zweryfikować rezultaty uzyskane w pierwszym badaniu, które wskazywały na istotną dodatnią korelację między subiektywnymi i obiektywnymi miarami zrozumienia. W drugim badaniu współczynnik korelacji między subiektywną oceną stopnia zrozumienia a liczbą prawidłowych odpowiedzi w teście luk wyniósł r(1679) = 0, 58; p < 0, 001, podczas gdy dla testu pytań otwartych był równy r(1685) = 0, 56; p < 0, 001. Oba współczynniki okazały się więc dodatnie i umiarkowanie silne. Ocena trafności wzoru Pisarka Jak już wspominaliśmy, pierwszym celem drugiego badania było powtórne sprawdzenie trafności wzoru Pisarka. Rezultaty analiz przedstawione zostały w tabeli 4.10. Obie składowe wzoru Pisarka, tj. średnia długość zdania oraz procent wyrazów trudnych, korelowały istotnie z poziomem zrozumienia mierzonym za pomocą testu luk oraz pytaniami otwartymi. Zgodnie z oczekiwaniami, stwierdziliśmy silną ujemną korelację między indeksem trudności tekstu Pisarka a liczbą poprawnych odpowiedzi w teście luk oraz w pytaniach otwartych. Wszystkie współczynniki korelacji okazały się istotne na poziomie p < 0, 001. Podobne rezultaty uzyskano również dla subiektywnej oceny stopnia zrozumienia dla obu testów (por. tab. 4.10). Tabela 4.10. Korelacje między miarami zrozumienia a indeksem trudności Pisarka (badanie 2). Rodzaj miary zrozumienia Średnia długość zdania Procent słów trudnych Indeks trudności Pisarka Testy rozumienia Test luk 0,63*** 0,67*** 0,69*** Pytania otwarte 0,71*** 0,83*** 0,80*** Ocena subiektywna Test luk 0,71*** 0,81*** 0,80*** Pytania otwarte 0,67*** 0,88*** 0,80*** Uwagi: ***p < 0, 001. Obliczenia wykonano dla uśrednionych wyników w testach zrozumienia.
Rozdział 4. Badania ankietowe 97 Korelaty zrozumienia pośród zmiennych lingwistycznych Naszym kolejnym celem było zidentyfikowanie zmiennych lingwistycznych związanych z rozumieniem tekstu, innych niż te wchodzące w skład wzoru Pisarka. Rozpatrywaliśmy następujące zmienne: średnia długość akapitu w sylabach, średnia długość wyrazu w sylabach, procent rzeczowników, terminy, rzeczowniki abstrakcyjne, rzeczowniki zakończone na -ość, gerundia, wyrazy obce, procent przymiotników, procent czasowników, stosunek czasowników do rzeczowników, a także łańcuchy dopełniaczowe. Część zmiennych lingwistycznych została obliczona przy użyciu narzędzia informatycznego, część została ręcznie otagowana przez dwóch członków zespołu projektowego. Jak pokazuje tabela 4.11, niemal wszystkie uwzględnione w badaniu zmienne lingwistyczne korelowały istotnie ujemnie z poziomem zrozumienia w teście pytań zamkniętych i w pytaniach otwartych oraz z subiektywnym poziomem zrozumienia. Do wyjątków należała zmienna procent czasowników, która wiązała się istotnie dodatnio z wymienionymi zmiennymi. W przypadku zmiennej rzeczowniki zakończone na ość istotna ujemna zależność wystąpiła wyłącznie dla liczby prawidłowych odpowiedzi w pytaniach otwartych. Najsilniejsze związki z miarami zrozumienia odnotowano w przypadku dwóch zmiennych: średniej długości wyrazu w sylabach oraz stosunku czasowników do rzeczowników. Wykształcenie i zmienne psychologiczne a poziom zrozumienia Ostatnim celem przeprowadzonego przez nas badania było sprawdzenie związków między poziomem zrozumienia tekstów a cechami związanymi z czytelnikiem: wykształceniem i zmiennymi psychologicznymi zainteresowaniem tematem danego tekstu, chęcią lektury tekstu oraz orientacji w dziedzinie, której tekst dotyczy. W przypadku zmiennej wykształcenie skorzystaliśmy ze współczynnika korelacji rho Spearmana, dla zmiennych psychologicznych użyliśmy współczynnika korelacji r Pearsona. Zgodnie z naszymi przewidywaniami, wykształcenie wiązało się istotnie pozytywnie (p < 0, 001) z wynikami testów zrozumienia (rho luki (1755) = 0, 17; rho otw (1755) = 0, 18) oraz z subiektywną oceną stopnia zrozumienia (rho luki (1675) = 0, 18; rho otw (1681) = 0, 21). Oznacza to, iż im osoba bardziej wykształcona, tym lepiej rozumie czytany tekst, jak i tym wyżej sama ocenia poziom jego zrozumienia. Średni poziom zainteresowania dla wszystkich tekstów łącznie dla testu luk wyniósł M = 4, 43; SD = 1, 42, podczas gdy dla pytań otwartych M = 4, 51, S D = 1, 44. Dla przypomnienia, zmienne psychologiczne oceniane były z wykorzystaniem skali 1 7. Uzyskany wynik oznacza więc, iż osoby badane po poznaniu
98 Edyta Charzyńska Tabela 4.11. Korelacje między cechami lingwistycznymi tekstów a miarami rozumienia (badanie 2). Cecha lingwistyczna Test luk Pytania otwarte Subiektywne zrozumienie test luk Subiektywne zrozumienie pytania otwarte Średnia długość akapitu w słowach 0,65*** 0,77*** 0,71*** 0,71*** Średnia długość słowa (w sylabach) 0,73*** 0,81*** 0,89*** 0,90*** Procent rzeczowników 0,65*** 0,52** 0,66*** 0,64*** Terminy 0,60*** 0,62*** 0,68*** 0,64*** Rzeczowniki abstrakcyjne 0,57*** 0,65*** 0,53*** 0,64*** Rzeczowniki zakończone na -ość 0,32 t 0,37* 0,23 0,32 t Gerundia 0,35* 0,51** 0,43** 0,53** Wyrazy obce 0,66*** 0,69*** 0,67*** 0,72*** Procent przymiotników 0,58*** 0,62*** 0,74*** 0,69*** Procent czasowników 0,72*** 0,73*** 0,84*** 0,78*** Stosunek czasowników do rzeczowników 0,75*** 0,76*** 0,86*** 0,85*** Łańcuchy dopełniaczowe: średnia długość 0,50** 0,41* 0,49*** 0,46*** łańcucha w rzeczownikach Łańcuchy dopełniaczowe: liczba łańcuchów 0,50** 0,70*** 0,59*** 0,69*** Uwagi: t p < 0, 1; *p < 0, 05; **p < 0, 01; ***p < 0, 001. Obliczenia wykonano dla uśrednionych wyników w testach zrozumienia.
Rozdział 4. Badania ankietowe 99 ogólnej tematyki tekstu wykazywały względne zainteresowanie jego lekturą. Przeciętny poziom deklarowanej chęci przeczytania tekstów wyniósł dla testu luk M = 4, 75, SD = 1, 37, dla pytań otwartych M = 4, 74, SD = 1, 37. Możemy więc uznać, iż badani raczej chętnie przystąpili do czytania tekstów. Średni poziom orientacji w dziedzinie, której tekst dotyczył, badani ocenili dla testu luk na M = 3, 23, SD = 1, 39, dla testu pytań otwartych na M = 3, 32, SD = 1, 39. Reasumując, badani ocenili swoją wiedzę na tematy poruszone w prezentowanych im tekstach jako raczej niską. Należy mieć tu jednak na uwadze, iż ocenie orientacji w dziedzinie, której dotyczył dany tekst, podlegały jedynie teksty należące do klas 4 7, czyli średniotrudne, trudne i bardzo trudne. W tabelach 4.12 i 4.13 zamieszczone zostały średnie i odchylenia standardowe badanych zmiennych psychologicznych dla każdego tekstu odrębnie. Tabela 4.14 przedstawia zależności między zmiennymi psychologicznymi a poziomem zrozumienia tekstu. Wszystkie zmienne psychologiczne korelowały istotnie dodatnio z obiektywnymi i subiektywnymi miarami zrozumienia. Współczynniki korelacji okazały się istotne na poziomie p < 0, 001. Zrozumienie a trudność tekstu i zmienne psychologiczne weryfikacja modeli W ostatnim kroku analiz postanowiliśmy sprawdzić, czy wprowadzenie do modelu zmiennych psychologicznych zwiększy procent wyjaśnionej wariancji zmiennej zrozumienie w teście luk i pytaniach otwartych w stosunku do modelu uwzględniającego jako predyktor wyłącznie trudność tekstu obliczoną według wzoru Pisarka. W tym celu wykonaliśmy po dwie hierarchiczne analizy regresji dla obu testów zrozumienia. W pierwszym kroku wprowadziliśmy do modelu trudność tekstu, w drugim kolejno po jednej zmiennej psychologicznej: zainteresowanie tematem tekstu oraz chęć przeczytania tekstu. Przed przystąpieniem do obliczeń sprawdziliśmy założenia wielokrotnej analizy regresji (Tabachnick i Fidell 2013). W analizach nie uwzględniliśmy zmiennej orientacja w dziedzinie, której dotyczy tekst, bowiem posiadaliśmy dla niej tylko 20 obserwacji; zgodnie z zaleceniami Harrella (2001) powinniśmy dysponować co najmniej 10 20 obserwacjami na 1 predyktor (a mieliśmy ich w każdym modelu po 2: trudność tekstu i jedna zmienna psychologiczna). W przypadku zrozumienia mierzonego za pomocą testu luk istotny na poziomie tendencji statystycznej okazał się tylko jeden model, uwzględniający w drugim kroku analiz zmienną chęć przeczytania tekstu. Wyjaśniał on 50% zmiennej wyniki testu luk, co stanowiło istotną na poziomie tendencji statystycznej poprawę względem modelu uwzględniającego wyłącznie trudność tekstu ( F(1, 32) = 3, 26; p = 0, 081). Dla zrozumienia mierzonego przy użyciu pytań otwartych obie zmienne psychologiczne poprawiały dopasowanie modeli do danych w porównaniu z modelami biorącymi pod uwagę wyłącznie trudność tekstu. Model uwzględniający zmienną
100 Edyta Charzyńska Tabela 4.12. Statystyki opisowe dla zmiennych psychologicznych w teście luk (badanie 2). Nr Zainteresowanie Chęć przeczytania Orientacja tekstu n M SD M SD M SD 1.1 63 4,17 1,50 4,63 1,54 1.2 60 4,53 1,27 4,97 1,27 1.3 49 4,45 1,54 4,88 1,39 1.4 48 4,27 1,16 4,96 1,41 1.5 51 4,61 1,15 5,02 1,27 2.1 57 4,53 1,27 4,88 1,32 2.2 51 4,63 1,06 4,78 1,35 2.3 50 4,92 1,37 5,08 1,32 2.4 54 4,78 1,41 5,08 1,43 2.5 57 4,61 1,28 4,80 1,37 3.1 46 4,98 1,11 4,89 1,42 3.2 50 4,96 1,37 5,08 1,29 3.3 46 5,07 1,65 5,22 1,46 3.4 45 4,93 1,21 5,02 1,22 3.5 52 5,31 1,29 5,02 1,32 4.1 49 3,67 1,53 4,02 1,60 2,93 1,39 4.2 50 4,72 1,26 4,83 1,33 3,66 1,65 4.3 53 5,11 1,38 5,25 1,16 3,98 1,39 4.4 48 4,17 1,49 4,40 1,53 3,63 1,51 4.5 49 4,14 1,43 4,35 1,23 2,98 1,38 5.1 46 4,52 1,21 5,07 1,19 3,64 1,13 5.2 44 4,73 1,25 4,91 1,31 3,45 1,32 5.3 46 4,37 1,12 4,95 1,20 3,43 0,97 5.4 45 4,11 1,37 4,55 1,25 3,19 1,30 5.5 46 5,02 1,18 5,07 1,25 4,00 1,31 6.1 56 3,95 1,42 4,09 1,41 2,87 1,24 6.2 49 4,02 1,68 4,60 1,43 3,12 1,45 6.3 50 4,04 1,47 4,72 1,60 2,92 1,12 6.4 45 4,47 1,41 4,80 1,19 3,86 0,80 6.5 42 3,88 1,49 4,33 1,36 3,03 1,33 7.1 46 3,91 1,03 4,23 1,08 2,91 1,18 7.2 50 3,48 1,54 4,36 1,48 2,35 1,62 7.3 44 4,45 1,11 4,68 1,14 3,26 1,29 7.4 51 3,84 1,52 4,51 1,35 2,67 1,24 7.5 49 3,61 1,48 4,12 1,36 2,90 1,52 Uwagi: zainteresowanie tematem tekstu, chęć przeczytania tekstu oraz orientację w dziedzinie, której tekst dotyczy, oceniano za pomocą skali od 1 do 7. W przypadku zmiennej orientacja w dziedzinie ocenie osób badanym poddaliśmy wyłącznie teksty należąco do klas 4 i wyższych. Skróty: n liczba osób, która udzieliła odpowiedzi na pytania, M średnia, SD odchylenie standardowe.
Rozdział 4. Badania ankietowe 101 Tabela 4.13. Statystyki opisowe dla zmiennych psychologicznych w teście pytań otwartych (badanie 2). Nr Zainteresowanie Chęć przeczytania Orientacja tekstu n M SD M SD M SD 1.1 52 4,48 1,28 4,85 1,50 1.2 48 4,17 1,52 4,61 1,44 1.3 53 4,62 1,43 4,92 1,37 1.4 47 4,47 1,53 5,04 1,22 1.5 53 4,94 1,39 5,11 1,45 2.1 59 4,63 1,53 4,64 1,47 2.2 51 4,98 1,12 5,14 1,34 2.3 64 4,97 1,41 5,08 1,38 2.4 49 4,49 1,39 4,94 1,30 2.5 48 4,42 1,16 5,02 1,19 3.1 53 4,81 1,19 4,74 1,16 3.2 55 4,98 0,95 5,15 0,94 3.3 56 5,46 1,36 5,20 1,31 3.4 49 5,33 1,31 5,16 1,16 3.5 49 4,96 1,44 4,90 1,42 4.1 51 4,51 1,36 4,80 1,34 3,59 1,40 4.2 52 4,33 1,51 4,48 1,49 3,53 1,43 4.3 50 4,92 1,51 4,54 1,62 3,55 1,56 4.4 45 4,33 1,17 4,43 1,41 3,81 1,18 4.5 50 3,84 1,48 4,41 1,55 2,90 1,31 5.1 43 3,95 1,27 4,48 1,25 3,26 1,04 5.2 49 4,57 1,53 4,67 1,09 3,33 1,31 5.3 47 4,64 1,29 4,35 1,46 3,59 0,98 5.4 43 4,16 1,59 4,51 1,59 3,16 1,48 5.5 48 4,85 1,19 4,81 1,28 3,83 1,37 6.1 40 3,92 1,54 4,40 1,32 3,36 1,39 6.2 43 4,21 1,39 4,63 1,24 3,10 1,41 6.3 43 4,28 1,22 4,81 1,04 2,91 1,29 6.4 44 5,20 1,11 5,27 1,02 4,60 1,30 6.5 50 4,24 1,41 4,37 1,33 3,08 1,19 7.1 49 4,10 1,34 4,35 1,45 3,15 1,30 7.2 43 3,30 1,61 4,12 1,31 2,63 1,51 7.3 42 4,10 1,48 4,40 1,50 3,33 1,58 7.4 51 3,90 1,60 4,43 1,45 2,86 1,20 7.5 47 3,79 1,27 4,47 1,30 3,02 1,37 Uwagi: zainteresowanie tematem tekstu, chęć przeczytania tekstu oraz orientację w dziedzinie, której tekst dotyczy, oceniano za pomocą skali od 1 do 7. W przypadku zmiennej orientacja w dziedzinie ocenie osób badanym poddaliśmy wyłącznie teksty należąco do klas 4 i wyższych. Skróty: n liczba osób, która udzieliła odpowiedzi na pytania, M średnia, SD odchylenie standardowe.
102 Edyta Charzyńska Tabela 4.14. Zmienne psychologiczne a poziom zrozumienia (badanie 2). Miara zrozumienia Zainteresowanie Chęć przeczytania Orientacja Testy rozumienia Test luk 0,21*** 0,17*** 0,21*** Pytania otwarte 0,22*** 0,19*** 0,14** Ocena subiektywna Test luk 0,37*** 0,33*** 0,46*** Pytania otwarte 0,39*** 0,32*** 0,42*** Uwagi: **p < 0, 01; ***p < 0, 001. Obliczenia wykonywano na całej bazie danych (N = 1759). zainteresowanie tematem tekstu wyjaśniał 70% wariancji zrozumienia w pytaniach otwartych, o 5% więcej niż model wyjściowy (zmiana istotna na poziomie p = 0, 045; F(1, 32) = 4, 36). Model zawierający zmienną chęć przeczytania tekstu wyjaśniał 71% wariancji zrozumienia w pytaniach otwartych, o 6% więcej w porównaniu z modelem wyjściowym (zmiana istotna na poziomie p = 0, 021; F(1, 32) = 5, 88). Szczegółowe rezultaty zostały zamieszczone w tabelach 4.15 i 4.16. Podsumowując uzyskane w tej części rezultaty, można powiedzieć, iż dla zrozumienia mierzonego za pomocą testu luk ważna jest nie tylko trudność tekstu, ale w mniejszym stopniu również chęć jego przeczytania, podczas gdy dla rezultatów testu pytań otwartych istotne są oprócz trudności tekstu zarówno zainteresowanie jego tematem, jak i chęć przeczytania tekstu. 4.2.5. Omówienie wyników Drugie badanie potwierdziło trafność wzoru Pisarka określającego trudność tekstu. Uzyskane współczynniki korelacji między trudnością tekstu a liczbą prawidłowych odpowiedzi w testach oraz subiektywną oceną poziomu zrozumienia były w tym pomiarze wyższe niż we wcześniejszym; można je określić jako silne. Uzyskane rezultaty umacniają stanowisko twórców formuł czytelności dla języka angielskiego, zgodnie z którym o czytelności tekstu decydują dwa jego główne elementy: cechy leksykalne/semantyczne oraz syntaktyczne (Chall i Dale 1995). Możliwe jest, iż czynniki te są dobrymi predyktorami czytelności tekstu niezależne od języka, w którym zostały napisane. Odmienności między językami miałyby się zgodnie z taką hipotezą pojawiać dopiero na poziomie szczegółowym, dotyczącym doboru
Rozdział 4. Badania ankietowe 103 Tabela 4.15. Model zrozumienia tekstu: trudność tekstu i zainteresowanie jego tematem. Test luk Pytania otwarte b SE β t R 2 b SE β t R 2 Model 1 0,44 0,65 Trudność 1,92 0,37 0,67 5,14*** 4,19 0,53 0,81 7,92*** Model 2 0,49 0,70 Trudność 1,63 0,40 0,57 4,04*** 3,73 0,55 0,72 6,80*** Zainteresowanie 4,77 2,95 0,23 1,62 8,20 3,93 0,22 2,09* Uwagi: Zmienna wyjaśniana zrozumienie obliczone za pomocą testu luk/pytań otwartych, zmienne wyjaśniające trudność tekstu (krok 1), zainteresowanie tematem tekstu (krok 2). Skróty: b niestandaryzowany współczynnik regresji, SE błąd standardowy, β beta standaryzowana, t test t Studenta, R 2 skorygowany współczynnik determinacji R 2, określający procent wyjaśnionej wariancji zrozumienia tekstu. *p < 0, 05; ***p < 0, 001.
104 Edyta Charzyńska Tabela 4.16. Model zrozumienia tekstu: trudność tekstu i chęć jego przeczytania. Test luk Pytania otwarte b SE β t R 2 b SE β t R 2 Model 1 0,44 0,65 Trudność 1,92 0,37 0,67 5,14*** 4,19 0,53 0,81 7,92*** Model 2 0,50 0,71 Trudność 1,62 0,40 0,57 4,10*** 3,48 0,58 0,67 6,05*** Chęć przeczytania 7,29 4,04 0,25 1,80 t 15,49 6,39 0,27 2,42* Uwagi: Zmienna wyjaśniana zrozumienie obliczone za pomocą testu luk/pytań otwartych, zmienne wyjaśniające trudność tekstu (krok 1), chęć przeczytania tekstu (krok 2). t p < 0, 1); *p < 0, 05; ***p < 0, 001.
Rozdział 4. Badania ankietowe 105 wskaźników tychże cech. Uniwersalny charakter składowych czytelności ma jednak charakter przypuszczenia, wymaga więc dalszych, pogłębionych badań. Kolejnym celem drugiego badania było sprawdzenie związków między zmiennymi lingwistycznymi a poziomem zrozumienia czytanych tekstów. Dotychczasowe analizy tego typu przeprowadzane dla języka polskiego, poza pracą Sokołowskiego (1967), miały głównie charakter teoretyczny (por. rozdział 3 niniejszej książki). Na podstawie przeprowadzonych badań udało nam się stwierdzić, iż aby uczynić tekst bardziej przystępnym, należy: pisać krótkie zdania; nie używać długich wyrazów; zadbać o dużą liczbę czasowników; ograniczyć używanie rzeczowników (w tym przede wszystkim terminów, wyrazów obcych, rzeczowników zakończonych na -ość), a także gerundiów i łańcuchów dopełniaczowych. Trzeci cel badania odnosił się do związków między obiektywnym i subiektywnym poziomem zrozumienia czytanych tekstów a wybranymi zmiennymi związanymi z czytelnikiem: jego wykształceniem, zainteresowaniem tematem tekstu, chęcią jego przeczytania oraz orientacją w dziedzinie, której tekst dotyczył. Istotne dodatnie korelacje między badanymi zmiennymi potwierdzają złożoność procesu rozumienia, w którym biorą udział nie tylko czynniki natury lingwistycznej dotyczące tekstu, ale również te związane z czytelnikiem, charakteryzujące zarówno jego motywację, jak i wiedzę (Snow 2002). Potwierdzeniem tych rezultatów są wyniki wielokrotnej analizy regresji, które wskazują na istotną rolę chęci przeczytania tekstu oraz zainteresowania tematem tekstu w prognozowaniu poziomu zrozumienia. Niestety, z powodu stosunkowo niewielkiej liczby tekstów uwzględnionych w badaniu nasze analizy w tym zakresie miały ograniczony zasięg, nie obejmując m.in. istotnej zmiennej, jaką jest orientacja w dziedzinie, której dotyczy tekst. Oprócz realizacji głównych celów badania udało się nam osiągnąć jeszcze jeden, nieplanowany cel. Na podstawie uzyskanych danych stwierdziliśmy istotne korelacje między obiektywnymi miarami zrozumienia (test pytań zamkniętych, test luk i pytania otwarte) a subiektywną oceną poziomu zrozumienia. W obu badaniach współczynniki korelacji między tymi zmiennymi okazały się dodatnie i umiarkowanie silne. Na tej podstawie można stwierdzić, iż czytelnicy dość trafnie określają własny poziom zrozumienia tekstu, co wskazuje, iż warto tę miarę zrozumienia tekstu uwzględniać również w kolejnych badaniach. Jest to zbieżne z wynikami poprzednich badań wykorzystujących teksty w języku angielskim, wskazujących na to, iż subiektywne oceny trudności tekstu dokonane przez czytelników mogą być jego dobrym prognostykiem (Chall 1958, Popp i Porter 1975).