politycznym, dojrzałością polityczną, wartościami wyznawanymi przez polityków (Rozdział II), opis koncepcji i zagadnień dotyczących roli polityka

Transkrypt

1 1 Dr hab. Roman Cieślak, prof. Uniwersytetu SWPS Warszawa, 30 maja 2016 SWPS Uniwersytet Humanistycznospołeczny Wydział Psychologii Chodakowska 19/ Warszawa Recenzja rozprawy doktorskiej pt. Wypalenie zawodowe polskich polityków i jego uwarunkowania przygotowanej przez mgr Justyną Kuświk w przewodzie doktorskim przeprowadzanym przez Radę Naukową Instytutu Psychologii Polskiej Akademii Nauk Rozprawa doktorska Pani Justyny Kuświk dotyczy indywidualnych i środowiskowych uwarunkowań wypalenia zawodowego u polityków. W badaniu wzięło udział 105 polityków, 104 menadżerów i 100 osób zatrudnionych w służbie zdrowia w sumie 309 osób. Badani wypełnili zestaw narzędzi do pomiaru wypalenia zawodowego, neurotyzmu, ekstrawersji, kolektywizmu, indywidualizmu, wzoru zachowania A, stresu w pracy, satysfakcji z życia, radzenia sobie ze stresem, przekonań o własnej skuteczności, kryzysu w wartościowaniu oraz ankietę charakteryzującą pracę i aktywność polityczną. Badania miały charakter przekrojowy. Projekt badawczy, ze względu na swoją tematykę, jest oryginalny. Chociaż liczba badań na temat wypalenia zawodowego rośnie, wciąż nie wiemy na ile mechanizmy rozwoju wypalenia są uniwersalne, a o występowaniu wypalenia zawodowego i jego uwarunkowań wśród polityków wiedza jest szczątkowa. Z tego powodu poruszany w rozprawie obszar jest ważny i warty badań. Omówię kolejne części pracy, opierając się na standardowym dla prac empirycznych podziale (Wstęp teoretyczny, Metoda, Wyniki, Dyskusja), zaznaczając jednocześnie, że podział ten nie do końca jest uwidoczniony w recenzowanej rozprawie doktorskiej. Na Wstęp teoretyczny składają się rozdziały dotyczące wypalenia zawodowego i jego uwarunkowań (Rozdział I), zagadnienia związane z osobowością polityczną, przywództwem

2 2 politycznym, dojrzałością polityczną, wartościami wyznawanymi przez polityków (Rozdział II), opis koncepcji i zagadnień dotyczących roli polityka (Rozdział III). Ta część wstępna pracy kończy się na 163 stronie, a cała rozprawa nie jest poprzedzona żadnym streszczeniem. Pewnym wprowadzeniem do lektury dysertacji jest 3,5 stronicowy rozdział (str. 6-9), w którym dowiadujemy się, jaka jest struktura pracy oraz jakie są ogólne cele pracy. Z lektury wynika m.in., że celem było przede wszystkim wykazanie, czy politycy są zagrożeni wypaleniem zawodowym. Czy wypalenie to można uznać za tożsame z tak nazwanym zjawiskiem występującym u osób wykonujących zawody, takie jak nauczyciel, pielęgniarka, lekarz, pracownik socjalny, czy też przedstawicieli zawodów usług społecznych: policjantów, strażaków, strażników, strażników miejskich, kuratorów sądowych, ratowników medycznych. (.) Celem niniejszej dysertacji było potwierdzenie lub odrzucenie hipotez na temat wybranych, spodziewanych determinant tego zjawiska (str. 7). Tak przedstawione cele nie korespondują ani z grupami uwzględnionymi w badaniu (przypomnę: politycy, pracownicy służby zdrowia, kierownicy), ani nawet z celami, pytaniami badawczymi i hipotezami, które zaprezentowane są w dalszej części pracy, w rozdziale Metodologia badań własnych (str ). Konieczne wydawało by się zatem uspójnienie i sprecyzowanie przekazu dotyczącego celów badawczych. Jeśli przyjąć, że zasadniczą rolą Wstępu teoretycznego do pracy empirycznej jest przedstawienie przesłanek teoretycznych i empirycznych, które są u podstaw stawianych hipotez, to w recenzowanej dysertacji ta część pracy takiej roli nie pełni. Autorka dokonuje szerokiego, ale powierzchownego przeglądu różnych koncepcji odnoszących się do wypalenia zawodowego, stresu, stresu roli zawodowej, radzenia sobie ze stresem (Rozdział I), niekiedy odnosząc je do głównej badanej grupy (polityków). Rozdział II i III to napisany w podobnym stylu przegląd tym razem z zakresu psychologii politycznej. Chociaż znajomość przez Doktorantkę ważnych koncepcji z obszaru tematycznego pracy doktorskiej musi zostać oceniona pozytywnie, to jednak Wstęp teoretyczny nie spełnia swojej podstawowej funkcji nie jest bazującą na teorii i danych empirycznych argumentacją prowadzącą do postawienia hipotez. Dość zaskakujący jest fakt, że odwołując się do różnych koncepcji i teorii, Autorka nie wskazuje bezpośrednio, na czym polega ich przydatność dla badań własnych oraz w jaki sposób jej badania mogą przyczynić się do rozwoju omawianych teorii i koncepcji. Kolejnym elementem

3 3 pominiętym we Wstępie teoretycznym są istniejące badania. Wystarczy tu przywołać publikowane w ostatnich dwóch dekadach liczne meta-analizy dotyczące roli wypalenie zawodowego i związku tej zmiennej z przekonaniami o własnej skuteczności, zmiennymi dotyczącymi stresu (wymagania i zasoby), z wiekiem, płcią, doświadczeniem zawodowym, itd. Kluczową sprawą dla konstrukcji każdego Wstępu teoretycznego w pracy empirycznej jest wskazanie klarownego uzasadnienia dla hipotez. Samo przywołanie nawet licznych koncepcji nie jest uzasadnieniem dla hipotez. Hipotezy dotyczą najczęściej relacji między zmiennymi. Przesłankami dla tych relacji są modele teoretyczne opisujące zależności i istniejące dane empiryczne dotyczące tych zależności. Innymi słowy, w idealnej sytuacji, dobór zmiennych do badań nie jest dokonywany ad hoc, ale jest wynikiem oparcia się na jakimś istniejącym modelu, próbie jego modyfikacji, lub w najbardziej ambitnych przedsięwzięciach wynika z integracji różnych modeli lub własnej propozycji teoretycznej. Oczywiście nie neguję, że badania mogą mieć też także charakter eksploracyjny, ale w przedstawionej dysertacji tak nie jest. Autorka przedstawia swój własny model (str. 165), jednak we Wstępie teoretycznym nie znajdujemy uzasadnienia dla wszystkich zilustrowanych tam relacji oraz dla braku niektórych np. neurotyzm jest tylko pośrednio związany z wypaleniem zawodowym, i nie wiąże się bezpośrednio z zadowoleniem z życia, strategiami radzenia sobie ze stresem, nie ma też bezpośredniego związku przekonań o własnej skuteczności z wypaleniem zawodowym (pomimo, że nawet dane z meta-analizy wskazują na silny związek między tymi zmiennym). Co więcej w zaprezentowanym modelu badawczym znajdują się zmienne, które we wprowadzeniu omawiane były tylko zdawkowo (np. wzór zachowania A), a inne zmienne, które nie uwzględniono w modelu omówione są szeroko (np. koncepcje osobowości politycznej). Podsumowując, Autorka przedstawiła we Wstępie teoretycznym szeroki zakres koncepcji i modeli teoretycznych, ale ich przydatność dla uzasadnienia własnych hipotez jest bardzo ograniczona. We Wstępie po prostu brak uzasadnienia dla niektórych hipotez lub uzasadnienie to jest szczątkowe. Być może warto też niestety post factum zastanowić się nad sensownością stawiania tak dużej liczby hipotez, biorąc pod uwagę chociażby ograniczenia metodologiczne związane z problematyką wielokrotnych porównań i tzw. chance findings.

4 4 Część IV pracy Metodologia badań własnych jest dość niestandardowa. Znajduje się tu opis celu badań, model badawczy, pytania badawcze i hipotezy. Klasycznie treści te kończą cześć wprowadzającą badań empirycznych. Zatrzymując się na chwilę w tym miejscu, należy stwierdzić, że Autorka formułuje hipotezy i pytania badawcze niewystarczająco precyzyjnie. Na przykład w pytaniu badawczym P.2. zainteresowana jest tym, czy istnieją różnice w poziomie wypalenia zawodowego oraz stresu w pracy pomiędzy badanymi grupami (str. 166), po czym stawia na przykład tak brzmiącą hipotezę H.2.1: Politycy różnią się od grup porównawczych ze względu na poziom wypalenia zawodowego (str. 167). Jak widać, Autorka nie mówi w tej hipotezie o kierunku oczekiwanych różnic. Inny przykład dotyczy błędnie sformułowanych hipotez dotyczących mediacji. Przykładowe pytanie z tego zakresu brzmi: Czy relacja pomiędzy poczuciem własnej skuteczności a wypaleniem zawodowym realizuje się poprzez działanie stresu w pracy (str. 169), a hipoteza przedstawiona została następująco: Relacja pomiędzy poczuciem własnej skuteczności a wypaleniem zawodowym realizuje się poprzez działanie stresu w pracy (str. 173). Nie wiemy, jakich wyników Autorka się spodziewa jaki kierunek ma mieć zależność pomiędzy zmienną niezależną (poczucie własnej skuteczności) a mediatorem (stres w pracy) i między mediatorem (stres w pracy) a zmienną zależną (wypalenie zawodowe), lub chociażby, czy omawiany pośredni efekt poczucia własnej skuteczności na wypalenie zawodowe jest pozytywny, czy negatywny. Konieczne jest zatem uwzględnienie w hipotezach kierunku spodziewanych zależności Jak już wskazałem, dobór zmiennych nie był wprost uzasadniony wskazaniem określonej teorii lub ich kompilacji. Tak samo nie zawsze uzasadniony był dobór narzędzi pomiarowych. Nie wiemy na przykład, dlaczego wybrano tę, a nie inną metodę pomiaru stresu w pracy, a przede wszystkim brak uzasadnienia dla wyboru kluczowego narzędzia do pomiaru wypalenia zawodowego. Nie wchodząc w dość niewygodny temat praw do posługiwania się tym narzędziem, należy zadać pytanie, dlaczego właśnie to narzędzie i tę jego wersją Autorka wykorzystała. Następnie, skoro z metaanaliz wiemy, że różne są korelaty poszczególnych podskal skali MBI, to dlaczego w analizach uwzględniono tylko wynik ogólny wypalenia zawodowego?

5 5 Inna ważna sprawa, która nie znalazła się w rozprawie doktorskiej to charakterystyka osób badanych i sposób ich rekrutacji. Nie wiemy, czy porównywane grupy są równoważne pod względem podstawowych właściwości demograficznych, co jak wiemy może mieć zasadnicze znaczenie przy porównywaniach międzygrupowych. W części opisującej Metodę, brakuje też sporo informacji dotyczących zastosowanych procedur analizy statystycznej i opracowywania danych. Na przykład nigdzie nie znalazłem odpowiedzi na pytanie, jak Autorka postępowała z brakami danych, jeśli takie występowały. Podsumowując, w pracy brakuj ważnych i standardowych informacji dotyczących metody badań, np. bardziej szczegółowego opisu grup badanych pod względem zmiennych socjodemograficznych oraz procedur związanych z opracowaniem danych. Konieczne też wydaje się przeformułowanie hipotez. Opis wyników badań (Rozdział V) nawiązuje do postawionych hipotez. Zastrzeżenia budzi forma prezentacji wyników i pewien nieład. Na przykład w rozdziale nie ma klasycznej części, w której zebrane są dane opisowe dla głównych zmiennych oraz pełnej matrycy korelacji pomiędzy zmiennymi. Owszem odpowiednie dane można odnaleźć w różnych podrozdziałach, ale nie jest to zadanie łatwe, szczególnie dla tych osób, które raporty empiryczne wykorzystują jako źródło dany dla meta-analiz. Główne wyniki analiz można podzielić na kilka części. Jest tu na przykład seria jednoczynnikowych analiz wariancji, których celem było sprawdzenie, czy poziom stresu i wypalenia zawodowego zależy od takich czynników jak przynależność do grupy zawodowej (politycy, pracownicy służby zdrowia, kierownicy), typ wykonywanego mandatu (parlamentarzysta, radny), przynależność partyjna (koalicja rządząca, opozycja), miejsce zamieszkania (poza miejscem pracy, w miejscu pracy), częstość kontaktowanie się z mediami (nigdy, rzadko, czasem, często, bardzo często), częstość uczestniczenia w konfliktach politycznych (nigdy, rzadko, czasem, często), częstość uczestniczenia w negocjacjach politycznych (nigdy, rzadko, czasem, często, bardzo często). Cała ta seria jednoczynnikowych analiz wariancji nie zawsze jest uzasadniona, nie tylko ze względu na charakter skal pomiarowych (np. pięciostopniowa skala częstości), ale także ze względu na pomijanie

6 6 problemu wielokrotnych porównań i problematyki tzw. chance findings. Jeśli już analizy te musiały się znaleźć ze względu na hipotezy, to dlaczego nie przeprowadzono wieloczynnikowej analizy wariancji tam gdzie było to możliwe? Opis efektów mediacyjnych bazuje na analizie regresji i wykorzystaniu dodatku PROCESS do oprogramowania SPSS, który umożliwia przeprowadzanie analiz z uwzględnieniem tak zwanego bootstrappingu. Taki sposób analiz uwalnia badaczy od problemów związanych z brakiem rozkładu normalnego dla zmiennych. Ta część opisu wyników zaprezentowana jest w dość schematyczny sposób, ze zdaniami, które powtarzają się przy kolejnych opisach efektów mediacyjnych. Niestety część stwierdzeń jest nieprawdziwa lub nieprecyzyjna, np. w celu weryfikacji hipotezy efektu pośredniego przeprowadzono procedurę bootstrappingu (str. 242, 245, 251, 255, 259, 261, 271, 276). Jak wiadomo, bootstrapping nie służy bezpośrednio weryfikacji efektów pośrednich. To zdanie - wielokrotnie powtarzane - może sugerować, że Autorka inaczej rozumie procedurę mediacji niż Hayes, którego narzędziem się posługuje. Niezależnie od tych nieścisłości, analizy mediacji wydają się być przeprowadzone poprawnie, chociaż nie wiemy, dlaczego nie kontrolowano w nich roli innych zmiennych ubocznych. Dodatkowo, zastosowane podejście do analizy zaprezentowanego własnego modelu (str. 165), sprawia, że Autorka nie weryfikuje całego modelu, ale tylko jego fragmenty, które nie koniecznie da się ułożyć w całość. Na występowanie efektów mediacyjnych wpływ mogą mieć przecież właśnie kowarianty zmiennej zależnej i mediatora. Ostatnim etapem analiz statystycznych jest analiza ścieżkowa, która jednak nie dotyczy własnego hipotetycznego modelu (str. 165), ale bazuje na wynikach wcześniej przedstawionych analiz mediacji. Innymi słowy, najpierw poprzez analizę mediacji zidentyfikowano efekty mediacyjne, a teraz poprzez analizę ścieżkową sprawdza się, czy układ zależności wyłoniony we wcześniejszym etapie eksploracji pasuje do zebranych danych empirycznych. Nie jest to klasyczne podejście w analizie ścieżkowej sprawdza się zazwyczaj czy model teoretyczny (sic!) pasuje do zebranych danych empirycznych, a nie czy model będący wynikiem eksploracji danych pasuje do danych. Ta różnica w podejściu do analizy ścieżkowej ma swoje ważne konsekwencje interpretacyjne. Autorka nie weryfikuje modelu teoretycznego, ale stworzony ad hoc model empiryczny. Warto w tym kontekście także zwrócić uwagę na mylną interpretację

7 7 niektórych wskaźników dopasowania. Niepokojąco wyglądają wskaźniki dopasowania pierwszych dwóch modeli sytuacja, w której liczba stopni swobody jest większa od wartości chi2 wskazuje na problemy ze specyfikacją modelu. Widać to także analizując wartość chi2/df, która jest mniejsza od 1. Inne problemy z testowanym modelem dotyczą braku uzasadnienia dla wskazanego w modelu braku związków pomiędzy zmiennymi egzogennymi, które standardowo uznaje się za skorelowane. Biorąc pod uwagę, że celem pracy było sprawdzenie, czy mechanizmy wypalenia są podobne u polityków i w przypadku dwóch innych grup badawczych, należało zbudować jeden model i sprawdzić, czy jest on dopasowany w innych grupach. Można też było po prostu skonstruować model trzygrupowy, który umożliwiłby sprawdzenie, czy przynależność do grupy jest moderatorem dla poszczególnych relacji uwzględnionych w modelu. Przy takiej strategii, konieczne byłoby porównanie trzygrupowego modelu (z wolną estymacją parametrów dla badanych relacji) z modelami zagnieżdżonymi (w których poszczególne relacje ustala się jako takie same). Procedura taka opisana jest nawet w podręczniku do AMOSa i jest stosunkowo prosta, chociaż należy przyznać czasochłonna. Reasumując, pomimo obfitości analiz i ich różnorodności, zastosowane narzędzia statystyczne nie doprowadziły do trafnego zweryfikowania hipotez i przyjętego modelu badawczego. Autorka wykorzystała na przykład serię jednoczynnikowych analiz wariancji, zamiast analiz wieloczynnikowych, analizy mediacji przeprowadziła w oderwaniu od złożonych zależności i innych zmiennych, które zaprezentowała w swoim modelu badawczym, zastosowała nieklasyczne podejście do analizy ścieżkowej, w której uwidoczniły się problemy ze specyfikacją modeli i wskaźnikami dopasowania. Kolejny rozdział, Podsumowanie, sprowadza się do przypomnienia hipotez i wyników do nich odnoszących się oraz pewnej próby syntetycznego zaprezentowania wyników. Zasadniczo, w pracy doktorskiej brakuj klasycznego i dla wielu badaczy najciekawszego elementu: dyskusji wyników. Doktorantka nie omawia, jak jej badania przyczynią się do rozwoju teorii, nie wskazuje też tych teorii. W podsumowaniu nie są też omówione ograniczenia badań własnych,

8 8 możliwości zastosowań praktycznych, ani nawet nie wskazuje się najważniejszych mocnych elementów pracy. Ta część dysertacji doktorskiej po prostu wygląda na nieukończoną. Reasumują, w ostatniej części pracy powinno się znaleźć nie tylko podsumowanie wyników badań własnych, ale także odniesienie ich do teorii i/lub danych empirycznych, które były u podłoża stawianych hipotez. Ważne też byłoby wskazanie ograniczeń badań własnych. Kilka uwag dotyczących formalnych aspektów przestawionej do recenzji dysertacji doktorskiej. W rozprawie nie ma streszczenia i słów kluczowych po polsku. Nie dołączono także zestawu narzędzi wykorzystanych w badaniu. Chociaż nie jest to wymóg prawny, przyjęło się w pracach doktorskich z zakresu psychologii, że są one pod względem formalnym zgodne ze standardami edytorskimi Amerykańskiego Towarzystwa Psychologicznego. Autorka tych standardów nie respektuje widać to na przykładzie sposobu formatowania tekstu, tabel, rycin, sposobu cytowania publikacji, sporządzania bibliografii, ale także w opisywania wyników statystycznych. Co ważniejsze także struktura dysertacji odbiega od standardów prac empirycznych. Dla przykładu cel badań oraz pytania i hipotezy badawcze przedstawione są w Rozdziale IV Metodologia Badań Własnych. Konkluzja Jak widać z szeregu krytycznych uwag przedstawionych w recenzji, dysertacja doktorska Pani mgr Justyny Kuświk wydaje się nieskończona lub niedopracowana, a struktura dysertacji oraz strategia analizy danych wymagają ponownego przemyślenia. Domyślam się, że Autorka włożyła ogromną ilość pracy w pozyskanie materiału empirycznego. Samo przedsięwzięcie badawcze jest bardzo ciekawe i oryginalne. Rzeczywiście, nie ma badań dotyczących mechanizmu wypalenia zawodowego wśród polityków i nie ma w znanej mi literaturze porównania mechanizmu rozwoju wypalenia zawodowego wśród polityków z mechanizmami, które zbadane są w przypadku innych grup zawodowych. Oczywiście klasycznie w celu weryfikacji mechanizmów mediacji, należałoby przeprowadzić badania podłużne, a nie przekrojowe, ale domyślam się, że zadanie to ze względu na niedostępność grupy

9 9 praktycznie jest niewykonalne. Pamiętając o tym ograniczeniu, istnieje szereg innych elementów, które w dysertacji można poprawić. Wymienię kilka: 1. Ścisłe powiązanie wstępu teoretycznego rozprawy doktorskiej z problematyką badań, tak, aby znalazło się w nim uzasadnienie dla postawionych hipotez. Wiąże się to zapewne z poważnym skróceniem tej części, która obecnie nie dotyczy bezpośrednio badanej problematyki i z koniecznością wskazania głównych teorii, będących źródłem dla postawionych hipotez oraz z koniecznością omówienia materiału empirycznego (nawet jeśli dotyczy on innych grup zawodowych, może on stanowić tło dla stawianych hipotez dotyczących rozwoju wypalenie zawodowego wśród polityków); 2. Przeorganizowanie struktury pracy w taki sposób, aby odpowiadał on klasycznej strukturze empirycznego raportu i zawierał wszystkie niezbędne części, np. streszczenie po polsku, opis osób badanych, załączniki zawierające wykorzystane narzędzia badawcze; 3. Uporządkowanie opisu wyników w taki sposób, aby nie przypominał on roboczego raportu z badań, ale uporządkowany, mający swoją logikę materiał przedstawiający statystyki opisowe oraz wyniki poprawnie wykorzystanych i zinterpretowanych procedur statystycznych; 4. Zaprezentowanie w ostatniej części pracy nie tylko podsumowania wyników badań, ale także pogłębionej dyskusji pokazującej, co badania wnoszą do rozwoju teorii stanowiących punkt wyjścia dla hipotez i wskazanie, jak wynik badań własnych można odnieść do innych istniejących danych empirycznych. Warto także wprost powiedzieć o ograniczeniach badań własnych i możliwościach praktycznych ich zastosowań. Jako recenzent zobowiązany jestem do kierowania się zapisami Ustawy z dnia 14 marca 2003 r. o stopniach naukowych i tytule naukowym oraz stopniach i tytule w zakresie sztuki (Dz.U Nr 65 poz. 595, z późn. zm.), a dokładniej do oceny przedstawionej pracy doktorskiej w świetle zapisów art. 13 ust 1, który mówi, że Rozprawa doktorska ( ) powinna stanowić oryginalne rozwiązanie problemu naukowego lub oryginalne dokonanie artystyczne

10 10 oraz wykazywać ogólną wiedzę teoretyczną kandydata w danej dyscyplinie naukowej lub artystycznej oraz umiejętność samodzielnego prowadzenia pracy naukowej lub artystycznej. Przedstawiona do recenzji praca nie spełnia ustawowych wymagań: nie stanowi oryginalnego rozwiązania problemu naukowego i nie świadczy o umiejętności samodzielnego prowadzenia pracy naukowej. Biorąc jednak pod uwagę zebrany przez Doktorantkę interesujący materiał empiryczny oraz jej oryginalny pomysł badawczy, wnioskuję do Rady Naukowej Instytutu Psychologii PAN o skorzystanie z możliwości, jakie stwarza Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 30 października 2015 r. w sprawie szczegółowego trybu i warunków przeprowadzania czynności w przewodzie doktorskim, w postępowaniu habilitacyjnym oraz w postępowaniu o nadanie tytułu profesora (Dz.U. 2015, poz. 1842), a konkretnie z par. 6 ust. 6, który mówi, że Recenzja może zawierać wnioski dotyczące uzupełnienia lub poprawy rozprawy doktorskiej, które rada jednostki organizacyjnej przeprowadzającej przewód doktorski przekazuje kandydatowi i promotorom ( ).Uzupełnioną lub poprawioną rozprawę doktorską kandydat przedkłada radzie jednostki organizacyjnej przeprowadzającej przewód doktorski, która kieruje ją do ponownej oceny przez tych samych recenzentów ( ). Wnioskuję zatem o umożliwienie mgr. Justynie Kuświk uzupełnienia i poprawy rozprawy doktorskiej, zgodnie ze wskazanymi w recenzji sugestiami. Dr hab. Roman Cieślak, prof. Uniwersytetu SWPS