METODY I TECHNIKI BADAŃ SPOŁECZNYCH Dr hab. Piotr Nowak Instytut Socjologii Uniwersytet Jagielloński e-mail: piotr.nowak@uj.edu.pl
Definicja nauki system czynności badawczych służących do obiektywnego poznania rzeczywistości i realizacji pewnych celów poznawczych ogół zweryfikowanej wiedzy, wytwór określonych czynności badawczych, obejmujący twierdzenia, zespoły twierdzeń, teorie i hipotezy odnoszące się do badanego fragmentu rzeczywistości, uzasadnione w sposób dostępny intersubiektywnej komunikowalności i intersubiektywnej kontrolowalności, oraz techniki i metody prowadzące do obiektywnego poznania świata Źródło: Olechnicki K., Załęcki P. Słownik socjologiczny, 1998.
WIEDZA NAUKOWA I WIEDZA POTOCZNA CECHY WIEDZY POTOCZNEJ Wartościowanie Wiedza potoczna mówi, co jest dobre a co jest złe (np. palenie tytoniu jest złe). Podziały dychotomiczne (świat czarno-biały) Np. na bogatych i biednych mądrych i głupich. Uznanie, że przyczynami obecnego stanu rzeczy są celowe działania ludzkie. Traktowanie następstwa w czasie jako związku przyczynowego (np. spotkanie czarnego kota i nieszczęście po nim następujące prowadzi do wniosku, że to spotkanie z kotem wywołało nieszczęście) Pochopne uogólnienia (np. Niemiec, który ma kontakt z Polakami, którzy piją i kradną, uogólnia to na wszystkich Polaków) Stereotypy to nadmierne uogólnienia na temat pewnej kategorii społecznej. CECHY WIEDZY NAUKOWEJ Jest wolna od wartościowania Wiedza naukowa odpowiada na pytania: jak jest?, dlaczego tak jest? i jak będzie? Palenie tytoniu skraca życie. Jest złe tylko wówczas, gdy długie życie jest dla nas wartością. Świat ukazany jest jako wielowymiarowy i złożony (co to znaczy być bogatym, co składa się na bogactwo, kto należy do średniozamożnych, gdzie jest granica ubóstwa). Ukazanie, że pewne rzeczy istnieją niezależnie od celowych działań ludzi (np. popędy, wrodzone właściwości umysłu ludzkiego, kataklizmy) lub są skutkami niezamierzonymi (ubocznymi) tych działań (efekt cieplarniany, strukturalne bezrobocie). Wskazanie, że jeśli B następuje po A, to przyczyną B może być coś innego niż A. Dopasowanie stopnia ogólności twierdzeń do zakresu danych, które są ich podstawą. Chcąc formułować wnioski odnośnie pewnej zbiorowości, socjolog bada cała tę zbiorowość lub próbę reprezentatywną dla tej zbiorowości ze względu na badaną cechę. Szukanie prawdy w sposób niesystematyczny, przypadkowy (np. to, że czerwone klocki pływają a niebieskie samochody toną, prowadzi do wniosku, że czerwone przedmioty pływają a niebieskie toną czyli pływalność zależy od barwy) Dążenie do prawdy (minimalizacji błędu) w sposób systematyczny 1. Naukowcy odpowiadają na pytania: jak jest?, dlaczego tak jest?, jak będzie? 2. Prowadzą wielokrotną weryfikację w różnych warunkach. 3. Proces badawczy jest opisany i udostępniony kontroli. 4. Zbieranie teorii i dostępnych danych dotyczących problemu, którym się zajmujemy. Jest odporna na argumenty Jest otwarta na argumenty i krytykę
BADANIA SPOŁECZNE Systematyczna obserwacja życia społecznego w celu odkrycia i zrozumienia prawidłowości, które wykazuje. Badacz odkrywa naturę relacji międzyludzkich Sprawdza co determinuje zachowania Pomiar i interpretacja
METODA BADAWCZA To określony i powtarzalny sposób zdobywania pewnego typu informacji o rzeczywistości społecznej, niezbędnych dla rozwiązania określonego problemu badawczego
PROCES BADAWCZY Problem Uogólnienia Hipotezy Teoria Analiza Pomiar
ETAPY PROCESU BADAWCZEGO 1. Temat (tytuł badania) - zakres, w którym będziemy się poruszać; rzecz, której to badanie dotyczy 2. Gromadzimy istniejący stan wiedzy na dany temat i dokonujemy jego krytycznej analizy. Tylko ona umożliwia sensowne postawienie problemu badawczego. 3. Sprecyzowanie głównych pojęć (jakie to pojęcia, jakie znaczenie zwykle im się nadaje, które z istniejących znaczeń przyjmę, jak pojęcie zmodyfikować). 4. Sformułowanie problemu badawczego - to lista pytań, na które w trakcie badania chcę odpowiedzieć. Określenie wskaźników. 5. Przedmiot badania - z reguły jest to zbiorowość, co do której zadajemy takie, a nie inne pytania. 6. Cel badania - eksploracja (badanie wstępne, rozpoznawcze), opis czy wyjaśnienie 7. Określenie co jest jednostką analizy - osoba, gospodarstwo domowe, instytucja, jednostki administracyjne (np. gmina, województwo). 8. Wybór techniki badań (wywiad, ankieta, obserwacja, eksperyment) 9. Sformułowanie narzędzia badawczego (np. kwestionariusza wywiadu lub kwestionariusza ankiety). 10. Badania eksploracyjne (w tym także pilotażowe). Zebrane informacje, np. odpowiedzi sugerują, że trzeba jeszcze coś wziąć pod uwagę. 11. Ostateczna operacjonalizacja naszych pojęć, hipotez. Ostateczne sformułowanie narzędzi badawczych. 12. Dobranie próby - dobór losowy prosty lub warstwowy, dobór celowy proporcjonalny (kwotowy; do próby mają większe szanse trafić osoby, które mają cechy, które nas interesują; musimy znać rozkład cech). 13. Przeprowadzenie badania. 14. Zakodowanie danych według instrukcji kodowej. 15. Analiza danych, sporządzenie raportu z badań.
ETAPY PROCESU BADAWCZEGO 1. Problem badawczy. 2. Konceptualizacja - ( proces w toku którego określamy, co mamy na myśli używając danego terminy w badaniach ) Konceptualizacja nadaje jasne znaczenie pojęciu poprzez wyszczególnienie jednego lub większej liczby wskaźników tego, co mamy na myśli. Chciałbyś badać czas wolny ale co to jest czas wolny? Wskaźnik to znak obecności lub nieobecności badanego pojęcia. 1. Operacjonalizacja - polega na stworzeniu konkretnych procedur badawczych (operacji), które pozwolą na dokonanie empirycznych obserwacji odpowiadających tym pojęciom w świecie rzeczywistym (odpowiedź na pytanie: Jak będziemy faktycznie mierzyć badane zmienne?) 2. Populacja i dobór próby. 3. Obserwacja. 4. Przetwarzanie danych (kodowanie) 5. Analiza. 6. Zastosowanie.
PROBLEM BADAWCZY Problem intelektualny wymagający rozwiązania w postaci badań naukowych Informacje o cechach pewnych przedmiotów i zdarzeń Informacje o charakterze i układzie relacji między przedmiotami
Głównym celem zlecanej ewaluacji była odpowiedź na następujące pytania ewaluacyjne: 1. Jaka jest struktura realizowanych projektów w ramach Leadera? 1.2. jakie z nich stanowią największy udział w podziale na: 1.2.1. rodzaj realizowanego działania w ramach (małe projekty) 1.2.2. rodzaj realizowanego projektu, 1.2.3. beneficjenci ostateczni projektu 1.2.4. wielkość realizowanego projektu 1.2.5. obszar, na którym projekt jest realizowany 2. Czy realizowane projekty są zgodne z zapisami dokumentów programowych? 3. Na ile działania podejmowane w ramach małych projektów realizują ogólne cele LSR?
4. Czy realizowane projekty wpływają pozytywnie na rozwój danego regionu? 5. Czy projekty wdrażane przez beneficjentów odpowiadają na potrzeby rynku pracy na danym obszarze? 6. Jakie są bariery i problemy organizacyjne w systemie, skutkujące zróż nicowanym zainteresowaniem beneficjentów poszczególnymi działa niami? 7. W jaki sposób można przezwy ciężyć te bariery i problemy? 8. Jakie są przyczyny zróżnicowanego zainteresowania beneficjentów realizacją poszczególnych działań? 9. Czy przepływ informacji pomiędzy LGD a beneficjentami ma wpływ na liczbę realizowanych projektów w regionie? 10. Czy podział kompetencji między poszczególnymi instytucjami zaangażowanymi w realizację Leadera wpływa na efektywną i skuteczną realizację poszczególnych działań? Jeżeli tak, to w jakim stopniu?
Hipoteza Hipoteza (gr. hypóthesis przypuszczenie) osąd, który podlega weryfikacji. Zdanie, które stwierdza spodziewaną relację między jakimiś zjawiskami, propozycja twierdzenia naukowego, które zakłada możliwą lub oczekiwaną w danym kontekście sytuacyjnym naturę związku. Stawianie i testowanie hipotez to jeden z podstawowych procesów twórczego myślenia oraz fundamentalny element procesu tworzenia nauki.
Hipoteza Proponowana odpowiedź na postawione pytanie badawcze Problem: Członkowie LGD nie angażują się w działania LGD Hipoteza: Członkowie LGD nie angażują się w działalność LGD, ponieważ nie mają czasu na tego typu działalność Zmienna zależna: brak zaangażowanie członków LGD w działanie LGD Zmienna niezależna: brak czasu na tego typu działalność
Hipoteza na tyle nowe, że wskazywałyby jakieś nieznane aspekty faktów, procesów itp.; pojęciowo jasne, tzn. wyrażone w ostrych, jednoznacznych terminach; niesprzeczne wewnętrznie, zatem nie zawierające zdań sprzecznych ze sobą; empirycznie sprawdzalne; nie powinny być tautologią, ani banałem.
Cechy hipotez: Prostota im bardziej zawiła hipoteza tym trudniej ją weryfikować Adekwatność hipoteza musi być adekwatną odpowiedzią na postawiony problem badawczy Konkretność hipoteza nie powinna być zbyt ogólna Oczywistość hipoteza nie może być oczywista
Hipoteza Proponowana odpowiedź na postawione pytanie badawcze Problem: Członkowie LGD nie angażują się w działania LGD Hipoteza: Członkowie LGD nie angażują się w działalność LGD, ponieważ nie mają czasu na tego typu działalność Zmienna zależna: brak zaangażowanie członków LGD w działanie LGD Zmienna niezależna: brak czasu na tego typu działalność
POJĘCIA I WSKAŹNIKI Pojęcie abstrakcja, reprezentująca obiekt, własność obiektu lub pewne zjawiska, które badacz wykorzystuje do opisywania świata empirycznego Wskaźnik- to empiryczny, obserwowalny element pojęcia
OGÓLNA KLASYFIKACJA BADAŃ Badania ilościowe Badania opisowe, z przewagą pytań rozstrzygających Badania jakościowe Badania eksploracyjne, prowadzone w celu rozpoznania i zdefiniowania problemu - głównie odpowiada na pytanie ile - możliwość ilościowej generalizacji wyników na populację - odpowiada na pytania: co, jak, dlaczego - brak możliwości generalizacji wyników na populację
Definicje ewaluacji Termin ewaluacja (ang. evaluation, franc. évaluation) oznacza oszacowanie wartości (Oxford University Press 2002). W praktyce polskiej administracji połowy lat 90. termin ten jednak zniekształcono, tłumacząc go jako ocena. Tymczasem ewaluacja to proces, w którym ocena jest tylko jednym z elementów.
EWALUACJA To zróżnicowany zestaw metod i działań zorientowany na krytyczną refleksję nad wartością i jakością interwencji publicznych zarówno procesów ich wdrażania, jak i ich efektów.
Kryteria ewaluacji
Typologie ewaluacji (1)
Typologie ewaluacji (2)
Ewaluacja bieżąca Ewaluacja on-going (ewaluacja bieżąca), której celem jest lepsze zrozumienie zachodzących procesów oraz za planowanie ewentualnych działań naprawczych. Badanie przeprowa dzone są w trakcie realizacji przedsięwzięcia i koncentruje się na analizie efektywności systemu zarządzania i wdrażania programu, z naciskiem na identyfikację barier w jego realizacji. Celem badania jest także przygotowanie opisu stanu realizacji przyjętych celów w sto sunku do założeń, oraz wypracowanie rekomendacji, które pozwoliłyby uniknąć powielania w przyszłości błędów zidentyfikowanych na bada nym etapie.
Funkcje ewaluacji (1)
Funkcje ewaluacji (2)
Przedmiot badania Potrzeby informacyjne i pytania na które szukamy odpowiedzi Zakres badania Ograniczenia operacyjne: ludzie, dane, czas, budżet Podejście, metody i narzędzia
Potrzeby informacyjne Potrzeby a typy czasowe ewaluacji Badanie ex ante Racjonalność i spójność planu Przygotowanie systemu wdrażania Baza dla porównań (konktest i punkt wyjścia) Badanie bieżące (on-going) Poprawa procesu wdrażania Usuwanie blokad wdrażania Baza dla porównań (na początku prog.) Ocena pierwszych efektów (zaawansowany prog.) Badanie ex post Ocena rzeczywistych efektów Zweryfikowanie relacji przyczynowo-skutkowej
Co zrobić z wiedzą z badań ewaluacyjnych?
Poszukiwanie wartości dodanej w Leaderze Benchmarking (badania porównawcze lub analiza porównawcza) - porównywanie wartości wskaźnika dla badanej zbiorowości do: 1) wartości osiągniętych przez inne konkretne zbiorowości lub 2) do przeciętnej wartości dla pozostałych zbiorowości (np. średniej wartości)
PODSTAWOWE METODY I TECHNIKI BADAŃ JAKOŚCIOWYCH Zogniskowany wywiad grupowy (fokus) Indywidualny wywiad pogłębiony IDI W krótkim czasie poznajemy opinie i poglądy respondentów Poczucie anonimowości w grupie wyzwala większa swobodę dyskusji Interakcja pomiędzy uczestnikami generuje nowe pomysły Pozwala rozmawiać na tematy osobiste Zwiększa szanse dotarcia do trudnych aspektów badanych zjawisk Daje rozmówcy możliwość wypowiedzenia się
NAJCZĘŚCIEJ STOSOWANE METODY W BADANIACH EWALUACYJNYCH Metody ilościowe: Metod jakościowe: Bezpośrednie Standaryzowane Wywiady Kwestionariuszowe (PAPI) Wywiady Telefoniczne Wspomagane Komputerowo (CATI) Ankiety internetowe (CAWI) Indywidualne Wywiady Pogłębione (IDI) Zogniskowane Wywiady Grupowe (FGI) Studium Przypadku (Case Study) Analiza danych zastanych (desk research)
FOKUS Realizowana w grupie, zogniskowana na temacie, pogłębiona dyskusja, prowadzona przez moderatora 8-10 uczestników specjalnie wyselekcjonowanych Odpowiednie warunki prowadzenia wywiadu Scenariusz: ramowy zapis wątków do dyskusji Testy projekcyjne: (służą poznaniu tego, co jest przez respondentów nie zawsze uświadamiane, o czym nie potrafią swobodnie mówić lub nie zdaja sobie z tego sprawy) Collage Personalizacja Testy niedokończonych zdań
Miejsce realizacji FGI
Funkcje pytań w FGI
Najbardziej typowe sygnały niewerbalne przekazywane przez moderatorów i przykłady ich interpretacji
BADANIA JAKOŚCIOWE c.d Badania terenowe: umożliwiają badaczom obserwowanie życia społecznego w naturalnym środowisku Obserwacje uczestniczące: (jawna/ukryta) Analiza historyczno-porównawcza Badania niereaktywne Badania ewaluacyjne
BADANIA ILOŚCIOWE Badania opisujące populacje (procenty, liczby) Standaryzacja Obiektywność Generalizacja Duże próby
PODSTAWOWE METODY I TECHNIKI ILOŚCIOWE Metody Sondaż opinii (survey) - Wywiad osobisty - Ankieta pocztowa - Wywiad telefoniczny (CATI) - Wywiad komputerowy (CAWI) Techniki Kwestionariusze Skale postaw Dzienniczki Panele
PYTANIA ANKIETOWE Pytania Zamknięte Otwarte Kafeteria zamknięta Kafeteria półotwarta Pytania skale
Przykład konstrukcji pytań 1. Czy wejście do UE było korzystne dla Polski? Tak Nie Trudno powiedzieć 1. Zdecydowanie nie 2. Raczej nie 3. Ani tak, ani nie 4. Raczej nie 5. Zdecydowanie nie 2. Podaj plusy przystąpienia Polski do UE: (zaznacz dowolną liczbę odpowiedzi) Korzyści ekonomiczne Bezpieczeństwo państwa Swoboda podróżowania Inne (jakie?). 3. Co sądzisz o korzyściach z przystąpienia Polski do UE?
SKALOWANIE Wyrażanie sądu przez respondenta poprzez wykorzystanie uporządkowanego zbioru kategorii (mierzymy intensywność postaw) Skala dystansu społecznego (Bogardus) Skale postaw Skale zróżnicowania semantycznego 1. Zdecydowanie się nie zgadzam 2. Raczej się nie zgadzam 3. Ani się zgadzam, ani nie zgadzam 4. Raczej się zgadzam 5. Zdecydowanie się zgadzam Zamojska Telefonia Lokalna jest firmą: Dużą --------------------------- Małą Drogą -------------------------- Tanią
O czym należy pamiętać układając kwestionariusz!!! 1. Pytania kwestionariusza powinny być podawane we właściwej kolejności 2. Pytanie powinno dotyczyć tylko jednej sprawy 3. Pytanie powinno dotyczyć faktów, które respondenci mogą sobie łatwo przypomnieć 4. Nie należy wymagać uogólnień w odpowiedzi na pytania 5. Pytania powinny być jasne i zrozumiałe dla każdego uczestnika badań, zwłaszcza osób mniej inteligentnych, słabiej wykształconych 6. Należy unikać pytań sugerujących, naprowadzających respondenta na odpowiedzi oczekiwane przez organizatorów 7. Należy unikać pytań kłopotliwych dla respondenta 8. Układ i prezentacja graficzna kwestionariusza powinny ułatwiać udzielenie odpowiedzi
WADLIWY KWESTIONARIUSZ 1. Jaki jest twój dochód? 2. Czy latasz regularnie, czy tylko okazjonalnie? 3. Czy lubisz linie LOT? 4. Ile reklam linii lotniczych widziałeś w TV rok temu w kwietniu? Ile w tym roku? 5. Jak ważne i decydujące atrybuty bierzesz pod uwagę przy ocenie linii lotniczych? 6. Czy sądzisz, że rząd ma prawo opodatkować bilety lotnicze i pozbawić w ten sposób wielu ludzi możliwości latania? 7. Czy Twoim zdaniem Polacy często latają samolotami? 8. Na zakończenie powiedz, jakie czytasz gazety i oglądasz programy telewizyjne?
PRÓBA Wnioskowanie Populacja Próba
KOGO WYBRAĆ DO BADANIA?
JAK DOBIERAĆ PRÓBĘ? wielkość próby losowość próba kwotowa kula śnieżna informatorzy N=1000 http://www.cem.pl/
DZIĘKUJĘ