Badania publikacji elektronicznych Rodzaje i metody badań Dr hab. Marek Nahotko 1
Rodzaje badań Badania ilościowe: mają na celu zgromadzenie danych, które można poddać obróbce statystycznej. Dąży się do nadania miar zjawiskom i uogólnienia wyników wobec całej badanej grupy; Badania jakościowe: zwykle poprzedzają lub uzupełniają ilościowe. Zbieranie informacji dotyczących motywów, postaw i preferencji. Wyjaśniają analizowane zjawiska, których nie da się potwierdzić statystycznie; Metodologia mieszana. 2
Cele badań naukowych Badania teoretyczne: podejmowane dla wyjaśnienia zjawisk oraz opracowania nowych teorii; Badania stosowane: służące wykorzystaniu badań teoretycznych w praktyce; Badania wdrożeniowe: przeniesienie wyników badań stosowanych z obszaru nauki w obszar techniki i produkcji. Wiążą się z innowacjami wdrażanymi w przedsiębiorstwach. 3
Rodzaje badań Badania porównawcze: analiza cech badanych przedmiotów i zjawisk pod kątem ustalenia podobieństw i różnic (odmienności). Warunkiem ich stosowania jest porównywalność przedmiotów badań ze względu na ich istotę, gatunek, kategorię lub formę; Badania statystyczne: proces pozyskiwania danych na temat rozkładu cechy statystycznej w populacji; Badania funkcjonalne: badanie sposobu funkcjonowania układu bez możliwości poznania jego wewnętrznej budowy. 4
Przedmiot badania Rodzaj badań ilościowe/jakościowe Teoretyczne Stosowane Wdrożeniowe Przedmiot badań e-źródła interfejsy użytkownicy Porównawcze Analiza odesłań Skale ocen Kwestionariusze Statystyczne Funkcjonalne Webometria Personalizacja, marketing Site/server centric Architektura informacji, heurystyki User centric Analiza zapytań czynnych, usability wg M. Karciarz EBIB 2007 5
Badania ilościowe Badania ilościowe, inaczej nazwane pozytywistycznymi" stanowią nurt badań wywodzący się z badań przyrodniczych i przez wiele lat dominowały jako jedyny sposób uprawiania badań społecznych. 6
Badania ilościowe Analiza struktur i ich dynamiki Poszukiwanie regularności - dozwolone przewidywania; Zrozumienie wzorców Porządkowanie chaosu, Weryfikacja modeli, założeń; Podstawa dla polityki i projektowania. 7
Badania ilościowe Przeprowadzanie dowodów poszukiwań badawczych jest weryfikowaniem, sprawdzaniem tezy założonej na początku, badacz ilościowy dostarcza dowody, że teoria przez niego przyjęta ma w danych potwierdzenie; Wyniki badania przedstawiane są poprzez wyliczanie. Polega ten proces na tym, że wyniki zostaną przedstawione w postaci systematycznego wyliczania, lub zliczania założonej tezy; Obejmują takie cechy przedmiotów i zjawisk, które dają się określić za pomocą liczby, np. liczebność, objętość, prędkość, natężenie. 8
Techniki badań ilościowych Porównywanie rzeczy; Liczenie rzeczy; Badanie ludzi w sprawie rzeczy. 9
Techniki badań ilościowych Badania kwestionariuszowe - możemy wyróżnić ankietę audytoryjną (skierowaną do szerszego gremium) oraz ankietę pocztową (formularze ankiety przesyłane są pocztą). CATI (Computer Assisted Telephone Interview) - wywiad telefoniczny wspomagany komputerowo. Ankieterzy kontaktują się z badanymi za pośrednictwem telefonu. Zadają pytania, które są widoczne na monitorze komputera a następnie zaznaczają w systemie odpowiedzi badanych. System ten pozwala na bieżące kontrolowanie pracy ankieterów a tym samym postępu badania zarówno przez firmę badawczą jak i przez samych Klientów. Odpowiedzi respondentów zostają zapisane w systemie i są dostępne do analizy natychmiast po przeprowadzonym badaniu. CAWI (Computer Assisted Web Interviewing) - badania online. Ankieta internetowa, którą badany wypełnia samodzielnie bądź z pomocą ankietera. CASI (Computer Assisted Self-Interviewing) - badania online. Ankieta internetowa, którą osoba badana wypełnia samodzielnie przy użyciu komputera. Respondent samodzielnie odczytuje treść pytań i samodzielnie udziela na nie odpowiedzi. CAPI (Computer Assisted Personal Interviewing) - metoda polegająca na przeprowadzeniu wywiadu przy użyciu komputera, laptopa. Stosowana najczęściej podczas badań w domu respondenta bądź jako technika wspomagająca inne. PAPI - metoda polegająca na przeprowadzeniu wywiadu przy użyciu jego wersji papierowej, drukowanej. 10
Badania porównawcze Grupy eksperymentalne i kontrolne; Metodologie instruktażowe; Ocena programów stosująca analizę artykułów naukowych przed i po testowaniu; Testy przed i po badaniu; Miary i skale (np. skala lęków bibliotecznych). 11
Badania statystyczne Analizy cytowań bibliometria Impact Factor i inne wskaźniki IF= B/C gdzie B to łączna lista cytowań które nastąpiły w danym roku kalendarzowym; C to liczba cytowalnych publikacji (zwykle nie są brane pod uwagę takie publikacje jak np. listy do redakcji), które ukazały się w danym czasopiśmie, w ciągu ostatnich dwóch lat. Webometria Web Impact Factor Ilość stron Web w dokumencie Web otrzymujących linki z innych dokumentów Web podzielona przez ilość stron Web opublikowanych w dokumencie, które dostępne są dla wyszukiwarki. A ogólna suma linków na stronie (wszystkie linki przychodzące i własne); D ilość stron Web opublikowanych w dokumencie Web, które są indeksowane przez wyszukiwarkę; WIF= A/D = Web Impact Factor 12
Webometria Czym jest Webometria? Gromadzenie, przetwarzanie i analiza wielkich zasobów danych z Webu (stron Web, hiperlinków, blogów, Webu 2.0) dla różnych celów, w tym komunikacji online, szczególnie dla komunikacji naukowej. 13
Zalety badań ilościowych Metody jakościowe często zależą od twierdzeń autorytatywnych, pojedynczych przypadków; Nauka poszukuje regularności zjawisk; Sukces metod statystycznych w naukach społecznych; Potrzeba uzasadnień i podstaw do decyzji; Coś może być policzone coś wspaniałego. 14
Problemy z badaniami ilościowymi Statystyka zawsze jest sposobem na streszczenie złożonej informacji w stosunkowo prostych liczbach; W jaki sposób badacze zdobywają te liczby? Kto tworzy liczby i jaki jest ich margines błędu? W jaki sposób definiuje się podstawowe terminy i na ile sposobów jest to możliwe? 15
Problemy z badaniami ilościowymi W jaki sposób dobrano miary? Jak dobrano próbę i jak to wpłynęło na wyniki? Czy wynik statystyczny jest poprawnie interpretowany? Jeżeli dokonywano porównań, czy są one odpowiednie? Czy istnieją konkurencyjne statystyki? 16
Badania jakościowe Znacznie młodsze (od lat 80. XX wieku); Opisowe i interpretatywne; Badania jakościowe rodowód swój czerpią z badań etnograficznych. Etnografia jako model badawczy jest zakorzeniona w antropologii; W niektórych opracowaniach badania jakościowe są opisywane jako etnografia: termin ten odnosi się głównie do metody, albo do zestawu metod. Etnografia stanowi jakby matrycę dla badań jakościowych, jako podstawowa forma badań społecznych, np. etnografia Internetu. 17
Badania jakościowe W badaniu jakościowym na podstawie baz danych dokonuje się odkrywanie teorii; w badaniu jakościowym prezentowanie wyników odbywa się poprzez konstruowanie kategorii pojęciowych na podstawie zgromadzonych danych; dotyczą całokształtu cech, wskazujących czym jest przedmiot badań (zjawisko) i czym różni się od innych, czyli ukazują specyfikę przedmiotu lub zjawiska. 18
Techniki w badaniach jakościowych Analiza treści (np. instrukcji online); Analiza dyskursu; Grupy fokusowe (np. wykorzystanie Internetu przez studentów): co uczestnicy myślą o zadaniu, którego aktualnie nie realizują; Wywiady (np. badanie użytkowników książki elektronicznej); Obserwacje (np. studentów wyszukujących online); 19
Techniki w badaniach jakościowych Protokoły z myślenia na głos (np. badania nawigacji studentów w bibliotecznych stronach Web); Testy użyteczności (np. badanie modeli mentalnych studentów używających podręczników online). 20
Techniki c.d. IDI - indywidualny wywiad pogłębiony, przeprowadzany z jedną osobą. Metoda polegająca na uzyskaniu interesujących nas danych w trakcie indywidualnej i bezpośredniej rozmowy z respondentem. Jest to rodzaj wywiadu pogłębionego, w trakcie którego ankieter zadaje określony rodzaj pytań, by uzyskać interesujące go informacje. Metoda ta pozwala na pewną swobodę wypowiedzi. Celem jest poznanie postaw, wrażeń, motywów kierujących działaniami respondenta. Ma znacznie dłuższy czas trwania niż wywiady ankietowe, jednak pozwala na uzyskanie bardziej pogłębionych odpowiedzi; FGI - zogniskowany wywiad grupowy, tzw. fokus. Przeprowadzany jednocześnie z kilkoma osobami przy użyciu technik projekcyjnych. Polega na przeprowadzeniu wywiadu według określonego scenariusza, z większą liczbą osób. Zazwyczaj liczba osób wynosi 6-12. Jednak wyróżnia się zogniskowane wywiady grupowe z mniejszymi grupami (m.in. diady, wywiady rodzinne, triady). W wywiadach zogniskowanych stosuje się szeroko pojęte techniki projekcyjne, których wykorzystanie ma pomóc w pełniejszym zebraniu interesujących danych. Zogniskowane wywiady grupowe mają zastosowanie dla badań wizerunku marki, zachowań konsumenckich oraz skuteczności reklamy; Eksperyment - badanie w warunkach pozwalających na stałą kontrolę jego przebiegu; Obserwacja - obserwowanie występowania danego zjawiska; Desk Research - analiza materiałów zastanych, dokumentów, stron www, materiałów archiwalnych. Metoda stosowana dla określenia m.in.: analizy potencjału rynku oraz analizy konkurencji. 21
Kiedy stosować? Badania ilościowe charakteryzuje dedukcyjny sposób badania, oznacza to, że poszukuje danych potwierdzających teorię. Badacz jakościowy poprzez indukcję, czyli poprzez przechodzenie od tego, co konkretne, do tego, co ogólne do odkrywa prawidłowości i poszukuje teorii która wyjaśni posiadane przez niego dane. 22
Kiedy stosować? c.d. Badania ilościowe: możliwe stworzenie ilościowych miar, można sformułować i potwierdzić hipotezy, można uogólnić wnioski z próbki na całą populację; Badania jakościowe: badanie złożonych problemów, natury socjologicznej, nie dających się przedstawić liczbowo. 23
Kiedy stosować? Badania ilościowe Struktura danych Wskaźniki funkcjonowania Liczba użytkowników Wskaźniki efektywności Badania jakościowe Kim są użytkownicy serwisu Web? Przedmiotowe aspekty motywacji użytkowników Potrzeby użytkowników Percepcja użytkowników jakości serwisu Wymagania użytkowników 24
Porównanie Ilościowe - założenia Fakty społeczne istnieją w obiektywnej rzeczywistości Nadrzędność metody Możliwość identyfikacji zmiennych i zmierzenia relacji Punkt widzenia z zewnątrz Jakościowe - założenia Rzeczywistość jest konstruktem społecznym Nadrzędność problemu Zmienne są złożone, poprzeplatane i trudne do zmierzenia Punkt widzenia z wewnątrz 25
Porównanie Ilościowe cel Uogólnienie (generalizacja) Przewidywania Wyjaśnienie przypadków Jakościowe - cel Kontekstualizacja Interpretacja Zrozumienie perspektywy aktora 26
Porównanie Ilościowe - podejście Rozpoczynanie od hipotezy lub teorii Manipulacja i kontrola Stosowanie narzędzi formalnych Eksperymenty Dedukcja Analiza składników Poszukiwanie konsensusu Redukcja danych do wskaźników liczbowych Jakościowe - podejście Kończenie na hipotezie Ukazanie i portretowanie Badacz jako narzędzie Naturalistyczne Indukcja Poszukiwanie wzorców Poszukiwanie pluralizmu, złożoności Minimalne wykorzystanie wskaźników liczbowych 27
Metodologia mieszana Metodologia mieszana nazywana jest we współczesnym piśmiennictwie trzecim podstawowym podejściem albo paradygmatem badawczym, obok ilościowego (kwantytatywnego) i jakościowego (kwalitatywnego). 28
Definicja badań mieszanych Są to dociekania, w ramach których badacz zbiera i analizuje dane, integruje wyniki i wyciąga wnioski używając jednocześnie jakościowych i ilościowych podejść lub metod w pojedynczym projekcie lub programie badawczym; Triangulacja: wykorzystanie różnych metod dla zwiększenia zrozumienia zjawisk. 29
Badania mieszane Metodologia mieszana w ścisłym sensie nie wystarczy, by w badaniach współwystępowały metody o charakterze ilościowym i jakościowym, powinny one dodatkowo być zintegrowane, tzn. odpowiadać na to samo pytanie badawcze, wzajemnie się uzupełniać i współkształtować. Jest tak na przykład, gdy procedury jakościowe prowadzą do sformułowania hipotezy, którą następnie testuje się na sposób ilościowy, albo gdy za pomocą metod jakościowych interpretuje się zgromadzone wcześniej ilościowe dane empiryczne. 30
Sposoby łączenia obu metod triangulacja, która ma na celu uwiarygodnienie wyników, wspieranie jednego podejścia przez drugie, łączenie w celu uzyskania szerszego horyzontu badawczego, badanie cech strukturalnych danego zjawiska metodami ilościowymi, a aspekty procesualne metodami jakościowymi, przedstawienie punktu widzenia badanych metody jakościowe, a badaczy metody ilościowe, wyniki badań jakościowych można uzupełnić o wyniki badań ilościowych, co niweluje problem reprezentatywności, można wykorzystać wyniki jakościowe do interpretacji relacji między zmiennymi w zbiorach danych ilościowych, łączenie podejścia jakościowego z ilościowym może ukazać relację między poziomem mikro i makro badanego zagadnienia, różne badania można stosować na różnych etapach procesu badawczego, tworzenie form hybrydowych. 31
Korzyści z badań mieszanych Najważniejsza sposobność uchwycenia badanych ludzi, obiektów, procesów i zjawisk w ich naturalnej wielowymiarowości, z różnych punktów widzenia; Możliwość przekroczenia ograniczeń narzucanych przez poszczególne procedury badawcze; Wyższy poziom kontroli zgromadzonych danych empirycznych, ich selekcji oraz interpretacji, dzięki triangulacji, czyli wzajemnemu sprawdzaniu się metod badawczych o odmiennej proweniencji. 32
Korzyści c.d. Szczególnie nadająca się do badań użytkowników bibliotek i informacji; Może także być przydatna generalnie w nauce o informacji, ponieważ przedmiot i pole badawcze tej dyscypliny są niejednorodne i obejmują byty o różnym statusie materialne (nośniki, sprzęt), psychiczne (potrzeby informacyjne), idealne (informacja jako taka), które należy badać na różne, komplementarne wobec siebie i wzajemnie uzupełniające się sposoby. 33