O czym w Sejmie piszczy? Analiza tekstowa przemówień poselskich

Transkrypt

1 O czym w Sejmie piszczy? Analiza tekstowa przemówień poselskich mgr Aleksander Nosarzewski Szkoła Główna Handlowa w Warszawie pod kierunkiem naukowym dr hab. Bogumiła Kamińskiego, prof. SGH

2 Problem Potrzeba miary określającej różnice między partiami politycznymi odległość ideologiczna Zastosowanie: funkcja informacyjna dane wejściowe do dalszych badań (np. badanie siły partii jako potencjalnych koalicjantów indeksy siły w teorii gier) przy zastosowaniu modelu STM dodatkowo weryfikacja obietnic i programów partii Problemy z dotychczasowymi podejściami: oparte na wiedzy eksperckiej (subiektywność) oparte na badaniach ankietowych (badanie elektoratu zamiast samych polityków oraz interpolacja wyników na całą populację na podstawie względnie małej próby) Cel pracy: analiza eksploracyjna tematów poruszanych w Sejmie zaproponowanie obiektywnej miary różnic ideologicznych między partiami 2

3 Dane Stenogramy posiedzeń sejmowych Web scraping stron internetowych Sejmu z wykorzystaniem rvest Tekst przemówień oraz metadane: imię i nazwisko mówcy, przynależność partyjna, kadencja Sejmu, data przemówienia Korpus obejmuje kadencje: od 5. ( ) do 8. ( ) Obróbka danych: usunięcie cyfr i znaków specjalnych konwersja na minuskuły usunięcie tzw. stop words sprowadzenie słów do podstawowej formy gramatycznej usunięcie słów zbyt częstych (> dokumentów) i zbyt rzadkich (<200 dokumentów) przemówień unikalnych słów 3

4 Metodologia Wykorzystanie przemówień sejmowych jako mających bezpośredni wpływ na dyskurs polityczny oraz kształtowanie prawa w kraju Model STM ekstrahowanie głównych tematów pojawiających się w przemówieniach sejmowych wielowymiarowe rozkłady prawdopodobieństwa nad otrzymanymi tematami Odległość Bhattacharyyi metryka określająca różnice między wielowymiarowymi rozkładami prawdopodobieństwa dobre zachowanie dla modelu STM Skalowanie wielowymiarowe wizualizacja wielowymiarowej przestrzeni w układzie kartezjańskim zachowuje główne zależności elementy podobne do siebie znajdują się w sąsiedztwie, zaś wraz z oddalaniem w sensie euklidesowym zróżnicowanie między obiektami rośnie 4

5 Strukturalny Model Tematyczny ang. StructuralTopic Model (STM) Klasa modeli: modele tematyczne (topic models) Trzypoziomowy Bayesowski model hierarchiczny Modelowanie nienadzorowane (obiektywność): nie jest wymagany ręcznie tagowany zbiór uczący badacz określa jedynie liczbę ekstrahowanych tematów, a następnie ocenia wyniki pod kątem użyteczności oraz interpretowalności W przeciwieństwie do wcześniejszych metod pozwala na: przypisywanie wielu tematów do pojedynczego dokumentu uzależnienie otrzymanych wyników od metadanych (kadencja Sejmu oraz przynależność partyjna mówcy) uzależnić można: częstość występowania tematów ich kontekst (słownictwo używane do mówienia o nich) efekty metadanych mogą, ale nie muszą być uwzględnione przez model 5

6 Proces generujący dane 1. Dla każdego dokumentu losujemy proporcje w jakich dany temat w nim występuje z rozkładu:! " ~$%&'%()*+,-. /0 = 2 4 ", 7) 2. Dla każdego tematu w danym dokumencie określamy kontekst występowania tematów: 8 ",9 ;<= ) +? 9 +? 9@ +? AB(9,DE ) 3. Dla każdego elementu dokumentu (wyrazu) losujemy temat: F ",G ~HI+JKL%)K*+,! " 4. Po przypisaniu tematu do elementu losujemy obserwację słowa ze słownictwa danego tematu: M ",G ~HI+JKL%)K*+, 8 ",9BN 6

7 Wybór postaci modelu 7

8 Otrzymane tematy 3 tematy odrzucone z dalszej analizy: techniczne oraz pozbawione interpretacji 13 tematów interpretowalnych 8

9 Otrzymane tematy 9

10 Częstości tematów Ze względu na kadencję Sejmu 10

11 Częstości tematów Ze względu na partię polityczną 11

12 Macierz odległości Odległości ideologiczne 8. Kadencja (aktualna) Średnie odległości 12

13 Mapa partii 13

14 Dane kontaktowe Aleksander Nosarzewski /in/aleksander-nosarzewski 14

15 Dziękuję za uwagę. 15