ZAAWANSOWANE METODY ANALIZ STATYSTYCZNYCH red. Ewa Frątczak

Transkrypt

1 Tytuł: Autor: ZAAWANSOWANE METODY ANALIZ STATYSTYCZNYCH red. Ewa Frątczak Wstęp Zaawansowane metody analiz statystycznych przenoszą analizy statystyczne na kolejny wyższy poziom. Określenie tego wyższego poziomu pozostawiamy indywidualnie każdemu Czytelnikowi. Wśród wielu prezentowanych metod i modeli w tym podręczniku są przedstawione modele mieszane - przegląd ogólny ich teorii i przykłady aplikacji. Autor cytowanego podręcznika E. Demidenko mówi o modelach mieszanych następująco: Mixed model methodology brings statistics to the next level. Każdy z autorów poszczególnych rozdziałów (biogramy znajdują się w końcowej części podręcznika) ma za sobą doświadczenia praktyczne związane z uczestnictwem w projekcie/projektach, gdzie metody i wiedza teoretyczna były i są weryfikowane w praktyce; są to z reguły projekty w instytucjach bankowych, ubezpieczeniowych, telekomunikacyjnych, resortach państwowych - urzędach centralnych, ministerstwach. Żeby nie wymieniać wszystkich projektów, wspomnę o jednym z nich, z którym związani są statystycy i demografowie - mianowicie Narodowym Spisie Powszechnym 2011, który realizowany był odmiennie od dotychczasowych spisów i był oparty na nowych technologiach pozyskiwania informacji. W pozyskiwaniu tych informacji wykorzystano liczne dostępne rejestry, w których zagadnienie jakości danych (data quality) było niezwykle ważne. Podręcznik składa się z siedmiu rozdziałów prezentujących różne metody i techniki analityczne. Każdy z rozdziałów stanowi odrębną całość. Struktura każdego z rozdziałów pomyślana została tak, że najpierw przedstawiona jest część teoretyczna - opis metody, modeli, kolejno estymacja i weryfikacja, a po opisie teoretycznym przedstawiane są wybrane przykłady zastosowań. Cechą wspólną wszystkich rozdziałów jest to, że zamieszczone w książce przykłady empiryczne (analityczne) przedstawione są w Systemie SAS, który jest zdaniem autorów jedną z najlepszych platform analitycznych z doskonałą dokumentacją naukową i dobrze sprawdzonymi produktami. SAS jest liderem w branży oprogramowania i narzędzi analitycznych dla zaawansowanych analiz biznesowych, ponadto jest największym dostawcą na rynku business intelligence. Więcej na temat możliwości SAS Czytelnik znajdzie na stronach: oraz Kolejne rozdziały podręcznika przedstawiają następujące zagadnienia: Rozdział I. Analiza zmiennych jakościowych Rozdział II. Analiza klas ukrytych Rozdział III. Modele mieszane Rozdział IV. Wybrane zagadnienia estymacji bayesowskiej Rozdział V. Data Mining

2 Rozdział VI. Jakość danych Na końcu publikacji Czytelnik znajdzie streszczenie kolejnych rozdziałów w wersji polskiej i angielskiej oraz biogramy autorów poszczególnych rozdziałów. Spis treści PRZEDMOWA ROZDZIAŁ I. ANALIZA DANYCH JAKOŚCIOWYCH (Monika Książek) I. Teoria I.1. Wprowadzenie I.2. Jednowymiarowa analiza zmiennych jakościowych I.3. Analiza zależności zmiennych jakościowych I.3.1.Test równości proporcji I.3.2. Miary zależności I.3.3. Testy niezależności I.3.4. Testy i mierniki dla zmiennych porządkowych I.3.5. Analiza zależności dwóch zmiennych jakościowych w warstwach wyznaczanych przez inne zmienne jakościowe I.4. Modele log-liniowe I.5. Zmienne jakościowe jako zmienne objaśniające I.5.1. Kodowanie zmiennych jakościowych I.5.2. Problemy związane z obecnością zmiennych jakościowych w modelu I.5.3. Interakcje zmiennych jakościowych I.5.4. Korzyści ze zmiany skali pomiaru zmiennych I.6. Zmienne jakościowe jako zmienne objaśniane I.6.1. Uogólnione modele liniowe dla zmiennych jakościowych I.6.2. Interpretacja parametrów I.6.3. Badanie istotności statystycznej parametrów

3 I.6.4. Ocena jakości dopasowania modelu II. Przykłady II.1. Analiza jednowymiarowa II.2. Analiza tabeli 2 2 II.3. Analiza tabeli 2 2 w podgrupach II.4. Model log-liniowy II.5. Kodowanie II.6. Binarna regresja logistyczna II.7. Wielomianowa i porządkowa regresja logistyczna II.8. Uwzględnianie wpływów nieliniowych II.9. Interakcje ROZDZIAŁ II. ANALIZA ZMIENNYCH UKRYTYCH (Iga Sikorska) I. Model klas ukrytych (LCA) I.1. Wprowadzenie I.2. Zapis modelu I.2.1. Założenia modelu klas ukrytych I.2.2. Parametry modelu klas ukrytych I.3. Estymacja modelu klas ukrytych I.3.1. Estymacja parametrów w SAS I.4. Weryfikacja modelu klas ukrytych I.4.1. Braki danych I.4.2. Ograniczenia nakładane na parametry I.4.3. Liczba klas ukrytych I.4.4. Interpretacja klas ukrytych

4 I.4.5. Homogeniczność i rozróżnialność modeli klas ukrytych I.5. Zmienne grupujące w modelu klas ukrytych I.6. Zmienne kontrolne w modelu klas ukrytych I.6.1. Weryfikacja modelu ze zmiennymi kontrolnymi I.7. Procedury LCA i LTA I.8. Przykład modelu klas ukrytych II. Model stanów ukrytych (LTA) II.1. Wprowadzenie II.2. Zapis modelu II.3. Estymacja i weryfikacja modelu stanów ukrytych II.3.1. Braki danych II.3.2. Ograniczenia nakładane na parametry II.4. Zmienne grupujące w modelu stanów ukrytych II.5. Zmienne kontrolne w modelu stanów ukrytych II.6. Przykład modelu stanów ukrytych ROZDZIAŁ III. MODELE MIESZANE (Ewa Frątczak, Małgorzata Mianowska) I. Podstawy teoretyczne I.1. Liniowy model mieszany I.1.1. Wprowadzenie I.1.2. Zapis liniowego modelu mieszanego I.1.3. PROC GLM i PROC MIXED I.1.4. PROC HPMIXED I.1.5. Diagnostyka i strategie budowy modelu I.2. Uogólniony model mieszany

5 I.2.1. Wprowadzenie I.2.2. Zapis uogólnionego liniowego modelu mieszanego I.2.3. Procedura GLIMMIX i metody estymacji I.3. Nieliniowy model mieszany I.3.1. Wprowadzenie I.3.2. Zapis nieliniowego modelu mieszanego I.3.3. Procedura NLMIXED i metoda estymacji I.4. Podsumowanie II. Przykłady estymacji modeli mieszanych Wprowadzenie II.1. Przykład 1 - model liniowy i liniowy model mieszany II.2. Przykład 2 - liniowy model mieszany z interakcją II.3. Przykład 3 - model hierarchiczny II.4. Przykład 4 - uogólniony liniowy model mieszany i model nieliniowy II.5. Przykład 5 - estymacja modelu mieszanego w Enterprise Guide Załącznik 1. Teoria liniowych modeli mieszanych 1. Wprowadzenie 2. Zapis macierzowy 3. Określenie postaci modeli mieszanych 3.1. Ogólna postać liniowego modelu mieszanego 3.2. Rozkłady warunkowe i brzegowe 3.3. Przykład: Krzywa wzrostu z symetryczną strukturą kowariancji 3.4. Przykład: Układ podzielonych poletek (Split-Plot Design) 4. Estymacja parametrów, predykcja efektów losowych

6 4.1. Estymacja beta i prognoza u: równania modelu mieszanego 4.2. Efekty losowe, grzbietowe oraz kurczenie 4.3. Wszystko o metodzie SWEEP 4.4. Największa wiarygodność i ograniczona największa wiarygodność dla parametrów kowariancji 5. Własności statystyczne 6. Wybór postaci modelu 6.1. Porównania modeli z wykorzystaniem testów ilorazu wiarygodności 6.2. Porównania modeli z wykorzystaniem kryteriów informacyjnych 7. Wnioskowanie i statystyki testujące 7.1. Wnioskowanie o parametrach kowariancji 7.2. Wnioskowanie o efektach stałych i losowych 8. Prace cytowane w załączniku ROZDZIAŁ IV. WYBRANE ZAGADNIENIA ESTYMACJI BAYESOWSKIEJ (Wioletta Grzenda) I. Elementy teorii statystyki bayesowskiej I.1. Metody bayesowskie I.1.1. Twierdzenie Bayesa I.1.2. Rozkłady a priori I.1.3. Wnioskowanie bayesowskie I.1.4. Uwagi ogólne dotyczące metod bayesowskich I.2. Metody Monte Carlo oparte na łańcuchach Markowa I.2.1. Wybrane własności łańcuchów Markowa I.2.2. Algorytm Metropolisa i algorytm Metropolisa-Hastingsa I.2.3. Próbnik Gibbsa I.2.4. Algorytm próbkowania adaptacyjnego z odrzucaniem

7 I.2.5. Zagadnienia dotyczące wyboru realizacji łańcucha Markowa I.2.6. Ocena zbieżności łańcuchów Markowa I.2.7. Testy zbieżności łańcuchów Markowa II. Przykłady zastosowań II.1. Materiał empiryczny II.2. Model regresji Poissona w ujęciu bayesowskim II.3. Bayesowska estymacja uogólnionych modeli liniowych w systemie SAS II.4. Przykłady bayesowskiej estymacji modeli regresji Poissona II.4.1.Model Poissona z nieinformacyjnymi rozkładami normalnymi a priori II.4.2. Model Poissona z informacyjnym rozkładem normalnym a priori i nieinformacyjnymi rozkładami normalnymi a priori ROZDZIAŁ V. DATA MINING (Kamil Konikiewicz) 1. Wprowadzenie do aplikacji SAS Enterprise Miner 2. Opis danych 3. Podział danych 4. Eksploracja danych 5. Drzewa decyzyjne 5.1. Postać modelu 5.2. Budowa modelu 5.3. Dobór zmiennych i przygotowanie danych 5.4. Lasy losowe 6. Regresja logistyczna 6.1. Postać modelu 6.2. Przygotowanie danych 7. Sieci neuronowe MLP

8 7.1. Postać modelu 7.2. Uczenie sieci 8. Ocena i wybór modelu 8.1. Statystyki dopasowania 8.2. Przepróbkowanie 8.3. Scoring ROZDZIAŁ VI. WYBRANE ZAGADNIENIA JAKOŚCI DANYCH (Ewa Falkiewicz- Szporer, Łukasz Leszewski) I. Podstawowe pojęcia I.1. Cechy dobrej jakości danych I.2. Źródła złej jakości danych I.3. Etapy tworzenia i transformacji informacji II. Metodologia zarządzania jakością danych III. Filary zarządzania jakością danych III.1. Tworzenie otoczenia sprzyjającego jakości danych III.2. Rozwiązania organizacyjne III.3. Zapewnienie standardów w organizacji III.4. Monitorowanie i mierzenie jakości danych III.5. Rola hurtowni danych III.6. Technologia i narzędzia IV. Etapy procesu czyszczenia danych IV.1. Profilowanie IV.2. Czyszczenie danych IV.3. Integracja danych IV.4. Wzbogacanie danych

9 IV.5. Monitorowanie danych V. Narzędzia i techniki jakości danych V.1. DataFlux dfpower Studio V.2. DataFlux Integration Server V.3. SAS Data Integration Studio VI. Standaryzacja danych VI.1. Tworzenie schematów standaryzacyjnych VI.2. Definicje standaryzacyjne VII. Przykład zastosowania - implementacja procesów czyszczenia danych VII.1. Profilowanie VII.2. Standaryzacja VII.3. Integracja danych VIII. Podsumowanie STRESZCZENIA - ABSTRACTCS BIOGRAMY - BIOGRAMS