Spis treści. Przedmowa Monika Książek Rozdział I Analiza danych jakościowych... 25

Transkrypt

1 Spis treści Przedmowa Monika Książek Rozdział I Analiza danych jakościowych I. Teoria I.1. Wprowadzenie I.2. Jednowymiarowa analiza zmiennych jakościowych I.3. Analiza zależności zmiennych jakościowych I.3.1. Test równości proporcji I.3.2. Miary zależności I.3.3. Testy niezależności I.3.4. Testy i mierniki dla zmiennych porządkowych I.3.5. Analiza zależności dwóch zmiennych jakościowych w warstwach wyznaczanych przez inne zmienne jakościowe I.4. Modele log liniowe I.5. Zmienne jakościowe jako zmienne objaśniające I.5.1.Kodowanie zmiennych jakościowych I.5.2. Problemy związane z obecnością zmiennych jakościowych w modelu. 50 I.5.3. Interakcje zmiennych jakościowych I.5.4. Korzyści ze zmiany skali pomiaru zmiennych I.6. Zmienne jakościowe jako zmienne objaśniane I.6.1. Uogólnione modele liniowe dla zmiennych jakościowych I.6.2. Interpretacja parametrów I.6.3. Badanie istotności statystycznej parametrów I.6.4. Ocena jakości dopasowania modelu II. Przykłady II.1. Analiza jednowymiarowa II.2. Analiza tabeli II.3. Analiza tabeli 2 2 w podgrupach II.4. Model log liniowy

2 6 Spis treści II.5. Kodowanie II.6. Binarna regresja logistyczna II.7. Wielomianowa i porządkowa regresja logistyczna II.8. Uwzględnianie wpływów nieliniowych II.9. Interakcje Bibliografia Iga Sikorska Rozdział II Analiza zmiennych ukrytych I. Model klas ukrytych (LCA) I.1. Wprowadzenie I.2. Zapis modelu I.2.1. Założenia modelu klas ukrytych I.2.2. Parametry modelu klas ukrytych I.3. Estymacja modelu klas ukrytych I.3.1. Estymacja parametrów w SAS I.4. Weryfikacja modelu klas ukrytych I.4.1. Braki danych I.4.2. Ograniczenia nakładane na parametry I.4.3. Liczba klas ukrytych I.4.4. Interpretacja klas ukrytych I.4.5. Homogeniczność i rozróżnialność modeli klas ukrytych I.5. Zmienne grupujące w modelu klas ukrytych I.6. Zmienne kontrolne w modelu klas ukrytych I.6.1. Weryfikacja modelu ze zmiennymi kontrolnymi I.7. Procedury LCA i LTA I.8. Przykład modelu klas ukrytych II. Model stanów ukrytych (LTA) II.1. Wprowadzenie II.2. Zapis modelu II.3. Estymacja i weryfikacja modelu stanów ukrytych II.3.1. Braki danych II.3.2. Ograniczenia nakładane na parametry II.4. Zmienne grupujące w modelu stanów ukrytych II.5. Zmienne kontrolne w modelu stanów ukrytych II.6. Przykład modelu stanów ukrytych Bibliografia

3 Spis treści 7 Ewa Frątczak, Małgorzata Mianowska Rozdział III Modele mieszane I. Podstawy teoretyczne I.1. Liniowy model mieszany I.1.1. Wprowadzenie I.1.2. Zapis liniowego modelu mieszanego I.1.3. PROC GLM i PROC MIXED I.1.4. PROC HPMIXED I.1.5. Diagnostyka i strategie budowy modelu I.2. Uogólniony model mieszany I.2.1. Wprowadzenie I.2.2. Zapis uogólnionego liniowego modelu mieszanego I.2.3. Procedura GLIMMIX i metody estymacji I.3. Nieliniowy model mieszany I.3.1. Wprowadzenie I.3.2. Zapis nieliniowego modelu mieszanego I.3.3. Procedura NLMIXED i metoda estymacji I.4. Podsumowanie II. Przykłady estymacji modeli mieszanych Wprowadzenie II.1. Przykład 1 model liniowy i liniowy model mieszany II.2. Przykład 2 liniowy model mieszany z interakcją II.3. Przykład 3 model hierarchiczny II.4. Przykład 4 uogólniony liniowy model mieszany i model nieliniowy II.5. Przykład 5 estymacja modelu mieszanego w Enterprise Guide Bibliografia Załącznik 1. Teoria liniowych modeli mieszanych Wprowadzenie Zapis macierzowy Określenie postaci modeli mieszanych Ogólna postać liniowego modelu mieszanego Rozkłady warunkowe i brzegowe Przykład: Krzywa wzrostu z symetryczną strukturą kowariancji Przykład: Układ podzielonych poletek (Split-Plot Design) Estymacja parametrów, predykcja efektów losowych Estymacja β i prognoza u: równania modelu mieszanego Efekty losowe, grzbietowe oraz kurczenie

4 8 Spis treści 4.3. Wszystko o metodzie SWEEP Największa wiarygodność i ograniczona największa wiarygodność dla parametrów kowariancji Własności statystyczne Wybór postaci modelu Porównania modeli z wykorzystaniem testów ilorazu wiarygodności Porównania modeli z wykorzystaniem kryteriów informacyjnych Wnioskowanie i statystyki testujące Wnioskowanie o parametrach kowariancji Wnioskowanie o efektach stałych i losowych Prace cytowane w załączniku Wioletta Grzenda Rozdział IV Wybrane zagadnienia estymacji bayesowskiej I. Elementy teorii statystyki bayesowskiej I.1. Metody bayesowskie I.1.1. Twierdzenie Bayesa I.1.2. Rozkłady a priori I.1.3. Wnioskowanie bayesowskie I.1.4. Uwagi ogólne dotyczące metod bayesowskich I.2. Metody Monte Carlo oparte na łańcuchach Markowa I.2.1. Wybrane własności łańcuchów Markowa I.2.2. Algorytm Metropolisa i algorytm Metropolisa Hastingsa I.2.3. Próbnik Gibbsa I.2.4. Algorytm próbkowania adaptacyjnego z odrzucaniem I.2.5. Zagadnienia dotyczące wyboru realizacji łańcucha Markowa I.2.6. Ocena zbieżności łańcuchów Markowa I.2.7. Testy zbieżności łańcuchów Markowa II. Przykłady zastosowań II.1 Materiał empiryczny II.2. Model regresji Poissona w ujęciu bayesowskim II.3. Bayesowska estymacja uogólnionych modeli liniowych w systemie SAS II.4. Przykłady bayesowskiej estymacji modeli regresji Poissona II.4.1. Model Poissona z nieinformacyjnymi rozkładami normalnymi a priori II.4.2. Model Poissona z informacyjnym rozkładem normalnym a priori i nieinformacyjnymi rozkładami normalnymi a priori Bibliografia

5 Spis treści 9 Kamil Konikiewicz Rozdział V Data Mining Wprowadzenie do aplikacji SAS Enterprise Miner Opis danych Podział danych Eksploracja danych Drzewa decyzyjne Postać modelu Budowa modelu Dobór zmiennych i przygotowanie danych Lasy losowe Regresja logistyczna Postać modelu Przygotowanie danych Sieci neuronowe MLP Postać modelu Uczenie sieci Ocena i wybór modelu Statystyki dopasowania Przepróbkowanie Scoring Bibliografia Ewa Falkiewicz-Szporer, Łukasz Leszewski Rozdział VI Wybrane zagadnienia jakości danych I. Podstawowe pojęcia I.1. Cechy dobrej jakości danych I.2. Źródła złej jakości danych I.3. Etapy tworzenia i transformacji informacji II. Metodologia zarządzania jakością danych III. Filary zarządzania jakością danych III.1. Tworzenie otoczenia sprzyjającego jakości danych III.2. Rozwiązania organizacyjne III.3. Zapewnienie standardów w organizacji III.4. Monitorowanie i mierzenie jakości danych III.5. Rola hurtowni danych III.6. Technologia i narzędzia

6 10 Spis treści IV. Etapy procesu czyszczenia danych IV.1. Profilowanie IV.2. Czyszczenie danych IV.3. Integracja danych IV.4. Wzbogacanie danych IV.5. Monitorowanie danych V. Narzędzia i techniki jakości danych V.1. DataFlux dfpower Studio V.2. DataFlux Integration Server V.3. SAS Data Integration Studio VI. Standaryzacja danych VI.1. Tworzenie schematów standaryzacyjnych VI.2. Definicje standaryzacyjne VII. Przykład zastosowania implementacja procesów czyszczenia danych VII.1. Profilowanie VII.2. Standaryzacja VII.3. Integracja danych VIII. Podsumowanie Bibliografia Streszczenia Abstractcs Biogramy Biograms

7 Table of contents Preface Monika Książek Chapter I Categorical data analysis I. Theory I.1. Introduction I.2. Unidimentional categorical data analysis I.3. Categorical data dependence analysis I.3.1. Proportions equality test I.3.2. Dependence measures I.3.3. Independence tests I.3.4. Ordinal data tests and measures I.3.5. Stratified categorical data dependence analysis I.4. Log-linear models I.5. Categorical variables as independent variables I.5.1. Categorical variables coding I.5.2. Problems with categorical independent variables I.5.3. Categorical independent variables interactions I.5.4. Benefits from measurement scale change I.6. Categorical variables as dependent variables I.6.1. Generalized linear models for categorical variables I.6.2. Parameters interpretation I.6.3. Parameters significance testing I.6.4. Model quality assessment II. Examples II.1. Unidimentional categorical data analysis II.2. Analysis of 2 2 table II.3. Stratified analysis of 2 2 table II.4. Log-linear model

8 12 Table of contents II.5. Coding II.6. Binary logistic regression II.7. Multinomial and ordinal logistic regression II.8. Nonlinear effects inclusion II.9. Interactions Bibliography Iga Sikorska Chapter II Latent variable analysis I. Latent class analysis (LCA) I.1. Introduction I.2. The latent class model I.2.1. Assumptions I.2.2. Parameters I.3. Estimation of latent class models I.3.1. Estimation in SAS I.4. Model fit I.4.1. Missing data I.4.2. Parameter restrictions I.4.3. Model selection I.4.4. Interpretation of latent classes I.4.5. Homogenity and latent class separation I.5. Latent class model with grouping variables I.6. Latent class model with covariates I.6.1. Verification of extended latent class model I.7. LCA and LTA procedures I.8. Example of latent class model II. Latent transition analysis (LTA) II.1. Introduction II.2. The latent transition model II.3. Estimation of latent transition model and model fit II.3.1. Missing data II.3.2. Parameter restrictions II.4. Latent transition model with grouping variables II.5. Latent transition model with covariates II.6. Example of the latent transition model Bibliography

9 Table of contents 13 Ewa Frątczak, Małgorzata Mianowska Chapter III Mixed models I. Theoretical basis I.1. Linear mixed model I.1.1. Introduction I.1.2. Notation of a linear mixed model I.1.3. PROC GLM, PROC MIXED and estimation methods I.1.4. PROC HPMIXED I.1.5. Diagnostics and model building strategies I.2. Generalized linear mixed model I.2.1. Introduction I.2.2. Notation of a generalized linear mixed model I.2.3. PROC GLIMMIX and estimation methods I.3. Nonlinear mixed model I.3.1. Introduction I.3.2. Notation of a nonlinear mixed model I.3.3. PROC NLMIXED and estimation methods I.4. Conclusions II. Examples of the mixed models estimation Introduction II.1.Example 1. Linear and linear mixed models II.2. Example 2. Linear mixed model with interaction II.3. Example 3. Hierarchical mixed model II.4. Example 4. Generalized linear mixed and nonlinear mixed models II.5. Example 5. Linear mixed model estimation with Enterprise Guide Bibliography Appendix 1. Linear mixed model theory Introduction Matrix Notation Formulation of the Mixed Model The General Linear Mixed Model Conditional and Marginal Distributions Example: Growth Curve with Compound Symmetry Example: Split-Plot Design Estimating Parameters, Predicting Random Effects Estimating β and Predicting u: The Mixed Model Equations Random Effects, Ridging, and Shrinking

10 14 Table of contents 4.3. It s All in the SWEEP Maximum Likelihood and Restricted Maximum Likelihood for Covariance Parameters Statistical Properties Model Selection Model Comparisons via Likelihood Ratio Tests Model Comparisons via Information Criteria Inference and Test Statistics Inference about the Covariance Parameters Inference about Fixed and Random Effects Quoted in Appendix 1 publications Wioletta Grzenda Chapter IV Selected Bayesian estimation issues I. Elements of the theory of Bayesian statistics I.1. Bayesian methods I.1.1. Bayes theorem I.1.2. Prior distribution I.1.3. Bayesian inference I.1.4. Comments on Bayesian methods I.2. Markov Chain Monte Carlo Methods I.2.1. The properties of Markov chains I.2.2. Metropolis and Metropolis-Hastings algorithms I.2.3. Gibbs sampler I.2.4. Adaptive rejection sampling algorithm I.2.5. The selection of the number of Markov chain samples I.2.6. The assessment of Markov chain convergence I.2.7. Markov chains convergence tests II. Examples II.1. Empirical data II.2. Bayesian Poisson regression model II.3. Bayesian inference for generalized linear models in SAS II.4. Examples of Bayesian Poisson Regression Models II.4.1. Poisson model with non-informative normal prior distributions II.4.2. P oisson model with informative normal prior distribution and non-informative normal prior distributions Bibliography

11 Table of contents 15 Kamil Konikiewicz Chapter V Data Mining Introduction to SAS Enterprise Miner Data description Data division Data exploration Decision trees Charactermodel Model construction Selection of variables and data preparation Random forests Logistic regression Model notation Data preparation Neural networks Model notation Learningnetwork Model evaluation and selection Goodness of fi t statistics Resampling Scoring Bibliography Ewa Falkiewicz-Szporer, Łukasz Leszewski Chapter VI Selected data quality issues I. Basic definitions I.1. Characteristic of good data quality I.2. Sources of bad data quality I.3. Stages of creating and transforming information II. Data quality management methodology III. Pillars of data quality management III.1. Creating conducive environment for data quality processes III.2. Corporate solutions III.3. Providing standards in organization III.4. Monitoring and data quality measurement III.5. Role of data warehouse III.6. Technology and tools

12 16 Table of contents IV. Stages of data cleansing process IV.1. Profiling IV.2. Data cleansing IV.3. Data integration IV.4. Data enrichment IV.5. Data monitoring V. Data Quality tools and techniques V.1. DataFlux dfpower Studio V.2. DataFlux Integration Server V.3. SAS Data Integration Studio VI. Data standardization VI.1. Creating standardization schemes VI.2. Standardization definitions VII. Case study data quality process implementation VII.1. Profiling VII.2. Standardization VII.3. Data integration VIII. Summary Bibliography Chapter s summaries Polish and English version Biograms Polish and English version