Zaawansowane metody analiz statystycznych

Transkrypt

1 Zaawansowane metody analiz statystycznych Zaawansowane metody analiz statystycznych redakcja naukowa Ewa Fr tczak OFICYNA WYDAWNICZA SZKO A G ÓWNA HANDLOWA W WARSZAWIE Warszawa, al. Niepodleg o ci 162 tel , fax wydawnictwo@sgh.waw.pl OFICYNA WYDAWNICZA SZKO A G ÓWNA HANDLOWA W WARSZAWIE

2 Zaawansowane metody analiz statystycznych

3

4 Zaawansowane metody analiz statystycznych redakcja naukowa Ewa Fr tczak OFICYNA WYDAWNICZA SZKO A G ÓWNA HANDLOWA W WARSZAWIE WARSZAWA 2012

5 Prace nad przygotowaniem podręcznika zostały częściowo sfinansowane z tematu badawczego: Wybrane metody analizy zjawisk i procesów demograficznych i biznesowych poziom zaawansowany. Temat 03/S/0012/10, kierownik dr hab. Ewa Frątczak, Instytut Statystyki i Demografii, Kolegium Analiz Ekonomicznych, SGH, Warszawa Cerdit line: Premision to translate into Polish pages from the SAS Publishing 2007 title, SAS for Mixed Models, Second Edition, by Ramon Littell and George Millike and include in book, Zaawansowane metody analiz statystycznych (Advanced methods ) with potential publication of ~300 copies has been received from SAS Publishing SAS Institute Inc. 100 SAS Campus Drive, J1156 Cary NC in Created with SAS software. Copyright 2007, SAS Institute Inc., Cary, NC, USA. All Rights Reserved. Reproduced with permission of SAS Institute Inc., Cary, NC Recenzent Tomasz Burzykowski Redaktor Izabela Różańska Copyright by Szkoła Główna Handlowa w Warszawie, Warszawa 2012 Wszelkie prawa zastrzeżone. Kopiowanie, przedrukowywanie i rozpowszechnianie całości lub fragmentów niniejszej publikacji bez zgody wydawcy zabronione. Wydanie I ISBN Szkoła Główna Handlowa w Warszawie Oficyna Wydawnicza Warszawa, al. Niepodległości 162 tel , , fax wydawnictwo@sgh.waw.pl Projekt i wykonanie okładki Małgorzata Przestrzelska Skład i łamanie Elżbieta Giżyńska Druk i oprawa ESUS Drukarnia cyfrowa Plewiska, ul. Południowa 54 Zamówienie 90/VII/12

6 Przedmowa Monika Książek Rozdział I Analiza danych jakościowych I. Teoria I.1. Wprowadzenie I.2. Jednowymiarowa analiza zmiennych jakościowych I.3. Analiza zależności zmiennych jakościowych I.3.1. Test równości proporcji I.3.2. Miary zależności I.3.3. Testy niezależności I.3.4. Testy i mierniki dla zmiennych porządkowych I.3.5. Analiza zależności dwóch zmiennych jakościowych w warstwach wyznaczanych przez inne zmienne jakościowe I.4. Modele log-liniowe I.5. Zmienne jakościowe jako zmienne objaśniające I.5.1.Kodowanie zmiennych jakościowych I.5.2. Problemy związane z obecnością zmiennych jakościowych w modelu. 50 I.5.3. Interakcje zmiennych jakościowych I.5.4. Korzyści ze zmiany skali pomiaru zmiennych I.6. Zmienne jakościowe jako zmienne objaśniane I.6.1. Uogólnione modele liniowe dla zmiennych jakościowych I.6.2. Interpretacja parametrów I.6.3. Badanie istotności statystycznej parametrów I.6.4. Ocena jakości dopasowania modelu II. Przykłady II.1. Analiza jednowymiarowa II.2. Analiza tabeli II.3. Analiza tabeli 2 2 w podgrupach II.4. Model log-liniowy

7 II.5. Kodowanie II.6. Binarna regresja logistyczna II.7. Wielomianowa i porządkowa regresja logistyczna II.8. Uwzględnianie wpływów nieliniowych II.9. Interakcje Bibliografia Iga Sikorska Rozdział II Analiza zmiennych ukrytych I. Model klas ukrytych (LCA) I.1. Wprowadzenie I.2. Zapis modelu I.2.1. Założenia modelu klas ukrytych I.2.2. Parametry modelu klas ukrytych I.3. Estymacja modelu klas ukrytych I.3.1. Estymacja parametrów w SAS I.4. Weryfikacja modelu klas ukrytych I.4.1. Braki danych I.4.2. Ograniczenia nakładane na parametry I.4.3. Liczba klas ukrytych I.4.4. Interpretacja klas ukrytych I.4.5. Homogeniczność i rozróżnialność modeli klas ukrytych I.5. Zmienne grupujące w modelu klas ukrytych I.6. Zmienne kontrolne w modelu klas ukrytych I.6.1. Weryfikacja modelu ze zmiennymi kontrolnymi I.7. Procedury LCA i LTA I.8. Przykład modelu klas ukrytych II. Model stanów ukrytych (LTA) II.1. Wprowadzenie II.2. Zapis modelu II.3. Estymacja i weryfikacja modelu stanów ukrytych II.3.1. Braki danych II.3.2. Ograniczenia nakładane na parametry II.4. Zmienne grupujące w modelu stanów ukrytych II.5. Zmienne kontrolne w modelu stanów ukrytych II.6. Przykład modelu stanów ukrytych Bibliografia

8 Ewa Frątczak, Małgorzata Mianowska Rozdział III Modele mieszane I. Podstawy teoretyczne I.1. Liniowy model mieszany I.1.1. Wprowadzenie I.1.2. Zapis liniowego modelu mieszanego I.1.3. PROC GLM i PROC MIXED I.1.4. PROC HPMIXED I.1.5. Diagnostyka i strategie budowy modelu I.2. Uogólniony model mieszany I.2.1. Wprowadzenie I.2.2. Zapis uogólnionego liniowego modelu mieszanego I.2.3. Procedura GLIMMIX i metody estymacji I.3. Nieliniowy model mieszany I.3.1. Wprowadzenie I.3.2. Zapis nieliniowego modelu mieszanego I.3.3. Procedura NLMIXED i metoda estymacji I.4. Podsumowanie II. Przykłady estymacji modeli mieszanych Wprowadzenie II.1. Przykład 1 model liniowy i liniowy model mieszany II.2. Przykład 2 liniowy model mieszany z interakcją II.3. Przykład 3 model hierarchiczny II.4. Przykład 4 uogólniony liniowy model mieszany i model nieliniowy II.5. Przykład 5 estymacja modelu mieszanego w Enterprise Guide Bibliografia Załącznik 1. Teoria liniowych modeli mieszanych Wprowadzenie Zapis macierzowy Określenie postaci modeli mieszanych Ogólna postać liniowego modelu mieszanego Rozkłady warunkowe i brzegowe Przykład: Krzywa wzrostu z symetryczną strukturą kowariancji Przykład: Układ podzielonych poletek (Split-Plot Design) Estymacja parametrów, predykcja efektów losowych Estymacja β i prognoza u: równania modelu mieszanego Efekty losowe, grzbietowe oraz kurczenie

9 4.3. Wszystko o metodzie SWEEP Największa wiarygodność i ograniczona największa wiarygodność dla parametrów kowariancji Własności statystyczne Wybór postaci modelu Porównania modeli z wykorzystaniem testów ilorazu wiarygodności Porównania modeli z wykorzystaniem kryteriów informacyjnych Wnioskowanie i statystyki testujące Wnioskowanie o parametrach kowariancji Wnioskowanie o efektach stałych i losowych Prace cytowane w załączniku Wioletta Grzenda Rozdział IV Wybrane zagadnienia estymacji bayesowskiej I. Elementy teorii statystyki bayesowskiej I.1. Metody bayesowskie I.1.1. Twierdzenie Bayesa I.1.2. Rozkłady a priori I.1.3. Wnioskowanie bayesowskie I.1.4. Uwagi ogólne dotyczące metod bayesowskich I.2. Metody Monte Carlo oparte na łańcuchach Markowa I.2.1. Wybrane własności łańcuchów Markowa I.2.2. Algorytm Metropolisa i algorytm Metropolisa Hastingsa I.2.3. Próbnik Gibbsa I.2.4. Algorytm próbkowania adaptacyjnego z odrzucaniem I.2.5. Zagadnienia dotyczące wyboru realizacji łańcucha Markowa I.2.6. Ocena zbieżności łańcuchów Markowa I.2.7. Testy zbieżności łańcuchów Markowa II. Przykłady zastosowań II.1 Materiał empiryczny II.2. Model regresji Poissona w ujęciu bayesowskim II.3. Bayesowska estymacja uogólnionych modeli liniowych w systemie SAS II.4. Przykłady bayesowskiej estymacji modeli regresji Poissona II.4.1. Model Poissona z nieinformacyjnymi rozkładami normalnymi a priori II.4.2. Model Poissona z informacyjnym rozkładem normalnym a priori i nieinformacyjnymi rozkładami normalnymi a priori Bibliografia

10 Kamil Konikiewicz Rozdział V Data Mining Wprowadzenie do aplikacji SAS Enterprise Miner Opis danych Podział danych Eksploracja danych Drzewa decyzyjne Postać modelu Budowa modelu Dobór zmiennych i przygotowanie danych Lasy losowe Regresja logistyczna Postać modelu Przygotowanie danych Sieci neuronowe MLP Postać modelu Uczenie sieci Ocena i wybór modelu Statystyki dopasowania Przepróbkowanie Scoring Bibliografia Ewa Falkiewicz-Szporer, Łukasz Leszewski Rozdział VI Wybrane zagadnienia jakości danych I. Podstawowe pojęcia I.1. Cechy dobrej jakości danych I.2. Źródła złej jakości danych I.3. Etapy tworzenia i transformacji informacji II. Metodologia zarządzania jakością danych III. Filary zarządzania jakością danych III.1. Tworzenie otoczenia sprzyjającego jakości danych III.2. Rozwiązania organizacyjne III.3. Zapewnienie standardów w organizacji III.4. Monitorowanie i mierzenie jakości danych III.5. Rola hurtowni danych III.6. Technologia i narzędzia

11 IV. Etapy procesu czyszczenia danych IV.1. Profilowanie IV.2. Czyszczenie danych IV.3. Integracja danych IV.4. Wzbogacanie danych IV.5. Monitorowanie danych V. Narzędzia i techniki jakości danych V.1. DataFlux dfpower Studio V.2. DataFlux Integration Server V.3. SAS Data Integration Studio VI. Standaryzacja danych VI.1. Tworzenie schematów standaryzacyjnych VI.2. Definicje standaryzacyjne VII. Przykład zastosowania implementacja procesów czyszczenia danych VII.1. Profilowanie VII.2. Standaryzacja VII.3. Integracja danych VIII. Podsumowanie Bibliografia Streszczenia Abstractcs Biogramy Biograms

12 Table of contents Preface Monika Książek Chapter I Categorical data analysis I. Theory I.1. Introduction I.2. Unidimentional categorical data analysis I.3. Categorical data dependence analysis I.3.1. Proportions equality test I.3.2. Dependence measures I.3.3. Independence tests I.3.4. Ordinal data tests and measures I.3.5. Stratified categorical data dependence analysis I.4. Log-linear models I.5. Categorical variables as independent variables I.5.1. Categorical variables coding I.5.2. Problems with categorical independent variables I.5.3. Categorical independent variables interactions I.5.4. Benefits from measurement scale change I.6. Categorical variables as dependent variables I.6.1. Generalized linear models for categorical variables I.6.2. Parameters interpretation I.6.3. Parameters significance testing I.6.4. Model quality assessment II. Examples II.1. Unidimentional categorical data analysis II.2. Analysis of 2 2 table II.3. Stratified analysis of 2 2 table II.4. Log-linear model

13 II.5. Coding II.6. Binary logistic regression II.7. Multinomial and ordinal logistic regression II.8. Nonlinear effects inclusion II.9. Interactions Bibliography Iga Sikorska Chapter II Latent variable analysis I. Latent class analysis (LCA) I.1. Introduction I.2. The latent class model I.2.1. Assumptions I.2.2. Parameters I.3. Estimation of latent class models I.3.1. Estimation in SAS I.4. Model fit I.4.1. Missing data I.4.2. Parameter restrictions I.4.3. Model selection I.4.4. Interpretation of latent classes I.4.5. Homogenity and latent class separation I.5. Latent class model with grouping variables I.6. Latent class model with covariates I.6.1. Verification of extended latent class model I.7. LCA and LTA procedures I.8. Example of latent class model II. Latent transition analysis (LTA) II.1. Introduction II.2. The latent transition model II.3. Estimation of latent transition model and model fit II.3.1. Missing data II.3.2. Parameter restrictions II.4. Latent transition model with grouping variables II.5. Latent transition model with covariates II.6. Example of the latent transition model Bibliography

14 Ewa Frątczak, Małgorzata Mianowska Chapter III Mixed models I. Theoretical basis I.1. Linear mixed model I.1.1. Introduction I.1.2. Notation of a linear mixed model I.1.3. PROC GLM, PROC MIXED and estimation methods I.1.4. PROC HPMIXED I.1.5. Diagnostics and model building strategies I.2. Generalized linear mixed model I.2.1. Introduction I.2.2. Notation of a generalized linear mixed model I.2.3. PROC GLIMMIX and estimation methods I.3. Nonlinear mixed model I.3.1. Introduction I.3.2. Notation of a nonlinear mixed model I.3.3. PROC NLMIXED and estimation methods I.4. Conclusions II. Examples of the mixed models estimation Introduction II.1.Example 1. Linear and linear mixed models II.2. Example 2. Linear mixed model with interaction II.3. Example 3. Hierarchical mixed model II.4. Example 4. Generalized linear mixed and nonlinear mixed models II.5. Example 5. Linear mixed model estimation with Enterprise Guide Bibliography Appendix 1. Linear mixed model theory Introduction Matrix Notation Formulation of the Mixed Model The General Linear Mixed Model Conditional and Marginal Distributions Example: Growth Curve with Compound Symmetry Example: Split-Plot Design Estimating Parameters, Predicting Random Effects Estimating β and Predicting u: The Mixed Model Equations Random Effects, Ridging, and Shrinking

15 4.3. It s All in the SWEEP Maximum Likelihood and Restricted Maximum Likelihood for Covariance Parameters Statistical Properties Model Selection Model Comparisons via Likelihood Ratio Tests Model Comparisons via Information Criteria Inference and Test Statistics Inference about the Covariance Parameters Inference about Fixed and Random Effects Quoted in Appendix 1 publications Wioletta Grzenda Chapter IV Selected Bayesian estimation issues I. Elements of the theory of Bayesian statistics I.1. Bayesian methods I.1.1. Bayes theorem I.1.2. Prior distribution I.1.3. Bayesian inference I.1.4. Comments on Bayesian methods I.2. Markov Chain Monte Carlo Methods I.2.1. The properties of Markov chains I.2.2. Metropolis and Metropolis-Hastings algorithms I.2.3. Gibbs sampler I.2.4. Adaptive rejection sampling algorithm I.2.5. The selection of the number of Markov chain samples I.2.6. The assessment of Markov chain convergence I.2.7. Markov chains convergence tests II. Examples II.1. Empirical data II.2. Bayesian Poisson regression model II.3. Bayesian inference for generalized linear models in SAS II.4. Examples of Bayesian Poisson Regression Models II.4.1. Poisson model with non-informative normal prior distributions II.4.2. P oisson model with informative normal prior distribution and non-informative normal prior distributions Bibliography

16 Kamil Konikiewicz Chapter V Data Mining Introduction to SAS Enterprise Miner Data description Data division Data exploration Decision trees Charactermodel Model construction Selection of variables and data preparation Random forests Logistic regression Model notation Data preparation Neural networks Model notation Learningnetwork Model evaluation and selection Goodness of fi t statistics Resampling Scoring Bibliography Ewa Falkiewicz-Szporer, Łukasz Leszewski Chapter VI Selected data quality issues I. Basic definitions I.1. Characteristic of good data quality I.2. Sources of bad data quality I.3. Stages of creating and transforming information II. Data quality management methodology III. Pillars of data quality management III.1. Creating conducive environment for data quality processes III.2. Corporate solutions III.3. Providing standards in organization III.4. Monitoring and data quality measurement III.5. Role of data warehouse III.6. Technology and tools

17 IV. Stages of data cleansing process IV.1. Profiling IV.2. Data cleansing IV.3. Data integration IV.4. Data enrichment IV.5. Data monitoring V. Data Quality tools and techniques V.1. DataFlux dfpower Studio V.2. DataFlux Integration Server V.3. SAS Data Integration Studio VI. Data standardization VI.1. Creating standardization schemes VI.2. Standardization definitions VII. Case study data quality process implementation VII.1. Profiling VII.2. Standardization VII.3. Data integration VIII. Summary Bibliography Chapter s summaries Polish and English version Biograms Polish and English version

18 Przedmowa E. Demidenko, autor książki Mixed Models Theory and Applications, opublikowanej przez wydawnictwo John Wiley and Sons w 2004 r., we wstępie do niej pisze: Postęp technologiczny zmienia świat, a statystyka nie jest wyjątkiem. Podstawą klasycznej statystyki jest pojęcie próby. Dzisiaj dane są bogatsze: możemy mieć dane zawierające powtórzone pomiary z tysiącami skupień; dane mogą być w postaci kształtów czy obrazów. Książka Mixed Models Theory and Applications jest o analizie statystycznej danych, które stanowią próbę z prób (a sample of samples). Ten nowy wymiar analizy statystycznej określony jako analiza danych, które stanowią próbę z prób, przenosi nas wykładowców i analityków na inny wymiar (poziom) analiz statystycznych w porównaniu z tym, co można zaliczyć do tradycyjnej statystyki stanowiącej przedmiot wykładu ze statystyki (opisowej i matematycznej) w programach nauczania na wielu kierunkach I i II poziomu studiów ekonomicznych. Nazwa zaawansowane metody analiz statystycznych wybrana na tytuł podręcznika oznacza zbiór wybranych metod i technik analitycznych, które stosowane są we współczesnej zaawansowanej analityce biznesowej. Książka powstała na gruncie doświadczeń naukowych i dydaktycznych z ostatnich pięciu lat pracy zespołu osób pracowników Zakładu Analizy Historii Zdarzeń i Analiz Wielopoziomowych Instytutu Statystyki i Demografii Kolegium Analiz Ekonomicznych Szkoły Głównej Handlowej w Warszawie i osób współpracujących z Zakładem w realizacji programu nauczania przedmiotów wykładanych w ramach: Certyfikatu Analityk Statystyczny z Systemem SAS ; Specjalności Analizy Statystyczne i Data Mining oraz dwóch Studiów Podyplomowych Analizy Statystyczne i Data Mining w Biznesie oraz Akademia Analityka: Analizy Statystyczne i Data Mining w Biznesie poziom zaawansowany. W ramach czterech oferowanych

19 Przedmowa programów realizowane są różne zestawy przedmiotów. Szczegółowe informacje znajdzie Czytelnik na stronie Zakładu: odpowiednio w zakładkach: Certyfikat Analityk Statystyczny SAS; Specjalność Analizy statystyczne i data mining ; Studia podyplomowe, w ramach których wykładane są metody i modele stanowiące rozdziały niniejszej książki. Podręcznik został napisany z myślą o naszych studentach, którzy zaufali nam, wybierając nasze oferty, a my zespół naukowo-dydaktyczny realizujemy proces ich kształcenia na miarę wyzwań analitycznych współczesnych czasów oraz czekającej ich (studentów) i nas (nauczycieli akademickich) wyzwań przyszłości. Zaawansowane metody analiz statystycznych przenoszą analizy statystyczne na kolejny wyższy poziom. Określenie tego wyższego poziomu pozostawiamy indywidualnie każdemu Czytelnikowi. Wśród wielu prezentowanych metod i modeli w tym podręczniku są przedstawione modele mieszane przegląd ogólny ich teorii i przykłady aplikacji. Autor cytowanego podręcznika E. Demidenko (op. cit., s. 1) mówi o modelach mieszanych następująco: Mixed model methodology brings statistics to the next level. Każdy z Autorów poszczególnych rozdziałów (biogramy znajdują się w końcowej części podręcznika) ma za sobą doświadczenia praktyczne związane z uczestnictwem w projekcie/projektach, gdzie metody i wiedza teoretyczna były i są weryfikowane w praktyce; są to z reguły projekty w instytucjach bankowych, ubezpieczeniowych, telekomunikacyjnych, resortach państwowych urzędach centralnych, ministerstwach. Żeby nie wymieniać wszystkich projektów, wspomnę o jednym z nich, z którym związani są statystycy i demografowie mianowicie Narodowym Spisie Powszechnym 2011, który realizowany był odmiennie od dotychczasowych spisów i był oparty na nowych technologiach pozyskiwania informacji. W pozyskiwaniu tych informacji wykorzystano liczne dostępne rejestry, w których zagadnienie jakości danych (data quality) było niezwykle ważne. Podręcznik składa się z siedmiu rozdziałów prezentujących różne metody i techniki analityczne. Każdy z rozdziałów stanowi odrębną całość. Struktura każdego z rozdziałów pomyślana została tak, że najpierw przedstawiona jest część teoretyczna opis metody, modeli, kolejno estymacja i weryfikacja, a po opisie teoretycznym przedstawiane są wybrane przykłady zastosowań. Cechą wspólną wszystkich rozdziałów jest to, że zamieszczone w książce przykłady empiryczne (analityczne) przedstawione są w Systemie SAS, który jest naszym zdaniem jedną z najlepszych platform analitycznych z doskonałą dokumentacją naukową i dobrze

20 Przedmowa sprawdzonymi produktami. SAS jest liderem w branży oprogramowania i narzędzi analitycznych dla zaawansowanych analiz biznesowych, ponadto jest największym dostawcą na rynku business intelligence. Więcej na temat możliwości SAS znajdzie Czytelnik na stronach: oraz offices/europe/poland/ Kolejne rozdziały podręcznika przedstawiają następujące zagadnienia: Rozdział I. Analiza zmiennych jakościowych Rozdział II. Analiza klas ukrytych Rozdział III. Modele mieszane Rozdział IV. Wybrane zagadnienia estymacji bayesowskiej Rozdział V. Data Mining Rozdział VI. Jakość danych Na końcu publikacji Czytelnik znajdzie streszczenie kolejnych rozdziałów w wersji polskiej i angielskiej oraz biogramy Autorów poszczególnych rozdziałów. Moim zamierzeniem jako osoby odpowiedzialnej za redakcję i koordynującej pracę nad podręcznikiem było w początkowej fazie prac nad książką włączenie oddzielnego rozdziału poświęconego analizie wielopoziomowej. Tak się stało, że dwa lata temu przetłumaczyłam na język polski podręcznik prof. J.W.R. Twiska Applied Multilevel Analysis. A Practical Guide wydany przez Cambridge University Press w roku Podręcznik Analiza wielopoziomowa przykłady zastosowań w wersji polskiej został opublikowany przez Oficynę Wydawniczą SGH w roku 2010 i już od dwóch lat wykorzystywany jest w dydaktyce realizowanej przez zespół pracowników Zakładu. Zatem podręcznik J.W.R. Twiska jest źródłem informacji merytorycznych na temat modelowania wielopoziomowego do prowadzonych przez zespół zajęć. Być może w kolejnej edycji podręcznika rozdział poświęcony modelowaniu wielopoziomowemu będzie dołączony. Współautorom podręcznika: Ewie Falkiewicz-Szporer, Wioletcie Grzendzie, Kamilowi Konikiewiczowi, Monice Książek, Łukaszowi Leszewskiemu, Małgorzacie Mianowskiej, Idze Sikorskiej, składam serdeczne podziękowania za trud współpracy zarówno przy pisaniu ksiązki, jak i przy realizacji procesu dydaktycznego oferowanego studentom przez Zakład, którym kieruję. Serdeczne podziękowania składam Pani Julie McAlpine Platt, Editor-in-Chief SAS Press SAS Publishing za wyrażenie zgody na publikację w wersji polskiej załącznika nr 1 z publikacji: SAS for Mixed Models, Second Edition, by Ramon Littell and George Millike, SAS Publishing 2007, który stanowi część rozdziału III niniejszej publikacji.

21 Przedmowa Na zakończenie składam serdeczne podziękowania dr. Tomaszowi Burzykowskiemu, profesorowi zwyczajnemu biostatystyki i bioinformatyki Uniwersytetu Hasselt (Belgia), za trud życzliwej i zawierającej wiele merytorycznych i porządkujących uwag recenzji, która wpłynęła na ostateczną postać przedkładanej pracy. Mam nadzieję, że publikacja Zaawansowane metody analiz statystycznych, która jest kolejną z serii podręczników napisanych z myślą o wspomaganiu procesu dydaktycznego (więcej o publikacjach na stronie: zaklady/zahziaw/ozakl/publikacje/), posłuży studentom, analitykom oraz pracownikom naukowym. Warszawa, maj 2012 Ewa Frątczak

22 Preface In the introduction to his book Mixed Models Theory and Applications published by Jon Wiley and Sons in 2004, E. Demidenko, states that: Technological advances change the world, and statistics is no exception. The cornerstone of classical statistics is the notion of sample. Today, data are richer: We may have repeated measurements with thousands of clusters; data may come in the form of shapes or images. The book Mixed Models Theory and Applications is about statistical analysis of data that constitute a sample of samples. This new dimension of statistical analysis described as the analysis of data that comprise a sample of samples moves us lecturers and analysts to higher degree (level) of statistical analyses as compared with traditional statistics (descriptive and mathematical). This is the subject in the curricula in many fields of the I. and II. degrees of economic studies. The term advanced methods of statistical analyses chosen as the textbook title means a set of selected analytical methods and techniques that are used in the contemporary advanced business analytics. The book was based on the five-year scientific and didactic experience of the team of staff of the Event History and Multilevel Analysis Unit of the Institute of Statistics and Demography Collegium of Economic Analyses, Warsaw School of Economics. Also involved were individuals cooperating with the unit in implementation of the curriculum within the framework of: Certificate Statistical Analyst with SAS System ; Specialization Statistical Analyses and Data Mining and two Postgraduate Studies Statistical Analyses and Data Mining in Business and Analytics Academy: Statistical Analyses and Data Mining in Business advanced level. Various sets of courses are car ried out within the framework of the programmes offered. The reader will find detailed information on the unit s website: zahziaw/ respectively under: Statistical Analyst SAS Certificate; Specialization

23 Statistical Analyses and Data Mining ; postgraduate studies within the framework of which are taught the methods and models that constitute the chapters of this book. The book was written with our students in mind while we the researchdidactic team have taken efforts to provide students with adequate up to date analytical challenges, which will enable them to deal with the challenges they (students) and us (academic teachers) will face in the future. These advanced methods of statistical analyses bring them to the next higher level. We leave the definition of this higher level to each of our readers. Among the meth ods and models presented in this book are inter alia mixed models a general review of their theories and examples of application. The author of the above quoted book, E. Demidenko (op.cit. p. 1) expressed the following opinion con cerning mixed models: Mixed model methodology brings statistics to the next level. Each of the authors of individual chapters (biographical notes are included in the last part of the book) has had practical experience of participating in a project/projects, where methods and theoretical knowledge are verified in prac tice (these are usually projects in banking, insurance, and telecommunication institutions, state branches central offices, and ministries). So as not to mention all the projects, I will highlight only one that the statisticians and demographers are involved in i.e. the National Census on Population and Housing 2011, which was carried out differently to previous censuses, based on new informa tion gathering technologies. The several registers that are available where the issue of data quality was extremely significant were used to obtain this information. The book consists of seven chapters and presents various analytical methods and techniques. Each chapter constitutes an integral part. Each chapter has been structured in such a way that it presents the theory first a description of a method and models, followed by estimation and verification; following this the selected examples of application are presented. The com mon feature of all the chapters is the fact that the empirical (analytical) examples included in the book are presented by using SAS System, which we believe to be one of the best analytical platforms, with excellent scientific documentation and well-proven products. SAS is the leader in the branch of software and analytical tools for advanced business analyses. Moreover, it is the largest supplier on the business intelligence market. The reader can find more information about SAS capacities on the websites: and europe/poland/

24 The successive chapters of the book present the following topics: Chapter I. Qualitative data analysis Chapter II. Latent variable analysis Chapter III. Mixed models Chapter IV. Selected issues of Bayesian estimation Chapter V. Data Mining Chapter VI. Data quality The reader will find summaries of particular chapters in Polish and English and the biographical notes of the authors of particular chapters. In the initial phase of the project my intention as the individual responsible for the edition and coordination of the project was to include a separate chapter dedicated to multilevel analysis. Two years ego I decided to translate into Polish the book ed ited by J.W R. Twisk Applied Multilevel Analysis. A Practical Guide published by the Cambridge University Press Another publication by the same author Analiza wielopoziomowa przyklady zastosowań was also translated and has been published by the Printing Office Warsaw School of Economics in 2010 where it has been used for the last two years in the didactic process carried out by the Team of the Unit. These provide the methodological basis on multilevel modeling for the programmes carried out by the team. It is possible that a chapter dedicated to multilevel modeling will be included in the further edition of the current book. I would like to express my sincere gratitude to the co-authors of this book: Ewa Falkiewicz-Szporer, Wioletta Grzenda, Kamil Konikiewicz, Monika Książek, Łukasz Leszewski, Małgorzata Mianowska, Iga Sikorska for their efforts both in writing the book as well as carrying out the didactic process offered to students by the unit of which I am the leader. I would also like to thank very much Ms. Julie McAlpine Platt, Editor-in- Chief, SAS Press. SAS Publishing for giving her consent to publication of the Polish ver sion of the appendix no. 1 from the publication: SAS for Mixed Models, Second Edition, by Ramon Littell and George Millike, SAS Publishing 2007, which com prises a part of Chapter III of this book. Finally, I would like to express my sincere gratitude to Dr Tomasz Burzykowski, Professor of Biostatistics and Bioinformatics at the Hasselt University, Belgium for the efforts he kindly made in providing us with an extensive and thorough review enriched with many methodological and compiling comments which influenced the final form of the presented work.

25 I sincerely hope that students, analysts and research workers will find the publication Advanced methods of statistical analyses, which is the next one the series of textbooks targeted at facilitating the didactic process useful (more about the publications on website: publikacje/). Warsaw, May 2012 Ewa Frątczak