EDWARD PREWEDA RACHUNEK WYRÓWNAWCZY i:::::> MODELE STATYSTYCZNE Kraków 2013
Recenzenci: prof. dr hab. inż. Józef Czaja prof. dr hab. inż. Karol Noga Afiliacja autora AGH Akademia Górniczo - Hutnicza Copyright Edward Preweda, Kraków 2013 ISBN 978-83-938093-0-1 Realizacja poligraficzna: 4U @Ui Wydawnictwo - Druk - Reklama tel. 32 299 75 83 www.wdrprogres.pl
Spis treści Od autora 9 1. Podstawy algebry macierzy 11 1.1. Układy równań liniowych 11 1.2. Operacje na macierzach 13 1.3. Wyznaczniki i minory macierzy 24 1.4. Wartości własne macierzy 33 1.4.1. Numeryczne wyznaczanie wartości własnych i macierzy modalnej 37 1.5. Rozkład macierzy na czynniki 40 1.6. Macierz odwrotna 47 1.7. Uogólniona macierz odwrotna i pseudoodwrotność macierzy 55 1.8. Klasyczne metody wyznaczania pseudoodwrotności 57 1.9. Wyznaczanie pseudoodwrotności metodami ortogonalizacji 70 1.9.1. Numeryczne wyznaczanie rozkładu SVD 72 1.10. Forma kwadratowa w przestrzeni wielowymiarowej 84 1.11. Ekstrema form kwadratowych 87 2. Probabilistyczne podstawy estymacji 91 2.1. Zdarzenia losowe 91 2.2. Jednowymiarowe zmienne losowe 100 2.2.1. Wybrane rozkłady zmiennej losowej typu skokowego 106 2.2.2. Wybrane rozkłady zmiennej losowej typu ciągłego 108 2.2.3. Numeryczne wyznaczenie dystrybuanty i kwantyli wybranych rozkładów prawdopodobieństwa 121 Przykłady 132 5
2.3. Zmienne losowe dwuwymiarowe oraz wielowymiarowe 2.3.1. Zmienna losowa typu skokowego 2.3.2. Zmienna losowa typu ciągłego 2.3.3. Niezależność zmiennych losowych 2.3.4. Charakterystyki liczbowe dwuwymiarowej zmiennej losowej 151 2.3.5. Dwuwymiarowy rozkład normalny 154 Przykłady 160 3. Elementy statystyki matematycznej 175 3.1. Próba statystyczna 3.2 Wybrane rozkłady z próby 3.2.1. Rozkład średniej arytmetycznej 3.2.2. Rozkład wariancji 3.2.3. Rozkład ilorazu wariancji 3.2.4. Rozkład ilorazu wartości średniej i odchylenia standardowego 3.3. Estymacja punktowa 3.3.1. Podstawy estymacji punktowej 3.3.2. Metody estymacji punktowej Przykłady 3.4. Estymacja przedziałowa 3.4.1. Podstawy estymacji przedziałowej 3.4.2. Przedziały ufności dla wartości przeciętnej 3.4.3. Przedziały ufności dla wariancji Przykłady 3.5. Weryfikacja hipotez statystycznych 3.5.1. Podstawowe pojęcia i definicje 3.5.2. Hipotezy dotyczące wartości przeciętnej 3.5.3. Hipotezy dotyczące wariancji 3.5.4. Hipotezy o równości wariancji dwóch populacji 3.5.5. Hipotezy o równości wartości przeciętnej badanej cechy dwóch populacji 230 3.5.6. Testy zgodności 232 Przykłady 237 142 143 146 150 175 176 177 178 183 184 186 186 190 201 212 212 212 218 220 222 222 225 228 229 6
4. Wyrównanie wyników pomiarów geodezyjnych oraz ich funkcji 247 4.1. Prawo narastania wariancji 247 Przykłady 4.2. Estymacja parametrów metodą najmniejszych kwadratów 4.2.1. Wprowadzenie do równań obserwacyjnych 4.2.2. Równania obserwacyjne dla kątów, azymutów, długości 254 260 260 i przewyższeń 264 4.2.3. Warunki funkcyjne w sieciach wysokościowych i kątowoliniowych 268 4.2.4. Metody uzgadniania wyników obserwacji 275 5. Estymacja uogólnionych modeli liniowych 5.1. Wprowadzenie 5.2. Sformułowanie modelu uogólnionego 5.3. Estymacja punktowa 5.3.1 Model uogólniony 5.3.2. Model wieloparametrowy 5.3.3. Model uwarunkowany 5.3.4. Model wieloparametrowy z restrykcjami 5.3.5. Model uwarunkowany z niewiadomymi 5.3.6. Nieobciążoność estymatorów 5.4. Estymacja przedziałowa 5.4.1. Przekształcenia zmiennych losowych 5.4.2. Analiza rozkładu prawdopodobieństwa 5.4.3. Twierdzenia 5.4.4. Przedziały ufności w zastosowaniach szczególnych Literatura 329 329 331 336 336 343 345 347 351 353 363 364 367 368 373 385 7
Od autora Praca dotyczy działu geodezji tradycyjnie nazywanego rachunkiem wyrównawczym. Współcześnie jest on realizowany przy pomocy modeli statystycznych i metod numerycznych. Celem książki jest rozszerzenie pojęcia rachunek wyrównawczy o współczesne metody wnioskowania statystycznego oraz zasygnalizowanie elementów obliczeń numerycznych w postaci przykładowych programów. Studiowanie prac dotyczących rachunku wyrównawczego i metod statystycznych, Profesorów Włodzimierza Barana, Józefa Czaji, Bogdana Neya, Hansa Pelzera, Witolda Prószyńskiego, Calyampudi R. Rao, Aleksandra Skórczyńskiego, Zbigniewa Wiśniewskiego i wielu innych, umożliwiło mi rozwinięcie tradycyjnych metod opracowania wyników geodezyjnych obserwacji. Praktyczna realizacja prezentowanych modeli statystycznych byłaby trudna, w niektórych przypadkach wręcz niemożliwa, bez wsparcia metodami numerycznymi i oprogramowaniem algorytmów. Podstawą wiedzy tym zakresie są prace takich Autorów jak Alston S. Householder, Charles L. Lawson, Richard J. Hanson, Andrzej Kiełbasiński, Hubert Schwetlick, Joan R. Westlake czy James H. Wilkinson. Doświadczenia zdobyte podczas zgłębiania wiedzy zawartej w literaturze, nie tylko wymienionych naukowców, oraz samodzielne badania autora, pozwoliły na sformułowanie własnych przemyśleń i rozwiązań, których część zaprezentowałem w tej książce. Obszerne omówienie podstaw algebry macierzy z uwzględnieniem wyznaczania pseudoodwrotności, ukierunkowanym na zastosowanie metod numerycznych, jest niezbędne dla dalszych rozważań zamieszczonych w pracy. Przedstawiłem liczne przykłady obliczeniowe, z zastosowaniem autorskich rozwiązań numerycznych. Wnioskowanie statystyczne bazuje na metodach probabilistycznych, stąd dla zrozumienia zasad jego prowadzenia zamieściłem elementy teorii prawdopodobieństwa, zwracając szczególną uwagę na rozkłady prawdopodobieństwa zmiennych losowych oraz numeryczne wyznaczanie dla nich
dystrybuant i kwantyli. Opracowane procedury, których przykłady znajdują się w pracy, usprawniają proces obliczeniowy. Ciągłe modele probabilistyczne i rozkłady z próby są podstawą estymacji punktowej i przedziałowej. Metoda najmniejszych kwadratów według modelu Gaussa-Markowa, jako najczęściej stosowana w geodezji, została w pracy szczególnie podkreślona. Uzupełnieniem estymacji jest weryfikacja hipotez statystycznych poparta licznymi przykładami. Uzgodnienie wyników obserwacji, tradycyjnie nazywane wyrównaniem, zostało przedstawione w postaci modeli estymacji, które w dalszej części pracy uogólniono, wprowadzając oryginalne rozwiązania oparte na macierzach blokowych. Przykłady uzgadniania wyników obserwacji według różnych modeli estymacji, w tym przy zastosowaniu pseudoodwrotności macierzy, korzystają z algorytmów numerycznych, w tym z wprowadzonego przez autora pojęcia defektu numerycznego, który zastępuje żmudne analizy ustalania rzędu macierzy. Zaprezentowany w pracy model uogólniony, którego rozwiązanie bazuje na na wyznaczeniu uogólnionej odwrotności macierzy blokowych o wymiarach (4 4), stanowi podsumowanie rozważań zawartych we wcześniejszych rozdziałach książki. Model ten obejmuje wszystkie przypadki szczególne modeli liniowych stosowanych w geodezji, a otrzymywane według niego estymatory są nieobciążone. Dla tego modelu przeprowadziłem też estymację przedziałową opartą na szczegółowej analizie rozkładu prawdopodobieństwa i twierdzeniach dotyczących rozkładu prawdopodobieństwa form kwadratowych. Dziękuję wszystkim, którzy swoją pomocą, uwagami i życzliwością przyczynili się do powstania tej książki. Edward Preweda
References [1] Baran W.: Teoretyczne podstawy opracowania wyników obserwacji, PWN, Warszawa,1983 [2] Björck A., Yuan J.Y.: Preconditioners for Least Squares Problems by LU Factori-zation. Electronic Transaction on Numerical Analysis, vol. 8, Kent State University, 1999 [3] Castel M.J., Migallon V., Penades J.: On Parallel Two-Stage Methods for Hermitian Positive Definite Matrices with Applications to Preconditioning. Electronic Transaction on Numerical Analysis, vol. 12, Kent State University, 2001 [4] Czaja J.: Estimation of linear deformation models. Proc. of the 8th FIG International Symposium on Deformation Measurements, Hong Kong, 1996 [5] Czaja J.: Interval Estimation of Generalized Linear Models. Geodezja i Kartografia, t. XLVI, z. 1, 1997 [6] Czaja J.: Modele statystyczne w informacji o terenie. AGH, Kraków,1997 [7] Czaja J., Preweda E.: Estymacja parametrów liniowych modeli. Modelowanie danych przestrzennych, Warszawa, 2000 [8] Czaja J., Preweda E.: Analiza statystyczna zmiennej losowej wielowymiarowej w aspekcie korelacji i predykcji. AGH Geodezja, t. 6, z. 2, 2001 [9] George A., Liu J.W.H.: Computer Solution of Large Positive Definite System. Englewood Clifs, Prentice Hall, New York, 1981 [10] Gloub G.H., Reinsch C.: Singular Value Decomposition and Least Squares Solution. Num. Math., 14, 1970 [11] Gregory D.A., Kirkland S.J.: Singular Values of Tournament Matrices. The Electronic Journal of Linear Algebra, vol. 5, Kingston, 1999 [12] Hillar C., Johnson C.R., Spitkovsky I.M.: Positive eigenvalues and two-letter genera-lized words. The Electronic Journal of Linear Algebra, vol. 9, University of California, Berkeley, 2002 [13] Householder A.S.: The Theory of Matrices in Numerical Analysis. New York, Blaisdell, 1965 [14] Kadaj R.: System komputerowy trójwymiarowej sieci kinematycznej do pomiaru przemieszczeń obiektów inżynierskich. ZN AR, Geodezja i Urządzenia Rolne, X, 210, Wrocław,1991
[15] Kadaj R., Plewako M.: A New Modelling Approach to Geodetic Deformation Analysis. Proc. of the 8th Int. Symp. on Deformation Measurement, Hong Kong, 1996 [16] Kadaj R.: Modele, metody i algorytmy obliczeniowe sieci kinematycznych w geode-zyjnych pomiarach przemieszczeń i odkształceń, AR, Kraków, 1998 [17] Kiełbasiński A., Schwetlick H.: Numeryczna algebra liniowa. WNT, Warszawa, 1992 [18] Krysicki W. i inn. Rachunek prawdopodobieństwa i statystyka matematyczna w zadaniach. PWN, Warszawa, 1986 [19] Latoś S., Preweda E.: Geometryczna interpretacja i własności jednopunktowej oraz globalnej charakterystyki dokładności poziomych sieci geodezyjnych. ZN AR Wrocław, GiUR XIV, nr 324, 1997 [20] Lawson Ch.L., Hanson R.J.: Solving Least Squares Problems. Englewood, Prentice-Hall, New Jersy, 1965 [21] Marquardt D.W.: Generalized inverses, ridge regression, biased linear estimation, and nonlinear estimation. Technometrics, vol. 12, No. 3, 1970 [22] Ney B.: Metody statystyczne w geodezji. Wyd. AGH, Kraków, 1976 [23] Osada E.: Analiza Wyrównanie i Modelowanie Geo-Danych. Wyd. AR, Wrocław, 1998 [24] Papoulis A.: Prawdopodobieństwo, zmienne losowe i procesy stochastyczne. WNT, Warszawa, 1970 [25] Pelzer H.: Geodätishe Netze in Landes- und Ingenieurvermessung. Herausgegeben von Hans Pelzer, Hannover 1979 [26] Prószyński W., Kwaśniak M.: Podstawy geodezyjnego wyznaczania przemieszczeń. Pojęcia i elementy metodyki. Oficyna Wyd. PW, Warszawa, 2006 [27] Pfeufer A., Milev G., Prószyński W., Steinberg G., Teskey W.F., Welsh W.: Classification of Models for Geodetic Examination of Deformations. Perelmuter Workshop on Dynamic Deformation Models, Haifa, 1994 [28] Preweda E.: Estymacja parametrów kinematycznego modelu przemieszczeń. Wyd. AGH, 110, Kraków, 2002 [29] Press W.H., Teukolsky S.A., Vetterling W.T., Flannery B.P.: Numerical Recipes in C. Cambridge University Press, 1995 [30] Prószyński W.: Transformation of the reference system in engineering, survey networks. Manuscripte Geodaetica, Springer-Verlag, 1990 [31] Prószyński W.: On Certain Properties of a Linear Kinematic Model for a Single-Epoch Survey Network. Proc. of the Perelmuter Workshop on Dynamic Deformation Models, Haifa, 1994
[32] Rao C.R, Mitra S.K.: Some results in estimation and tests of linear hypotheses under the Gauss-Markoff model. Sankhya, A 30, 1968 [33] Rao C.R.: Modele liniowe statystyki matematycznej. Warszawa, PWN, 1982 [34] Skórczyński A. Rachunek Wyrównawczy. PPWK, Warszawa, 1985 [35] Stewart D.E.: A New Algorithm for the SVD of a Long Product of Matrices and the Stability of Products. Electronic Transaction on Numerical Analysis, vol. 5, Kent State University, 1997 [36] Vassilevski P.S., Wade J.G.: A Comprasion of Multilevel Methods for Total Variation Regularization. Electronic Transaction on Numerical Analysis, vol. 6, Kent State University, 1997 [37] Westlake J.R.: A Handbook of Numerical Matrix Inversion and Solution of Linear Equations. Control Data Corporation, 1968 [38] Wilkinson J.H.: The Algebraic Eigenvalue Problem. Oxford, Clerendon Press, 1965 [39] Wiśniewski Z.: Rachunek wyrównawczy w geodezji (z przykładami). Wyd. UWM, Olsztyn, 2005