Oracle Statistical Functions 11g: statystyka dla dużych i małych

Transkrypt

1 XVI Konferencja PLOUG Kościelisko Październik 2010 Oracle Statistical Functions 11g: statystyka dla dużych i małych Mikołaj Morzy Instytut Informatyki Politechniki Poznańskiej Mikolaj.Morzy@put.poznan.pl Abstrakt. Baza danych Oracle 11g posiada wbudowany bardzo szeroki wachlarz narzędzi statystycznych. W połączeniu z narzędziami Oracle OLAP i Oracle Data Mining zbiór narzędzi statystycznych, w które wyposażona jest baza danych Oracle 11g tworzy potężne środowisko analityczne. W zależności od potrzeb użytkownicy mogą wykorzystywać tylko najprostsze funkcje, np. statystykę opisową lub testowanie hipotez, funkcje analityczne lub funkcje regresji liniowej, ale mogą także sięgnąć po mocniejsze narzędzia: testowa-nie dopasowania rozkładów, analizę wariancji (ANOVA), parametryczne i bezparemetryczne modele kore-lacji czy testy c2. W niniejszym artykule przedstawiono przegląd narzędzi statystycznych oferowanych przez bazę danych Oracle 11g, ilustrując poszczególne narzędzia przykładami zastosowań.. Informacja o autorze. Dr hab. inż. Mikołaj Morzy jest adiunktem w Instytucie Informatyki Politechniki Poznańskiej. Jego zainteresowania naukowe koncentrują się przede wszystkim na tematyce eksploracji danych - jest on autorem ponad czterdziestu publikacji dotyczących tej tematyki. Drugą dziedziną zainteresowań i głównym tematem działalności dydaktycznej Mikołaja Morzego są technologie aplikacji internetowych i rozproszonych oraz technologie związane z bazami danych i hurtowniami danych.

2

3 Oracle Statistical Functions 11g: statystyka dla dużych i małych Analiza statystyczna w bazie danych Historycznie, silniki zarządzania bazami danych były przeznaczone do wykonywania nieskomplikowanych obliczeń na danych relacyjnych. Język SQL został zaprojektowany w oparciu o algebrę relacji i operatory relacyjne działające na zbiorach krotek. Początkowo, jedyna możliwość dokonywania jakichkolwiek obliczeń statystycznych ograniczała się do niewielkiego zbioru podstawowych funkcji grupowych, takich jak wyznaczanie najmniejszej i największej wartości w zbiorze, wyznaczanie wartości średniej, wariancji i odchylenia standardowego, czy wreszcie wyznaczanie liczności zbioru. Oprócz pracy na całym zbiorze krotek zwróconym przez zapytanie, język SQL oferował także klauzulę GROUP BY umożliwiającą dokonanie partycjonowania zbioru krotek na rozłączne podgrupy i wyznaczenie wybranych statystyk niezależnie w każdej grupie. Z biegiem lat okazało się, że tak proste możliwości analityczne są dalece niewystarczające i że konieczne jest rozszerzenie funkcjonalności baz danych o nowe, silniejsze narzędzia analityczne. Dostawcy systemów baz danych szybko dostrzegli możliwość zbudowania przewagi konkurencyjnej poprzez dostarczenie wraz z bazą danych narzędzi analitycznych. Tradycyjne podejście, bazujące na eksportowaniu surowych danych z bazy danych i wykonywaniu analiz statystycznych za pomocą narzędzi zewnętrznych, takich jak arkusze kalkulacyjne lub pakiety statystyczne, niosło ze sobą wiele niedogodności. Po pierwsze, wymagało fizycznego przenoszenia danych pomiędzy różnymi systemami. Po drugie, moment przeniesienia danych do systemu zewnętrznego zawsze obarczony był dużym ryzykiem. Niezależnie od jakości procedur bezpieczeństwa implementowanych na poziomie bazy danych, dane wyciekały poza organizację w wyniku ich rozproszenia pomiędzy różnymi narzędziami. Wreszcie, gwałtowny rozwój systemów informatycznych i gigantyczny wzrost wolumenów przetwarzanych danych postawił przed użytkownikami problem efektywności przetwarzania analitycznego za pomocą narzędzi uruchamianych na komputerach klasy desktop. Przeniesienie przetwarzania analitycznego bezpośrednio do silnika bazy danych niesie ze sobą wiele zalet. System informatyczny wykorzystujący bazę danych jako środowisko przeprowadzania analiz statystycznych jest bezpieczniejszy i solidniejszy, aplikacje krytyczne dla działania przedsiębiorstwa lub organizacji działają pewniej i cechują się zwiększoną dostępnością, przetwarzanie statystyczne wykorzystuje zasoby obliczeniowe przydzielone do serwera bazy danych (najczęściej te zasoby są wielokrotnie większe niż zasoby dostępne dla komputerów klasy desktop). Nie należy także bagatelizować zysków wynikających z uproszczonej integracji przetwarzania statystycznego z aplikacjami klienckimi: taka integracja jest dużo prostsza na poziomie serwera bazy danych niż samej aplikacji. Przetwarzanie statystyczne i analityczne realizowane na poziomie bazy danych może być bezpośrednio wplecione w złożone zapytania dostarczające dane do aplikacji desktopowych. W ten sposób aplikacje mogą być wzbogacone o wartość dodaną wynikającą ze zwiększenia jakości i użyteczności danych prezentowanych użytkownikowi końcowemu. Nawet najtrudniejsze i najbardziej zasobochłonne zapytania statystyczne mogą być efektywnie przetworzone, np. poprzez wykorzystanie możliwości zrównoleglenia przetwarzania realizowanego na poziomie serwera bazy danych. Realizowanie przetwarzania statystycznego na poziomie bazy danych umożliwia także rozproszenie kosztownych obliczeń pomiędzy węzły systemu gridowego, jeśli baza danych pracuje w takiej architekturze. Obliczenia mogą być realizowane praktycznie w trybie czasu rzeczywistego, dostarczając wymaganą informację (oraz wiedzę) do użytkowników końcowych i umożliwiając im podejmowanie świadomych decyzji biznesowych. Wreszcie, architektura serwera bazy danych pozwala także na planowanie i szeregowanie zadań w postaci pakietów obliczeń wsadowych, co umożliwia przeniesienie najkosztowniejszych obliczeń do najbardziej odpowiednich okien czasowych i pełniejsze wykorzystanie zasobów.

4 284 Mikołaj Morzy 2. Funkcje grupowe i analityczne Jak już wcześniej wspomniano, poszczególni dostawcy systemów baz danych szybko rozpoczęli rozszerzanie możliwości analitycznych oferowanych przez siebie produktów poprzez dodawanie nowych, niestandardowych funkcji grupowych. Przykładowo, w bazie danych Oracle 11g wartość średnią w zbiorze można wyznaczyć na trzy sposoby, w zależności od rozumienia pojęcia wartość średnia (użytego w sensie kolokwialnym): SQL> SELECT AVG(sal), MEDIAN(sal), STATS_MODE(sal) FROM emp; AVG(SAL) MEDIAN(SAL) STATS_MODE(SAL) W powyższym przykładzie funkcja AVG(sal) wyznacza średnią arytmetyczną zbioru liczb reprezentujących pensje pracowników, funkcja MEDIAN(sal) wyznacza medianę zbioru, natomiast funkcja STATS_MODE(sal) wyznacza wartość modalną w zbiorze. Dla przypomnienia, medianą zbioru (wartością środkową, drugim kwantylem) nazywamy tę wartość cechy w szeregu uporządkowanym, powyżej i poniżej której znajduje się dokładnie tyle samo wartości. Jeśli w zbiorze mamy nieparzystą liczbę wartości n, to medianą zbioru będzie wartość elementu o numerze, jeśli zaś zbiór zawiera parzystą liczbę elementów, to medianą zbioru jest średnia arytmetyczna między elementami o numerach oraz (oczywiście mowa tu o numerach elementów zbioru w szeregu uporządkowanym). Wartość modalna (wartość najczęstsza, moda, dominanta) w zbiorze to wartość najczęściej występująca, zatem o ile wartość średnia i wartość środkowa nie muszą zawierać się w zbiorze, o tyle wartość modalna zawsze jest zawarta w zbiorze. W trakcie analizy zbiorów liczb statystycy bardzo często posługują się pojęciami wariancji i odchylenia standardowego. Wariancja zbioru liczb jest miarą zróżnicowania tego zbioru, tzn. miarą odchylenia wartości w zbiorze od wartości średniej. Formalnie, wariancja jest zdefiniowana jako Var [ X ] = E[( X μ)] gdzie oznacza wartość oczekiwaną zmiennej. Wariancję najczęściej estymuje się na podstawie reprezentatywnej próby, w takim wypadku wariancję populacji można oszacować za pomocą następującego estymatora Podstawową wadą wariancji jest fakt, że wariancja jest wyrażona w innych jednostkach niż zmienna, której wariancja podlega badaniu. Przykładowo, jeśli zmienna reprezentuje pensje pracowników, to wariancja jest mierzona w PLN podniesionych do kwadratu. Z tego względu w praktycznych zastosowaniach wygodniej jest posługiwać się pojęciem odchylenia standardowego. Odchylenie standardowe informuje, jak szeroko wartości zmiennej są rozproszone wokół wartości średniej tej zmiennej. Pod pojęciem odchylenia standardowego kryją się w rzeczywistości trzy różne pojęcia: odchylenie standardowe w populacji: jeśli zbiór zawiera wszystkie wartości z badanej populacji (np. jeśli dysponujemy wszystkimi pensjami pracowników), to odchylenie standardowe zmiennej będzie identyczne z odchyleniem standardowym mierzonej cechy w populacji, ponieważ zmienna będzie miała identyczny rozkład co cecha w populacji

5 Oracle Statistical Functions 11g: statystyka dla dużych i małych 285 odchylenie standardowe w próbce: jeśli zbiór zawiera jedynie próbkę wartości cechy z populacji, to odchylenie standardowe zmiennej stanowi jedynie oszacowanie (estymator) odchylenia standardowego cechy w populacji odchylenie standardowe zmiennej losowej: stanowi informację o cesze wyliczoną na podstawie rozkładu wartości badanej cechy, w rzeczywistości rozkład ten jest rzadko znany, stąd wartość odchylenia standardowego zmiennej losowej jest w praktyce mało przydatna. Baza danych Oracle 11g zawiera funkcje do wyznaczenia każdego z rodzajów odchylenia standardowego. Przykładowo, wyznaczenie powyższych odchyleń standardowych dla pensji pracowniczych może być wyrażone w języku SQL w następujący sposób: SQL> SELECT STDDEV(sal), STDDEV_SAMP(sal), STDDEV_POP(sal) FROM emp; STDDEV(SAL) STDDEV_SAMP(SAL) STDDEV_POP(SAL) Funkcje STDDEV(sal) i STDDEV_SAMP(sal) wyliczają odchylenie standardowe zmiennej losowej oraz odchylenie standardowe w próbce, odpowiednio. Jedyna różnica między tymi funkcjami polega na tym, że funkcja STDDEV(sal) zwraca wartość 0 dla zbioru składającego się z jednego elementu, podczas gdy funkcja STDDEV_SAMP(sal) zwróciłaby w takim przypadku wartość NULL. Funkcja STDDEV_POP(sal) zwraca wartość odchylenia standardowego w populacji, korzystając z estymatora nieobciążonego: s = n i= i ( x x) i n 1 Dla wyznaczania wartości wariancji baza danych Oracle 11g oferuje analogiczne trzy funkcje: VARIANCE(), VAR_SAMP() oraz VAR_POP(). Jednym z najciekawszych rozwiązań w domenie przetwarzania analitycznego i statystycznego było wprowadzenie przez Oracle funkcji analitycznych. Jest to rozszerzenie standardu funkcji grupowych o możliwości wyznaczania agregatów na różnych poziomach agregacji, raportowania, oraz wyznaczania agregatów za pomocą okienek o zmiennym rozmiarze (tzw. funkcje okienkowe). Funkcje analityczne zrewolucjonizowały rynek i szybko zdobyły sobie ogromną popularność, przede wszystkim ze względu na prostotę i bardzo dużą moc wyrażania. Poniżej przedstawiono przykład funkcji analitycznej wyznaczającej procentowy udział poszczególnych wartości w sumie oraz przykład zapytania wykorzystującego funkcje grupowe wyliczające agregaty na różnych poziomach agregacji. SQL> SELECT job, SUM(sal), RATIO_TO_REPORT(SUM(sal)) OVER () FROM emp GROUP BY job; 2 JOB SUM(SAL) RATIO_TO_REPORT(SUM(SAL))OVER() ANALYST CLERK MANAGER PRESIDENT SALESMAN

6 286 Mikołaj Morzy SQL> SELECT ename, sal, job, deptno, SUM(sal) OVER () AS S1, SUM(sal) OVER (PARTITION BY job) AS S2, SUM(sal) OVER (PARTITION BY deptno) AS S3 FROM emp GROUP BY ename, sal, job, deptno; ENAME SAL JOB DEPTNO S1 S2 S CLARK 2450 MANAGER KING 5000 PRESIDENT MILLER 1300 CLERK JONES 2975 MANAGER SCOTT 3000 ANALYST SMITH 800 CLERK FORD 3000 ANALYST ADAMS 1100 CLERK MARTIN 1250 SALESMAN BLAKE 2850 MANAGER ALLEN 1600 SALESMAN WARD 1250 SALESMAN TURNER 1500 SALESMAN JAMES 950 CLERK Równie interesująca jest możliwość wyznaczania wartości statystycznych za pomocą funkcji okienkowych. Funkcje te umożliwiają dynamiczne wyznaczanie partycji danych, dla których wyliczane są statystyki, w zależności od bezwzględnej liczby krotek, różnicy w wartościach atrybutów, lub w zmiennych przedziałach czasu. Przykładowo, w wielu analizach statystycznych wygodnie jest posługiwać się pojęciem wygładzonej średniej, która zmienia się wolniej niż sama zmienna lub trend. Wyznaczenie takiej statystyki przy wykorzystaniu okienkowych funkcji analitycznych staje się bardzo proste. Poniżej przedstawiono przykład zapytania wyznaczającego wygładzoną pensję pracowników, gdzie wygładzanie odbywa się w przedziałach o szerokości jednego roku. SQL> SELECT ename, sal, hiredate, AVG(sal) OVER (ORDER BY hiredate RANGE BETWEEN INTERVAL '1' YEAR PRECEDING AND CURRENT ROW) AS smooth_sal FROM emp; ENAME SAL HIREDATE SMOOTH_SAL SMITH DEC ALLEN FEB WARD FEB JONES APR BLAKE MAY CLARK JUN TURNER SEP MARTIN SEP KING NOV JAMES DEC FORD DEC MILLER JAN SCOTT APR ADAMS MAY

7 Oracle Statistical Functions 11g: statystyka dla dużych i małych Pakiet DBMS_STAT_FUNCS Pakiet DBMS_STAT_FUNCS zawiera kilka przydatnych procedur, umożliwiających testowanie zgodności rozkładu badanej cechy z jednym z popularnych rozkładów zmiennych losowych. Pakiet umożliwia sprawdzenie, czy badana cecha ma rozkład zgodny z rozkładem normalnym, rozkładem Poissona, rozkładem wykładniczym, rozkładem jednostajnym oraz rozkładem Weibulla. Oprócz procedur do testowania zgodności rozkładów pakiet zawiera przydatną procedurę SUMMA- RY(), która zbiera i prezentuje ogólną charakterystykę wybranego atrybutu. Poniżej przedstawiono przykład zastosowania tej procedury. DECLARE l_sigma_value NUMBER; l_summary DBMS_STAT_FUNCS.summaryType; BEGIN l_sigma_value := 2; DBMS_STAT_FUNCS.SUMMARY('SCOTT','EMP','SAL', l_sigma_value, l_summary); DBMS_OUTPUT.PUT_LINE('Count: ' l_summary.count); DBMS_OUTPUT.PUT_LINE('Min: ' l_summary.min); DBMS_OUTPUT.PUT_LINE('Max: ' l_summary.max); DBMS_OUTPUT.PUT_LINE('Range: ' l_summary.range); DBMS_OUTPUT.PUT_LINE('Mean: ' round(l_summary.mean)); DBMS_OUTPUT.PUT_LINE('Mode Count: ' l_summary.cmode.count); DBMS_OUTPUT.PUT_LINE('Mode: ' l_summary.cmode(1)); DBMS_OUTPUT.PUT_LINE('Variance: ' round(l_summary.variance)); DBMS_OUTPUT.PUT_LINE('Stddev: ' round(l_summary.stddev)); DBMS_OUTPUT.PUT_LINE('Quantile 5 ' l_summary.quantile_5); DBMS_OUTPUT.PUT_LINE('Quantile 25 ' l_summary.quantile_25); DBMS_OUTPUT.PUT_LINE('Median ' l_summary.median); DBMS_OUTPUT.PUT_LINE('Quantile 75 ' l_summary.quantile_75); DBMS_OUTPUT.PUT_LINE('Quantile 95 ' l_summary.quantile_95); DBMS_OUTPUT.PUT_LINE('Extreme Count: ' l_summary.extreme_values.count); DBMS_OUTPUT.PUT_LINE('Extremes: ' l_summary.extreme_values(1)); DBMS_OUTPUT.PUT_LINE('Top 3: ' l_summary.top_5_values(1) ', ' l_summary.top_5_values(2) ',' l_summary.top_5_values(3)); DBMS_OUTPUT.PUT_LINE('Bottom 3: ' l_summary.bottom_5_values(5) ', ' l_summary.bottom_5_values(4) ',' l_summary.bottom_5_values(3)); END; / Count: 14 Min: 800 Max: 5000 Range: 4200 Mean: 2073 Mode Count: 2 Mode: 1250 Variance: Stddev: 1183 Quantile Quantile Median 1550 Quantile Quantile Extreme Count: 1 Extremes: 5000

8 288 Mikołaj Morzy Top 3: 5000,3000,3000 Bottom 3: 800,950,1100 akiet DBMS_STAT_FUNCS służy jednak przede wszystkim do testowania zgodności rozkładu badanej cechy z jednym z dobrze znanych rozkładów. Aby prawidłowo dokonać dopasowania, konieczna jest znajomość podstawowych parametrów rozkładów, do których następuje dopasowanie. Przykładowo, dopasowując rozkład cechy do rozkładu normalnego konieczne jest podanie wartości średniej i odchylenia standardowego dopasowywanego rozkładu, a dopasowując rozkład cechy do rozkładu Poissona konieczne jest podanie wartości parametru λ. Poniżej przedstawiono procedurę dopasowania rozkładu płacy pracowników do rozkładu normalnego i rozkładu Poissona. DECLARE l_fit NUMBER := 0; l_mean NUMBER := 2073; l_stddev NUMBER := 1182; l_lambda NUMBER := 1; BEGIN DBMS_STAT_FUNCS.NORMAL_DIST_FIT('SCOTT','EMP','SAL','SHAPIRO_WILKS', l_mean,l_stddev,l_fit); DBMS_OUTPUT.PUT_LINE('Fit: ' l_fit); DBMS_STAT_FUNCS.POISSON_DIST_FIT('SCOTT','EMP','SAL','KOLMOGOROV_SMIRNOV', l_lambda,l_fit); DBMS_OUTPUT.PUT_LINE('Fit: ' l_fit); END; / W value : Fit: D value : Fit: Jak widać, w obu przypadkach dopasowanie jest poniżej domyślnego poziomu istotności (p=0.05), zatem możemy założyć, że badana cecha nie jest scharakteryzowana ani rozkładem normalnym, ani rozkładem Poissona. W przypadku każdego z testów (oraz testów wykonywanych przez procedury EXPONENTIAL_DIST_FIT(), UNIFORM_DIST_FIT() i WEIBULL_ DIST_FIT()) zakładana jest hipoteza zerowa o zgodności rozkładu badanej cechy z danym rozkładem. Niska wartość zwrócona przez każdą z procedur umożliwia odrzucenie hipotezy zerowej. Procedury dopasowywania rozkładu cechy do zadanego rozkładu wykorzystują jeden z wielu dostępnych w literaturze testów. Przykładowo, testowanie zgodności z rozkładem normalnym może być wykonane za pomocą standardowego testu Shapiro-Wilksa, ale można się też posłużyć testem χ 2, testem Kołmogorowa-Smirnowa, lub testem Andersona-Darlinga. 3. Testowanie hipotez Jedną z najczęściej wykorzystywanych technik statystycznych jest przeprowadzanie testów parametrycznych dla wartości średnich i wariancji. Baza danych Oracle 11g umożliwia wykonywanie takich testów w kilku trybach. Dostępne są m.in. test t-studenta zgodności ze średnią dla zmiennej opisanej rozkładem normalnym, test t-studenta na statystyczną istotność różnic średnich z niezależnych próbek, a także sparowany test t-studenta. Dla zbadania statystycznej istotności różnicy w wariancjach można posłużyć się testem f-fishera. Informację o statystycznej istotności w różnicach średnich można także uzyskać stosując analizę wariancji, zaimplementowaną w Oracle 11g jako ANOVA (do wykonania tego obliczenia należy posłużyć się funkcją STATS_ ONE_WAY_ANOVA()). Baza danych umożliwia także testowanie, czy dwie próbki pochodzą z tej

9 Oracle Statistical Functions 11g: statystyka dla dużych i małych 289 samej populacji, ew. czy dwie próbki są scharakteryzowane tym samym rozkładem. Należy przy tym zaznaczyć, że nie chodzi tu o sprawdzenie dopasowania do konkretnego rozkładu (jak w przypadku pakietu DBMS_STAT_FUNCS), a raczej sprawdzenie, czy dwie próbki mają ten sam dowolny rozkład. Oracle 11g oferuje test Manna-Whitneya zgodności rozkładów oraz test Kołmogorowa-Smirnowa zgodności rozkładów. Wreszcie, można uruchomić także test Wilcoxona do sprawdzenia, czy mediana różnic między próbkami jest istotnie różna od zera (ten test jest popularną alternatywą dla sparowanego testu t-studenta w sytuacji, gdy nie można zakładać, że badane próbki są opisane rozkładem normalnym). Poniżej zaprezentowano przykłady wykorzystania wybranych funkcji statystycznych. Pierwszy przykład pokazuje testowanie hipotezy dotyczącej średniej płacy pracowników (badamy, czy średnia pensja pracowników jest statystycznie istotnie różna od 2000). SQL> SELECT AVG(sal), STATS_T_TEST_ONE(sal, 2000, 'STATISTIC') t_statistic, STATS_T_TEST_ONE(sal, 2000,'TWO_SIDED_SIG') t_sig FROM emp; AVG(SAL) T_STATISTIC T_SIG Jak widać, niska wartość statystyki i duża istotność pozwalają na przyjęcie hipotezy, że średnia płaca pracowników nie jest istotnie różna od Kolejne zapytanie przedstawia weryfikację hipotezy o tym, czy średnia płaca pracowników jest istotnie różna od średniej płacy przełożonych. W tym celu należy się posłużyć sparowanym testem t-studenta. SQL> SELECT AVG(sal), AVG(mgr_sal), STATS_T_TEST_PAIRED(sal, mgr_sal, 'STATISTIC') t_statistic, STATS_T_TEST_PAIRED(sal, mgr_sal, 'TWO_SIDED_SIG') t_sig FROM ( SELECT e.sal, m.sal AS mgr_sal FROM emp e JOIN emp m ON (e.mgr = m.empno) ); AVG(SAL) AVG(MGR_SAL) T_STATISTIC T_SIG W tym przypadku bardzo niska wartość istotności (poniżej domyślnego poziomu istotności) pozwala jednoznacznie odrzucić hipotezę zerową o braku różnic między płacami pracowników i ich przełożonych. Następny przykład pokazuje użycie testu t-studenta w przypadku, gdy dysponujemy dwoma niezależnymi próbkami. Funkcja STATS_T_STAT_INDEP() pozwoli nam sprawdzić, czy istnieje istotna różnica między średnimi płacami dla dwóch wybranych etatów. SQL> SELECT (SELECT AVG(sal) FROM emp WHERE job='salesman') AS salesman_avg, (SELECT AVG(sal) FROM emp WHERE job='clerk') AS clerk_avg, t_statistic, t_sig FROM ( SELECT STATS_T_TEST_INDEP(job, sal, 'STATISTIC', 'SALESMAN') t_statistic, STATS_T_TEST_INDEP(job, sal, 'TWO_SIDED_SIG') t_sig FROM emp WHERE job IN ('SALESMAN','CLERK')); SALESMAN_AVG CLERK_AVG T_STATISTIC T_SIG

10 290 Mikołaj Morzy Wynik testu jest niejednoznaczny. Co prawda obserwowana istotność leży poniżej domyślnej wartości progowej (p = 0.05), ale jest na tyle blisko progu, że należy wykazać ostrożność przy decydowaniu o odrzuceniu hipotezy zerowej. Najprawdopodobniej należałoby wykonać dodatkowe testy, np. sprawdzić, czy badana cecha ma rozkład normalny (w przeciwnym wypadku należałoby się posłużyć innym testem na statystyczną istotność różnicy średnich). 4. Badanie korelacji Przykłady narzędzi przedstawionych w poprzednim rozdziale umożliwiały analizę pojedynczej cechy. W wielu aplikacjach interesujące jest zbadanie współzależności między dwoma lub więcej cechami. W takich przypadkach najczęściej wykorzystywaną techniką statystyczną jest badanie korelacji między zmiennymi. Baza danych Oracle 11g oferuje trzy różne metody badania korelacji między zmiennymi dostępne z poziomu funkcji języka SQL. Najpopularniejszym narzędziem jeśli chodzi o badanie korelacji jest bez wątpienia klasyczny współczynnik korelacji Pearsona, zdefiniowany jako Jest to iloraz kowariancji zmiennych i iloczynu odchyleń standardowych tych zmiennych. Współczynnik korelacji Pearsona przyjmuje wartości z przedziału, przy czym wartość -1 reprezentuje pełną ujemną zależność liniową między zmiennymi, wartość 0 oznacza brak zależności liniowej, zaś wartość 1 oznacza pełną dodatnią zależność liniową. Należy przy tym podkreślić, że wartość 0 nie pozwala stwierdzić, że między zmiennymi nie występuje żadna zależność. Oznacza ona jedynie brak występowania zależności liniowej. Do wyliczenia współczynnika korelacji służy w bazie danych Oracle 11g funkcja CORR() przedstawiona na poniższym przykładzie. SQL> SELECT CORR(sal, EXTRACT(YEAR FROM hiredate)) AS pearson_corr FROM emp; PEARSON_CORR Jak widać, między płacą pracownika a datą jego zatrudnienia nie występuje absolutnie żadna zależność liniowa. Poza współczynnikiem korelacji Pearsona baza danych Oracle 11g oferuje także dwie dodatkowe metody wyznaczania współzależności między zmiennymi. Korelacja rangowa jest realizowana za pomocą funkcji CORR_S(), która wylicza współczynnik korelacji ρ Spearmana. W przeciwieństwie do współczynnika korelacji Pearsona, współczynnik korelacji ρ Spearmana nie bierze pod uwagę wartości badanych zmiennych, a jedynie ich numer porządkowy w rankingu. W rezultacie, współczynnik korelacji ρ Spearmana informuje o istnieniu jakiejkolwiek zależności monotonicznej między zmiennymi (a nie jedynie zależności liniowej). Poniższy przykład pokazuje użycie korelacji rangowej. SQL> SELECT CORR_S(sal,DECODE(job,'PRESIDENT',5,'MANAGER',4,'ANALYST',3, 'SALESMAN',2, 'CLERK',1)) AS spearman_corr FROM emp; SPEARMAN_CORR Bardzo podobny do współczynnika korelacji ρ Spearmana jest współczynnik korelacji τ Kendalla. Jest to miara badająca zgodność par wartości analizowanych zmiennych, przy czym para obserwacji jest uważana za zgodną, jeśli większym wartościom jednej zmiennej odpowiadają

11 Oracle Statistical Functions 11g: statystyka dla dużych i małych 291 większe wartości drugiej zmiennej. W poniższym przykładzie zbadano, czy istnieje taki związek między płacą pracownika i procentowym zyskiem ze sprzedaży. SQL> SELECT CORR_K(sal, NVL(comm,0), 'COEFFICIENT') AS coeff, CORR_K(sal, NVL(comm,0), 'TWO_SIDED_SIG') AS sig FROM emp; COEFF SIG Ostatnia metoda badania współzależności między dwoma zmiennymi wykorzystuje test χ 2. Jest ona dostępna w bazie danych Oracle 11g pod postacią funkcji STATS_CROSSTAB(). Funkcja ta przyjmuje, jako parametry, nazwy badanych zmiennych, oraz trzeci argument definiujący zwracaną wartość. Funkcja może zwrócić obserwowaną wartość statystyki, istotność obserwowanej statystyki, liczbę stopni swobody rozkładu, ale także współczynnik ϕ lub współczynnik κ Cohena. Poniższy przykład pokazuje sposób odczytania wybranych wyników testu χ 2 SQL> SELECT STATS_CROSSTAB(sal, NVL(comm,0), 'CHISQ_OBS') AS chi_obs, STATS_CROSSTAB(sal, NVL(comm,0), 'CHISQ_SIG') AS chi_sig FROM emp; CHI_OBS CHI_SIG Regresja liniowa Ostatnią metodą statystyczną omawianą w niniejszym artykule jest regresja liniowa. Jest to bez wątpienia jedna z najpopularniejszych i najczęściej stosowanych technik statystycznych. W dużym uproszczeniu metoda regresji liniowej polega na znalezieniu zależności w postaci między zmienną objaśnianą y (zwaną także zmienną zależną) a zmienną objaśniającą x (zwaną także zmienną niezależną). Najczęściej do znalezienia konkretnych wartości współczynników a i b wykorzystuje się metodę najmniejszych kwadratów. Istnieją także bardziej złożone rodzaje zależności, które mogą być wykrywane za pomocą metod takich, jak regresja logarytmiczna, regresja logitowa, czy regresja wieloraka. W przypadku bazy danych Oracle 11g prosta regresja liniowa jest dostępna z poziomu funkcji języka SQL, natomiast bardziej zaawansowane modele można tworzyć przy wykorzystaniu opcji Oracle Data Mining (jest tam między innymi dostępny w postaci algorytmów Generalized Linear Models i Support Vector Machines). Poniższe zapytanie pokazuje sposób użycia prostych funkcji języka SQL do skonstruowania równania regresji. Wykorzystamy do tego celu funkcje REGR_SLOPE() i REGR_INTERCEPT(), zwracające wartości parametrów modelu a i b, odpowiednio. SQL> SELECT REGR_SLOPE(sal, EXTRACT (YEAR FROM sysdate) EXTRACT (YEAR FROM hiredate)) AS reg_slope, REGR_INTERCEPT(sal, EXTRACT (YEAR FROM sysdate) EXTRACT (YEAR FROM hiredate)) AS reg_intercept FROM emp; REG_SLOPE REG_INTERCEPT Wynik powyższego zapytania oznacza, że aby oszacować pensję pracownika, który przepracował 35 lat, należałoby skorzystać z formuły (w rzeczywistości w przypadku tabeli EMP proste wykreślenie zmiennej objaśnianej i objaśniającej dobitnie wskazuje, że pomiędzy nimi nie występuje żadna zależność liniowa i w tym przypadku użycie modelu regresji liniowej jest całkowicie nieuzasadnione.

12 292 Mikołaj Morzy 6. Podsumowanie W niniejszym artykule przedstawiono przegląd podstawowych narzędzi oferowanych przez bazę danych Oracle 11g do przetwarzania statystycznego. Omówione zostały podstawowe funkcje grupowe oraz funkcje analityczne, które umożliwiają wykonywanie zaawansowanych zapytań bezpośrednio z poziomu języka SQL. Dalej, przedstawiono zawartość pakietu DBMS_STAT_FUNCS który zawiera przede wszystkim procedury do testowania zgodności rozkładu badanej cechy z jednym z dobrze znanych rozkładów statystycznych. Baza danych Oracle 11g umożliwia także testowanie różnorakich hipotez, np. testowanie statystycznej istotności różnic średnich. Przykładowe zapytania zawarte w artykule prezentowały podstawowe funkcje SQL wykorzystywane do przeprowadzania testów parametrycznych i bezparametrycznych. W drugiej części artykułu skupiono się na narzędziach umożliwiających badanie korelacji między cechami i przedstawiono cztery różne funkcje realizujące to zadanie. Na koniec przedstawiono w dużym skrócie prostą metodę wyliczania współczynników regresji liniowej. Środowisko współczesnego systemu zarządzania bazą danych stanowi kompletne i bogate rozwiązanie dla przetwarzania statystycznego. Wiele zadań, w szczególności zadań nie wymagających najbardziej skomplikowanego aparatu statystycznego, może być z powodzeniem realizowane wewnątrz bazy danych, bez konieczności eksportowania danych do zewnętrznych specjalizowanych narzędzi. Dodatkowo, dostępność narzędzi statystycznych umożliwia prostą integrację modeli statystycznych w aplikacjach bazodanowych, co może zaowocować znaczącym wzrostem użyteczności tych aplikacji. Bibliografia [1] Hastie, T., Tibshirani, R., & Friedman, J. (2001). Elements of Statistical Learning. New York: Springer. [2] Koronacki, J., & Ćwik, J. (2005). Statystyczne systemy uczące się. Warszawa: Wydawnictwa Naukowo-Techniczne. [3] Koronacki, J., & Mielniczuk, J. (2001). Statystyka dla studentów kierunków technicznych i przyrodniczych. Warszawa: Wydawnictwa Naukowo-Techniczne. [4] Lorentz, D., & Roese, M. B. (2009). Oracle Database SQL Language Reference, 11g Release 2 (11.2). Oracle Corporation. [5] Raphaely, D. (2009). Oracle Database PL/SQL Packages and Types Reference, 11g Release 2 (11.2). Oracle Corporation.