Temat: WYKRYWANIE ODCHYLEO W DANYCH Outlier to dana (punkt, obiekt, wartośd w zbiorze) znacznie odstająca od reszty. prezentacji punktów odstających jest rysunek poniżej. Przykładem Box Plot wygodną metodą wykrywania odchyleo w danych Boxploty i wykresy rozrzutu są efektywnymi technikami wizualizacji danych odstających w analizowanym zbiorze. Konstruujemy boxplot jako pudełko między Q1 a Q3 z dodatkową linią
poziomą wskazującą na medianę. Następujące obliczenia są niezbędne dla wyznaczenia wartości obserwacji odstających: 1. lower inner fence: Q1-1.5*IQ 2. upper inner fence: Q2 + 1.5*IQ 3. lower outer fence: Q1-3*IQ 4. upper outer fence: Q2 + 3*IQ Wartośd poza inner fence zarówno dolnym jak i górnym ( a więc 1 i 2) jest uznawana za łagodny outlier (mild outlier), zaś wartości poza tzw. outer fence są traktowane jako tzw. Skrajny outlier (extreme outlier). Metoda A: Wykrywanie odchyleo krok po kroku na podstawie Q1 i Q3. 1. Uporządkuj dane rosnąco. Np. dla zbioru: {4, 5, 2, 3, 15, 3, 3, 5}, będzie to zbiór {2, 3, 3, 3, 4, 5, 5, 15}. 1. Znajdź medianę a więc taką wartośd w zbiorze danych dla której połowa danych w zbiorze jest od niej większa i polowa jest mniejsza. Mogą to byd także dwie takie wartości np. 3 i 4, wtedy mediana będzie wynosiła (3 + 4) / 2 = 3.5. 2. Znajdź górny kwartyl Q3 (75 % zbioru danych jest mniejsze od tej wartości); 3. Znajdź dolny kwartyl Q1 (25 % zbioru danych jest mniejsze od tej wartości); 4. Oblicz różnicę między Q3 a Q1. To będzie tzw. Rozstęp międzykwartylny. 5. Przemnóż tę wartośd przez 1.5. Dodaj ją do Q3 i odejmij od Q1. Wszystkie wartości, które będą poza tymi wartościami będą uznane za outlier. Np. jeśli Q3 = 5, Q1 = 3, to Q3 Q1 = 2, i teraz 1.5 * 2 = 3. Teraz 3 3 = 0, a 3 + 5 = 8. Zatem każda wartośd mniejsza niż 0 i większa niż 8 będzie uznana za (łagodny) outlier. W tym przykładowym zbiorze będzie to wartośd 15. 6. Przemnóż rozstęp międzykwartylny przez 3. Dodaj do Q3 i odejmij tę wartośd tez od Q1. Każda wartośd poza tymi wartościami będzie uznana za tzw. Skrajny outlier. W tym przypadku 2 x 3 = 6, a 3 6 = -3, zaś 5 + 6 = 11. Zatem każda wartośd mniejsza niż -3 bądź większa niż 11 będzie uznana za skrajny outlier. Tak więc wartośd 15 z pewnością jest outlierem w tym zbiorze danych. Metoda B: Wykrywanie odchyleo krok po kroku na podstawie wartości średniej i odchylenia standardowego Często do wykrywania odchyleo w danych używa się wartości średniej i odchylenia standardowego. Mówi się wówczas, że jeśli jakaś wartośd jest większa bądź mniejsza o wartośd równą dwukrotnej wartości odchylenia standardowego od wartości średniej to należy ją uznad za odchylenie. Ćwiczenie 1. Zbiór danych zawiera N = 90 elementów: 30, 171, 184, 201, 212, 250, 265, 270, 272, 289, 305, 306, 322, 322, 336, 346, 351, 370, 390, 404, 409, 411, 436, 437, 439, 441, 444, 448, 451, 453, 470, 480, 482, 487, 494, 495, 499, 503, 514, 521, 522, 527, 548, 550, 559, 560, 570, 572, 574, 578, 585, 592, 592, 607, 616, 618, 621, 629, 637, 638, 640, 656, 668, 707, 709, 719, 737, 739, 752, 758, 766, 792, 792, 794, 802, 818, 830, 832, 843, 858, 860, 869, 918, 925, 953, 991, 1000, 1005, 1068, 1441 Wyznacz wartości odstające jeśli takie istnieją.
Obliczenia: Median = 559.5 Q1 = 429.75 Q3 = 742.25 Rozstęp międzykwartylny = 742.25-429.75 = 312.5 Lower inner fence = 429.75-1.5 (312.5) = -39.0 Upper inner fence = 742.25 + 1.5 (312.5) = 1211.0 Lower outer fence = 429.75-3.0 (312.5) = -507.75 Upper outer fence = 742.25 + 3.0 (312.5) = 1679.75 Zatem wygląda na to, że jedynie jedna wartośd będzie mogla byd uznana za outlier. Jest to wartośd 1441, która znacznie przekracza upper inner fence i jako taka zostaje uznana za łagodny outlier. Zaś w tym zbiorze nie ma wartośd skrajnie odstających. ćwiczenie 2. Przeprowadź sobie test umieszczony na stronie o adresie: http://henryanker.com/math/number_sense/describing_numbers/finding_the_outlier.swf Ćwiczenie 3. Napisz w Excelu formułę logiczną, którą będzie wskazywała czy dana wartośd jest odstająca czy nie, umieszczając w sąsiadującej kolumnie wartośd tekstową typu: outlier bądź not outlier. Zastosuj obie poznane metody. Podpowiedź: =IF(OR (D5>$G$5+2*$G$6, D5<$G$5-2*$G$6), "Outlier", "Not Outlier") Metoda A A1: =QUARTILE(D1:D100,1) A2: =QUARTILE(D1:D100,3) B1: =A2 - A1 Wtedy w komórce D1 możemy wykrywad skrajne odchylenia jako: =if(or(d1 < A1-3*B1, D1 > A2 + 3*B1), "outlier?", "") Metoda B A1=AVERAGE(D1:D100) B1=STDEV(D1:D100) Wtedy D1= if(or(d1 < A1-4*B1, D1 > A1 + 4*B1), "outlier?", "")
Metoda C: Test Grubbsa (test T) Test na wykrycie wyniku obarczonego błędem grubym. Przed wykonaniem testu zbiór wyników eksperymentalnych (próbka statystyczna) zostaje uszeregowany według wzrastających wartości. Błędem grubym może byd obarczona największa lub najmniejsza wartośd wyniku w próbce. Dla tych wyników obliczane są odpowiednio parametry T max i T min. Parametr o większej wartości porównywany jest następnie z parametrem krytycznym testu Grubbsa, odpowiadającym rozmiarowi próbki statystycznej i wybranemu poziomowi ufności. Wartośd krytyczna statystyki tego testu obliczana jest na podstawie paramteru t rozkładu Studenta dla zadanego poziomu ufności i liczby stopni swobody (n - 2, n - liczba pomiarów w serii). Jeśli wartośd eksperymentalna jest większa od wartości krytycznej, wówczas podejrzany wynik obarczony jest błędem grubym i można go odrzucid z zadanym poziomem ufności. Test Grubbs a polega na zdefiniowaniu hipotezy statystycznej: H 0 : Nie ma odchyleo w zbiorze danych H a : Istnieje przynajmniej jedno odchylenie w zbiorze danych Statystyka testowa Grubbs'a jest określona jako: Gdzie to średnia a to odchylenie standardowe. Statystykę Grubbsa uznaje się za największe odchylenie od średniej w zbiorze o rozkładzie normalnym. Jest to test dwustronny, ale może byd także użyty jako test jednostronny: wtedy sprawdzamy 1.czy minimalna wartośd nie jest odchyleniem: Gdzie Y min odpowiada minimalnej wartości w zbiorze. minimum value. 2. Czy maksymalna wartośd jest odchyleniem: Gdzie Y max oznacza wartośd maksymalną. Dla testu dwustronnego odrzucimy hipotezę zerową o nieistnieniu żadnych odchyleo jeśli: gdzie oznacza wartośd krytyczną rozkładu t z (N-2) stopniami swobody i poziomie istotności /(2N). Dla testu jednostronnego to będzie poziom istotności równy /N.
Przykład: Zbiór danych pod adresem: http://itl.nist.gov/div898/handbook/eda/section4/eda4281.htm ********************* ** grubbs test y ** ********************* GRUBBS TEST FOR OUTLIERS (ASSUMPTION: NORMALITY) 1. STATISTICS: NUMBER OF OBSERVATIONS = 195 MINIMUM = 9.196848 MEAN = 9.261460 MAXIMUM = 9.327973 STANDARD DEVIATION = 0.2278881E-01 GRUBBS TEST STATISTIC = 2.918673 2. PERCENT POINTS OF THE REFERENCE DISTRIBUTION FOR GRUBBS TEST STATISTIC 0 % POINT = 0.000000 50 % POINT = 2.984294 75 % POINT = 3.181226 90 % POINT = 3.424672 95 % POINT = 3.597898 97.5 % POINT = 3.763061 99 % POINT = 3.970215 100 % POINT = 13.89263 3. CONCLUSION (AT THE 5% LEVEL): THERE ARE NO OUTLIERS. W części drugiej widzimy, jak dla różnych poziomów istotności zmienia się wartośd krytyczna. Odrzucimy hipotezę zerową na określonym poziomie istotności jeśli wartośd statystyki Grubbs a jest więsza niż wartośd krytyczna wskazana w kolumnie ostatniej w części drugiej. Trzecia częśd wyników przedstawia wynik dla 95 % testu. Widzimy, że np. dla wartości 0.10 a więc 90 % wartośd krytyczna jest równa 3.42 zaś statystyka Grubbs a wyniosła 2.92. Ponieważ statystyka testowa jest mniejsza niż wartośd krytyczna, przyjmujemy hipotezę zerową na poziomie istotności 0.10.