Metody wykrywania odchyleo w danych. Metody wykrywania braków w danych. Korelacja. PED lab 4

Transkrypt

1 Metody wykrywania odchyleo w danych. Metody wykrywania braków w danych. Korelacja. PED lab 4

2 Co z danymi oddalonymi? Błędne dane typu dochód z minusem na początku: to błąd we wprowadzaniu danych, czy faktyczny ujemny dochód?

3 Inne problemy z danymi? Np. wartość może być prawidłową daną, a może być także błędem w danych. W starszych BD pewne określone wartości oznaczały kod dla niewłaściwie wprowadzonych danych i właśnie wartość może być w tym względzie wartością oznaczającą błąd.

4 Złe dane Np. kolumna wiek czy rok_urodzenia? Czy jest jakas różnica między nimi? Wiek - źle, rok_urodzenia - dobrze

5 Brakujące dane bardzo poważnym problemem przy analizie danych Nie wiadomo jaka jest przyczyna braku danych i jak z tymi brakami w danych postępować. Powody niekompletności danych: atrybuty najbardziej pożądane do analizy mogą być niedostępne dane nie były możliwe do zdobycia w określonym czasie, co spowodowało nie zidentyfikowanie pewnych ważnych zależności czasami winą jest błąd pomiaru dane mogły być zapisane ale potem usunięte o prostu może brakować pewnych wartości dla atrybutów.

6 Metody na brakujące dane: Są 2 możliwości: 1. Pomijanie danych niebezpieczny krok 2. Zastępowanie danych (różne metody): 1. Zastąpienie pewną stałą podaną przez analityka 2. Zastąpienie wartością średnią lub modalną 3. Zastąpienie wartością losową.

7 Ad.1. Zastąpienie pewną stałą podaną przez analityka Braki w danych numerycznych zastępuje się wartością 0 Braki w danych tekstowych zastępuje się wartością missing

8 Ad. 2. Zastąpienie wartością średnią lub modalną Dane numeryczne zastępuje się wartością średnią w zbiorze danych Dane nienumeryczne (tekstowe) zastępuje się wartością modalną a więc wartością najczęściej występującą w zbiorze.

9 w 1 przypadku dane z uwzględnieniem danych brakujących w 2 przypadku dane z uwzględnieniem metod interpolacji w 3 przypadku gdy dane brakujące są ignorowane, a więc nie są brane pod uwagę przy wykreślaniu wykresu.

10 R i Rattle a brakujące dane Przypuśćmy, że mamy do czynienia ze zbiorem danych, w którym brak niektórych informacji. Konkretnie brakuje nam stawki godzinowej w wierszu 2 oraz informacji o czasie pracy w wierszu 11. W Rattle w zakładce Transform możemy użyć jednej z kilku metod radzenia sobie z brakami w danych: Zero/Missing zastępowanie braków w danych wartością 0 Mean zastępowanie braków w danych wartością średnią w danym zbiorze (tutaj można rozważyć także uśrednianie w ramach danej podgrupy!!!) Median zastępowanie braków w danych medianą w danym zbiorze Mode zastępowanie braków w danych modą w danym zbiorze Constant stała wartość, którą będą zastępowane wszelkie braki w danych. Może to być np. wartość 0, "unknown", "N/A" lub -

11

12

13 Efekt: Gdzie widzimy, że zarówno wiersz 2 jak i 11 mają teraz nowe wartości: będące wartościami średnimi w zbiorze.

14 Zero/Missing

15 Efekt:

16 Metoda zastępowania braków w danych w dużej mierze zależy od typu danych. Gdy brakuje danych w kolumnach z danymi numerycznymi często stosuje się uzupełnianie braków w danych wartością średnią czy medianą np. Jednak jeśli brakuje danych w kolumnach z danymi typu nominalnego wówczas powinno się wypełniać braki wartością najczęściej występującą w zbiorze!

17 Zastosowanie metody k-nn do uzupełniania braków w danych Metoda ta polega na tym, by znaleźć K takich przykładów, które są najbardziej podobne do obiektu, dla którego mamy pewne wartości puste. Wówczas brakująca wartość jest wyznaczana jako średnia wartość tej danej (zmiennej, kolumny) wśród tych K wybranych wartości. Wówczas wartość brakująca jest wypełniana jako:, gdzie I Kih jest zbiorem przykładów wziętych pod uwagę jako najbardziej podobne obserwacje, y jh jest wartością brakującą. Wadą tej metody jest fakt, że nie wiadomo jaka wartość liczby K jest najwłaściwsza i dobiera się ją czysto doświadczalnie.

18 Przykład Widzimy, że w komórce K1 brakuje wartości. Excel rozpoznaje komórki z błędnymi wartościami w tym przypadku będzie to zawartość tej komórki równa? i nie wlicza takich wartości przy podstawowych statystykach tupu średnia czy mediana. średnia mediana 4 średnia w grupie

19

20 Graficzne metody wykrywania wartości oddalonych: Punkty oddalone to skrajne wartości, znajdujące się blisko granic zakresu danych bądź są sprzeczne z ogólnym trendem pozostałych danych. Metody: 1. Histogram lub dwuwymiarowe wykresy rozrzutu, które potrafią wskazać obserwacje oddalone dla więcej niż 1 zmiennej.

21 histogram

22 Histogram 2

23 Wykres rozrzutu

24 Płatki śniadaniowe Liczba obserwacji: 77 Wartości brakujące są opisane jako -1

25 Numeryczne metody wykrywania danych oddalonych (outlierów): 1. Metoda oparta na średniej i odchyleniu standardowym 2. Rozstęp międzykwartylowy

26 Ad.1. Metoda oparta na średniej i odchyleniu standardowym Punkt oddalony to przecież taki punkt który jest oddalony od średniej o dużo więcej niż odchylenie standardowe, np. 2 razy odchylenie standardowe. Niestety średnia i odchylenie standardowe biorą udział we wzorze na standaryzację, i dlatego są raczej wrażliwe na obecność punktów oddalonych.

27 Często do wykrywania odchyleń w danych używa się wartości średniej i odchylenia standardowego. Mówi się wówczas, że jeśli jakaś wartość jest większa bądź mniejsza o wartość równą dwukrotnej wartości odchylenia standardowego od wartości średniej to należy ją uznać za odchylenie.

28 Ad.2. Rozstęp międzykwartylowy IQR To bardziej odporna metoda. Kwartyle dzielą zbiór danych na 4 części z których każda zawiera 25 % danych. Rozstęp międzykwartylowy to miara zmienności, która jest dużo bardziej odporna niż odchylenie standardowe IRQ = Q3 Q1 Q1 pierwszy kwartyl Q3 trzeci kwartyl

29 lower inner fence: Q1-1.5*IQ upper inner fence: Q *IQ lower outer fence: Q1-3*IQ upper outer fence: Q3 + 3*IQ A point beyond an inner fence on either side is considered a mild outlier. A point beyond an outer fence is considered an extreme outlier.

30 Dana jest punktem oddalonym gdy: Jest położona przynajmniej o 1.5 x IQR poniżej Q1 (a więc: Q1-1.5 * IQR ) Jest położona przynajmniej o 1.5 x IQR powyżej Q3 (a więc Q3+1.5 * IQR )

31 Zbiór danych 30, 171, 184, 201, 212, 250, 265, 270, 272, 289, 305, 306, 322, 322, 336, 346, 351, 370, 390, 404, 409, 411, 436, 437, 439, 441, 444, 448, 451, 453, 470, 480, 482, 487, 494, 495, 499, 503, 514, 521, 522, 527, 548, 550, 559, 560, 570, 572, 574, 578, 585, 592, 592, 607, 616, 618, 621, 629, 637, 638, 640, 656, 668, 707, 709, 719, 737, 739, 752, 758, 766, 792, 792, 794, 802, 818, 830, 832, 843, 858, 860, 869, 918, 925, 953, 991, 1000, 1005, 1068, 1441

32 Obliczenia Median = (n+1)/2 largest data point = the average of the 45th and 46th ordered points = ( )/2 = Lower quartile =.25(N+1)=.25*91= 22.75th ordered point = ( ) = Upper quartile =.75(N+1)=0.75*91= = 68.25th ordered point = ( ) = Interquartile range = = Lower inner fence = (312.5) = Upper inner fence = (312.5) = Lower outer fence = (312.5) = Upper outer fence = (312.5) =

33 Odchyleniem jest 30, 171, 184, 201, 212, 250, 265, 270, 272, 289, 305, 306, 322, 322, 336, 346, 351, 370, 390, 404, 409, 411, 436, 437, 439, 441, 444, 448, 451, 453, 470, 480, 482, 487, 494, 495, 499, 503, 514, 521, 522, 527, 548, 550, 559, 560, 570, 572, 574, 578, 585, 592, 592, 607, 616, 618, 621, 629, 637, 638, 640, 656, 668, 707, 709, 719, 737, 739, 752, 758, 766, 792, 792, 794, 802, 818, 830, 832, 843, 858, 860, 869, 918, 925, 953, 991, 1000, 1005, 1068, 1441 MIN= MAX =

34 Co po wykładzie powinniśmy wiedzied? Jak wykrywad wartości oddalone w zbiorze danych? Jak zastępowad braki w danych? Czy typ danych ma wpływ na wybór graficznej reprezentacji? W czym może pomóc eksploracja danych?