Analiza danych wydobywanie wiedzy z danych III Metody wypełniania braków w danych ang. Missing values in data W rzeczywistych zbiorach danych dane są często nieczyste: - niekompletne (brakujące ważne atrybuty, bądź brakujące wartości atrybutów, dane są pogrupowane) - niespójne (różnice w kodowaniu nazw atrybutów, obiektów, wartości atrybutów) - zaszumione (zawierają błędne dane, bądź dane odległe - outliery) Powody niekompletności danych: - atrybuty najbardziej pożądane do analizy mogą byd niedostępne - dane nie były możliwe do zdobycia w określonym czasie, co spowodowało nie zidentyfikowanie pewnych ważnych zależności - czasami winą jest błąd pomiaru - dane mogły byd zapisane ale potem usunięte - po prostu może brakowad pewnych wartości dla atrybutów. Istnieje szereg metod wypełniania braków w danych tak by możliwa była analiza danego zbioru danych. Do najpopularniejszych należą: 1. Metoda ignorowania braków w danych. Jest najprostsza. 2. Metoda zastępowania braków wartością najbardziej dominującą w danym zbiorze: najczęściej występującą, średnią, medianą. 3. Metoda zastępowania brakujących danych wartościami najbardziej prawdopodobnymi ale w ramach danej klasy wartości. 4. Można użyd metody regresji do przewidywania wartości brakującej danej. 5. Można także użyd metody k-najbliższych sąsiadów do ustalenia wartości najbardziej prawdopodobnej dla brakującej danej. Brakujące dane mają ogromny wpływ na naszą wiedzę o danej dziedzinie. Wpływają na wartości statystyk opisowych typu: średnia, mediana, moda, ale także na graficzną reprezentację danych. Np. na wykresie dane brakujące zaburzają interpretację wiedzy o analizowanym zbiorze:
Przykładowo powyższy wykres przedstawia: w 1 przypadku dane z uwzględnieniem danych brakujących w 2 przypadku dane z uwzględnieniem metod interpolacji w 3 przypadku gdy dane brakujące są ignorowane, a więc nie są brane pod uwagę przy wykreślaniu wykresu. W pakiecie R i nakładce Rattle bardzo łatwo można poradzid sobie z brakami w danych. Przypuśdmy, że mamy do czynienia ze zbiorem danych, w którym brak niektórych informacji. Konkretnie brakuje nam stawki godzinowej w wierszu 2 oraz informacji o czasie pracy w wierszu 11. W Rattle w zakładce Transform możemy użyd jednej z kilku metod radzenia sobie z brakami w danych: 1. Zero/Missing zastępowanie braków w danych wartością 0 2. Mean zastępowanie braków w danych wartością średnią w danym zbiorze (tutaj można rozważyd także uśrednianie w ramach danej podgrupy!!!) 3. Median zastępowanie braków w danych medianą w danym zbiorze 4. Mode zastępowanie braków w danych modą w danym zbiorze 5. Constant stała wartośd, którą będą zastępowane wszelkie braki w danych. Może to byd np. wartośd 0, "unknown", "N/A" lub - Gdybyśmy dla naszego zbioru przykładowego użyli metody zastąpowania braków wartością średnią okno Rattle do ustalenia które zmienne mają byd interpolowane którą metodą wyglądałoby następująco:
Wówczas wynik Rattle byłby następujący: A w efekcie zbiór danych mógłby mied taką postad:
Gdzie widzimy, że zarówno wiersz 2 jak i 11 mają teraz nowe wartości: będące wartościami średnimi w zbiorze. Gdybyśmy dla tego samego zbioru chcieli użyd metody Zero/missing okno Rattle wyglądałoby następująco: A w wyniku dane w analizowanym zbiorze przybrałyby następującą zawartośd:
Metoda zastępowania braków w danych w dużej mierze zależy od typu danych. Gdy brakuje danych w kolumnach z danymi numerycznymi często stosuje się uzupełnianie braków w danych wartością średnią czy medianą np. Jednak jeśli brakuje danych w kolumnach z danymi typu nominalnego wówczas powinno się wypełniad braki wartością najczęściej występującą w zbiorze! W literaturze anglojęzycznej metody te noszą odpowiednio nazwy: Global Most Common Attribute Value for Symbolic Attributes oraz Global Average Value for Numerical Attributes(MC). Jeśli rozważamy wypełnianie braków w danych wartościami średnimi bądź najczęściej występującymi ale w danej grupie danych wówczas metody noszą odpowiednio nazwy: Concept Most Common Attribute Value for Symbolic Attributes oraz Concept Average Value for Numerical Attributes (CMC) Zastosowanie metody k-nn do uzupełniania braków w danych. Metoda ta polega na tym, by znaleźd K takich przykładów, które są najbardziej podobne do obiektu, dla którego mamy pewne wartości puste. Wówczas brakująca wartośd jest wyznaczana jako średnia wartośd tej danej (zmiennej, kolumny) wśród tych K wybranych wartości. Wówczas wartośd brakująca jest wypełniana jako:, gdzie I Kih jest zbiorem przykładów wziętych pod uwagę jako najbardziej podobne obserwacje, y jh jest wartością brakującą. Wadą tej metody jest fakt, że nie wiadomo jaka wartośd liczby K jest najwłaściwsza i dobiera się ją czysto doświadczalnie.
Przykład na zajęcia z PED: Załóżmy, że mamy do dyspozycji bardzo prosty zbiór danych: Widzimy, że w komórce K1 brakuje wartości. Excel rozpoznaje komórki z błędnymi wartościami w tym przypadku będzie to zawartośd tej komórki równa? i nie wlicza takich wartości przy podstawowych statystykach tupu średnia czy mediana. średnia 3.875 mediana 4 średnia w grupie 1.666667
Zadanie 1 Proszę spróbowad dla zbioru podanego na początku dokumentu zapisad w Excelu formuły do obliczania wartości brakujących danych za pomocą: 1. Metody zastępowania danych zerem 2. Metody uśredniania 3. Zakładając, że zbiór został rozszerzony o 4 kolumnę typu płed (tak jak na rysunku poniżej), uśredniaj brakujące wartości w ramach grupy płci. Zadanie dodatkowe. Zakładając, że także w kolumnie z danymi nominalnymi mamy braki w danych, a wiec w kolumnie pled jak na rysunku poniżej: Wstaw odpowiednią wartośd w brakującą komórkę.
Krok 1. Metoda wstawienia zamiast znaku? tekstu brak Metoda znajdowania wartości najczęściej występującej i wypełniania nią brakujących danych. Krok 2a. Zliczanie wystąpieo danej wartości tekstowej K i M.
Krok 2b. wybór tej wartości, która występuje najczęściej. Krok.2c. Formula logiczna do wypelniania braków wartością najczęściej występującą.