Metody pozysiwaia wiedzy bezpośredie zapisaie wiedzy pozysiwaie wiedzy a podstawie istruci pozysiwaie wiedzy a podstawie aaii pozysiwaie wiedzy a podstawie przyładów pozysiwaie wiedzy a podstawie obserwaci
Bezpośredie zapisaie wiedzy uczeie a pamięć (ag. rote learig) system uczoy (uczeń) otrzymue gotową wiedzę w postaci ompletych i spóych zbiorów reguł zapisaych zgodie z obowiązuącymi w systemie zasadami zapisu wiedzy
Pozysiwaie wiedzy a podstawie istruci uczeie przez przeazaie iformaci (ag. learig by beig told) istotą rolę w te metodzie odgrywa auczyciel, tóry tworzy wiedzę w postaci aceptowale przez system espertowy uczeń dooue itegraci owe wiedzy z pewą wiedzą aprioryczą auczyciel arzuca atomiast struturę i charater zapisywae wiedzy
Pozysiwaie wiedzy a podstawie aaii polega a taie trasformaci istieące wiedzy, by mogła być użytecza do opisów fatów podobych (choć ie idetyczych) proces te może odbywać się bez auczyciela choć wymaga atywego zaagażowaia uczia do wyszuiwaia i tłumaczeia aaii
Pozysiwaie wiedzy a podstawie przyładów geerue się ogóly opis poęć (las) a podstawie zbioru przyładów i/lub otrprzyładów obietów reprezetuących te poęcia (lasy) metoda iducya przyłady są dostarczae przez auczyciela
Pozysiwaie wiedzy a podstawie obserwaci metoda iducya oparty o przyłady (obserwace) pochodzące ze świata zewętrzego lub z esperymetów uczeie bez auczyciela do iduci moża wyorzystywać techii esploraci daych (ag. data miig), grupowaia, metody statystyi, sztucze sieci euroowe, algorytmy geetycze
Przyłady metod pozysiwaia wiedzy Algorytm ID3 Metoda geerowaia poryć
Biare drzewo decyzye Ta A 0 Nie Ta A, A, Nie A,, A,, C C C 3
Algorytm ID3 - Quilaa Etropia: I i ( p i p i ) p i prawdopodobieństwo wystąpieia stau i i p i
Etropia - przyład Etropia esperymetu polegaącego a losowaiu w oparciu o rzut moetą I I I ( p i i ( ) p i ) ( )
Etropia - przyład Załóżmy, że moeta est oszuaa i prawdopodobieństwo wylosowaia orła wyosi /4 a reszi 3/4 I I 4 0,8 4 Poieważ wiemy o oszustwie asza iepewość est miesza 3 4 3 4
Algorytm ID3 - Quilaa Etropia w przypadu wielu przyładów i wielu rezultatów: I ( ) liczba przyładów ależących do lasy liczba wszystich przyładów
Etropia w uęciu częstościowym - przyład Załóżmy, że zamy 0 przyładów wiosów redytowych oceioych pozytywie Spośród ich 6 przypadów dotyczy redytów spłacoych, spłacoych po termiie i iespłacoych w ogóle 6 I 0 I,37 6 0 0 0 0 0
Etropia w uęciu częstościowym - przyład Załóżmy, że zamy 0 przyładów wiosów redytowych oceioych pozytywie Obliczmy etropię, w przypadu gdy 3 przyłady dotyczyły redytów spłacoych, 4 spłacoych z opóźieiem i 3 iespłacoych 3 I 0 I,57 3 0 4 0 4 0 3 0 3 0
Etropia w uęciu częstościowym - wiosi Jeżeli wiemy, że pozytywie oceioe wiosi redytowe są racze spłacae to mamy więszą wiedzę (a racze mieszą iewiedzę) iż w przypadu gdy wszystie osewece pozytywe ocey wiosu daą podoby wyi
Zaczeie etropii Im wyższa est miara etropii tym mie wiemy o oceiae sytuaci W pierwszym przypadu ie mieliśmy żadych przesłae by oceiać możliwość iespłaceia redytu w oparciu o zewętrze iformace Wiemy eda, że możliwość spłaceia redytu est zaczie wyższa iż iespłaceia czy opóźieia
Algorytm ID3 - Quilaa I I E Etropia po oceie waruu a temat całego problemu: liczba przyładów potwierdzoych przez warue liczba wszystich przyładów liczba przyładów zaprzeczoych przez warue
Załóżmy, że uzysuemy astępuącą dodatową iformacę: spośród 0 przyładów w 6 przyładach redyty były zabezpieczoe hipoteą a w 4 ie wówczas 6 4 0
Algorytm ID3 - Quilaa Etropia po oceie waruu : m ( X ), m ( X ), I I
0 0 0 0 0 0,,,,,,,,,, dla dla X dla dla X Algorytm ID3 - Quilaa
Algorytm ID3 - Quilaa,, liczba przyładów potwierdzaących, że eżeli warue est spełioy to przyład ależy do lasy liczba przyładów potwierdzaących, że eżeli warue ie est spełioy to przyład ależy do lasy
Dodatowe iformace Załóżmy, że w przypadu wiosów zabezpieczoych hipoteą (razem 6) 5 zostało spłacoych w termiie i ede z opóźieiem; atomiast redyty ie zabezpieczoe (razem 4) w edym przyładzie został spłacoy w termiie, w edym spłacoy z opóźieiem a w dwóch iespłacoy
Obliczeia Obliczmy etropię po oceie waruu dotyczącego zabezpieczoych hipoteą redytów spłacoych w termiie,, X X,, 5, 0,, 6, 5 6 5 6
Obliczeia Obliczmy etropię po oceie waruu dotyczącego zabezpieczoych hipoteą redytów spłacoych z opóźieiem,, X X,,,, 0,43 6, 6 6
Obliczeia Poieważ żade zabezpieczoy redyt ie pozostał iespłacoy obliczamy łączą etropię po oceie waruu zabezpieczoe redyty I 0, 0,43 0 0,65
Obliczeia Obliczmy etropię po oceie waruu dotyczącego ie zabezpieczoych hipoteą redytów spłacoych w termiie,, X X,,, 0,5, 4, 4 4
Obliczeia Obliczmy etropię po oceie waruu dotyczącego ie zabezpieczoych hipoteą redytów spłacoych z opóźieiem,, X X,,, 0,5, 4, 4 4
Obliczeia Obliczmy etropię po oceie waruu dotyczącego ie zabezpieczoych hipoteą redytów iespłacoych,,3 X X,3,, 0,5, 3 4, 4 4
Obliczeia Obliczamy etropię po oceie waruu dotyczącego ie zabezpieczoych redytów oraz ogółem przez iformacę o zabezpieczeiu I E E 0,5 0,5 0,5,5 I I 6 4 0,65,5 0,99 0 0
Dodatowe iformace Załóżmy, że uzysaliśmy dodatową iformacę o przezaczeiu redytu; wśród 0 przyładów 5 były to redyty osumpcye a 5 a zaup samochodu Spośród redytów osumpcyych 3 zostały spłacoe, spłacoy w termiie i ede iespłacoy Obliczmy etropię po uzysaiu iformaci, że redyt był osumpcyy
Obliczeia Obliczmy etropię po oceie waruu dotyczącego redytów osumpcyych spłacoych w termiie, X X,,, 3, 0,44, 5, 3 5 3 5
Obliczeia Obliczmy etropię po oceie waruu dotyczącego redytów osumpcyych spłacoych z opóźieiem X X,,,,,, 0,46 5, 5 5
Obliczeia Obliczmy etropię po oceie waruu dotyczącego redytów osumpcyych iespłacoych X X,3,3,3,,, 0,46 3 5, 5 5
Obliczeia Obliczamy łączy poziom etropii po oceie przyładów dotyczących redytów osumpcyych I 0,44 0,46 0,46,37
Dodatowe iformace Załóżmy, że spośród redytów iych iż osumpcye 3 zostały spłacoe w termiie, z opóźieiem i w ogóle iespłacoy
Obliczeia Obliczmy etropię po oceie waruu dotyczącego redytów iych iż osumpcye spłacoych w termiie, X X,,, 3, 0,44, 5, 3 5 3 5
Obliczeia Obliczmy etropię po oceie waruu dotyczącego redytów iych iż osumpcye spłacoych z opóźieiem X X,,,,,, 0,46 5, 5 5
Obliczeia Obliczmy etropię po oceie waruu dotyczącego redytów iych iż osumpcye iespłacoych X X,3,3,3,,, 0,46 3 5, 5 5
Obliczeia Obliczamy łączą etropię po oceie przyładów dotyczących redytów iych iż osumpcye oraz ogółem przez iformacę o rodzau redytu I E E 0,44 0,46 0,46,37 I I 5 5,37,37,37 0 0
Algorytm ID3 - Quilaa Warue wyboru waruu : max( I E )
Porówaie dwóch iformaci Iformaca o zabezpieczeiu I E,37 0,99 0,38 Iformaca o rodzau redytu I E,37,37 0,0
Przyład dobór formy relamy wie <0 0 0 0 0 0 0 0 0 0-30 0 0 0 0 0 0 0 0 >30 0 0 0 0 0 0 0 0 płeć K 0 0 0 0 0 0 M 0 0 0 0 0 0 miesza wieś 0 0 0 0 0 0 miasto 0 0 0 0 0 0 relama Iteret Prasa Telewiza 3 3 7
Przyład dobór formy relamy I 3 3 I 3 3 7 7 I,3844
Przyład dobór formy relamy Etropia po potwierdzeiu waruu ) 4 ( 4 ) 4 ( 4 ) ( 0 ) (,3,3,, I I I
Przyład dobór formy relamy Etropia po zaprzeczeiu waruu 0,9544 ) 8 5 ( 8 5 ) 8 3 ( 8 3 ) ( ) ( 0,3,3,, I I I
Przyład dobór formy relamy 0,447 0,9696 *0,9544 8 * 4 E I E E I I E Łącza etropia po oceie waruu :
Przyład dobór formy relamy I-E 0,447 0,85 3 0,40 4 0,090 5 0,090 6 0,6548 7 0,6548
Przyład dobór formy relamy wie <0 0 0 0 0 0-30 0 0 0 0 >30 0 0 0 0 płeć K 0 0 0 M 0 0 0 miesza wieś 0 0 0 0 0 0 miasto relama Iteret Prasa Telewiza wie <0 0 0 0 0 0-30 0 0 0 0 >30 0 0 0 0 płeć K 0 0 0 M 0 0 0 miesza wieś relama miasto 0 0 0 0 0 0 Iteret Prasa Telewiza
Przyład dobór formy relamy I-E 0,849 0,3658 3 0,3658 4 0,4 5 0,4
Drzewo decyzye miesza a wsi Nie wie<0 Ta Nie Ta telewiza Iteret Ta płeć=k Nie Ta telewiza wie>30 prasa Nie prasa
Algorytm ID3 przy ciągłych wartościach cech Załóżmy, że cechy obietów przymuą wartości z pewych ciągłych przedziałów, wówczas O K O A K { o A { a { gdzie,..., o,..., a i i,..., i,..., o,..., a,..., a m l } } } zbiór obietów (przyładów) zbiór atrybutów idetyczy dla wszystich przyładów zbiór las, do tórych walifiuemy przyłady
Algorytm ID3 przy ciągłych wartościach cech i i i l i m i m i i i i i c d gdzie w w w i c w d w d w d,,,,,,,, ) max ; mi ( ) ( ) (... ) (... ) ( wartość atrybutu w przyładzie i umer lasy do tóre ależy i-ty przyład
Algorytm ID3 przy ciągłych wartościach cech Poieważ dla taiego zapisu ie moża wprost wyorzystać metody ID3 ależy wprowadzić dodatowo dla oleych atrybutów wartości w* dzielące dziedzię a dwa rozłącze podzbiory ależy ta przeształcać warui i przyłady by możliwy był astępuący zapis: ( d i, w * )... ( d i, w * )... ( d i, m w * m ) ( c i l )
Przyład Należy oreślić zależość wielości sprzedaży od wieu lieta, poziomu wyształceia oraz odległości od slepu wie wyształceie odległość wartość zaupów lata poziom m zł/m-c lasa 8 00 00 0 3 500 50 35 3 00 400 3 4 600 00 40 5 400 550 3
Wybór putu podziału Badamy ai est poziom etropii po uwzględieiu wieu lieta. W tym celu wybieramy tai putu podziału w* ze zbioru {0,, 35, 40}, tóry wprowadza awięce iformaci. Uzysuemy astępuące tabele:
Wybór putu podziału wg wieu wie <0 0 0 0 0 >=0 0 lasa 0 0 0 0 0 0 0 3 0 0 0 wie < 0 0 0 >= 0 0 lasa 0 0 0 0 0 0 0 3 0 0 0 wie <35 0 0 >=35 0 0 0 lasa 0 0 0 0 0 0 0 3 0 0 0 wie <40 0 >=40 0 0 0 0 lasa 0 0 0 0 0 0 0 3 0 0 0
Wybór putu podziału wg wieu w* I-E 0 0,59,063 35,063 40 0,59
Wybór putu podziału wg wyształceia w* I-E 3 0,59 4 0,794 5 0,59
Wybór putu podziału wg odległości w* I-E 00 0,59 400 0,396 500 0,794 600 0,8553
Koiec pierwszego etapu Jeżeli za czyi decyduący w pierwszym etapie o podziale przypadów wie <35 wówczas uzysamy astępuące podzbiory wie wyształceie odległość wartość zaupów lata poziom m zł/m-c lasa 8 00 00 0 3 500 50 4 600 00 wie wyształceie odległość wartość zaupów lata poziom m zł/m-c lasa 35 3 00 400 3 40 5 400 550 3
Kotyuaca Przedstawioe procedury powtarzamy dla ażdego z podzbiorów aż do pełego rozaśieia problemu UWAGA: metoda ie dopuszcza przyładów sprzeczych
Geerowaie poryć - przyład Wybieramy podzbiór P obietów ależących do lasy i podzbiór M obietów ie ależących do dae lasy Z podzbioru P wybieramy dowoly przyład x r Ustalamy różice w waruach pomiędzy wybraym przyładem a wszystimi przyładami z podzbioru M
Przyład dobór formy relamy wie <0 0 0 0 0 0 0 0 0 0-30 0 0 0 0 0 0 0 0 >30 0 0 0 0 0 0 0 0 płeć K 0 0 0 0 0 0 M 0 0 0 0 0 0 miesza wieś 0 0 0 0 0 0 miasto 0 0 0 0 0 0 relama Iteret Prasa Telewiza M P
Geerowaie poryć - przyład Podzbiór P wszystie przyłady ależące do lasy telewiza x r =[wie<0] [płeć=m] [miesza=wieś] Ustalamy różice dr =[płeć=m] [miesza=wieś] dr =[miesza=wieś] dr 3 =[wie<0] [miesza=wieś] dr 4 = [wie<0] [miesza=wieś] dr 5 = [wie<0] [płeć=m] [miesza=wieś]
Geerowaie poryć - przyład Geeruemy porycia wybieraąc po edym waruu z ażde różicy łącząc e ażdy z ażdym: z dr wybieramy [płeć=m] z dr - [miesza=wieś] z dr 3 [wie<0] poieważ w oleych różicach ie ma uż różych waruów uzysuemy porycie: C = [płeć=m] [miesza=wieś] [wie<0]
Geerowaie poryć - przyład Koiuca waruów w poryciu wsazue a przyład, tóry a pewo ie ależy do zbioru M, a ależy do zbioru P. Dale: z dr wybieramy [miesza=wieś] z dr 3 - [wie<0] z dr 5 ie wybieramy [płeć=m] bo uzysalibyśmy porycie C poieważ w oleych różicach ie ma uż różych waruów uzysuemy porycie: C = [miesza=wieś] [wie<0]
Geerowaie poryć - przyład Porycie C. iformue as o tym, że wszystie osoby mieszaące a wsi młodsze iż 0 lat a pewo ie preferuą telewizi ao medium relamowego. Zauważmy, że z ażde różicy możemy wybrać warue [miesza=wieś] Uzysuemy porycie: C 3 = [miesza=wieś] co ozacza, że spełieie tego waruu wylucza przyależość do badae lasy.
Geerowaie poryć - przyład Wybieramy aorzystiesze porycie - C 3 do lewe stroy reguły dopisuąc warui C 3 uzysuemy regułę [miesza=wieś] [relama =Telewiza] Ze zbioru P usuwamy przyłady zgode z regułą C 3
Przyład dobór formy relamy wie <0 0 0 0 0 0 0 0 0 0-30 0 0 0 0 0 0 0 0 >30 0 0 0 0 0 0 0 0 płeć K 0 0 0 0 0 0 M 0 0 0 0 0 0 miesza wieś 0 0 0 0 0 0 miasto 0 0 0 0 0 0 relama Iteret Prasa Telewiza
Geerowaie poryć - przyład Podzbiór P wszystie przyłady ależące do lasy telewiza x r =[wie>30] [płeć=k] [miesza=miasto] Ustalamy różice dr =[wie>30] dr =[wie>30] [płeć=k] dr 3 =[wie>30] [płeć=k] dr 4 = [płeć=k] dr 5 = [wie>30]
Geerowaie poryć - przyład Geeruemy porycia C =[wie>30] [płeć=k] Wybieramy porycie C Ze zbioru P usuwamy przyłady zgode z regułą C uzysuemy regułę [miesza=wieś] [wie>30] [płeć=k] [relama =Telewiza] Kotyuuemy działaia aż do rozróżieia wszystich przyładów