ËÞØÙÞÒ ÁÒØ Ð Ò ËÝ Ø ÑÝ ÓÖ Þ ½
System ALVINN ÄÎÁÆÆ ÔÖÓÛ Þ ÑÓ ÔÓ ÙØÓ ØÖ Þ Þ ÞÝ Ó ¼ Ñ Ð Ò Ó Þ Ò Sharp Left Straight Ahead Sharp Right 30 Output Units 4 Hidden Units 30x32 Sensor Input Retina ¾
www.wisewire.com, adaptuje sie do uzytkownika
ÝÞ dec Ø Ý ÑÓ Ð Û Ò Ö Þ ÔÓÔÖ ÛÒ ÔÖÞÝÔ ¹ ÔÖÓ ÝÑÙ Ó ØÓÑ Þ ÔÖÞ ØÖÞ Ò X Ð Ø ÖÝ Ò ÞÒ Ò Ø Û ÖØÓ Ý¹ ÝÛ Uczenie indukcyjne Ò Ö ÔÖ Þ ÒØÙ ÖÞ ÞÝÛ ØÝ Ø Ò ÐÙ Ó Ø Ç ØÝ ÔÖÞ ØÖÞ Ó Ø Û X ØÛÓÖÞ ÙÒ dec : X V ÝÞ dec Ó ØÓÑ ÔÖÞÝÔ Ù ÝÞ Þ Ù Ø ÐÓÒ Ó Þ ÓÖÙ V Û ÖØÓ dec Ö ÔÖÞÝ Û Ù Ø ÐÓÒÝ Þ Ö Ó Ø Û Þ X ÔÖÞÝÔ ÒÝÑ Û ÖØÓ Ñ ÝÞ Þ (x 1, dec(x 1 )),..., (x m, dec(x m )) ÈÖÓ Ð Ñ Ò Ó Þ ÓÖÙ ÔÖÞÝ Û Ò ÙÞÝ ÙÒ ÔÓØ Þµ h : X V dec Þ dec
Uczenie indukcyjne: kolko i krzyzyk Ç ØÝ ØÓ Ô ÖÝ Ø Ò ÖÝ Ó Ò Ø ÒÙ O O X X X, +1 ÈÖÓ Ð Ñ ÔÓÐ Ò Ò ÙÞ Ò Ù Û Û Ó ÒÝ Ø ÒÙ ÖÝ
ÔÓÐ Ò Ò ÙÞ Ò Ù ÔÓ ÑÓÛ Ò Û Û Ó ÛÝ ÓÖÙ ÈÖÓ Ð Ñ ÔÓ Ø Û Ý Û ÖÙÒ Û ÔÓ Ó ÓÛÝ Ò Uczenie indukcyjne: uprawianie sportu Ç ØÝ ØÓ Û ØÓÖÝ Û ÖØÓ ÓÔ Ù Û ÖÙÒ ÔÓ Ó ÓÛ ÈÖÞÝ N iebo T emp W ilgotn W iatr W oda P rognoza ËÔÓÖØ ØÖÝ ÙØÝ ÝÞ Þ ½ Ë Ó Ô Ó ÆÓÖÑ ÐÒ Ë ÐÒÝ Ô Þ ÞÑ Ò Ì Þ ¾ Ë Ó Ô Ó ÏÝ Ó Ë ÐÒÝ Ô Þ ÞÑ Ò Ì Þ ÞÞ ÑÒÓ ÆÓÖÑ ÐÒ Ë ÐÒÝ Ô Ñ Ò Æ Þ Ë Ó Ô Ó ÏÝ Ó Ë ÐÒÝ Ó Ò Ñ Ò Ì
Rodzaje decyzji ÝÞ ÑÓ ÔÖÞÝ ÑÓÛ Û ÖØÓ ÖÞ ÞÝÛ Ø ÝÞ µ Ý Ö ØÒ Ò ÖÒ ÌÊÍ ÐÙ ÄË µ
H Ø Ô Ò Ò Þ ÓÖÞ ØÖ Ò Ò ÓÛÝÑ (x À ÔÓØ Þ 1, dec(x 1 )),..., (x m, dec(x m )) Ð Hipoteza spojna h(x i ) = dec(x i ) Ð Ó 1 i m
Regresja (decyzja ciagla) f(x) Ê Ö ØÓ ÔÖÓ ÝÑ ÝÞ Ó Û ÖØÓ x
Regresja (decyzja ciagla) f(x) Ê Ö ØÓ ÔÖÓ ÝÑ ÝÞ Ó Û ÖØÓ x Ê Ö Ð Ò ÓÛ ½¼
Regresja (decyzja ciagla) f(x) Ê Ö ØÓ ÔÖÓ ÝÑ ÝÞ Ó Û ÖØÓ x Ê Ö Û Ö ØÓÛ ½½
Regresja (decyzja ciagla) f(x) Ê Ö ØÓ ÔÖÓ ÝÑ ÝÞ Ó Û ÖØÓ x Ê Ö ÛÝ Þ Ó ØÓÔÒ Ô Ò µ ½¾
Regresja (decyzja ciagla) f(x) Ê Ö ØÓ ÔÖÓ ÝÑ ÝÞ Ó Û ÖØÓ x Ê Ö Û Ñ Ð Ò ÓÛ Ô Ò µ ½
Ç Ñ ÛÝ Ö ÔÓØ Þ Ø Ö Ñ ÝÑ Ð ÞÙ ÔÓ Þ Ò Ô ÒÓ¹ ÖÞÝØÛ ÔÖÓ ØÓØÝ Brzytwa Ockhama f(x) x ÏÝ Ö ÔÖÓ ÝÑ Þ Ð Ý Ó ÙÒ Ó ÒÝ Ô ÒÓ ÔÖÓ ØÓØÝ ½
Opis obiektow przez atrybuty ØÖÝ ÙØÝ Þ Ö ØÖÝ ÙØ Û A = {a 1, a 2,..., a n } Ç ØÝ Ï ØÓÖÝ Û ÖØÓ ØÖÝ ÙØ Û x =< x 1, x 2,..., x n > Ï ÖØÓ ØÖÝ ÙØ Û ÑÓ Ý Ý Ö ØÒ Ò ÖÒ ÌÊÍ ÐÙ ÄË µ ½
Opis obiektow przez atrybuty: przyklad ÝÞ Ò Ö Û Ø Ò Ø Ò ÖÒ ÐÙ ÆÓ Ý ÇÙØÐÓÓ Ì ÑÔ Ö ØÙÖ ÀÙÑ ØÝ Ï Ò ÈÐ ÝÌ ÒÒ ½ ËÙÒÒÝ ÀÓØ À Ï ÆÓ ¾ ËÙÒÒÝ ÀÓØ À ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÀÓØ À Ï Ê Ò Å Ð À Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ËÙÒÒÝ Å Ð À Ï ÆÓ ËÙÒÒÝ ÓÓÐ ÆÓÖÑ Ð Ï ½¼ Ê Ò Å Ð ÆÓÖÑ Ð Ï ½½ ËÙÒÒÝ Å Ð ÆÓÖÑ Ð ËØÖÓÒ ½¾ ÇÚ Ö Ø Å Ð À ËØÖÓÒ ½ ÇÚ Ö Ø ÀÓØ ÆÓÖÑ Ð Ï ½ Ê Ò Å Ð À ËØÖÓÒ ÆÓ ½
Przestrzen hipotez ÁÐ Ø Ö ÒÝ ÔÓØ Þ ÙÒ µ Ò ÖÒÝ Ð n ØÖÝ ÙØ Û Ò ÖÒÝ ½
Przestrzen hipotez Ø Ö ÒÝ ÔÓØ Þ ÙÒ µ Ò ÖÒÝ Ð n ØÖÝ ÙØ Û Ò ÖÒÝ ÁÐ Ð Þ ÙÒ Ò ÖÒÝ Ð Þ Þ ÒÝ Þ 2 n Ó Ø Ñ 2 2n ½
Przestrzen hipotez Ø Ö ÒÝ ÔÓØ Þ ÙÒ µ Ò ÖÒÝ Ð n ØÖÝ ÙØ Û Ò ÖÒÝ ÁÐ Ð Þ ÙÒ Ò ÖÒÝ Ð Þ Þ ÒÝ Þ 2 n Ó Ø Ñ 2 2n ÒÔº Ð ØÖÝ ÙØ Û Ò ÖÒÝ Ø ½ ¼ ¼ ½ ½ ÔÓØ Þ ½
Ograniczanie przestrzeni hipotez ÈÖÞ ØÖÞ ÔÓØ Þ ÑÓ Ò Ó Ö Ò ÞÝ Ó Ù Ø ÐÓÒ Ð Ý ÔÓØ Þ ¾¼
Ograniczanie przestrzeni hipotez: przyklad ÈÖÞ ØÖÞ ÔÓØ Þ ÑÓ Ò Ó Ö Ò ÞÝ Ó Ù Ø ÐÓÒ Ð Ý ÔÓØ Þ ÁÐ Ø ÞÝ ØÓ ÓÒ ÙÒ Ý ÒÝ ÙÒ ÒÔº Hungry Rainµ ¾½
ØÖÝ ÙØ ÑÓ ÛÝ Ø Ô Ó Ð Ø Ö ÔÓÞÝØÝÛÒÝ Ã Ý Ð Ø Ö Ò ØÝÛÒÝ ÐÙ Û Ð Ó Ograniczanie przestrzeni hipotez: przyklad ÈÖÞ ØÖÞ ÔÓØ Þ ÑÓ Ò Ó Ö Ò ÞÝ Ó Ù Ø ÐÓÒ Ð Ý ÔÓØ Þ ÁÐ Ø ÞÝ ØÓ ÓÒ ÙÒ Ý ÒÝ ÙÒ ÒÔº Hungry Rainµ ¾¾
ØÖÝ ÙØ ÑÓ ÛÝ Ø Ô Ó Ð Ø Ö ÔÓÞÝØÝÛÒÝ Ã Ý Ð Ø Ö Ò ØÝÛÒÝ ÐÙ Û Ð Ó Ograniczanie przestrzeni hipotez: przyklad ÈÖÞ ØÖÞ ÔÓØ Þ ÑÓ Ò Ó Ö Ò ÞÝ Ó Ù Ø ÐÓÒ Ð Ý ÔÓØ Þ ÁÐ Ø ÞÝ ØÓ ÓÒ ÙÒ Ý ÒÝ ÙÒ ÒÔº Hungry Rainµ 3 n Ö ÒÝ ÙÒ ÓÒ ÙÒ Ý ÒÝ ¾
Zwiekszanie przestrzeni hipotez Ó ÔÓÛÓ Ù ÞÛ Þ Ò Ð Ý ÓÔÙ ÞÞ ÐÒÝ ÔÓØ Þ ¾
Zwiekszanie przestrzeni hipotez Ó ÔÓÛÓ Ù ÞÛ Þ Ò Ð Ý ÓÔÙ ÞÞ ÐÒÝ ÔÓØ Þ ÞÛ Þ Þ Ò ÙÒ Ó ÐÓÛ ÑÓ Ý ÛÝÖ ÓÒ ¾
Zwiekszanie przestrzeni hipotez Ó ÔÓÛÓ Ù ÞÛ Þ Ò Ð Ý ÓÔÙ ÞÞ ÐÒÝ ÔÓØ Þ ÞÛ Þ Þ Ò ÙÒ Ó ÐÓÛ ÑÓ Ý ÛÝÖ ÓÒ ÞÛ Þ Ð Þ ÔÓØ Þ Þ Ó ÒÝ Þ Þ ÓÖ Ñ ØÖ Ò Ò ÓÛÝÑ ¾
Zwiekszanie przestrzeni hipotez Ó ÔÓÛÓ Ù ÞÛ Þ Ò Ð Ý ÓÔÙ ÞÞ ÐÒÝ ÔÓØ Þ ÞÛ Þ Þ Ò ÙÒ Ó ÐÓÛ ÑÓ Ý ÛÝÖ ÓÒ ÞÛ Þ Ð Þ ÔÓØ Þ Þ Ó ÒÝ Þ Þ ÓÖ Ñ ØÖ Ò Ò ÓÛÝÑ ÑÓ ÔÓÛÓ ÓÛ ÓÖ Þ ÙØ ÞÒÓ ÔÖ Ý ¾
ÔÓØ ÞÝ Accuracy(h) Ø Ñ ÖÞÓÒ ÔÖÓÔÓÖ Ë ÙØ ÞÒÓ Ð Ý ÓÛ ÒÝ Ó Ø Û Þ Þ ÓÖÙ Ø ØÓÛ Ó ÔÓÔÖ ÛÒ Empiryczna miara jakosci hipotezy Ò Þ ÐÓÒ Ò Þ Ö ØÖ Ò Ò ÓÛÝ U trn Þ Ö Ø ØÓÛÝ U tst h : X V À ÔÓØ Þ dec Ò Ù ÓÛ Ò Ò ÔÓ Ø Û Ø ØÖ Ò Ò ÓÛ Ó U Þ ÓÖÙ trn Accuracy(h) = {x U tst : h(x) = dec(x)} U tst ¾
ÛÒ Ó ÓÛ Ò Ð ÒÝ ÓÔ ÒÝ ÔÖÞ Þ Þ Ö ØÖÝ ÙØ Û Þ ÝÞ Å ØÓ Ý Ý Ö ØÒ Metody wnioskowania ÖÞ Û ÝÞÝ Ò ËÝ Ø ÑÝ Ö Ù ÓÛ Ë Ò ÙÖÓÒÓÛ ÏÒ Ó ÓÛ Ò ÓÔ ÖØ Ò ÔÓ Ó ØÛ Ë Ý ÓÛ ¾
Û ÛÒØÖÞÒ ÏÞ Ý ÞÛ Þ ÒÝ Þ ÒÝÑ ØÖÝ ÙØ Ñ Ã Ý Þ ÞÛ Þ Ò Þ Ò Û ÖØÓ ÐÙ Þ ÔÓ Þ ÓÖ Ñ Û ÖØÓ Ã ÛÞ Þ Ø Ö Ó ÛÝ Ó Þ õ ØÖÝ ÙØÙ Ó ØÓÑ ÒÝ Þ Ô Ù ÝÑ Û ÖØÓ Ñ ØÖÝ ÙØÙ Ó ÔÓÛ ÞÛ Þ ÒÝ Þ ÝÞ ÐÙ ÖÓÞ Ñ ÝÞ Ó ÔÓÛ Ó ØÓÑ Ã Ý Ô Ù ÝÑ Ó ÔÖÓÛ Þ Ó Ò Ó Ð ÒÝ Drzewa decyzyjne: reprezentacja Ö ÔÖ Þ ÒØÙ Ø Ø Û ÖØÓ Ø Ó ØÖÝ ÙØÙ Ä ¼
Drzewa decyzyjne: przyklad Ê ÔÖ Þ ÒØ ÒÝ Ý ÇÙØÐÓÓ Ì ÑÔ Ö ØÙÖ ÀÙÑ ØÝ Ï Ò ÈÐ ÝÌ ÒÒ ½ ËÙÒÒÝ ÀÓØ À Ï ÆÓ ¾ ËÙÒÒÝ ÀÓØ À ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÀÓØ À Ï Ê Ò Å Ð À Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ËÙÒÒÝ Å Ð À Ï ÆÓ ËÙÒÒÝ ÓÓÐ ÆÓÖÑ Ð Ï ½¼ Ê Ò Å Ð ÆÓÖÑ Ð Ï ½½ ËÙÒÒÝ Å Ð ÆÓÖÑ Ð ËØÖÓÒ ½¾ ÇÚ Ö Ø Å Ð À ËØÖÓÒ ½ ÇÚ Ö Ø ÀÓØ ÆÓÖÑ Ð Ï ½ Ê Ò Å Ð À ËØÖÓÒ ÆÓ ½
Drzewa decyzyjne: przyklad Outlook Sunny Overcast Rain Humidity Yes Wind High Normal Strong Weak No Yes No Yes ¾
Þ ÞÝÒ ÑÝ Ó ÔÙ Ø Ó ÖÞ Û Ð Ó Ó ØÙ ÒÝ Ó ¹ ÓÛ ÑÝ ÔÖÓÛ Þ ÔÖÞ Þ Û ÞÝ Ø ØÖÝ ÙØÝ Þ Û ÖØÓ Ñ Ö Û Þ Û ÖØÓ ÓÑ ØÖÝ ÙØ Û Û Ó Ó ÔÓÛ ÝÑ ÑÓ Ò ÙØÛÓÖÞÝ Þ Ö ØÖ Ò Ò ÓÛÝ Þ Û Ö Ý Ó ØÝ Ó ÔÓÛ ÓÛ ÓÑ Ò ÓÑ Û ÖØÓ ØÖÝ ÙØ Û Ó ÝÞ Þ Ó Ò Û ÞÝ Ø Ñ Drzewa decyzyjne: moc wyrazania Ø ½ Ð Ó Þ ÓÖÙ ØÖ Ò Ò ÓÛ Ó ØÒ Ô Ò ÖÞ ÛÓ ÝÞÝ Ò Ø ¾ Ð ÙÒ ØÒ Ô Ò ÖÞ ÛÓ ÝÞÝ Ò Þ Ò ÙÒ A B A xor B F F F F T T T F T T T F F F B A F T B T F T T T F
Ö ÙÖ ÒÝ Ò ÛÝ Ö Ò Ò Ö Þ ÞÒ Þ Ó ØÖÝ ÙØÙ Ó ÓÖÞ ÈÓÑÝ ÔÓ ÖÞ Û Drzewa decyzyjne: trenowanie Ð ÞÒ Ð Þ Ò ÖÞ Û Ô Ò Ó Þ Þ ÓÖ Ñ ØÖ Ò Ò ÓÛÝÑ ÙÒØ ÓÒ ÌÄ Ü ÑÔÐ ØØÖ ÙØ ÙÐص Ö ØÙÖÒ ÓÒ ØÖ Ü ÑÔÐ ÑÔØÝ Ø Ò Ö ØÙÖÒ ÙÐØ Ð ÐÐ Ü ÑÔÐ Ú Ø Ñ Ð Ø ÓÒ Ø Ò Ö ØÙÖÒ Ø Ð Ø ÓÒ Ð ØØÖ ÙØ ÑÔØÝ Ø Ò Ö ØÙÖÒ ÅÓ Ü ÑÔÐ µ Ð Ø ÓÓ ¹ ØØÖ ÙØ ØØÖ ÙØ Ü ÑÔÐ µ ØÖ Ò Û ÓÒ ØÖ Û Ø ÖÓÓØ Ø Ø Ø ÓÖ Ú ÐÙ Ú i Ó Ø Ó Ü ÑÔÐ i { Ð Ñ ÒØ Ó Ü ÑÔÐ Û Ø best = v i } Ù ØÖ ÌÄ Ü ÑÔÐ i, ØØÖ ÙØ Ø ÅÓ Ü ÑÔÐ µµ Ö Ò ØÓ ØÖ Û Ø Ð Ð Ú i Ò Ù ØÖ Ù ØÖ Ö ØÙÖÒ ØÖ
Drzewa decyzyjne: wybor atrybutu A1=? [29+,35-] [29+,35-] A2=? ÊÓ Ò ØÖÝ ÙØÝ Ö Ò ÖÓÞ Ý ÝÞ Û Þ t f t f [21+,5-] [8+,30-] [18+,33-] [11+,2-] ÙÒ ÓÓ ¹ ØØÖ ÙØ ÛÝ Ö Ò Ð Ô ÞÝ Þ Ò
Entropia ÒÝ Ø ÖÓÞ ÔÖ Û ÓÔÓ Ó ØÛ p 1,..., p n ÒØÖÓÔ ÛÝÞÒ Þ Ð Ò ÓÖÑ Ò Þ Ó Ø Ò ÖÓÞ Å Ö Entropy( p 1,..., p n ) = Σ n i = 1 p i log 2 p i
Ö Ò Ð Þ Ø Û ÔÓØÖÞ Ò Ó Þ Ó ÓÛ Ò ÝÞ d Ð ÐÓ¹ ÒØÖÓÔ ÛÝ Ö Ò Ó Ó ØÙ Þ Þ ÓÖÙ S ÔÖÞÝ ÓÔØÝÑ ÐÒÝÑ Ó ÓÛ Ò Ù ÝÞ µ ÓÛÓ Entropia ÒÝ Ø ÖÓÞ ÔÖ Û ÓÔÓ Ó ØÛ p 1,..., p n ÒØÖÓÔ ÛÝÞÒ Þ Ð Ò ÓÖÑ Ò Þ Ó Ø Ò ÖÓÞ Å Ö Entropy( p 1,..., p n ) = Σ n i = 1 p i log 2 p i S Þ Ö Ó Ø Û ÒÝ S d Þ Ö Ó Ø Û Û S Þ ÝÞ d Entropy(S) = Σ d Vdec S d S log 2 S d S Ð Þ Ó
Ö Ò Ð Þ Ø Û ÔÓØÖÞ Ò Ó Þ Ó ÓÛ Ò ÝÞ d Ð ÐÓ¹ ÒØÖÓÔ ÛÝ Ö Ò Ó Ó ØÙ Þ Þ ÓÖÙ S ÔÖÞÝ ÓÔØÝÑ ÐÒÝÑ Ó ÓÛ Ò Ù ÝÞ µ ÓÛÓ Ð Þ Ó Ó ÓÛ Ò ÔÖÞÝ Þ Ð log ÇÔØÝÑ ÐÒ 2 Ø Û p Entropia ÒÝ Ø ÖÓÞ ÔÖ Û ÓÔÓ Ó ØÛ p 1,..., p n ÒØÖÓÔ ÛÝÞÒ Þ Ð Ò ÓÖÑ Ò Þ Ó Ø Ò ÖÓÞ Å Ö Entropy( p 1,..., p n ) = Σ n i = 1 p i log 2 p i S Þ Ö Ó Ø Û ÒÝ S d Þ Ö Ó Ø Û Û S Þ ÝÞ d Entropy(S) = Σ d Vdec S d S log 2 S d S Ó ÝÞ ÛÝ ØÔÙ Þ ÔÖ Û ÓÔÓ Ó ØÛ Ñ p
Entropia: dwie decyzje Ò Û ÝÞ ÔÓÞÝØÝÛÒ µ Ò ØÝÛÒ µ p = S S p = S S ÔÖÓÔÓÖ Ó Ø Û Þ ÝÞ ÔÓÞÝØÝÛÒ Û Þ ÓÖÞ S ÔÖÓÔÓÖ Ó Ø Û Þ ÝÞ Ò ØÝÛÒ Û Þ ÓÖÞ S
Entropia: dwie decyzje p = S S ÔÖÓÔÓÖ Ó Ø Û Þ ÝÞ ÔÓÞÝØÝÛÒ Û Þ ÓÖÞ S Ò Û ÝÞ ÔÓÞÝØÝÛÒ µ Ò ØÝÛÒ µ p = S S ÔÖÓÔÓÖ Ó Ø Û Þ ÝÞ Ò ØÝÛÒ Û Þ ÓÖÞ S Entropy(S) = p log 2 p p log 2 p 1.0 Entropy(S) 0.5 0.0 0.5 1.0 p + ¼
Zysk informacji dla atrybutu symbolicznego Ý Ò ÓÖÑ Gain(S,a) Ö Ù ÒØÖÓÔ ÔÖÞÝ ÔÓ Þ Ð Þ ÓÖÙ ÛÞ Ð Ñ ØÖÝ ÙØÙ a S v Þ Ö Ó Ø Û Û S Þ Û ÖØÓ ØÖÝ ÙØÙ a = v Gain(S, a) = Entropy(S) Σ v V alues(a) S v S Entropy(S v) ½
Zysk informacji dla atrybutu symbolicznego Ý Ò ÓÖÑ Gain(S,a) Ö Ù ÒØÖÓÔ ÔÖÞÝ ÔÓ Þ Ð Þ ÓÖÙ ÛÞ Ð Ñ ØÖÝ ÙØÙ a S v Þ Ö Ó Ø Û Û S Þ Û ÖØÓ ØÖÝ ÙØÙ a = v Gain(S, a) = Entropy(S) Σ v V alues(a) S v S Entropy(S v) Which attribute is the best classifier? S: [9+,5-] S: [9+,5-] E =0.940 E =0.940 Humidity Wind High Normal Weak Strong [3+,4-] [6+,1-] [6+,2-] [3+,3-] E =0.985 E =0.592 E =0.811 E =1.00 Gain (S, Humidity ) Gain (S, Wind) =.940 - (7/14).985 - (7/14).592 =.151 =.940 - (8/14).811 - (6/14)1.0 =.048 ¾
Wybor atrybutu ÝÞÝ Ò Û ÝÑ ÛõÐ ÛÝ Ö ØÖÝ ÙØ a Þ Ò Û ÞÝÑ ÞÝ Ñ ÖÞ ÛÓ ØÞÒº Þ Ò Û Þ Û ÖØÓ Gain(S,a) Ò ÓÖÑ
Wybor atrybutu: przyklad Ö ÒÝ Ý ÇÙØÐÓÓ Ì ÑÔ Ö ØÙÖ ÀÙÑ ØÝ Ï Ò ÈÐ ÝÌ ÒÒ ½ ËÙÒÒÝ ÀÓØ À Ï ÆÓ ¾ ËÙÒÒÝ ÀÓØ À ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÀÓØ À Ï Ê Ò Å Ð À Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ËÙÒÒÝ Å Ð À Ï ÆÓ ËÙÒÒÝ ÓÓÐ ÆÓÖÑ Ð Ï ½¼ Ê Ò Å Ð ÆÓÖÑ Ð Ï ½½ ËÙÒÒÝ Å Ð ÆÓÖÑ Ð ËØÖÓÒ ½¾ ÇÚ Ö Ø Å Ð À ËØÖÓÒ ½ ÇÚ Ö Ø ÀÓØ ÆÓÖÑ Ð Ï ½ Ê Ò Å Ð À ËØÖÓÒ ÆÓ
Wybor atrybutu: przyklad {D1, D2,..., D14} [9+,5 ] Outlook Sunny Overcast Rain {D1,D2,D8,D9,D11} {D3,D7,D12,D13} {D4,D5,D6,D10,D14} [2+,3 ] [4+,0 ] [3+,2 ]? Yes? Which attribute should be tested here? Ssunny = {D1,D2,D8,D9,D11} Gain (Ssunny, Humidity) =.970 (3/5) 0.0 (2/5) 0.0 =.970 Gain (S sunny, Temperature) =.970 (2/5) 0.0 (2/5) 1.0 (1/5) 0.0 =.570 Gain (S sunny, Wind) =.970 (2/5) 1.0 (3/5).918 =.019
Wybor atrybutu: przyklad {D1, D2,..., D14} [9+,5 ] Outlook Sunny Overcast Rain {D1,D2,D8,D9,D11} {D3,D7,D12,D13} {D4,D5,D6,D10,D14} [2+,3 ] [4+,0 ] [3+,2 ]? Yes? Which attribute should be tested here? Ssunny = {D1,D2,D8,D9,D11} Gain (Ssunny, Humidity) =.970 (3/5) 0.0 (2/5) 0.0 =.970 Gain (S sunny, Temperature) =.970 (2/5) 0.0 (2/5) 1.0 (1/5) 0.0 =.570 Gain (S sunny, Wind) =.970 (2/5) 1.0 (3/5).918 =.019 Æ Ð Ô ÞÝÑ ØÖÝ ÙØ Ñ Ø Humidity
Zysk informacji dla atrybutu numerycznego Ý Ò ÓÖÑ Gain(S,a, c) Ö Ù ÒØÖÓÔ ÛÞ Ð Ñ Ò ÖÒ Ó c Ò ØÖÝ Ù a c Û ÖØÓ s a<c Þ Ö Ó Ø Û Þ Û ÖØÓ Ñ ØÖÝ ÙØÙ a ÔÓÒ s a c Þ Ö Ó Ø Û Þ Û ÖØÓ Ñ ØÖÝ ÙØÙ a ÔÓÛÝ Gain(S,a, c) = Entropy(S) S a<c S Entropy(S a<c ) S a c S Entropy(S a c )
ÝÞÝ Ò ÛÝ Ö ØÖÝ ÙØ ÖÓÞÔ ØÖÙ Ò Ð Ô Þ Ð ØÖÝ ÙØ Û ÖÞ ÛÓ ÒÙÑ ÖÝÞÒÝ Wybor ciecia
ÝÞÝ Ò ÛÝ Ö ØÖÝ ÙØ ÖÓÞÔ ØÖÙ Ò Ð Ô Þ Ð ØÖÝ ÙØ Û ÖÞ ÛÓ ÒÙÑ ÖÝÞÒÝ ÈÖÞÝ Ø ØÖÝ ÙØ ÒÙÑ ÖÝÞÒÝ Temperature Þ Ò ØÔÙ ÝÑ Û ÖØÓ Ñ Û ÒÝ Wybor ciecia ØÖ Ò Ò ÓÛÝÑ Þ ÓÖÞ ½ ¾¾ ¾ ¾ Temperature ÆÓ ÆÓ ÆÓ PlayTennis Æ Ð Ô Þ
ÝÞÝ Ò ÛÝ Ö ØÖÝ ÙØ ÖÓÞÔ ØÖÙ Ò Ð Ô Þ Ð ØÖÝ ÙØ Û ÖÞ ÛÓ ÒÙÑ ÖÝÞÒÝ ÈÖÞÝ Ø ØÖÝ ÙØ ÒÙÑ ÖÝÞÒÝ Temperature Þ Ò ØÔÙ ÝÑ Û ÖØÓ Ñ Û ÒÝ Wybor ciecia ØÖ Ò Ò ÓÛÝÑ Þ ÓÖÞ ½ ¾¾ ¾ ¾ Temperature ÆÓ ÆÓ ÆÓ PlayTennis Æ Ð Ô Þ Gain(S,a, 0) = 1.0 (0/6)0.0 (6/6)1.0 = 0.0 Gain(S,a, 12) = 1.0 (2/6)0.0 (4/6)0.811 = 0.439 Gain(S,a, 29) = 1.0 (5/6)0.971 (1/6)0.0 = 0.191 Æ Ð Ô Þ c = 12 ¼
Ñ ØÖÝ ÙØ ÒÙÑ ÖÝÞÒÝ ÑÓ Ý ÛÝ Ö ÒÝ Ð ÖÓØÒ Ò Ò Ì Ò ÓÖÞ Ò Ó Ð Ó Wielokrotny wybor atrybutu ÈÖÞÝ Ò Ô ÖÛ c 1 = 12 ÔÓØ Ñ c 2 = 29 Temperature ½ ¾¾ ¾ ¾ PlayTennis ÆÓ ÆÓ ÆÓ Ð Ý ØÖÝ ÙØ ÝÑ ÓÐ ÞÒÝ ÑÓ Ý ÛÝ Ö ÒÝ ÓÒ ÛÝ Ö Þ ½
ÈÖÓ Ð Ñ Gain ÛÓÖÝÞÙ ØÖÝ ÙØÝ Þ Û ÐÓÑ Û ÖØÓ Ñ Å Ö ÞÞ ÐÒÓ ØÖÝ ÙØ Þ Û ÖØÓ Ñ ÒÓÞÒ ÞÒÝÑ ÒÔº È Ë Ä Û Ñ ÝÑ ÐÒ Û ÖØÓ Gain Ð Ó Ù ÝØ ÞÒÓ Ñ Wybor atrybutu: normalizacja Ð ÒÓÛÝ ÔÖÞÝ Û Ø Ò ¾
ÈÖÓ Ð Ñ Gain ÛÓÖÝÞÙ ØÖÝ ÙØÝ Þ Û ÐÓÑ Û ÖØÓ Ñ Å Ö ÞÞ ÐÒÓ ØÖÝ ÙØ Þ Û ÖØÓ Ñ ÒÓÞÒ ÞÒÝÑ ÒÔº È Ë Ä Û Ñ ÝÑ ÐÒ Û ÖØÓ Gain Ð Ó Ù ÝØ ÞÒÓ Ñ Wybor atrybutu: normalizacja Ð ÒÓÛÝ ÔÖÞÝ Û Ø Ò ÊÓÞÛ Þ Ò ÑÓ Ò Þ ØÓ ÓÛ ÒÓÖÑ Ð Þ Ñ ÖÝ Gain SplitInformation(S, a) = Σ v V alues(a) S v S log 2 S v S Ù Ý Ñ ÖÝ GainRatio Þ Ñ Ø Gain GainRatio(S, a) = Gain(S, a) SplitInf ormation(s, a)
Drzewa decyzyjne: klasyfikacja obiektu Outlook Sunny Overcast Rain Humidity Yes Wind High Normal Strong Weak No Yes No Yes Ý ÇÙØÐÓÓ Ì ÑÔ Ö ØÙÖ ÀÙÑ ØÝ Ï Ò ÈÐ ÝÌ ÒÒ ÌÓ Ý ËÙÒÒÝ ÀÓØ ÆÓÖÑ Ð Ï Ç ÔÓÛ õ
Drzewa decyzyjne: klasyfikacja obiektu Outlook Sunny Overcast Rain Humidity Yes Wind High Normal Strong Weak No Yes No Yes Ý ÇÙØÐÓÓ Ì ÑÔ Ö ØÙÖ ÀÙÑ ØÝ Ï Ò ÈÐ ÝÌ ÒÒ ÌÓ Ý ËÙÒÒÝ ÀÓØ ÆÓÖÑ Ð Ï Ç ÔÓÛ õ Outlook = Sunny Humidity = Normal PlayTennis = Y es
ÈÖÓ Ð Ñ ÖÓ Ý Ò ÓÖÑ Ó Ð Ý ÓÛ ÒÝÑ Ó Ø Ò Ô Ò ÒÔº Ó Drzewa decyzyjne: wartosci brakujace Ý ÇÙØÐÓÓ Ì ÑÔ Ö ØÙÖ ÀÙÑ ØÝ Ï Ò ÈÐ ÝÌ ÒÒ ÌÓ Ý ÀÓØ À Ï
ÈÖÓ Ð Ñ ÖÓ Ý Ò ÓÖÑ Ó Ð Ý ÓÛ ÒÝÑ Ó Ø Ò Ô Ò ÒÔº Ó Drzewa decyzyjne: wartosci brakujace Ý ÇÙØÐÓÓ Ì ÑÔ Ö ØÙÖ ÀÙÑ ØÝ Ï Ò ÈÐ ÝÌ ÒÒ ÌÓ Ý ÀÓØ À Ï Þ Û ÞÝ Ø Ñ Ñ ÔÖÞÝ ØÖÝ ÙØ Þ Ò Ù Ø ÐÓÒ Û ÖØÓ ÈÓÑÝ Outlook Sunny Rain Humidity Overcast Wind High Normal Yes 4+ Strong Weak No 5- Yes No 3+ Yes Ç ÔÓÛ õ
ÈÖÓ Ð Ñ ÖÓ Ý Ò ÓÖÑ Ó Ð Ý ÓÛ ÒÝÑ Ó Ø Ò Ô Ò ÒÔº Ó Ç ÔÓÛ õ Þ ÙÑÝ ÖÓÞ Û ÝÞ Ó Ø Û ÙÞ Ý Û ÙÞÝ ÒÝ Ð Å ÝѺ Drzewa decyzyjne: wartosci brakujace Ý ÇÙØÐÓÓ Ì ÑÔ Ö ØÙÖ ÀÙÑ ØÝ Ï Ò ÈÐ ÝÌ ÒÒ ÌÓ Ý ÀÓØ À Ï Þ Û ÞÝ Ø Ñ Ñ ÔÖÞÝ ØÖÝ ÙØ Þ Ò Ù Ø ÐÓÒ Û ÖØÓ ÈÓÑÝ Outlook Sunny Rain Humidity Overcast Wind High Normal Yes 4+ Strong Weak No 5- Yes No 3+ Yes 5 No (4 + 3) Y es PlayTennis = Y es
ÖÞ ÛÝ Ø ÐÙ Ý Ö ÞÓ ÔÖÞÝ ÙÞ Ý Û ÔÓÛÓ ÓÛ Ò ÔÓØÖÞ Ò ÑÓ Þ ÖÞ Û ÖÓÞÛ Ò ÞÝ Û Ð ÖÞ Û ÝÞÝ Ò Ó Ó Ò ÔÖÓ Ù ÙÞ Ò º Ó ÖÓÞ Þ Ð Ø Ö Ò ÔÓØÛ Ö Þ ÏÞ Ý ÔÖÞÝ ØÒÓ Û Þ Û Ð ÛÓ Drzewo decyzyjne: przycinanie ÈÖÓ Ð Ñ [1000+,4-] [0+,1-] [1000+,3-] [0+,1-] [1000+,2-] ÈÓÑÝ [0+,1-] [1000+,1-] [0+,1-] [1000+,0-] Þ Ñ Ò Ò Ò Ð º
Drzewo decyzyjne: algorytm z przycinaniem ÙÒØ ÓÒ ÌĹÈÖÙÒ Ü ÑÔÐ ØØÖ ÙØ ÙÐص Ö ØÙÖÒ ÓÒ ØÖ Ù Ð Ò Ú Ð Ø Ò ÔÐ Ø Ü ÑÔÐ ÒØÓ Ù Ð Ò Ò Ú Ð Ø Ò Ø ØÖ ÌÄ Ù Ð Ò ØØÖ ÙØ ÙÐص ØÖ ÈÖÙÒ ¹ÌÖ Ú Ð Ø Ò ØÖ µ Ö ØÙÖÒ ØÖ ÙÒØ ÓÒ ÈÖÙÒ ¹ÌÖ Ú Ð Ø ÓÒ Ø ØÖ µ Ö ØÙÖÒ ÔÖÙÒ ÓÒ ØÖ Ð Ô Ö ÒØ ÒÒ Ö ÒÓ Ò ØÖ Ù Ø Ø ÐÐ Ø Ö Ù ÓÖ Ö Ð ÒÓ Û Ð Ð Ô Ö ÒØ ß Ð Ò ÒÓ ÖÓÑ Ð Ô Ö ÒØ cand Ø ÑÓ Ø Ö ÕÙ ÒØ ÓÒ ÑÓÒ Ø Ù Ð Ò Ó Ø Ò ØÓ Ò Ò Ò cand ØÓ Ø Ó Ø Ó Ò Ø ÖÓÙ Ø ÒÓ Ò Ó ÒÓØ ÛÓÖ Ò Ð Ø ÓÒ ÙÖ Ý Ò Ú Ð Ø ÓÒ Ø Ø Ò Ö ÔÐ Ø Ù ØÖ ÖÓÓØ Ø Ò Ý Ø Ð ÒÓ Û Ø Ø ÓÒ cand ÐÐ ÖÓØ Ö ÒÓ Ó Ò Ö Ð Ø Ò Ø Ô Ö ÒØ Ó Ò ØÓ Ð Ô Ö ÒØ Ö ØÙÖÒ Ø ÑÓ ØÖ ¼