Reguly. Wind = Weak Temp > 20 Outlook Rain PlayTennis = Y es

ËÞØÙÞÒ ÁÒØ Ð Ò ËÝ Ø ÑÝ ÓÖ Þ ½

Ï ÖÙÒ Ð ØÓÖ Û Ý Ð ØÓÖ Ö ÔÖ Þ ÒØÙ Ø Ø Û ÖØÓ ÃÓÒ ÙÒ ØÖÝ ÙØÙ Û ÖÙÒ Ó ÔÓÛ Ó ØÓÑ Ô Ò ÝÑ ÔÓ ÝÒÞ Ó Ð ØÓÖÝ Û ÞÝ Ø ÝÞ Ö Ù ÞÛ Þ Ò Ø Þ Ò ÝÞ Ã Reguly ÔÖÞÝÔ ÝÛ Ò Ó ØÓÑ Ô Ò ÝÑ Û ÖÙÒ Ö Ù Ý ÈÖÞÝ Wind = Weak Temp > 20 Outlook Rain PlayTennis = Y es ¾

ÑÓ Ý ÒÓ ØÖÓÒÒ Ò Ó Ö Ò ÞÓÒÝ ÈÖÞ Þ Ø Ý ÒÓ¹ ÐÙ Ó Ù ØÖÓÒÒ ÓÑ Ò ØÝ ÑÓ Reguly: selektory ØÖÝ ÙØÝ ÝÑ ÓÐ ÞÒ Ë Ð ØÓÖ Ö ÛÒÓ ÓÛÝ X = v Ë Ð ØÓÖ ÛÝ ÐÙÞ Ý X v Ë Ð ØÓÖ Ó ÐÒÝ X {v 1,..., v k } ØÖÝ ÙØÝ ÒÙÑ ÖÝÞÒ Ë Ð ØÓÖ ÔÖÞ Þ ÓÛÝ X (a, b)

Reguly spojne Ê Ù α dec = d Ø Ô Ò Þ Þ ÓÖ Ñ ØÖ Ò Ò ÓÛÝÑ U trn Ð Ý ÔÖÞÝ x U trn Ô Ò Ý Û ÖÙÒ α Ñ ÝÞ dec(x) = d x o x x x x x x x x x o o o o o o o o x x x x x x x x a a 1 2

Reguly spojne: przyklad Ý ÇÙØÐÓÓ Ì ÑÔ Ö ØÙÖ ÀÙÑ ØÝ Ï Ò ÈÐ ÝÌ ÒÒ ½ ËÙÒÒÝ ÀÓØ À Ï ÆÓ ¾ ËÙÒÒÝ ÀÓØ À ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÀÓØ À Ï Ê Ò Å Ð À Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ËÙÒÒÝ Å Ð À Ï ÆÓ ËÙÒÒÝ ÓÓÐ ÆÓÖÑ Ð Ï ½¼ Ê Ò Å Ð ÆÓÖÑ Ð Ï ½½ ËÙÒÒÝ Å Ð ÆÓÖÑ Ð ËØÖÓÒ ½¾ ÇÚ Ö Ø Å Ð À ËØÖÓÒ ½ ÇÚ Ö Ø ÀÓØ ÆÓÖÑ Ð Ï Outlook = Overcast PlayTennis = Y es ½ Ê Ò Å Ð À ËØÖÓÒ ÆÓ

Reguly spojne: przyklad Ý ÇÙØÐÓÓ Ì ÑÔ Ö ØÙÖ ÀÙÑ ØÝ Ï Ò ÈÐ ÝÌ ÒÒ ½ ËÙÒÒÝ ÀÓØ À Ï ÆÓ ¾ ËÙÒÒÝ ÀÓØ À ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÀÓØ À Ï Ê Ò Å Ð À Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ËÙÒÒÝ Å Ð À Ï ÆÓ ËÙÒÒÝ ÓÓÐ ÆÓÖÑ Ð Ï ½¼ Ê Ò Å Ð ÆÓÖÑ Ð Ï ½½ ËÙÒÒÝ Å Ð ÆÓÖÑ Ð ËØÖÓÒ ½¾ ÇÚ Ö Ø Å Ð À ËØÖÓÒ ½ ÇÚ Ö Ø ÀÓØ ÆÓÖÑ Ð Ï Outlook = Overcast PlayTennis = Y es Ô Ò ½ Ê Ò Å Ð À ËØÖÓÒ ÆÓ Humidity = Normal PlayTennis = Y es

Reguly spojne: przyklad Ý ÇÙØÐÓÓ Ì ÑÔ Ö ØÙÖ ÀÙÑ ØÝ Ï Ò ÈÐ ÝÌ ÒÒ ½ ËÙÒÒÝ ÀÓØ À Ï ÆÓ ¾ ËÙÒÒÝ ÀÓØ À ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÀÓØ À Ï Ê Ò Å Ð À Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð Ï Ê Ò ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ÆÓ ÇÚ Ö Ø ÓÓÐ ÆÓÖÑ Ð ËØÖÓÒ ËÙÒÒÝ Å Ð À Ï ÆÓ ËÙÒÒÝ ÓÓÐ ÆÓÖÑ Ð Ï ½¼ Ê Ò Å Ð ÆÓÖÑ Ð Ï ½½ ËÙÒÒÝ Å Ð ÆÓÖÑ Ð ËØÖÓÒ ½¾ ÇÚ Ö Ø Å Ð À ËØÖÓÒ ½ ÇÚ Ö Ø ÀÓØ ÆÓÖÑ Ð Ï Outlook = Overcast PlayTennis = Y es Ô Ò ½ Ê Ò Å Ð À ËØÖÓÒ ÆÓ Humidity = Normal PlayTennis = Y es Ò Ô Ò Ó ÔÖÞ ÞÒ

Systemy regulowe ƾ Ð Ö Æ Ð ØØ ½µ É Å Ð µ ÓÖÝ ÔÖÞÝ Ð ÓÒ Ë ÓÛÖÓÒ Ê Ù Þ Ö ¾µ º ÖÙÐ ÉÙ ÒÐ Ò µ

ÍÞ Ò Þ ÓÖÙ Ö Ù Ò ÔÓ Ø Û Þ ÓÖÙ ÔÖÞÝ Û ØÖ Ò Ò ÓÛÝ Ò ÖÓÛ Ò ÃÐ Ý Ö Ù Ý Ô Ù Ó Ð Ý ÓÛ Ò Ó Ó ØÙ x ÏÝ ÞÙ Û Ò Ø Ø ÖÝ Û ÖÙÒ Ø Ô Ò ÒÝ ÔÖÞ Þ Ó Ø x ØÞÒº Û ØÖ Ø ÔÓ ÑÓÛ Ò ÝÞ ÑÓ Ð Û Æ Ð Ô ÞÝ ÛÝ ÖÝÛ ½º ÔÖÞÝÔ Ò Ø Ñ Ö Û ÒÓ Importance Ö Ù ÓÑ Ó ÓÛ Ò ¾º Ñ ÔÖÞÝÔ Ò Û Weight Ó Ø x Ð Ý ÓÛ ÒÝ Ø Ö Ù Ý Systemy regulowe: uczenie i klasyfikacja ÔÓ ÑÓÛ Ò Ø Ò ÔÓ Ø Û Ô Ù Ó x Ö Ù Ý r ÝÞ Ò ÛÝ Þ Û ÖØÓ Importance(r) Ó ÝÞ Ó Ò ÛÝ Þ ÙÑ Û Ö Ù Ô Ù Ý max arg dj Σ α dj : x Ô ÐÒ α Weight(α d j)

ÞÙÔ Ò Û ÒÝ Ò ÔÓ ÖÝÛ Ò Æ¾ ɵ ÈÖÞÝ Ù Ý Ù ØÖÙ ØÙÖ ÔÓ Ö Ò Þ Ö Ù ØÙ Ø ÓÖ Þ ÓÖ Û ÔÖÞÝ Ð ÓÒÝ µ Generowanie regul ÞÔÓ Ö Ò Ó Þ Þ ÓÖÙ ÔÖÞÝ Û Þ ÖÞ Û ÝÞÝ Ò Ó º ÖÙÐ µ ½¼

Generowanie regul zupelne Ø ÓÛÓÐÒ Ö Ù Ý s Ð 1... s m d Û ÞÝ Ø Ó ØÝ ÖÓÞÔÓÞÒ Û Ò Ò ÖÓÞÔÓÞÒ Û Ò Ø ÔÖÞ Þ Ö Ù Þ Ù ÓÛ Ò Þ ÔÓ Þ ÓÖÙ ÔÖÞ Þ Ð ØÓÖ Û s i1... s ik d a 1 a in [1;3] 1 & a in [1;3] 1 a in [1,3] 2 a 2 ½½

Ç Þ Ö ÔÖÞ ØÖÞ Ò Ó Ø Û ÔÓ ÖÝÛ ÒÝ ÔÖÞ Þ Û ÞÝ Ø Ñ ÝÑ Ð¹ ÏÒ Ó Ó ÐÒ Ö Ù Ý Ô Ò G Ò 1,..., G m Ø Ø Ñ Ó Þ Ö ÔÓ ÖÝÛ ÒÝ µ ÛÝ ÞÙ Û ÞÝ Ø Ö Ù Ý Ô Ò Ó Ñ Ò Ñ ÐÒÝÑ Þ ÓÖÞ ¹ ÏÝ Ø ÖÞÝ ØÞÒº Ø Ñ Ù ÙÒ ÓÛÓÐÒ Ó Ð ØÓÖ Ö Ù Ò Ô Ò º Ð ØÓÖ Û Generowanie regul zupelne ÔÖÞ Þ Û ÞÝ Ø Ö Ù Ý Ô Ò This region all inconsistent G 1 G 2 G 3... Gm More general More specific S 1 S 2... Sn this region all inconsistent ½¾

ØÓ ÖÓ Â ÔÖÞ ÞÙ Û ÔÖÞ ØÖÞ Û ÞÝ Ø Ö Ù Þ ÞÝÒ Ó Ö Ù Ò Ö¹ ÅÓ Ò Ó ÐÒÝ º ÓÔ Ö Ù Ý Ò Ô Ò Þ Þ ÓÖ Ñ ØÖ Ò Ò ÓÛÝÑ Þ Ó Ð ØÓÖÝ ÛÝ ÐÙÞ ÔÖÞÝ Ý ÔÓÛÓ Ù Ò Ô ÒÓ º ÖÓÞ Þ ÖÞ Ò Generowanie regul zupelne { } most general rule G 0 G... 1 G m ½

Generowanie regul zupelne: algorytm ÙÒØ ÓÒ Ü Ù Ø Ú ¹ÊÙÐ Ü ÑÔÐ ÓÒ Ð ØÓÖ µ Ö ØÙÖÒ ÖÙÐ Ø ÖÙÐ ß Ð ÓÖ ÓÒ ÓÒ Ó Ò Ø ß Ð Ö Ô Ø Ò Û Ò Ø ß Ð ÓÖ Ò Ø ÖÙÐ α Ò Ø Ó neg Ö Ò ÓÑ Ü ÑÔÐ Ñ Ø Ò α ÙØ Û Ø ÓÒ ÓÖ Ð ØÓÖ Ð ØÓÖ ÜÐÙ Ò neg Ó Ö new α Ö new ÓÚ Ö ÓÒ ÓÖ ÑÓÖ Ó Ø Û Ø ÓÒ Ò Ü ÑÔÐ ÒÓØ Ù ÙÑ Ý ÒÓØ Ö ÖÙÐ ÖÓÑ ÖÙÐ Ò Û Ò Ø Ò Ö new ÓÒ Ø ÒØ Û Ø Ü ÑÔÐ Ø Ò ÖÙÐ ÖÙÐ Ö new Ð Ò Û Ò Ø Ò Û Ò Ø Ö new Ò Ø Ò Û Ò Ø ÙÒØ Ð Ò Ø ÑÔØÝ Ö ØÙÖÒ ÖÙÐ ½

Generowanie regul zupelne: przyklad Ê Ù Ý Þ ÝÞ PlayTennis = Y es Ò Ø Outlook = Overcast PlayTennis = Y es ÃÓÒØÖÔÖÞÝ ÇÚ Ö Ø ÓÓÐ ÆÓÖÑ Ð Ï PlayTennis = No <Overcast,?,?,?> <Overcast, Hot,?,?> <Overcast, Mild,?,?> <Overcast,?, High,?> <Overcast,?,?, Strong> ½

Ö Ù ÞÙÔ Ò ÔÖÞ Ð Þ ÞÛÝÞ ÛÝ Ò ÞÓ Ù ÔÓ ÔÖÞ ¹ Ò ÖÓÛ Ò Ö Ù Û ÔÖ ØÝ Ò ÛÝ ÓÒ ÐÒ ØÖÞ ÙÖÝ ØÝÞÒݵ Ê Ù Ý ÑÓ Ò Ò ÖÓÛ ÔÓ ÝÒÞÓ Ó ÑÓÑ ÒØÙ ÈÓÑÝ ÔÖÞ Þ Ò Û ÞÝ Ø Ó Ø Û ØÖ Ò Ò ÓÛÝ ÔÓ ÖÝ Ä ÖÒ¹ÇÒ ¹ÊÙÐ ÛÝ ÞÙ Ù ÙÖÝ ØÝÞÒ Ò Ð Ô Þ Ö Ù ÙÒ Ô ÛÒ Ñ ÖÝ Ó Ö Ù ÛÞ Ð Ñ Generowanie regul: sekwencyjne pokrywanie ÙÒØ ÓÒ Ë ÕÙ ÒØ Ð¹ ÓÚ Ö Ò Ü ÑÔÐ µ Ö ØÙÖÒ ÖÙÐ Ø ÖÙÐ ß Ð ÙÒÓÚ Ö Ü ÑÔÐ Ö Ô Ø Ö Ä ÖÒ¹ÇÒ ¹ÊÙÐ Ü ÑÔÐ ÙÒÓÚ Ö µ ÖÙÐ ÖÙÐ Ö Ö ÑÓÚ ÐÐ Ü ÑÔÐ ÓÚ Ö Ý Ö ÖÓÑ ÙÒÓÚ Ö ÙÒØ Ð ÙÒÓÚ Ö ÑÔØÝ Ö ØÙÖÒ ÖÙÐ ½

Û ÞÝ Ø ØÖÝ ÙØÝ Ó ÝÑ ÓÐ Þ ØÖÝ ÙØÝ ÒÙÑ ÖÝÞÒ Þ Ñ Ò Ò ÌÖ ØÙ Ò ÝÑ ÓÐ ÞÒ Û Ø Ò ÔÓ Þ Ö Û ÖØÓ Ó ØÖÝ ÝØÙ Þ ÐÓÒÝ Ò Ö ÛÒ ÔÖÞ Þ Ý Û ÖØÓ Þ Ò Ó ÔÖÞ Þ Ù Þ Ñ Ò Ò Ò Ø Ø Û ÖØÓ ÝÑ ÓÐ ÞÒ Ñ ÓÐ Ò Ö Ù Ý ÔÖÓ ÙÖ Ä ÖÒ¹ÇÒ ¹ÊÙÐ µ ÔÓ Ó Ò Ò ¹ ËÞÙ Ò Ö Ù ÞÙÔ Ò ÖÓÞÔÓÞÝÒ Ó Ò Ö Þ Ó ÐÒÝ Ö Ù Û ÖÙÒ Ûµ ÖÓÛ Ò Ù ÞÞ Û Ó ÓÐ Ò Ð ØÓÖÝ Ð Þ Ö Ö Ù ¹ Ò Ý Ø Û Ó Ö Ò ÞÓÒÝ Ø Ó ÖÓÞÑ ÖÙ Ó Ö Ð Ò Ó ÔÖÞ Þ Ó ÖÓÞ Þ ÖÞ Ò Ö Ò Ò Ð Ô Þ Ò Ý Ù Ö Ù Ý Ù ÝØ ÓÛÒ Ó ÛÝÒ ÞÛÖ Ò Ø Ò Ð Ô Þ Ö Ù ÔÓ Ö ÛÝ Ò ÖÓÛ ÒÝ CN2 Ð Ö Æ Ð ØØ ½ ½ Í ÝÛ ØÖÝ ÙØ Û ÝÑ ÓÐ ÞÒÝ Í ÝÛ Ñ ØÓ Ý Û ÒÝ Ò Ó ÔÓ ÖÝÛ Ò Ò Ý Ø Û ½

CN2: szukanie najlepszej reguly ÙÒØ ÓÒ Ä ÖÒ¹ÇÒ ¹ÊÙÐ ¹ ƾ ÙÒÓÚ µ Ö ØÙÖÒ ÖÙÐ ÒÔÙØ ÙÒÓÚ Ø Ü ÑÔÐ ÒÓØ ÓÚ Ö Ý Ø ÔÖ Ú ÓÙ ÖÙÐ Ø Û Ø Ó Ö Ò Ø ÑÓ Ø Ò Ö Ð ÑÔØÝ ÓÒ Ø ÓÒ Ø { Ø} Ò Ø Ö Ô Ø Ò Û Ò Ø ß Ð ÓÖ Ò Ø α Ò Ø Ó ÓÖ Ð ØÓÖ Ó Ø ÓÖÑ =Ú ÓÖ Ú ÓÒ Ø ÒØ Û Ø α Ó α Ò Ø Ò Û Ò Ø Ø Ò Ò Û Ò Ø Ò Û Ò Ø {α } È Ö ÓÖÑ Ò α ÙÒÓÚµ È Ö ÓÖÑ Ò Ø ÙÒÓÚµ Ø Ò Ø α Ö Ø Ò ÓÒÐÝ Ø Ò Ø Ò Ò Û Ò Ø ÓÖ Ò ØÓ È Ö ÓÖÑ Ò Ò Ø Ò Û Ò Ø ÙÒØ Ð Ò Ø ÑÔØÝ Ö ØÙÖÒ Ø Ø ÑÓ Ø Ö ÕÙ ÒØ ÓÒ ÑÓÒ Ó Ø Ñ Ø Ò Øµ ½

CN2: szukanie najlepszej reguly, przyklad ÊÓÞÑ Ö Þ ÓÖÙ Ò Ý Ø Û ½ ÔÖÞ ÞÙ Û Ò Þ ÒÒ IF THEN PlayTennis=yes IF Wind=weak THEN PlayTennis=yes IF Wind=strong THEN PlayTennis=no IF Humidity=normal THEN PlayTennis=yes IF Humidity=high THEN PlayTennis=no... IF Humidity=normal Wind=weak THEN PlayTennis=yes IF Humidity=normal Wind=strong THEN PlayTennis=yes IF Humidity=normal Outlook=sunny THEN PlayTennis=yes IF Humidity=normal Outlook=rain THEN PlayTennis=yes... ½

È Ö ÓÖÑ Ò α ÙÒÓÚµ Þ Ù Ó Û ÖÙÒ Ù α Ò ÔÓ Ø Û ÙÒ Ò ÔÓ ÖÝØÝ ÔÖÞÝ Û ÙÒÓÚ ÓØÝ Þ CN2: miara jakosci reguly n Ð Þ ÔÖÞÝ Û Þ ÙÒÓÚ Ô Ù Ý Ó α n d Ð Þ ÔÖÞÝ Û Þ ÙÒÓÚ Ô Ù Ý Ó α Þ Ò Þ Ø Þ ÝÞ d ÔÖ Û ÓÔÓ Ó ØÛ m¹ ØÝÑ Ø n d + mp d n + m < p d1,..., p dd > Ô ÖÛÓØÒÝ ÖÓÞ ÔÖ Û ÓÔÓ Ó ØÛ Û ÒÝ Ñ Ô Ö Ñ ØÖ ØÝÑ Ù ÝÛ ÞÞ ÐÒ Ó ÔÖÞÝÔ Ù ØÝÑ ØÝ Ä ÔÐ ³ ƾ ÖÓÞ Ô ÖÛÓØÒÝ < 1 D,..., 1 D > m = D D Ð Þ ÝÞ µ Ö ÛÒÓÑ ÖÒÝ n d + D 1 D n + D = n d + 1 n + D ¾¼

È Ö ÓÖÑ Ò α ÙÒÓÚµ Þ Ù Ó Û ÖÙÒ Ù α Ò ÔÓ Ø Û ÙÒ Ò ÔÓ ÖÝØÝ ÔÖÞÝ Û ÙÒÓÚ ÓØÝ Þ Inne miary jakosci reguly n Ð Þ ÔÖÞÝ Û Þ ÙÒÓÚ Ô Ù Ý Ó α n d Ð Þ ÔÖÞÝ Û Þ ÙÒÓÚ Ô Ù Ý Ó α Þ Ò Þ Ø Þ ÝÞ d ÛÞ Ð Ò Þ ØÓ n d n ÒØÖÓÔ Æ n Σ di di n log n di 2 n n di Ð Þ ÔÖÞÝ Û Þ ÙÒÓÚ Ô Ù Ý Ó α Þ ÝÞ d i ¾½

ÛÞ Ð Ò º ± ½¼¼± ½¼¼± Þ ØÓ ÒØÖÓÔ ¼ ¼ ¼ Æ Miary jakosci reguly: przyklad α 1 ÔÓ ÖÝÛ ½¼¼¼ ÔÖÞÝ Û Þ ÝÞ d 1 ½ ÔÖÞÝ Þ ÝÞ d 2 α 2 ÔÓ ÖÝÛ ÔÖÞÝ Û Þ ÝÞ d 1 ¼ ÔÖÞÝ Û Þ ÝÞ d 2 α 3 ÔÓ ÖÝÛ ½ ÔÖÞÝ Þ ÝÞ d 1 ¼ ÔÖÞÝ Û Þ ÝÞ d 2 α 1 d 1 α 2 d 1 α 3 d 1 Þ ØÓ ÛÞ Ð Ò Ò ÒØÖÓÔ ÛÓÖÝÞÙ Ö Ù Ý α 2 d 1 α 3 d 1 Ï ÖØÓ ØÝÑ ØÝ Ä ÔÐ ³ D = 2µ Ð α º ± 1 d 1 Ð α º ± 2 d 1 º ± Ð α 3 d 1 ¾¾

ÝÞÝ Ò ØÓ Ð Ø Ö Ù ÙØÛÓÖÞÓÒ ÔÖÞ Þ Ð ÓÖÝØÑ Û ÒÝ Ò Ó ÔÓ Öݹ Ä Ø ÙÔÓÖÞ ÓÛ Ò Û ÓÐ ÒÓ Ø Û Ö Ù Ý Ý Ý Ò ÖÓÛ Ò Þ Û Ò ÔÖÞÝÔ ÝÛ Ò Ø ÝÞ d Þ Ô ÖÛ Þ Ö Ù Ý α d Ò Ð Ç ØÓÛ Ø Ö Û ÖÙÒ α Ô Ù Ó Ó ØÙº ÝÞÝ Ò CN2: klasyfikacja pierwszy wygrywa Ö Ù ÓÑÝ ÐÒ Ò Ó Ù Ó Ø ÓÛ R 0 R 1 R 2... R m Default Ï Æ¾ R 0 Ö Ù ÛÝ Ò ÖÓÛ Ò Þ Û ÞÝ Ø ÔÖÞÝ Û R 1 Ö Ù ÛÝ Ò ÖÓÛ Ò Þ ÔÖÞÝ Û Ò ÔÓ ÖÝÛ ÒÝ ÔÖÞ Þ R 0 R 2 Ö Ù ÛÝ Ò ÖÓÛ Ò Þ ÔÖÞÝ Û Ò ÔÓ ÖÝÛ ÒÝ ÔÖÞ Þ R 0 R 1 Ø º Default Ö Ù ÞÛ ÖÙÒ ÓÛ ÞÛÖ Ò Þ Ø Þ ÝÞ Û Þ ÓÖÞ ØÖ Ò Ò ÓÛÝÑ ¾

Þ Ö Û ÖÙÒ Û ÛÝ Ò ÖÓÛ ÒÝ ÔÖÞ Þ Ð ÓÖÝØÑ rules ÔÓ ÖÝÛ Ò Þ Ù Ø ÐÓÒÝ ÝÞ µ Û ÒÝ Ò Ó ØÝÐ Ó ØÝ ÔÖÞÝ Û Ø Ö Ò Ô ÐÒ ØÞÒº Þ ÛÞ Ò ÛÝ Ò ÖÓÛ ÒÝ Û ÖÙÒ Û Ò Ó CN2: klasyfikacja przez glosowanie regul ÝÞÝ ÒÝ Û ÖÙÒ Ù α rules ÊÓÞ < n 1 (α),..., n D (α) > n i Ð Þ ÔÖÞÝ Û Þ ÝÞ d i Ô Ò Ý α Û Þ ÓÖÞ ÙÒÓÚ ÝÞ Ð Ó ØÙ x ÔÖÞ Þ ÙÑÓÛ Ò ÖÓÞ Û ÏÝ Ö max arg di Σ α rules: x Ô ÐÒ αn i (α) ¾

ØÖÝ ÙØ Û ÝÑ ÓÐ ÞÒÝ ØÓ Ù Ð ØÓÖÝ Ö ÛÒÓ ÓÛ ÛÝ ÐÙÞ Ó Ó ÒÙÑ ÖÝÞÒÝ ØÓ Ù Ð ØÓÖÝ Ó Ö Ò Þ <,, >, µº ØÖÝ ÙØ Û ÓÐ Ò Ö Ù Ý ÔÖÓ ÙÖ Ä ÖÒ¹ÇÒ ¹ÊÙÐ µ ÔÓ Ó Ò Û ËÞÙ Ò ÔÖÞ Ó Ò Ö Þ Ó ÐÒÝ Ó Ö Þ Ô Ý ÞÒÝ Ö Ù Ð Æ¾ ÔÖÞ ÞÙ Û Ò Ø ÖÓÛ Ò Ø ÛÝ Ö ÒÝÑ ÔÖÞÝ Ñ Ö Ù Ý¹ Ò Ý Ø ÔÓÔÖ Û Ò Ø Ù Ó ÓÔ Ò Ó Ò Û ÖÙÒ Ù Þ Þ ÓÖ Ñ ØÖ Ò Ò ÓÛÝÑ Ö Ù Ò Ð Ô Þ ÛÝ Ö Ò Ø Ô ÒÓ Ó ÓÛÝ Ö Ù Ô ÒÝ ÔÓ Ö AQ ɽ Å Ð ½ Í ÝÛ ØÖÝ ÙØ Û ÝÑ ÓÐ ÞÒÝ ÒÙÑ ÖÝÞÒÝ Í ÝÛ Ñ ØÓ Ý Û ÒÝ Ò Ó ÔÓ ÖÝÛ Ò Ð Ó Þ ÐÒ Ð ÝÞ ¾

AQ: szukanie najlepszej reguly ÙÒØ ÓÒ Ä ÖÒ¹ÇÒ ¹ÊÙÐ ¹ É Ü ÑÔÐ ÙÒÓÚ µ Ö ØÙÖÒ ÖÙÐ ÒÔÙØ Ü ÑÔÐ ÐÐ ØÖ Ò Ò Ü ÑÔÐ ÙÒÓÚ Ø Ü ÑÔÐ ÒÓØ ÓÚ Ö Ý Ø ÔÖ Ú ÓÙ ÖÙÐ ÓÒ Ó Ö ØÙÖÒ ÖÙÐ Ø Û Ø Ó Ö Ò pos Ö Ò ÓÑ Ü ÑÔÐ ÖÓÑ ÙÒÓÚ Û Ø ÓÒ {Ø ÑÓ Ø Ò Ö Ð ÑÔØÝ ÓÒ Ø ÓÒ} Ò Ø Ö Ô Ø neg Ü ÑÔÐ Û Ø ÓÒ ÓÚ Ö Ý ÓÒ ÓÖ ÑÓÖ ÓÒ Ø ÓÒ Ò Ò Ø Ø Ñ Ü ÑÙÑ ÒÙÑ Ö Ó Ú ÐÙ Ø ÓÖÖ ÔÓÒ Ò Ú ÐÙ Ó Û Ø pos Ð ØÓÖ ÐÐ Ð ØÓÖ ÓÒ Ø ÒØ Û Ø pos ÜÐÙ Ò neg Ò Ø {Ü Ü Ò Ø Ý Ð ØÓÖ } Ò Ø {Ü Ò Ø Ý Ò Ø ÑÓÖ Ò Ö Ð Ø Ò Ü} Ö Ø Ò ÓÒÐÝ Ø Ò Ø Ò Ò Ø ÓÖ Ò ØÓ È Ö ÓÖÑ Ò ÙÒØ Ð Ò Ø ÓÚ Ö ÒÓ Ü ÑÔÐ Û Ø ÓÒ Ø Ø Ø ÓÒ Ø ÓÒ Ò Ò Ø ÓÖ Ò ØÓ È Ö ÓÖÑ Ò Ö ØÙÖÒ Ø ¾

Ö Ù Ø Ô Ò Þ Þ ÓÖ Ñ ØÖ Ò Ò ÓÛÝÑ Â Ð Û ÖÙÒ Ö Ù Ý ÛÝ ÐÙÞ Û ÞÝ Ø ÔÖÞÝ Ý Þ ÝÞ d ØÞÒº AQ: miara jakosci reguly È Ö ÓÖÑ Ò α d Ü ÑÔÐ µ pos included neg excluded pos included Ð Þ ÔÖÞÝ Û Û Ü ÑÔÐ Þ ÝÞ d Ô Ù Ý Ó Û ¹ ÖÙÒ Ù α ØÞÛº Û Ô Ö Ö Ù Ý neg excluded Ð Þ ÔÖÞÝ Û Û Ü ÑÔÐ Þ ÝÞ d ÛÝ ÐÙÞ ÒÝ ÔÖÞ Þ Û ÖÙÒ α ÍÛ ØÓ Ñ ÖÝ Ó Ö Ù Ý Ø Ö ÛÒ Û Ô Ö Ù Ö Ù Ý È Ö ÓÖÑ Ò α d Ü ÑÔÐ µ pos included ¾

AQ: klasyfikacja ÃÐ Ý ÔÖÞ Þ Ó ÓÛ Ò Ö Ù Ï ÔÓ ÝÒÞ Ö Ù Ý Weight(α d) = pos included(α d) examples ÝÞ Ó ØÙ ÏÝ Ö x Ð pos max arg d Σ included (α d) α d: x Ô ÐÒ α examples ¾

Ñ ØÓ Ô ÖÛ ÞÝ Ò Ð Ô ÞÝ Ù Ø ÐÓÒ Þ ÖÓ Ó Ó Ò Ö Þ Ó ÐÒÝ Û ÖÙÒ Ù Ö Þ Ô Ý ÞÒÝ Ø ÖÓÛ Ò ÏÝÑ Ò Ô ÒÓ Å Ö Ó Ö Ù ÈÖÞ ÞÙ Û Ò ÝÑ Þ ÓÖ Ñ ÆÁ ØÝÑ Ø Ä ÔÐ ³ ƾ Generowanie regul: CN2 vs AQ Ý Û Ô ÐÒ Ñ ØÓ Û ÒÝ Ò Ó ÔÓ ÖÝÛ Ò ÞÙ Ò ÔÓ ÝÒÞ Ö Ù Ý Ê Ò É ÔÓ ÝÒÞÝÑ ÔÖÞÝ Ñ Ì Ã Û Ô Ö ¾

Ò ØÖÝ ÙØ Û R A Ø Ö Ù Ø Ñ Ð Þ ÓÖÙ ÔÖÞÝ Û U trn Ð Ö Teoria zbiorow przyblizonych ÓÖÝ ÔÖÞÝ Ð ÓÒ È ÛÐ ½ ½µ Ê Ù ØÝ Ö Ù Ý Ò ÖÓÛ Ò Þ Ö Ù Ø Û Ë ÓÛÖÓÒ Ê Ù Þ Ö ½ ¾µ A = {a 1,..., a n } Þ Ö ØÖÝ ÙØ Ûµ ÓÔ Ù Ý ÔÖÞÝ Ý U trn Þ Ö ÔÖÞÝ Û ÓÔ ÒÝ Û ØÓÖ Ñ Û ÖØÓ < x 1,..., x n > Ð Ô ÖÝ ÔÖÞÝ Û x, y U trn Ó Ö ÒÝ ÝÞ dec(x) dec(y) a ØÒ i ÖÓÞÖ Ò Ý Ø Ô Ö ÔÖÞÝ Û R x i y i R Ø Ñ Ò Ñ ÐÒÝÑ Þ ÓÖ Ñ Ñ ÝÑ ÔÓÛÝ Þ Û ÒÓ Ð ÓÛÓÐÒ Ó R R ØÒ Ô Ö ÔÖÞÝ Û Û U ØÞÒº trn Ö ÒÝ ÝÞ Ø ÑÝ Û ÖØÓ Ó Ò Û ÞÝ Ø ØÖÝ ÙØ a i R ¼

Ò R Ø Ñ Ò Ñ ÐÒÝ Ð Þ Û Ö Ò ÑÒ Þ ÑÓ Ð Û Ð Þ ØÖÝ ÙØ Û Ê Ù Ø Redukty ØÞÒº Ð Ó Ö Ù ØÙ R R R Ø ÈÖÓ Ð Ñ ÞÒ Ð Þ Ò Ñ Ò Ñ ÐÒ Ó Ö Ù ØÙ Ø ÆȹØÖÙ ÒÝ ½

Ò R Ø Ñ Ò Ñ ÐÒÝ Ð Þ Û Ö Ò ÑÒ Þ ÑÓ Ð Û Ð Þ ØÖÝ ÙØ Û Ê Ù Ø Redukty ØÞÒº Ð Ó Ö Ù ØÙ R R R Ø ÈÖÓ Ð Ñ ÞÒ Ð Þ Ò Ñ Ò Ñ ÐÒ Ó Ö Ù ØÙ Ø ÆȹØÖÙ ÒÝ ÈÖÞÝ x 1 ¾ ½ ¼ ¼ x 2 ¾ ¾ ½ ½ x 3 ¼ ¾ ½ ¾ x 4 ¾ ½ ½ ¼ ¼ ¼ ½ ¾ Ê Ù ØÝ ¾

Ò R Ø Ñ Ò Ñ ÐÒÝ Ð Þ Û Ö Ò ÑÒ Þ ÑÓ Ð Û Ð Þ ØÖÝ ÙØ Û Ê Ù Ø Redukty ØÞÒº Ð Ó Ö Ù ØÙ R R R Ø ÈÖÓ Ð Ñ ÞÒ Ð Þ Ò Ñ Ò Ñ ÐÒ Ó Ö Ù ØÙ Ø ÆȹØÖÙ ÒÝ ÈÖÞÝ x 1 ¾ ½ ¼ ¼ x 2 ¾ ¾ ½ ½ x 3 ¼ ¾ ½ ¾ x 4 ¾ ½ ½ ¼ ¼ ¼ ½ ¾ Ê Ù ØÝ {a, d} {b, c, d} Ê Ù ØÝ Ñ Ò Ñ ÐÒ

Ò R Ø Ñ Ò Ñ ÐÒÝ Ð Þ Û Ö Ò ÑÒ Þ ÑÓ Ð Û Ð Þ ØÖÝ ÙØ Û Ê Ù Ø Redukty ØÞÒº Ð Ó Ö Ù ØÙ R R R Ø ÈÖÓ Ð Ñ ÞÒ Ð Þ Ò Ñ Ò Ñ ÐÒ Ó Ö Ù ØÙ Ø ÆȹØÖÙ ÒÝ ÈÖÞÝ x 1 ¾ ½ ¼ ¼ x 2 ¾ ¾ ½ ½ x 3 ¼ ¾ ½ ¾ x 4 ¾ ½ ½ ¼ ¼ ¼ ½ ¾ Ê Ù ØÝ {a, d} {b, c, d} Ñ Ò Ñ ÐÒ Ê Ù ØÝ {a, d}

Rules(R) := { Generowanie regul z reduktu a i R a i = x i dec = dec(x) : x U trn }

Rules(R) := { Generowanie regul z reduktu a i R a i = x i dec = dec(x) : x U trn } ÈÖÞÝ x 1 ¾ ½ ¼ ¼ x 2 ¾ ¾ ½ ½ x 3 ¼ ¾ ½ ¾ x 4 ¾ ½ ½ ¼ ¼ ¼ ½ R = {b, c, d} ¾ Ê Ù Ý

Rules(R) := { Generowanie regul z reduktu a i R a i = x i dec = dec(x) : x U trn } ÈÖÞÝ x 1 ¾ ½ ¼ ¼ x 2 ¾ ¾ ½ ½ x 3 ¼ ¾ ½ ¾ x 4 ¾ ½ ½ ¼ ¼ ¼ ½ R = {b, c, d} ¾ Ê Ù Ý b = 2 c = 1 d = 0 dec = 0 b = 2 c = 2 d = 1 dec = 0 b = 0 c = 2 d = 1 dec = 1 b = 2 c = 1 d = 1 dec = 2

Å ØÓ α s dec = d ÑÓ ÞÓ Ø Þ Ø Ô ÓÒ ÔÖÞ Þ α dec = d Ð Ê Ù Ø Þ ÖÞÝ Ö Ò Ö Ù Ý Þ Ø Ñ ÝÞ ÞÓ Ø Ò Ö Ò Ó Ø ÅÓ Skracanie regul z reduktu Ë Ö Ò Ö Ù Ý ÔÓÐ Ò Ó ÖÞÙ Ò Ù Ò Ø ÖÝ Ð ØÓÖ Û Þ Û ÖÙÒ Ù Ö Ù Ý α dec = d ÔÓÞÓ Ø Ô Ò Þ Þ ÓÖ Ñ ØÖ Ò Ò ÓÛÝÑ ÔÓ Ø Ñ Þ Ö Ö Ù ÔÓ Ö Ò Ù ÑÓ Ý ÑÒ ÞÝ Ò ÓÖÝ Ò ÐÒÝ

Skracanie regul z reduktu: przyklad x 1 ¾ ½ ¼ ¼ x 2 ¾ ¾ ½ ½ x 3 ¼ ¾ ½ ¾ x 4 ¾ ½ ½ ¼ ¼ ¼ ½ b = 2 c = 1 d = 0 dec = 0 b = 2 c = 2 d = 1 dec = 0 b = 0 c = 2 d = 1 dec = 1 b = 2 c = 1 d = 1 dec = 2 ¾

Skracanie regul z reduktu: przyklad x 1 ¾ ½ ¼ ¼ x 2 ¾ ¾ ½ ½ x 3 ¼ ¾ ½ ¾ x 4 ¾ ½ ½ ¼ ¼ ¼ ½ b = 2 c = 1 d = 0 dec = 0 b = 2 c = 2 d = 1 dec = 0 b = 0 c = 2 d = 1 dec = 1 b = 2 c = 1 d = 1 dec = 2 ¾ ÈÓ Ö Ò Ù b = 2 d = 0 dec = 0 ÐÙ c = 1 d = 0 dec = 0 b = 2 c = 2 dec = 0 b = 0 dec = 1 c = 1 d = 1 dec = 2 ¼

Klasyfikacja oparta na wsparciu rules Þ Ö Ö Ù Þ ÒÓÞÒ ÞÒ ÝÞ U trn Þ Ö ÔÖÞÝ Û ØÖ Ò Ò ÓÛÝ x ¹ Ó Ø Ó Ð Ý ÔÖÞ Þ Ñ ÝÑ Ð Þ Û Ô Ö ÃÐ Ý rules(x) = {α d rules : Ô ÐÒ x α} max arg d {y U trn : α d rules(x) (y Ô ÐÒ α dec(y) = d)} ½

ØÖÝ ÙØ Û R A Ø Ö Ù Ø Ñ ÐÓ ÐÒÝÑ Ð ÔÖÞÝ Ù x U Ö trn Û ÔÖÞÝ Û U trn Ð Þ ÓÖÞ ½ Ø Ö Ù Ø Û ÐÓ ÐÒÝ Ð Ò Ó ÔÖÞÝ Ù ÑÓ Ý ÛÝ Ò Þ ÛÞ Ð¹ Ä Þ ¾ Ø ÞÒ Ð Þ Ò Ñ Ò Ñ ÐÒ Ó Ö Ù ØÙ ÐÓ ÐÒ Ó Ð Ò Ó ÔÖÞÝ Ù Ø ÈÖÓ Ð Ñ Redukty lokalne Ð Ó ÔÖÞÝ Ù y U trn Þ ÒÒ ÝÞ dec(y) dec(x) a ØÒ i ÖÓÞÖ Ò Ý R Ó y x x i y i R Ø Ñ Ò Ñ ÐÒÝÑ Þ ÓÖ Ñ Ñ ÝÑ ÔÓÛÝ Þ Û ÒÓ Ð ÓÛÓÐÒ Ó R R ØÒ ÔÖÞÝ Û U ØÞÒº trn ÒÒ ÝÞ Û ÖØÓ Ñ Ø ÑÝÑ x Þ Û ÞÝ Ø ØÖÝ ÙØ a Ò i R Ñ Ð Þ Ý ØÖÝ ÙØ Û Ð Þ Ý ÔÖÞÝ Û ØÖ Ò Ò ÓÛÝ ÆȹØÖÙ ÒÝ ¾

½ Ê Ù Ò ÖÓÛ Ò Þ Ö Ù ØÙ ÐÓ ÐÒ Ó Ø Ö Ù Ô Ò Ñ Ò Ñ ÐÒ Ø Ù ÙÒ Ø Ö Ó ÓÐÛ Ð ØÓÖ ÔÓÛÓ Ù ÙØÖ Ø Ô ÒÓ µ ØÞÒº ¾ Ö Ö Ù ÛÝ Ò ÖÓÛ ÒÝ Þ Û ÞÝ Ø Ö Ù Ø Û ÐÓ ÐÒÝ Ø Û ÞÝ Ø Ñ Ò Ñ ÐÒÝ Ö Ù Ô ÒÝ Þ Ö Û ÞÝ Ø Ö Ù Ò ¹ Þ Ö Ä Þ Û ÞÝ Ø Ñ Ò Ñ ÐÒÝ Ö Ù Ô ÒÝ ÑÓ Ý Ûݹ ÈÖÞÝÔÓÑÒ Ò ÛÞ Ð Ñ Ð Þ Ý ØÖÝ ÙØ Û ÔÖÞÝ Û ØÖ Ò Ò ÓÛÝ Ò Þ Þ Ò ½ µ Æ rules Ø all Þ Ö Û ÞÝ Ø Ñ Ò Ñ ÐÒÝ Ö Ù Á ØÒ Ð ÓÖÝØÑ ÝÑÙÐÙ Ý Ð Ý Þ Ñ ÝÑ Ð Þ Û Ô Ö Ô ÒÝ º Þ ÓÖÞ Ö Ù rules Û all ÛÒ Ó Ð Þ Ò Ö Ù µ ÛÝ ÓÒÙ Ý Ð Ý Þ Ó ØÙ Û Þ O( U ÔÓ ÝÒÞ Ó trn 2 A )º Generowanie regul z reduktow lokalnych Ò ÖÓÛ Ò Ö Ù ØÙ R Ð ÔÖÞÝ Ù x Ê Ù Þ ÐÓ ÐÒ Ó a i = x i dec = dec(x) a i R ÖÓÛ ÒÝ ÔÖÞ Þ Ð ÓÖÝØÑ ÞÙÔ ÒÝ Þ Ð ØÓÖ Ñ Ö ÛÒÓ ÓÛÝÑ µ

Ñ Ò ÖÞ ÛÓ ÝÞÝ Ò ÑÓ Ò Ò ÖÓÛ Ö Ù Ý Ò ÔÓ Ø Û ÈÓÑÝ ØÖÙ ØÙÖÝ Ó C4.5rules: generowanie regul Outlook Sunny Overcast Rain Humidity Yes Wind High Normal Strong Weak No Yes No Yes

Ñ Ò ÖÞ ÛÓ ÝÞÝ Ò ÑÓ Ò Ò ÖÓÛ Ö Ù Ý Ò ÔÓ Ø Û ÈÓÑÝ ØÖÙ ØÙÖÝ Ó Ø Ò ÖÓÛ Ò Ð ÓÖÝØÑ Ñ º ÓÔ ÒÝÑ Ò ÛÝ Þ Ó ÖÞ ÛÓ ÝÞÝ ÒÝ ÖÞ Û C4.5rules: generowanie regul Outlook Sunny Overcast Rain Humidity Yes Wind High Normal Strong Weak No Yes No Yes

C4.5rules: przyklad Outlook Sunny Overcast Rain Humidity Yes Wind High Normal Strong Weak No Yes No Yes Outlook = Sunny Humidity = High PlayTennis = No Outlook = Sunny Humidity = Normal PlayTennis = Y es Outlook = Overcast PlayTennis = Y es Outlook = Rain Wind = Strong PlayTennis = No Outlook = Rain Wind = Weak PlayTennis = Y es

ÛÝÐ Þ Ø ØÝ ØÝÞÒ ÖÒ Ó Þ ÓÛ Ò Û Ó Ù Ö Ù Ò ÔÓ ¹ º ÖÙÐ ÔÖÞÝ Û Þ Þ ÓÖÙ ØÖ Ò Ò ÓÛ Ó ÔÓ ÖÝÛ ÒÝ ÔÖÞ Þ Ø Ö Ù Ý Þ ¹ Ø Û Ö Ù α s d Ö Ù Ö ÓÒ α d Ð ÖÒ Ó Þ ÓÛ Ò ØÔÙ Ð Ö Ù Ý Ö ÓÒ Ø Ò Û Þ Ò Ð Ö Ù Ý ÓÖÝ Ò ÐÒ Ù ÑÓ Ý Ö ÓÒ Û ÐÓ ÖÓØÒ Ð Ù ÙÛ Ò ÓÐ ÒÝ Ð ØÓÖ Û Ê Ù ÔÓÛÓ Ù ÞÛ Þ Ò ÖÒ Ó Ó Þ ÓÛ Ò Ù Ö Ù Ý Ò C4.5rules: skracanie regul α s d Ö Ù ÔÖÞ Ö Ò Ñ α d Ö Ù ÔÓ Ö Ò Ù

Ö Ù ÔÖÞ Ö Ò Ñ ÛÝ ÐÙÞ Ý ÛÞ ÑÒ Ï ÖÙÒ Ö Ò Ù Ù Ò ÑÙ Þ ÛÝ ÐÙÞ ÔÓ ÏÒ Ó ÛÝÑ Þ ØÓ ÓÛ Ò ÛÝ ÓÖÙ Ò Ð Ô Þ Ö Ù Ý ÃÐ Ý Ù ÙÒ Ò Ø ÖÝ Ö Ù Ö ÓÒÝ Ó ÙÔÓÖÞ ÓÛ Ò ÔÓÞÓ Ø Ý Û Ù Û ÒÓ C4.5rules: klasyfikacja Ø Ó ÓÛ Ò Ö Ù ÐÙ º ÖÙÐ ØÓ Ù Þ Û Ò ÓÛ Ò Ñ ØÓ Ý Ç ØÝ Ð Ý ÓÛ Ò Û Ù Ò Ð Ô Þ Ô Ù Ö Ù Ý