O O X X X , +1. h f. {(x 1, dec(x 1 )),...,(x n, dec(x n Ð ))} h(x i ) = dec(x i ) Ð Ó 1 i n

ÍÞÒ Ñ ÞÝÒÓÛ ÓÒÞÒ Û ÒÞÒÒÝÑ ÖÓÓÛ Ù Ø Ý ÔÖÓØÒØ Ý ¹ Â Ø Ò ÔÓ Û ÞÛÞÝ ØÑÙ ÔÖÞÝØÒ Ó ÑØÓ ÓÒ ØÖÙ Ý ØÑÙ Ø ÓÒÖÓÒØÙ Â Ø Þ ÖÞÞÝÛ ØÓ ÞÑ Ø ÔÖÝ ÒÔ Ò Ó ÔÖÓÖÑÙ ÒØ ÑÒÞÑ ÝÞÝÒÝ ÒØ Ý ÔÓÔÖÛ Ûݹ ÅÓÝÙ ÒÓ ØÝÔÝ ÙÞÒ ÑÓ Ý ÖÓÞÛ Ò Ó ÙÞÒ ÖÔÖ¹ Ï ÞÝ Ø ÙÒ ÞÒØ ½

ÍÞÒ ÒÙÝÒ ÙÞÝ ÓØÖÞÝÑÙ ÔÓÔÖÛÒ ÛÖØÓ ÙÒ Ð ÔÓ ÞÞ¹ ÐÑÒØ ÒÝ ÛÓÛÝ Ò Ø ÔÓ ØÛ ÑÓÝÙ ÖÔÖ¹ ÐÒÝ ÞÒØ ÙÒ Ø Ý Ô ÓÛ Ó Ó ØÖÞÓÒ ÒÓÖÑ ÓÖÑÐÒ Ò ÓÔ Ù ØÒ ÐÙ ÓØ ØÛÓÖÞ ÔÖÞ ØÖÞ Ó¹ ÇØÝ ØÛ X ÙÒ dec : X V ÝÞ dec ÓØÓÑ Þ ÞÓÖÙ ÔÖÞÝÔ Ù ÛÖØÓ ÝÞ Þ Ù ØÐÓÒÓ ÞÓÖÙ X V dec ¾

ÔÖÞÝÛ Í ØÐÓÒÝ ÞÖ ÓØÛ Þ X Þ ÔÖÞÝÔ ÒÝÑ Ö ÝÞ Ø ÞÖ ÔÖ (x ÛÖØÓÑ i, dec(x i )) dla i = 1,... n, ÒÓ ÞÓÖÙ ÔÖÞÝÛ ÒÙÞÝ ÙÒ ÔÓ¹ Ò h : X V ØÞݵ dec ÝÞ dec Ø Ý ÑÓ ÐÛ ÔÖÓ ÝÑÙ ÔÓÔÖÛÒ ÔÖÞÝÔ ÝÛ ÓØÓÑ Þ ÔÖÞ ØÖÞÒ X ÒÖÞ ØÖÝ ÒÞÒÒ Ø ÛÖØÓ ÝÞ dec Ð

ÈÖÞÝ Ó ÖÞÝ Ý ÍÞÒ ÙÒ Þ ÔÖÞÝÛ ØÙÐ Ö µ f Ø ÙÒ ÓÐÓÛ ÈÖÞÝ ØÓ ÔÖ x, f(x)µ Ø O O X X X, +1 ÈÖÓÐÑ ÞÒÐõ ÔÓØÞ h h f Ø ÒÓ ÞÓÖÙ ÔÖÞÝÛ Ð h Ø ÔÒ Ò ÞÓÖÞ ÀÔÓØÞ {(x 1, dec(x 1 )),...,(x n, dec(x n Ð ))} h(x i ) = dec(x i ) Ð Ó 1 i n

ÊÓÞ ÝÞ ÝÞ ÑÓ ÔÖÞÝÑÓÛ ÛÖØÓ ÖÞÞÝÛ Ø Ý ÖØÒ ÒÖÒ ÌÊÍ Ä˵

ÓÐÒÓ ÑÓ Ý ÛÐ ÔÓØÞ Ð ØÓ ÑÓ ÞÓÖÙ Ï ÔÖÞÝÛ Ø Ö ÒÝ ÔÓØÞ ÙÒµ ÒÖÒÝ Ð n ØÖÝÙØÛ ¹ ÁÐ ÒÖÒÝ ÈÖÞ ØÖÞ ÔÓØÞ ÐÞ ÙÒ ÒÖÒÝ Ð ÞÞÒÝ Þ 2 n ÓØÑ 2 2n ÈÖÞ ØÖÞ ÔÓØÞ ÑÓ Ò ÓÖÒÞÝ Ó Ù ØÐÓÒ Ð Ý ÔÓØÞ ÖÙ ØÖÓÒÝ ÞÛ ÞÒ ÔÖÞ ØÖÞÒ ÔÓØÞ ÞÛ Þ ÞÒ ÙÒ ÓÐÓÛ ÑÓ Ý ÛÝÖ ÓÒ ÞÛ Þ ÐÞ ÔÓØÞ ÞÓÒÝ Þ ÞÓÖÑ ÔÖÞÝÛ

ËÙØÞÒÓ ÔÓØÞÝ Ø ÑÖÞÓÒ ÔÖÓÔÓÖ ÔÓ¹ Acc(h) Ð ÝÓÛÒÝ ÓØÛ Þ ÞÓÖÙ Ø ØÓÛÓ Ó ÔÖÛÒ ÑÔÖÝÞÒ ÑÖ Ó ÔÓØÞÝ ËÔÓ ÔÓ ØÔÓÛÒ Ò X ÞÐÑÝ Ò Û ÔÓÞÓÖÝ ÞÖ ØÖÒÒÓÛÝ Z trn ÞÖ Ø ØÓÛÝ Z tst ÀÔÓØÞ h : X V dec Ø ÒÙÓÛÒ Ò ÔÓ ØÛ ÞÓÖÙ ØÖÒÒÓÛÓ Z trn ÞÓÖÙ Ø ØÓÛÓ Ø ÖÓÞÑÖÙ Acc(h) = {x Z tst : h(x) = dec(x)} Z tst

ÛÒÓ ÓÛÒ ÓÔÖØ Ò ÔÓÓ ØÛ ¹ ÒÐ ÞÝ ¹ ¾ Û ËØÓ ÓÛÒ ÔÓ Ð Ó ÖÔÖÞÒØ ÑÓÙÙ ÝÞÝÒÓ ÒØ ½ ÖÞÛ ÝÞÝÒ ÒÙÖÓÒÓÛ Ý ÓÛ Ý ØÑÝ ÖÙÓÛ

ÖÞÛ ÝÞÝÒ ÓØ ÐÙ ØÒ ÓÔ ÒÝ ÔÖÞÞ ÞÖ Û ÒÓ ØÖÝÙ¹ Ï ØÛµ ÝÞ Ø»Ò ÛÖØÓ ÛÝÓÛÝ ÑÓ Ý Û¹ ÏÝ µ ÇÔ Ù ÙÒ ÓÓÐÓÛ

ÊÔÖÞÒØ ÛÛÒØÖÞÒ Ã Ý ÞÛÞÒÝ Þ ÒÝÑ ØÖÝÙØÑ ¹ Ö¹ ÏÞÝ Ø Ø ÛÖØÓ ØÓ ØÖÝÙØÙ ÔÖÞÒØÙ Ã ÞÛÞÒ Þ ÛÖØÓ ÐÙ ÔÓÞÓÖÑ ÛÖØÓ Þ ÛÞ Þ ØÖÓ ÛÝÓÞ ¹ ÓÔÓÛ ÓØÓÑ ¹ ØÖÝÙØÙ ÒÝ Þ Ô ÙÝÑ ÛÖØÓÑ ØÖÝÙØÙ Ã Ý ÞÛÞÒÝ Þ ÝÞ ÐÙ ÖÓÞÑ ÝÞ ¹ Ó¹ Ä ÓØÓÑ ÒÝ Ô ÙÝÑ Ó ÔÖÓÛÞ Ó ÔÓÛ ÒÓ Ð ½¼

ÈÖÞÝ ØØÖÙØ ÌÖØ ÜÑÔÐ Alt Bar Fri Hun Pat Price Rain Res ype ÏÐÐÏØ Est X 1 Ì ËÓÑ Ì ÖÒ ¼½¼ Ì Ì X 2 Ì ÙÐÐ Ì ¼¼ Ì X 3 Ì ËÓÑ ÙÖÖ ¼½¼ Ì X 4 Ì Ì ÙÐÐ ÖÒ ½¼ ¼ Ì Ì X 5 Ì ÙÐÐ Ì Ì >¼ Ì X 6 Ì Ì ËÓÑ Ì Ì ÁØÐÒ ¼½¼ Ì X 7 Ì ÆÓÒ Ì ÙÖÖ ¼½¼ X 8 Ì ËÓÑ Ì Ì Ì ¼½¼ Ì X 9 Ì Ì ÙÐÐ Ì ÙÖÖ >¼ X 10 Ì Ì Ì ÙÐÐ Ì ÁØÐÒ ½¼ ¼ Ì X 11 ÆÓÒ Ì ¼½¼ X 12 Ì Ì Ì ÙÐÐ ÙÖÖ ¼¼ Ì Ì ½½

Patrons? ÖÞÛÓ ÝÞÝÒ None Some Full F WaitEstimate? >60 30 60 10 30 0 10 F Alternate? Hungry? No Yes No Yes Reservation? Fri/Sat? Alternate? No Yes No Yes No Yes Bar? F Raining? No Yes No Yes F F ½¾

Ó ÞÓÖÙ ÔÖÞÝÛ ØÒ ÔÒ ÖÞÛÓ ÝÞÝÒ Ð Ò Ó Ð Ð Ó ÔÖÞÝÙ Ý f Ø Ò ÖÞ ÞÛÖØÓ ÖÞÛ ÝÞÝÒÓ ËÞÙÒ ÖÞÛ ÝÞÝÒ ÑÓ ÛÝÖ Ò ÒØÖÑÒ ØÝÞÒµ A B A xor B F F F F F F F F B A F B F F ½

ÞÒÐÞÒ ÑÓ ÖÞÛ ÞÓÒÓ Þ ÞÓÖÑ ØÖÒÒÓ¹ Ð ÛÝÑ ÍÞÒ ÖÞÛ ÝÞÝÒÓ ÈÓÑÝ ÖÙÖÒÝÒ ÛÝÖÒ ÒÖÞ ÞÒÞÓ ØÖݹ ÙØÙ Ó ÓÖÞÒ ÔÓÖÞÛ function DECISION-REE-LEARNING(examples, attributes, default) returns a decision tree inputs: examples, set of examples attributes, set of attributes default, default value for the goal predicate if examples is empty then return default else if all examples have the same classification then return the classification else if attributes is empty then return MAJORIY-VALUE(examples) else best CHOOSE-ARIBUE(attributes, examples) tree a new decision tree with root test best for each value v i of best do examples i subtree felements of examples with best = v i g DECISION-REE-LEARNING(examples i, attributes best, MAJORIY-VALUE(examples)) add a branch to tree with label v i and subtree subtree end return tree ½

ÏÝÖ ØÖÝÙØÙ ÓÖÝ ØÖÝÙØ ÖÓÞÞÐ ÔÖÞÝÝ Ò ÔÓÞÓÖÝ ØÖÝ Á Û ÞÝ Ø ÔÓÞÝØÝÛÒ ÐÙ Û ÞÝ Ø ÒØÝÛÒ ÐÑÒØÝ Patrons? ype? None Some Full French Italian hai Burger Patrons? Ø ÐÔ ÞÝÑ ÛÝÓÖÑ ÒÓÖÑ Ó Ð Ý ½

ÁÒÓÖÑ ÊÓÞÛÞÒÑ Ø ÒÓÖÑ Û Þ ÒÓÖÒ Û Û Ø ÓÔÓÛÞ Ò ÔÓÞØÙ ØÝÑ ÁÑ ÒÓÖÑ ÞÛÖ ÓÔÓÛõ Û ½Ø ÓÔÓÛõ Ò ÔÝØÒ ÓÓÐÓÛ Þ ÔÖÛÓÔÓÓ¹ ËÐ 0.5,0.5 ØÛÑ ½

ÒØÖÓÔ Ø ÖÓÞ ÔÖÛÓÔÓÓ ØÛ ÒÝ P 1,..., P n. ÒÓÖÑ ÒØÖÓÔ ÔÖÛÓÔÓÓ ØÛµ ÛÝÞÒÞ Ð Ò¹ ÅÖ Ò ØÒ ÖÓÞ ÓÖÑ H( P 1,..., P n ) = Σ n i=1 P ilog 2 P i ½

S ÞÖ ÒÝ S d ÞÖ ÓØÛ Þ ÝÞ d H(S) = Σ d Vdec S d S log S d 2 S ÖÒ ÐÞ ØÛ ÔÓØÖÞÒ Ó ÞÓÓÛÒ Ý¹ ÒØÖÓÔ d Ð ÐÓ ÓÛÓ ÛÝÖÒÓ ÓØÙ Þ ÞÓÖÙ S ÇÔØÝÑÐÒ Ó¹ Þ ÔÖÞÝÞÐ log ÓÛÒ 2 ØÛ Ó ÝÞ ÛÝ ØÔÙ Þ ÔÖÛ¹ p Ô ÓÔÓÓ ØÛÑ ½

ÒØÖÓÔ ÔÖÞÝÔ ¾ ÝÞ Ò Û ÝÞ ÔÓÞÝØÝÛÒ µ ÒØÝÛÒ ¹µ p + = S + S p = S S Þ ØÓ ÓØÛ Þ ÝÞ ÔÓÞÝØÝÛÒ Û S Þ ØÓ ÓØÛ Þ ÝÞ ÒØÝÛÒ Û S H(S) = p + log 2 p + p log 2 p ½

Ý ÒÓÖÑ ÒÓÖÑ G(S, a) Ý ÒØÖÓÔ ÔÖÞÝ ÔÓÞÐ ÞÓÖÙ ÛÞÐÑ ØÖÝÙØÙ a ÖÙ S v ÞÖ ÓØÛ Û S Þ ÛÖØÓ ØÖÝÙØÙ a = v G(S, a) = H(S) Σ v V alue(a) S v S H(S v) ¾¼

ÈÖÞÝ ÖÞÛÓ ÝÞÝÒ ÛÝÙÞÓÒ Þ ½¾ ÔÖÞÝÛ Patrons? None Some Full F Hungry? Yes No ype? F French Italian hai Burger F Fri/Sat? No Yes F ¾½

ØÖÝÙØ ÒÙÑÖÝÞÒÝ ÔÖÞÝÔÙ ØÖÝÙØÙ ÒÙÑÖÝÞÒÓ ÞÖ Ó ÛÖØÓ Þ¹ Ï Ò Û ÔÓÞÓÖÝ ÔÓÔÖÞÞ ÛÝÓÒÒ ÐÑÝ Ý ÒÓÖÑ ÓÐÞÑÝ ÛÞÐÑ ÛÝÖÒÓ ÒÓÖÑ G(S, a, c) Ý ÒØÖÓÔ ÛÞÐÑ ÒÖÒÓ c Ò ØÖÝÙ a ÖÙ c ÛÖØÓ S a<c ÞÖ ÓØÛ Þ ÛÖØÓÑ ØÖÝÙØÙ a ÔÓÒ S a c ÞÖ ÓØÛ Þ ÛÖØÓÑ ØÖÝÙØÙ a ÔÓÛÝ G(S, a) = H(S) S a<c S H(S a<c ) S a c H(S a c ) S ¾¾

ÝÞÝÒ ÛÝÖ ØÖÝÙØ ÖÓÞÔØÖÙ ÒÐÔ Þ ÖÞÛÓ ØÖÝÙØÛ ÒÙÑÖÝÞÒÝ Ð Ñ ØÖÝÙØ ÒÙÑÖÝÞÒÝ ÑÓ Ý ÛÝÖÒÝ ÐÖÓØÒ ÌÒ Ò Ó ÓÖÞÒ Ó Ð Ò Ý ØÖÝÙØ ÝÑÓÐÞÒÝ ÑÓ Ý ÛÝÖÒÝ ÓÒÛÝ Ð ÖÞ ÏÝÖ ¾

Patrons? ÃÐ Ý ÓØÙ None Some Full F Hungry? Yes No ype? F French Italian hai Burger F Fri/Sat? No Yes F ØØÖÙØ ÌÖØ ÜÑÔÐ Alt Bar Fri Hun Pat Price Rain Res ype ÏÐÐÏØ Est Ì Ì ÙÐÐ Ì ÖÒ ¼½¼ X Patrons = Full Hungry = Y es ype = French WillWait = ¾

ÃÐ Ý ÓØÙ ÖÙ ÛÖØÓ ÖÓ Ý ÒÓÖÑ Ó Ð ÝÓÛÒÝÑ Ó Ø ÒÔÒ Ó ÒÔ ØØÖÙØ ÌÖØ ÜÑÔÐ Alt Bar Fri Hun Pat Price Rain Res ype ÏÐÐÏØ Est Ì Ì Ì ÖÒ ¼½¼ X ¾

Þ Û ÞÝ ØÑ Ñ ÔÖÞÝ ØÖÝÙØ Þ Ò٠ع ÈÓÑÝ ÛÖØÓ ÐÓÒ ¾ Ì ½ Ì ÈØÖÓÒ ÆÓÒ ËÓÑ ÙÐÐ ÀÙÒÖÝ ÆÓ ÌÝÔ ÖÒ ÙÖÖ Ì ÁØÐÒ ¾

ÇÔÓÛõ Þ ÙÑÝ ÖÓÞÛ ÝÞ ÓØÛ ÙÞÝ Û Ó ¹ Å ÑÙÑ ÒØÝ Ð 2 F (4 + 1) WillWait = ¾

ÈÖÞÝÒÒ ÖÞÛ ÈÖÓÐÑ ÛÝØ ÐÙ Ý Û ÔÖÞÝ ÙÞÝ ÑÓ ÔÓÛÓ¹ ÊÞ ÓÛ ÒÔÓØÖÞÒ ÖÓÞÛÒ Þ ÖÞÛ ÊÓÞÛÞÒ ÞÝ ÛÐ Ó ÔÖÓ Ù ÙÞÒ ÏÞÝ ÖÓÞÞÐ ÓÒ ØÖ Ò ÔÓØÛÖÞ ÛÓ ÔÖÞÝØÒÓ ÞÑÒÒ Ò Ð ¾

ÓÒ ÏÝÖÑÝ ÛÞ Ò ØÖÓ Û ÞÝ Ø Ò ØÔÒ Ð¹ ½ Ñ Æ d ¾ cand ÒÞ Ø Þ ÝÞ ÔÖÞÝÔ Ò ÓØÓÑ ÙÙ¹ ØÒ ÛÞ ÝÑ ÂÐ Þ ØÔÒ ÛÞ Ò ÔÖÞÞ ÝÞ d cand ÔÓÓÖ¹ Ò ÙØÞÒÓ Ò ÞÓÖÞ Ø ØÓÛÝÑ ØÓ Þ ØÔ ÔÓÖÞÛÓ Ó ÞÝ ÛÖÞÓÙ Ò ÔÖÞÞ Ð Þ ÝÞ d cand ÈÓÛØÖÞ ½¹ ÓÔ ÞÖ ÒÝØÛ Ø ÒÔÙ ØÝ ¾

ÅÖ ØÝÛÒÓ Ë ÛÓÑÓ h f ÌÓÖ ÓÐÞ» ØØÝ ØÝ ½µ Ì ØÓÛÒ ÙÒ h Ò ÒÓÛÝÑ ÞÓÖÞ Ø ØÓÛÝÑ ¾µ ¼

ÙÞÒ ± ÔÓÔÖÛÒÓ Ò ÞÓÖÞ Ø ØÓÛÝÑ Ó ÙÒ¹ ÃÖÞÝÛ Ó ÖÓÞÑÖÙ 1 % correct on test set 0.9 0.8 0.7 0.6 0.5 0.4 0 10 20 30 40 50 60 70 80 90 100 raining set size ½

ÅÖ ØÝÛÒÓ ÃÖÞÝÛ ÙÞÒ ÞÐ Ý Ó ÖÐÞÓÛÐÒÓ ÛÝÖ ÐÒÓ ÙÒ ÓÐÓÛµ Ú ÒÖй ¹ ÔÓÛÓÓÛÒ ÒÔ ÖÑ ØÖÝÙØÙ ÐÙ Ò¹ ÞÓÛÐÒÓ ÑÖÒÝÑ ÓÖÒÞÒÑ Ð Ý ÔÓØÞµ ¹ ÖÙÒÒ Û ÛÝÖ ÐÒÓ ÒÔ ÒÖÐÛÒØÒ ØÖÝÙØݵ ¾

% correct 1 realizable redundant nonrealizable # of examples