WYKŁAD 6. Reguły decyzyjne

Wielkość: px
Rozpocząć pokaz od strony:

Download "WYKŁAD 6. Reguły decyzyjne"

Transkrypt

1 Wrocław University of Technology WYKŁAD 6 Reguły decyzyjne autor: Maciej Zięba Politechnika Wrocławska

2 Reprezentacje wiedzy Wiedza w postaci reguł decyzyjnych Wiedza reprezentowania jest w postaci reguł decyzyjnych. Każda reguła opisana jest w formie implikacji, na którą składa się koniunkcja wartości atrybutów (lewa strona implikacji), oraz jeden z możliwych wariantów decyzyjnych (prawa strona implikacji). Proces podejmowania decyzji odbywa się poprzez wybór odpowiedniej reguły (bądź reguł) decyzyjnych, która dotyczy (pokrywa) danego zagadnienia i na jej podstawie przeprowadzenie procesu wnioskowania. Uczenie polega na znalezieniu zestawu reguł najlepiej opisujących rzeczywistość. Interpretowalna reprezentacja wiedzy. Przykładowa reguła: (Kwota kredytu > 700) (Dochod < 1100) (status = odmowa)) 2/7

3 Reguły decyzyjne Przykład reguł Nazwa Wartości Status of A 1,1 : x < 0$ existing A 1,2 : 0 x < 200$ checking A 1,3 : x 200$ account A 1,4 : no checking account Credit A 2,1 : x < 4000$ amount A 2,2 : 4000$ x < 13000$ A 2,3 : x 13000$ Duration A 3,1 : x < 18 months of credit A 3,2 : x 18 months Employment A 4,1 : unemployment status A 4,2 : part-time job A 4,3 : full-time job Personal A 5,1 : single status A 5,2 : married A 5,3 : divorced or widowed Credit B 1,1 :good credit status status (class) B 1,2 : bad credit status Struktura reguł decyzyjnych jest następująca: α 1 α M α out 3/7

4 Reguły decyzyjne Przykład reguł Nazwa Wartości Status of A 1,1 : x < 0$ existing A 1,2 : 0 x < 200$ checking A 1,3 : x 200$ account A 1,4 : no checking account Credit A 2,1 : x < 4000$ amount A 2,2 : 4000$ x < 13000$ A 2,3 : x 13000$ Duration A 3,1 : x < 18 months of credit A 3,2 : x 18 months Employment A 4,1 : unemployment status A 4,2 : part-time job A 4,3 : full-time job Personal A 5,1 : single status A 5,2 : married A 5,3 : divorced or widowed Credit B 1,1 :good credit status status (class) B 1,2 : bad credit status Struktura reguł decyzyjnych jest następująca: α 1 α M α out Przykładowe reguły: R 1 : α A4,1 α B1,2 R 2 : α A2,3 α A3,2 α A4,2 α A5,1 α B1,2 R 3 : α A1,1 α A2,3 α B1,2 R 4 : otherwise α B1,1 3/7

5 Reguły decyzyjne Przykład reguł Nazwa Wartości Status of A 1,1 : x < 0$ existing A 1,2 : 0 x < 200$ checking A 1,3 : x 200$ account A 1,4 : no checking account Credit A 2,1 : x < 4000$ amount A 2,2 : 4000$ x < 13000$ A 2,3 : x 13000$ Duration A 3,1 : x < 18 months of credit A 3,2 : x 18 months Employment A 4,1 : unemployment status A 4,2 : part-time job A 4,3 : full-time job Personal A 5,1 : single status A 5,2 : married A 5,3 : divorced or widowed Credit B 1,1 :good credit status status (class) B 1,2 : bad credit status Struktura reguł decyzyjnych jest następująca: α 1 α M α out Przykładowe reguły: R 1 : α A4,1 α B1,2 R 2 : α A2,3 α A3,2 α A4,2 α A5,1 α B1,2 R 3 : α A1,1 α A2,3 α B1,2 R 4 : otherwise α B1,1 3/7

6 Reguły decyzyjne Przykład reguł Nazwa Wartości Status of A 1,1 : x < 0$ existing A 1,2 : 0 x < 200$ checking A 1,3 : x 200$ account A 1,4 : no checking account Credit A 2,1 : x < 4000$ amount A 2,2 : 4000$ x < 13000$ A 2,3 : x 13000$ Duration A 3,1 : x < 18 months of credit A 3,2 : x 18 months Employment A 4,1 : unemployment status A 4,2 : part-time job A 4,3 : full-time job Personal A 5,1 : single status A 5,2 : married A 5,3 : divorced or widowed Credit B 1,1 :good credit status status (class) B 1,2 : bad credit status Struktura reguł decyzyjnych jest następująca: α 1 α M α out Przykładowe reguły: R 1 : α A4,1 α B1,2 R 2 : α A2,3 α A3,2 α A4,2 α A5,1 α B1,2 R 3 : α A1,1 α A2,3 α B1,2 R 4 : otherwise α B1,1 3/7

7 Reguły decyzyjne Przykład reguł Nazwa Wartości Status of A 1,1 : x < 0$ existing A 1,2 : 0 x < 200$ checking A 1,3 : x 200$ account A 1,4 : no checking account Credit A 2,1 : x < 4000$ amount A 2,2 : 4000$ x < 13000$ A 2,3 : x 13000$ Duration A 3,1 : x < 18 months of credit A 3,2 : x 18 months Employment A 4,1 : unemployment status A 4,2 : part-time job A 4,3 : full-time job Personal A 5,1 : single status A 5,2 : married A 5,3 : divorced or widowed Credit B 1,1 :good credit status status (class) B 1,2 : bad credit status Struktura reguł decyzyjnych jest następująca: α 1 α M α out Przykładowe reguły: R 1 : α A4,1 α B1,2 R 2 : α A2,3 α A3,2 α A4,2 α A5,1 α B1,2 R 3 : α A1,1 α A2,3 α B1,2 R 4 : otherwise α B1,1 3/7

8 Reguły decyzyjne Przykład reguł Nazwa Wartości Status of A 1,1 : x < 0$ existing A 1,2 : 0 x < 200$ checking A 1,3 : x 200$ account A 1,4 : no checking account Credit A 2,1 : x < 4000$ amount A 2,2 : 4000$ x < 13000$ A 2,3 : x 13000$ Duration A 3,1 : x < 18 months of credit A 3,2 : x 18 months Employment A 4,1 : unemployment status A 4,2 : part-time job A 4,3 : full-time job Personal A 5,1 : single status A 5,2 : married A 5,3 : divorced or widowed Credit B 1,1 :good credit status status (class) B 1,2 : bad credit status Struktura reguł decyzyjnych jest następująca: α 1 α M α out Przykładowe reguły: R 1 : α A4,1 α B1,2 R 2 : α A2,3 α A3,2 α A4,2 α A5,1 α B1,2 R 3 : α A1,1 α A2,3 α B1,2 R 4 : otherwise α B1,1 3/7

9 Reguły decyzyjne Przykład reguł Nazwa Wartości Status of A 1,1 : x < 0$ existing A 1,2 : 0 x < 200$ checking A 1,3 : x 200$ account A 1,4 : no checking account Credit A 2,1 : x < 4000$ amount A 2,2 : 4000$ x < 13000$ A 2,3 : x 13000$ Duration A 3,1 : x < 18 months of credit A 3,2 : x 18 months Employment A 4,1 : unemployment status A 4,2 : part-time job A 4,3 : full-time job Personal A 5,1 : single status A 5,2 : married A 5,3 : divorced or widowed Credit B 1,1 :good credit status status (class) B 1,2 : bad credit status Struktura reguł decyzyjnych jest następująca: α 1 α M α out Przykładowe reguły: R 1 : α A4,1 α B1,2 R 2 : α A2,3 α A3,2 α A4,2 α A5,1 α B1,2 R 3 : α A1,1 α A2,3 α B1,2 R 4 : otherwise α B1,1 Czy klient który ma 100$, chce 300$ kredytu na 12 miesięcy, jest bezrobotny i rozwiedziony? 3/7

10 Reguły decyzyjne Przykład reguł Nazwa Wartości Status of A 1,1 : x < 0$ existing A 1,2 : 0 x < 200$ checking A 1,3 : x 200$ account A 1,4 : no checking account Credit A 2,1 : x < 4000$ amount A 2,2 : 4000$ x < 13000$ A 2,3 : x 13000$ Duration A 3,1 : x < 18 months of credit A 3,2 : x 18 months Employment A 4,1 : unemployment status A 4,2 : part-time job A 4,3 : full-time job Personal A 5,1 : single status A 5,2 : married A 5,3 : divorced or widowed Credit B 1,1 :good credit status status (class) B 1,2 : bad credit status Struktura reguł decyzyjnych jest następująca: α 1 α M α out Przykładowe reguły: R 1 : α A4,1 α B1,2 R 2 : α A2,3 α A3,2 α A4,2 α A5,1 α B1,2 R 3 : α A1,1 α A2,3 α B1,2 R 4 : otherwise α B1,1 Czy klient który ma 100$, chce 300$ kredytu na 12 miesięcy, jest bezrobotny i rozwiedziony? Nie dostanie kredytu. 3/7

11 Indukcja reguł decyzyjnych Algorytm PRISM 1. Dla każdej klasy y Y generowany jest zestaw reguł. 2. Każda reguła generowana jest na bazie danych uczących zawierających obserwacje dotychczas niepokryte przez żadną z utworzonych dotychczas reguł. 3. Dla danej klasy y i aktualnego zbioru danych D regułę konstruujemy następująco: 3.1 Budujemy regułę początkową: R : α y. 3.2 Znajdujemy taki atrybut m i jego wartość k, o najwyższej wartości prawdopodobieństwa: p(y x m = k) prawdopodobieństwa estymujemy na bazie danych D. 3.3 Uzupełniamy regułę o własność α m,k : R : α m,k α y. 3.4 Usuwamy ze zbioru danych obserwacje pokryte przez regułę R oraz atrybut m. 3.5 Procedurę uzupełniania reguły R powtarzamy do momentu aż p(y x m = k) = 1 lub wszystkie atrybuty zostaną wykorzystane. 4/7

12 Algorytm PRISM Przykład Credit amount Employment status Personal status Credit status (class) A 2,3 : x 13000$ A 4,3 : full-time job A 5,2 : married B 1,2 : bad A 2,1 : x < 4000$ A 4,1 : unemployment A 5,2 : married B 1,1 : good A 2,1 : x < 4000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,1 : single B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,2 : bad A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,3 : divorced B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,1 : unemployment A 5,1 : single B 1,2 : bad A 2,1 : x < 4000$ A 4,2 : part-time job A 5,3 : divorced B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,2 : married B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,1 : good P(class= bad Credit amount= A 2,1 ) = 0 3 P(class= bad Credit amount= A 2,2 ) = 2 5 P(class= bad Credit amount= A 2,3 ) = 3 4 P(class= bad Employment status= A 4,1 ) = 1 2 P(class= bad Employment status= A 4,2 ) = 1 3 P(class= bad Employment status= A 4,3 ) = 3 7 P(class= bad Personal status= A 5,1 ) = 2 5 P(class= bad Personal status= A 5,2 ) = 1 3 P(class= bad Personal status= A 5,3 ) = 2 4 5/7

13 Algorytm PRISM Przykład Credit amount Employment status Personal status Credit status (class) A 2,3 : x 13000$ A 4,3 : full-time job A 5,2 : married B 1,2 : bad A 2,1 : x < 4000$ A 4,1 : unemployment A 5,2 : married B 1,1 : good A 2,1 : x < 4000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,1 : single B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,2 : bad A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,3 : divorced B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,1 : unemployment A 5,1 : single B 1,2 : bad A 2,1 : x < 4000$ A 4,2 : part-time job A 5,3 : divorced B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,2 : married B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,1 : good P(class= bad Credit amount= A 2,1 ) = 0 3 P(class= bad Credit amount= A 2,2 ) = 2 5 P(class= bad Credit amount= A 2,3 ) = 3 4 P(class= bad Employment status= A 4,1 ) = 1 2 P(class= bad Employment status= A 4,2 ) = 1 3 P(class= bad Employment status= A 4,3 ) = 3 7 P(class= bad Personal status= A 5,1 ) = 2 5 P(class= bad Personal status= A 5,2 ) = 1 3 P(class= bad Personal status= A 5,3 ) = 2 4 5/7

14 Algorytm PRISM Przykład Credit amount Employment status Personal status Credit status (class) A 2,3 : x 13000$ A 4,3 : full-time job A 5,2 : married B 1,2 : bad A 2,1 : x < 4000$ A 4,1 : unemployment A 5,2 : married B 1,1 : good A 2,1 : x < 4000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,1 : single B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,2 : bad A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,3 : divorced B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,1 : unemployment A 5,1 : single B 1,2 : bad A 2,1 : x < 4000$ A 4,2 : part-time job A 5,3 : divorced B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,2 : married B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,1 : good P(class= bad Credit amount= A 2,1 ) = 0 3 P(class= bad Credit amount= A 2,2 ) = 2 5 P(class= bad Credit amount= A 2,3 ) = 3 4 P(class= bad Employment status= A 4,1 ) = 1 2 P(class= bad Employment status= A 4,2 ) = 1 3 P(class= bad Employment status= A 4,3 ) = 3 7 P(class= bad Personal status= A 5,1 ) = 2 5 P(class= bad Personal status= A 5,2 ) = 1 3 P(class= bad Personal status= A 5,3 ) = 2 4 5/7

15 Algorytm PRISM Przykład Credit amount Employment status Personal status Credit status (class) A 2,3 : x 13000$ A 4,3 : full-time job A 5,2 : married B 1,2 : bad A 2,1 : x < 4000$ A 4,1 : unemployment A 5,2 : married B 1,1 : good A 2,1 : x < 4000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,1 : single B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,2 : bad A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,3 : divorced B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,1 : unemployment A 5,1 : single B 1,2 : bad A 2,1 : x < 4000$ A 4,2 : part-time job A 5,3 : divorced B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,2 : married B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,1 : good P(class= bad Credit amount= A 2,1 ) = 0 3 P(class= bad Credit amount= A 2,2 ) = 2 5 P(class= bad Credit amount= A 2,3 ) = 3 4 P(class= bad Employment status= A 4,1 ) = 1 2 P(class= bad Employment status= A 4,2 ) = 1 3 P(class= bad Employment status= A 4,3 ) = 3 7 P(class= bad Personal status= A 5,1 ) = 2 5 P(class= bad Personal status= A 5,2 ) = 1 3 P(class= bad Personal status= A 5,3 ) = 2 4 5/7

16 Algorytm PRISM Przykład Credit amount Employment status Personal status Credit status (class) A 2,3 : x 13000$ A 4,3 : full-time job A 5,2 : married B 1,2 : bad A 2,1 : x < 4000$ A 4,1 : unemployment A 5,2 : married B 1,1 : good A 2,1 : x < 4000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,1 : single B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,2 : bad A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,3 : divorced B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,1 : unemployment A 5,1 : single B 1,2 : bad A 2,1 : x < 4000$ A 4,2 : part-time job A 5,3 : divorced B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,2 : married B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,1 : good P(class= bad Credit amount= A 2,1 ) = 0 3 P(class= bad Credit amount= A 2,2 ) = 2 5 P(class= bad Credit amount= A 2,3 ) = 3 4 P(class= bad Employment status= A 4,1 ) = 1 2 P(class= bad Employment status= A 4,2 ) = 1 3 P(class= bad Employment status= A 4,3 ) = 3 7 P(class= bad Personal status= A 5,1 ) = 2 5 P(class= bad Personal status= A 5,2 ) = 1 3 P(class= bad Personal status= A 5,3 ) = 2 4 5/7

17 Algorytm PRISM Przykład Credit amount Employment status Personal status Credit status (class) A 2,3 : x 13000$ A 4,3 : full-time job A 5,2 : married B 1,2 : bad A 2,1 : x < 4000$ A 4,1 : unemployment A 5,2 : married B 1,1 : good A 2,1 : x < 4000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,1 : single B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,2 : bad A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,2 : part-time job A 5,3 : divorced B 1,2 : bad A 2,2 : 4000$ x < 13000$ A 4,1 : unemployment A 5,1 : single B 1,2 : bad A 2,1 : x < 4000$ A 4,2 : part-time job A 5,3 : divorced B 1,1 : good A 2,3 : x 13000$ A 4,3 : full-time job A 5,1 : single B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,2 : married B 1,1 : good A 2,2 : 4000$ x < 13000$ A 4,3 : full-time job A 5,3 : divorced B 1,1 : good P(class= bad Credit amount= A 2,1 ) = 0 3 P(class= bad Credit amount= A 2,2 ) = 2 5 P(class= bad Credit amount= A 2,3 ) = 3 4 P(class= bad Employment status= A 4,1 ) = 1 2 P(class= bad Employment status= A 4,2 ) = 1 3 P(class= bad Employment status= A 4,3 ) = 3 7 P(class= bad Personal status= A 5,1 ) = 2 5 P(class= bad Personal status= A 5,2 ) = 1 3 P(class= bad Personal status= A 5,3 ) = 2 4 5/7

18 Algorytm PRISM Przykład Wybieramytrzecią wartość atrybutu Credit amount i modyfikujemy regułę: α A2,3? α B1,2 Employment status Personal status Credit status (class) A 4,3 : full-time job A 5,2 : married B 1,2 : bad A 4,3 : full-time job A 5,3 : divorced B 1,2 : bad A 4,3 : full-time job A 5,1 : single B 1,2 : bad A 4,3 : full-time job A 5,1 : single B 1,1 : good P(class= bad Credit amount= A 2,3,Employment status= A 4,3 ) = 3 4 P(class= bad Credit amount= A 2,3,Personal status= A 5,1 ) = 1 2 P(class= bad Credit amount= A 2,3,Personal status= A 5,2 ) = 1 1 P(class= bad Credit amount= A 2,3,Personal status= A 5,3 ) = 1 1 Wybieramy drugą lub trzecią wartość personal status i mamy: α A2,3 α A5,3 α B1,2 Osiągnięto wartość prawdopodobieństwa równą 1 - reguła kompletna. 6/7

19 Algorytm PRISM Przykład Wybieramytrzecią wartość atrybutu Credit amount i modyfikujemy regułę: α A2,3? α B1,2 Employment status Personal status Credit status (class) A 4,3 : full-time job A 5,2 : married B 1,2 : bad A 4,3 : full-time job A 5,3 : divorced B 1,2 : bad A 4,3 : full-time job A 5,1 : single B 1,2 : bad A 4,3 : full-time job A 5,1 : single B 1,1 : good P(class= bad Credit amount= A 2,3,Employment status= A 4,3 ) = 3 4 P(class= bad Credit amount= A 2,3,Personal status= A 5,1 ) = 1 2 P(class= bad Credit amount= A 2,3,Personal status= A 5,2 ) = 1 1 P(class= bad Credit amount= A 2,3,Personal status= A 5,3 ) = 1 1 Wybieramy drugą lub trzecią wartość personal status i mamy: α A2,3 α A5,3 α B1,2 Osiągnięto wartość prawdopodobieństwa równą 1 - reguła kompletna. 6/7

20 Klasyfikatory regułowe Podsumowanie Algorytm PRISM generuje dokładne reguły. W rezultacie, zestaw wygenerowanych reguł jest ogromny, i niektóre dotyczą tylko jednej obserwacji. Reguły stworzone poprzez zastosowanie PRISM są zbytnio dopasowane do zbioru uczącego - problem overfittingu. Modyfikację metody PRISM stanowi klasyfikator RIPPER. Wejściowy zbiór danych dzielony jest na dwa podzbiory: rosnący i ucinający. Na zbiorze rosnącym generowana jest pojedyncza reguła z wykorzystaniem podejścia PRISM. Ucinany jest ostatnio dodany atrybut. Jeżeli jakość reguły badana zbiorze ucinającym pogorszyła się, to wówczas ucinanie jest kontynuowane. W przeciwnym wypadku zapamiętywana jest reguła przed ostatnim ucięciem. 7/7

WYKŁAD 1. Wprowadzenie w tematykę kursu

WYKŁAD 1. Wprowadzenie w tematykę kursu Wrocław University of Technology WYKŁAD 1 Wprowadzenie w tematykę kursu autor: Maciej Zięba Politechnika Wrocławska Informacje dotyczące zajęć Cykl 8 wykładów. Konsultacje odbywają się w sali 121 w budynku

Bardziej szczegółowo

WYKŁAD 4. Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie. autor: Maciej Zięba. Politechnika Wrocławska

WYKŁAD 4. Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie. autor: Maciej Zięba. Politechnika Wrocławska Wrocław University of Technology WYKŁAD 4 Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie autor: Maciej Zięba Politechnika Wrocławska Klasyfikacja Klasyfikacja (ang. Classification):

Bardziej szczegółowo

WYKŁAD 3. Klasyfikacja: modele probabilistyczne

WYKŁAD 3. Klasyfikacja: modele probabilistyczne Wrocław University of Technology WYKŁAD 3 Klasyfikacja: modele probabilistyczne Maciej Zięba Politechnika Wrocławska Klasyfikacja Klasyfikacja (ang. Classification): Dysponujemy obserwacjami z etykietami

Bardziej szczegółowo

SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska

SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska DRZEWO REGRESYJNE Sposób konstrukcji i przycinania

Bardziej szczegółowo

mgr inż. Magdalena Deckert Poznań, r. Metody przyrostowego uczenia się ze strumieni danych.

mgr inż. Magdalena Deckert Poznań, r. Metody przyrostowego uczenia się ze strumieni danych. mgr inż. Magdalena Deckert Poznań, 30.11.2010r. Metody przyrostowego uczenia się ze strumieni danych. Plan prezentacji Wstęp Concept drift i typy zmian Algorytmy przyrostowego uczenia się ze strumieni

Bardziej szczegółowo

B jest globalnym pokryciem zbioru {d} wtedy i tylko wtedy, gdy {d} zależy od B i nie istnieje B T takie, że {d} zależy od B ;

B jest globalnym pokryciem zbioru {d} wtedy i tylko wtedy, gdy {d} zależy od B i nie istnieje B T takie, że {d} zależy od B ; Algorytm LEM1 Oznaczenia i definicje: U - uniwersum, tj. zbiór obiektów; A - zbiór atrybutów warunkowych; d - atrybut decyzyjny; IND(B) = {(x, y) U U : a B a(x) = a(y)} - relacja nierozróżnialności, tj.

Bardziej szczegółowo

LEMRG algorytm generowania pokoleń reguł decyzji dla baz danych z dużą liczbą atrybutów

LEMRG algorytm generowania pokoleń reguł decyzji dla baz danych z dużą liczbą atrybutów LEMRG algorytm generowania pokoleń reguł decyzji dla baz danych z dużą liczbą atrybutów Łukasz Piątek, Jerzy W. Grzymała-Busse Katedra Systemów Ekspertowych i Sztucznej Inteligencji, Wydział Informatyki

Bardziej szczegółowo

Wprowadzenie do klasyfikacji

Wprowadzenie do klasyfikacji Wprowadzenie do klasyfikacji ZeroR Odpowiada zawsze tak samo Decyzja to klasa większościowa ze zbioru uczącego A B X 1 5 T 1 7 T 1 5 T 1 5 F 2 7 F Tutaj jest więcej obiektów klasy T, więc klasyfikator

Bardziej szczegółowo

Sztuczna Inteligencja Projekt

Sztuczna Inteligencja Projekt Sztuczna Inteligencja Projekt Temat: Algorytm LEM2 Liczba osób realizujących projekt: 2 1. Zaimplementować algorytm LEM 2. 2. Zaimplementować klasyfikator Classif ier. 3. Za pomocą algorytmu LEM 2 wygenerować

Bardziej szczegółowo

RILL - przyrostowy klasyfikator regułowy uczący się ze zmiennych środowisk

RILL - przyrostowy klasyfikator regułowy uczący się ze zmiennych środowisk Wprowadzenie RILL - przyrostowy klasyfikator regułowy uczący się ze zmiennych środowisk Magdalena Deckert Politechnika Poznańska, Instytut Informatyki Seminarium ISWD, 21.05.2013 M. Deckert Przyrostowy

Bardziej szczegółowo

WYKŁAD 2. Problem regresji - modele liniowe

WYKŁAD 2. Problem regresji - modele liniowe Wrocław University of Technology WYKŁAD 2 Problem regresji - modele liniowe Maciej Zięba Politechnika Wrocławska Regresja Regresja (ang. Regression): Dysponujemy obserwacjami z odpowiadającymi im wartościami

Bardziej szczegółowo

Algorytmy metaheurystyczne Wykład 11. Piotr Syga

Algorytmy metaheurystyczne Wykład 11. Piotr Syga Algorytmy metaheurystyczne Wykład 11 Piotr Syga 22.05.2017 Drzewa decyzyjne Idea Cel Na podstawie przesłanek (typowo zbiory rozmyte) oraz zbioru wartości w danych testowych, w oparciu o wybrane miary,

Bardziej szczegółowo

WYKŁAD 7. Testowanie jakości modeli klasyfikacyjnych metodyka i kryteria

WYKŁAD 7. Testowanie jakości modeli klasyfikacyjnych metodyka i kryteria Wrocław University of Technology WYKŁAD 7 Testowanie jakości modeli klasyfikacyjnych metodyka i kryteria autor: Maciej Zięba Politechnika Wrocławska Testowanie modeli klasyfikacyjnych Dobór odpowiedniego

Bardziej szczegółowo

2. Empiryczna wersja klasyfikatora bayesowskiego

2. Empiryczna wersja klasyfikatora bayesowskiego Algorytmy rozpoznawania obrazów 2. Empiryczna wersja klasyfikatora bayesowskiego dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Brak pełnej informacji probabilistycznej Klasyfikator bayesowski

Bardziej szczegółowo

Konkurs z przedmiotu eksploracja i analiza danych: problem regresji i klasyfikacji

Konkurs z przedmiotu eksploracja i analiza danych: problem regresji i klasyfikacji Konkurs z przedmiotu eksploracja i analiza danych: problem regresji i klasyfikacji Michał Witczak Data Mining 20 maja 2012 r. 1. Wstęp Dostarczone zostały nam 4 pliki, z których dwa stanowiły zbiory uczące

Bardziej szczegółowo

Eksploracja danych. KLASYFIKACJA I REGRESJA cz. 2. Wojciech Waloszek. Teresa Zawadzka.

Eksploracja danych. KLASYFIKACJA I REGRESJA cz. 2. Wojciech Waloszek. Teresa Zawadzka. Eksploracja danych KLASYFIKACJA I REGRESJA cz. 2 Wojciech Waloszek wowal@eti.pg.gda.pl Teresa Zawadzka tegra@eti.pg.gda.pl Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki

Bardziej szczegółowo

Reguły decyzyjne, algorytm AQ i CN2. Reguły asocjacyjne, algorytm Apriori.

Reguły decyzyjne, algorytm AQ i CN2. Reguły asocjacyjne, algorytm Apriori. Analiza danych Reguły decyzyjne, algorytm AQ i CN2. Reguły asocjacyjne, algorytm Apriori. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/ REGUŁY DECYZYJNE Metoda reprezentacji wiedzy (modelowania

Bardziej szczegółowo

Klasyfikacja LDA + walidacja

Klasyfikacja LDA + walidacja Klasyfikacja LDA + walidacja Dr hab. Izabela Rejer Wydział Informatyki Zachodniopomorski Uniwersytet Technologiczny w Szczecinie Plan wykładu 1. Klasyfikator 2. LDA 3. Klasyfikacja wieloklasowa 4. Walidacja

Bardziej szczegółowo

Odkrywanie wiedzy w danych

Odkrywanie wiedzy w danych Inżynieria Wiedzy i Systemy Ekspertowe Odkrywanie wiedzy w danych dr inż. Michał Bereta Politechnika Krakowska http://torus.uck.pk.edu.pl/~beretam/ beretam@torus.uck.pk.edu.pl 1 Data Mining W pewnym teleturnieju

Bardziej szczegółowo

Sztuczna Inteligencja Projekt

Sztuczna Inteligencja Projekt Sztuczna Inteligencja Projekt Temat: Algorytm F-LEM1 Liczba osób realizujących projekt: 2 1. Zaimplementować algorytm F LEM 1. 2. Zaimplementować klasyfikator Classif ier. 3. Za pomocą algorytmu F LEM1

Bardziej szczegółowo

Analiza danych. http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU

Analiza danych. http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU Analiza danych Wstęp Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU Różne aspekty analizy danych Reprezentacja graficzna danych Metody statystyczne: estymacja parametrów

Bardziej szczegółowo

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18 Eksploracja Danych wykład 4 Sebastian Zając WMP.SNŚ UKSW 10 maja 2017 Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja 2017 1 / 18 Klasyfikacja danych Klasyfikacja Najczęściej stosowana (najstarsza)

Bardziej szczegółowo

Projekt Sieci neuronowe

Projekt Sieci neuronowe Projekt Sieci neuronowe Chmielecka Katarzyna Gr. 9 IiE 1. Problem i dane Sieć neuronowa miała za zadanie nauczyć się klasyfikować wnioski kredytowe. W projekcie wykorzystano dane pochodzące z 110 wniosków

Bardziej szczegółowo

ALGORYTM RANDOM FOREST

ALGORYTM RANDOM FOREST SKRYPT PRZYGOTOWANY NA ZAJĘCIA INDUKOWANYCH REGUŁ DECYZYJNYCH PROWADZONYCH PRZEZ PANA PAWŁA WOJTKIEWICZA ALGORYTM RANDOM FOREST Katarzyna Graboś 56397 Aleksandra Mańko 56699 2015-01-26, Warszawa ALGORYTM

Bardziej szczegółowo

WSPOMAGANIE DECYZJI - MIŁOSZ KADZIŃSKI LAB IV ZBIORY PRZYBLIŻONE I ODKRYWANIE REGUŁ DECYZYJNYCH

WSPOMAGANIE DECYZJI - MIŁOSZ KADZIŃSKI LAB IV ZBIORY PRZYBLIŻONE I ODKRYWANIE REGUŁ DECYZYJNYCH WSOMAGANIE DECYZJI - MIŁOSZ KADZIŃSKI LAB IV ZBIORY RZYBLIŻONE I ODKRYWANIE REGUŁ DECYZYJNYCH 1. Definicje Zbiory, które nie są zbiorami definiowalnymi, są nazywane zbiorami przybliżonymi. Zbiory definiowalne

Bardziej szczegółowo

ZeroR. Odpowiada zawsze tak samo Decyzja to klasa większościowa ze zbioru uczącego A B X 1 5 T 1 7 T 1 5 T 1 5 F 2 7 F

ZeroR. Odpowiada zawsze tak samo Decyzja to klasa większościowa ze zbioru uczącego A B X 1 5 T 1 7 T 1 5 T 1 5 F 2 7 F ZeroR Odpowiada zawsze tak samo Decyzja to klasa większościowa ze zbioru uczącego A B X 5 T 7 T 5 T 5 F 2 7 F Tutaj jest więcej obiektów klasy T, więc klasyfikator ZeroR będzie zawsze odpowiadał T niezależnie

Bardziej szczegółowo

Automatyczne wyodrębnianie reguł

Automatyczne wyodrębnianie reguł Automatyczne wyodrębnianie reguł Jedną z form reprezentacji wiedzy jest jej zapis w postaci zestawu reguł. Ta forma ma szereg korzyści: daje się łatwo interpretować, można zrozumieć sposób działania zbudowanego

Bardziej szczegółowo

Algorytmy, które estymują wprost rozkłady czy też mapowania z nazywamy algorytmami dyskryminacyjnymi.

Algorytmy, które estymują wprost rozkłady czy też mapowania z nazywamy algorytmami dyskryminacyjnymi. Spis treści 1 Wstęp: generatywne algorytmy uczące 2 Gaussowska analiza dyskryminacyjna 2.1 Gaussowska analiza dyskryminacyjna a regresja logistyczna 3 Naiwny Klasyfikator Bayesa 3.1 Wygładzanie Laplace'a

Bardziej szczegółowo

Systemy uczące się wykład 1

Systemy uczące się wykład 1 Systemy uczące się wykład 1 dr Przemysław Juszczuk Katedra Inżynierii Wiedzy, Uniwersytet Ekonomiczny 5 X 2018 e-mail: przemyslaw.juszczuk@ue.katowice.pl Konsultacje: na stronie katedry + na stronie domowej

Bardziej szczegółowo

Wybór / ocena atrybutów na podstawie oceny jakości działania wybranego klasyfikatora.

Wybór / ocena atrybutów na podstawie oceny jakości działania wybranego klasyfikatora. Wprowadzenie do programu RapidMiner Studio 7.6, część 7 Podstawy metod wyboru atrybutów w problemach klasyfikacyjnych, c.d. Michał Bereta www.michalbereta.pl Wybór / ocena atrybutów na podstawie oceny

Bardziej szczegółowo

Modelowanie interakcji helis transmembranowych

Modelowanie interakcji helis transmembranowych Modelowanie interakcji helis transmembranowych Witold Dyrka, Jean-Christophe Nebel, Małgorzata Kotulska Instytut Inżynierii Biomedycznej i Pomiarowej, Politechnika Wrocławska Faculty of Computing, Information

Bardziej szczegółowo

Wydawnictwo Politechniki Poznanskiej

Wydawnictwo Politechniki Poznanskiej Confusion matrix (test set): (a) (b) 10875 : bad (25.0/9.2) Credit

Bardziej szczegółowo

INDUKOWANE REGUŁY DECYZYJNE ALORYTM APRIORI JAROSŁAW FIBICH

INDUKOWANE REGUŁY DECYZYJNE ALORYTM APRIORI JAROSŁAW FIBICH INDUKOWANE REGUŁY DECYZYJNE ALORYTM APRIORI JAROSŁAW FIBICH 1. Czym jest eksploracja danych Eksploracja danych definiowana jest jako zbiór technik odkrywania nietrywialnych zależności i schematów w dużych

Bardziej szczegółowo

ID1SII4. Informatyka I stopień (I stopień / II stopień) ogólnoakademicki (ogólno akademicki / praktyczny) stacjonarne (stacjonarne / niestacjonarne)

ID1SII4. Informatyka I stopień (I stopień / II stopień) ogólnoakademicki (ogólno akademicki / praktyczny) stacjonarne (stacjonarne / niestacjonarne) Załącznik nr 7 do Zarządzenia Rektora nr 10/12 z dnia 21 lutego 2012r. KARTA MODUŁU / KARTA PRZEDMIOTU Kod modułu ID1SII4 Nazwa modułu Systemy inteligentne 1 Nazwa modułu w języku angielskim Intelligent

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych

Bardziej szczegółowo

SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska. SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska INFORMACJE WSTĘPNE Hipotezy do uczenia się lub tworzenia

Bardziej szczegółowo

Indukowane Reguły Decyzyjne I. Wykład 3

Indukowane Reguły Decyzyjne I. Wykład 3 Indukowane Reguły Decyzyjne I Wykład 3 IRD Wykład 3 Plan Powtórka Grafy Drzewa klasyfikacyjne Testy wstęp Klasyfikacja obiektów z wykorzystaniem drzewa Reguły decyzyjne generowane przez drzewo 2 Powtórzenie

Bardziej szczegółowo

Systemy ekspertowe. Wnioskowanie w systemach regułowych. Część piąta. Autor Roman Simiński.

Systemy ekspertowe. Wnioskowanie w systemach regułowych. Część piąta.  Autor Roman Simiński. Część piąta Autor Roman Simiński Kontakt siminski@us.edu.pl www.us.edu.pl/~siminski Niniejsze opracowanie zawiera skrót treści wykładu, lektura tych materiałów nie zastąpi uważnego w nim uczestnictwa.

Bardziej szczegółowo

Systemy uczące się wykład 2

Systemy uczące się wykład 2 Systemy uczące się wykład 2 dr Przemysław Juszczuk Katedra Inżynierii Wiedzy, Uniwersytet Ekonomiczny 19 X 2018 Podstawowe definicje Fakt; Przesłanka; Konkluzja; Reguła; Wnioskowanie. Typy wnioskowania

Bardziej szczegółowo

Systemy Wspomagania Decyzji

Systemy Wspomagania Decyzji Reguły Asocjacyjne Szkoła Główna Służby Pożarniczej Zakład Informatyki i Łączności March 18, 2014 1 Wprowadzenie 2 Definicja 3 Szukanie reguł asocjacyjnych 4 Przykłady użycia 5 Podsumowanie Problem Lista

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-10 Projekt pn. Wzmocnienie

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-10-15 Projekt

Bardziej szczegółowo

Sprawozdanie z zadania Modele predykcyjne (2)

Sprawozdanie z zadania Modele predykcyjne (2) Maciej Karpus, 131529 Tomasz Skarżyński, 131618 19.04.2013r. Sprawozdanie z zadania Modele predykcyjne (2) 1. Wprowadzenie 1.1. Informacje wstępne Dane dotyczą wyników badań mammograficznych wykonanych

Bardziej szczegółowo

Klasyfikacja. Sformułowanie problemu Metody klasyfikacji Kryteria oceny metod klasyfikacji. Eksploracja danych. Klasyfikacja wykład 1

Klasyfikacja. Sformułowanie problemu Metody klasyfikacji Kryteria oceny metod klasyfikacji. Eksploracja danych. Klasyfikacja wykład 1 Klasyfikacja Sformułowanie problemu Metody klasyfikacji Kryteria oceny metod klasyfikacji Klasyfikacja wykład 1 Niniejszy wykład poświęcimy kolejnej metodzie eksploracji danych klasyfikacji. Na początek

Bardziej szczegółowo

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor S O M SELF-ORGANIZING MAPS Przemysław Szczepańczyk Łukasz Myszor Podstawy teoretyczne Map Samoorganizujących się stworzył prof. Teuvo Kohonen (1982 r.). SOM wywodzi się ze sztucznych sieci neuronowych.

Bardziej szczegółowo

Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę

Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę Norbert Jankowski Ontogeniczne sieci neuronowe O sieciach zmieniających swoją strukturę Warszawa 2003 Opracowanie książki było wspierane stypendium Uniwersytetu Mikołaja Kopernika Spis treści Wprowadzenie

Bardziej szczegółowo

Scoring kredytowy w pigułce

Scoring kredytowy w pigułce Analiza danych Data mining Sterowanie jakością Analityka przez Internet Scoring kredytowy w pigułce Mariola Kapla Biuro Informacji Kredytowej S.A. StatSoft Polska Sp. z o.o. ul. Kraszewskiego 36 30-110

Bardziej szczegółowo

Eksploracja danych OCENA KLASYFIKATORÓW. Wojciech Waloszek. Teresa Zawadzka.

Eksploracja danych OCENA KLASYFIKATORÓW. Wojciech Waloszek. Teresa Zawadzka. Eksploracja danych OCENA KLASYFIKATORÓW Wojciech Waloszek wowal@eti.pg.gda.pl Teresa Zawadzka tegra@eti.pg.gda.pl Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika

Bardziej szczegółowo

Metody eksploracji danych. Reguły asocjacyjne

Metody eksploracji danych. Reguły asocjacyjne Metody eksploracji danych Reguły asocjacyjne Analiza podobieństw i koszyka sklepowego Analiza podobieństw jest badaniem atrybutów lub cech, które są powiązane ze sobą. Metody analizy podobieństw, znane

Bardziej szczegółowo

METODY INŻYNIERII WIEDZY

METODY INŻYNIERII WIEDZY METODY INŻYNIERII WIEDZY WALIDACJA KRZYŻOWA dla ZAAWANSOWANEGO KLASYFIKATORA KNN ĆWICZENIA Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Bardziej szczegółowo

ZESPOŁY KLASYFIKATORÓW SVM DLA DANYCH NIEZBALAN-

ZESPOŁY KLASYFIKATORÓW SVM DLA DANYCH NIEZBALAN- Politechnika Wrocławska Wydział Informatyki i Zarządzania Instytut Informatyki Rozprawa doktorska ZESPOŁY KLASYFIKATORÓW SVM DLA DANYCH NIEZBALAN- SOWANYCH Maciej Zięba Promotor: prof. dr hab. inż. Jerzy

Bardziej szczegółowo

Klasyfikacja obiektów Drzewa decyzyjne (drzewa klasyfikacyjne)

Klasyfikacja obiektów Drzewa decyzyjne (drzewa klasyfikacyjne) Klasyfikacja obiektów Drzewa decyzyjne (drzewa klasyfikacyjne) Tadeusz Pankowski www.put.poznan.pl/~tadeusz.pankowski Klasyfikacja i predykcja. Odkrywaniem reguł klasyfikacji nazywamy proces znajdowania

Bardziej szczegółowo

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe PB, 2009 2010 Sztuczna Inteligencja Tematy projektów Sieci Neuronowe Projekt 1 Stwórz projekt implementujący jednokierunkową sztuczną neuronową złożoną z neuronów typu sigmoidalnego z algorytmem uczenia

Bardziej szczegółowo

Algorytmy klasyfikacji

Algorytmy klasyfikacji Algorytmy klasyfikacji Konrad Miziński Instytut Informatyki Politechnika Warszawska 6 maja 2015 1 Wnioskowanie 2 Klasyfikacja Zastosowania 3 Drzewa decyzyjne Budowa Ocena jakości Przycinanie 4 Lasy losowe

Bardziej szczegółowo

5. Wprowadzenie do prawdopodobieństwa Wprowadzenie Wyniki i zdarzenia Różne podejścia do prawdopodobieństwa Zdarzenia wzajemnie wykluczające się i

5. Wprowadzenie do prawdopodobieństwa Wprowadzenie Wyniki i zdarzenia Różne podejścia do prawdopodobieństwa Zdarzenia wzajemnie wykluczające się i Spis treści Przedmowa do wydania polskiego - Tadeusz Tyszka Słowo wstępne - Lawrence D. Phillips Przedmowa 1. : rola i zastosowanie analizy decyzyjnej Decyzje złożone Rola analizy decyzyjnej Zastosowanie

Bardziej szczegółowo

Metody probabilistyczne klasyfikatory bayesowskie

Metody probabilistyczne klasyfikatory bayesowskie Konwersatorium Matematyczne Metody Ekonomii narzędzia matematyczne w eksploracji danych First Prev Next Last Go Back Full Screen Close Quit Metody probabilistyczne klasyfikatory bayesowskie Wykład 8 Marcin

Bardziej szczegółowo

Elementy inteligencji obliczeniowej

Elementy inteligencji obliczeniowej Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego

Bardziej szczegółowo

Zadania laboratoryjne i projektowe - wersja β

Zadania laboratoryjne i projektowe - wersja β Zadania laboratoryjne i projektowe - wersja β 1 Laboratorium Dwa problemy do wyboru (jeden do realizacji). 1. Water Jug Problem, 2. Wieże Hanoi. Water Jug Problem Ograniczenia dla każdej z wersji: pojemniki

Bardziej szczegółowo

Złożoność i zagadnienia implementacyjne. Wybierz najlepszy atrybut i ustaw jako test w korzeniu. Stwórz gałąź dla każdej wartości atrybutu.

Złożoność i zagadnienia implementacyjne. Wybierz najlepszy atrybut i ustaw jako test w korzeniu. Stwórz gałąź dla każdej wartości atrybutu. Konwersatorium Matematyczne Metody Ekonomii Narzędzia matematyczne w eksploracji danych Indukcja drzew decyzyjnych Wykład 3 - część 2 Marcin Szczuka http://www.mimuw.edu.pl/ szczuka/mme/ Plan wykładu Generowanie

Bardziej szczegółowo

A Zadanie

A Zadanie where a, b, and c are binary (boolean) attributes. A Zadanie 1 2 3 4 5 6 7 8 9 10 Punkty a (maks) (2) (2) (2) (2) (4) F(6) (8) T (8) (12) (12) (40) Nazwisko i Imiȩ: c Uwaga: ta część zostanie wypełniona

Bardziej szczegółowo

TEMP BÓL WYSYPKA GARDŁO DIAGNOZA

TEMP BÓL WYSYPKA GARDŁO DIAGNOZA Klasyfikacja Klasyfikacja TEMP BÓL WYSYPKA GARDŁO DIAGNOZA 36.6 T BRAK NORMA NIESTRAWNOŚĆ 37.5 N MAŁA PRZEKR. ALERGIA 36.0 N BRAK NORMA PRZECHŁODZENIE 39.5 T DUŻA PRZEKR. CZARNA OSPA Klasyfikator TEMP

Bardziej szczegółowo

Uczenie się maszyn. Dariusz Banasiak. Katedra Informatyki Technicznej Wydział Elektroniki

Uczenie się maszyn. Dariusz Banasiak. Katedra Informatyki Technicznej Wydział Elektroniki Dariusz Banasiak Katedra Informatyki Technicznej Wydział Elektroniki Machine Learning (uczenie maszynowe, uczenie się maszyn, systemy uczące się) interdyscyplinarna nauka, której celem jest stworzenie

Bardziej szczegółowo

ALGORYTMY SZTUCZNEJ INTELIGENCJI

ALGORYTMY SZTUCZNEJ INTELIGENCJI ALGORYTMY SZTUCZNEJ INTELIGENCJI Sieci neuronowe 06.12.2014 Krzysztof Salamon 1 Wstęp Sprawozdanie to dotyczy ćwiczeń z zakresu sieci neuronowych realizowanym na przedmiocie: Algorytmy Sztucznej Inteligencji.

Bardziej szczegółowo

Systemy ekspertowe i ich zastosowania. Katarzyna Karp Marek Grabowski

Systemy ekspertowe i ich zastosowania. Katarzyna Karp Marek Grabowski Systemy ekspertowe i ich zastosowania Katarzyna Karp Marek Grabowski Plan prezentacji Wstęp Własności systemów ekspertowych Rodzaje baz wiedzy Metody reprezentacji wiedzy Metody wnioskowania Języki do

Bardziej szczegółowo

Wprowadzenie Sformułowanie problemu Typy reguł asocjacyjnych Proces odkrywania reguł asocjacyjnych. Data Mining Wykład 2

Wprowadzenie Sformułowanie problemu Typy reguł asocjacyjnych Proces odkrywania reguł asocjacyjnych. Data Mining Wykład 2 Data Mining Wykład 2 Odkrywanie asocjacji Plan wykładu Wprowadzenie Sformułowanie problemu Typy reguł asocjacyjnych Proces odkrywania reguł asocjacyjnych Geneza problemu Geneza problemu odkrywania reguł

Bardziej szczegółowo

Systemy uczące się Lab 4

Systemy uczące się Lab 4 Systemy uczące się Lab 4 dr Przemysław Juszczuk Katedra Inżynierii Wiedzy, Uniwersytet Ekonomiczny 26 X 2018 Projekt zaliczeniowy Podstawą zaliczenia ćwiczeń jest indywidualne wykonanie projektu uwzględniającego

Bardziej szczegółowo

Stan dotychczasowy. OCENA KLASYFIKACJI w diagnostyce. Metody 6/10/2013. Weryfikacja. Testowanie skuteczności metody uczenia Weryfikacja prosta

Stan dotychczasowy. OCENA KLASYFIKACJI w diagnostyce. Metody 6/10/2013. Weryfikacja. Testowanie skuteczności metody uczenia Weryfikacja prosta Stan dotychczasowy OCENA KLASYFIKACJI w diagnostyce Wybraliśmy metodę uczenia maszynowego (np. sieć neuronowa lub drzewo decyzyjne), która będzie klasyfikować nieznane przypadki Na podzbiorze dostępnych

Bardziej szczegółowo

Metody Sztucznej Inteligencji II

Metody Sztucznej Inteligencji II 17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału

Bardziej szczegółowo

Drzewa decyzyjne. 1. Wprowadzenie.

Drzewa decyzyjne. 1. Wprowadzenie. Drzewa decyzyjne. 1. Wprowadzenie. Drzewa decyzyjne są graficzną metodą wspomagania procesu decyzyjnego. Jest to jedna z najczęściej wykorzystywanych technik analizy danych. Drzewo składają się z korzenia

Bardziej szczegółowo

Metody klasyfikacji danych - część 1 p.1/24

Metody klasyfikacji danych - część 1 p.1/24 Metody klasyfikacji danych - część 1 Inteligentne Usługi Informacyjne Jerzy Dembski Metody klasyfikacji danych - część 1 p.1/24 Plan wykładu - Zadanie klasyfikacji danych - Przeglad problemów klasyfikacji

Bardziej szczegółowo

Klasyfikator liniowy Wstęp Klasyfikator liniowy jest najprostszym możliwym klasyfikatorem. Zakłada on liniową separację liniowy podział dwóch klas między sobą. Przedstawia to poniższy rysunek: 5 4 3 2

Bardziej szczegółowo

SPOTKANIE 2: Wprowadzenie cz. I

SPOTKANIE 2: Wprowadzenie cz. I Wrocław University of Technology SPOTKANIE 2: Wprowadzenie cz. I Piotr Klukowski Studenckie Koło Naukowe Estymator piotr.klukowski@pwr.edu.pl 17.10.2016 UCZENIE MASZYNOWE 2/27 UCZENIE MASZYNOWE = Konstruowanie

Bardziej szczegółowo

Klasyfikator. ˆp(k x) = 1 K. I(ρ(x,x i ) ρ(x,x (K) ))I(y i =k),k =1,...,L,

Klasyfikator. ˆp(k x) = 1 K. I(ρ(x,x i ) ρ(x,x (K) ))I(y i =k),k =1,...,L, Klasyfikator Jedną z najistotniejszych nieparametrycznych metod klasyfikacji jest metoda K-najbliższych sąsiadów, oznaczana przez K-NN. W metodzie tej zaliczamy rozpoznawany obiekt do tej klasy, do której

Bardziej szczegółowo

Klasyfikacja. Indeks Gini Zysk informacyjny. Eksploracja danych. Klasyfikacja wykład 2

Klasyfikacja. Indeks Gini Zysk informacyjny. Eksploracja danych. Klasyfikacja wykład 2 Klasyfikacja Indeks Gini Zysk informacyjny Klasyfikacja wykład 2 Kontynuujemy prezentacje metod klasyfikacji. Na wykładzie zostaną przedstawione dwa podstawowe algorytmy klasyfikacji oparte o indukcję

Bardziej szczegółowo

Data Mining Wykład 9. Analiza skupień (grupowanie) Grupowanie hierarchiczne O-Cluster. Plan wykładu. Sformułowanie problemu

Data Mining Wykład 9. Analiza skupień (grupowanie) Grupowanie hierarchiczne O-Cluster. Plan wykładu. Sformułowanie problemu Data Mining Wykład 9 Analiza skupień (grupowanie) Grupowanie hierarchiczne O-Cluster Plan wykładu Wprowadzanie Definicja problemu Klasyfikacja metod grupowania Grupowanie hierarchiczne Sformułowanie problemu

Bardziej szczegółowo

Bioinformatyka. Ocena wiarygodności dopasowania sekwencji.

Bioinformatyka. Ocena wiarygodności dopasowania sekwencji. Bioinformatyka Ocena wiarygodności dopasowania sekwencji www.michalbereta.pl Załóżmy, że mamy dwie sekwencje, które chcemy dopasować i dodatkowo ocenić wiarygodność tego dopasowania. Interesujące nas pytanie

Bardziej szczegółowo

Indukcja drzew decyzyjnych

Indukcja drzew decyzyjnych Konwersatorium Matematyczne Metody Ekonomii Narzędzia matematyczne w eksploracji danych Indukcja drzew decyzyjnych Wykład 3 - część 2 Marcin Szczuka http://www.mimuw.edu.pl/ szczuka/mme/ Divide et impera

Bardziej szczegółowo

Systemy ekspertowe. Generowanie reguł minimalnych. Część czwarta. Autor Roman Simiński.

Systemy ekspertowe. Generowanie reguł minimalnych. Część czwarta.  Autor Roman Simiński. Część czwarta Autor Roman Simiński Kontakt siminski@us.edu.pl www.us.edu.pl/~siminski Niniejsze opracowanie zawiera skrót treści wykładu, lektura tych materiałów nie zastąpi uważnego w nim uczestnictwa.

Bardziej szczegółowo

mgr inż. Magdalena Deckert Poznań, r. Uczenie się klasyfikatorów przy zmieniającej się definicji klas.

mgr inż. Magdalena Deckert Poznań, r. Uczenie się klasyfikatorów przy zmieniającej się definicji klas. mgr inż. Magdalena Deckert Poznań, 01.06.2010r. Uczenie się klasyfikatorów przy zmieniającej się definicji klas. Plan prezentacji Wstęp Concept drift Typy zmian Podział algorytmów stosowanych w uczeniu

Bardziej szczegółowo

Algorytmy klasteryzacji jako metoda dyskretyzacji w algorytmach eksploracji danych. Łukasz Przybyłek, Jakub Niwa Studenckie Koło Naukowe BRAINS

Algorytmy klasteryzacji jako metoda dyskretyzacji w algorytmach eksploracji danych. Łukasz Przybyłek, Jakub Niwa Studenckie Koło Naukowe BRAINS Algorytmy klasteryzacji jako metoda dyskretyzacji w algorytmach eksploracji danych Łukasz Przybyłek, Jakub Niwa Studenckie Koło Naukowe BRAINS Dyskretyzacja - definicja Dyskretyzacja - zamiana atrybutów

Bardziej szczegółowo

Instytut Automatyki i Inżynierii Informatycznej Politechniki Poznańskiej. Adam Meissner. Elementy uczenia maszynowego

Instytut Automatyki i Inżynierii Informatycznej Politechniki Poznańskiej. Adam Meissner. Elementy uczenia maszynowego Instytut Automatyki i Inżynierii Informatycznej Politechniki Poznańskiej Adam Meissner Adam.Meissner@put.poznan.pl http://www.man.poznan.pl/~ameis Elementy uczenia maszynowego Literatura [1] Bolc L., Zaremba

Bardziej szczegółowo

Meta-uczenie co to jest?

Meta-uczenie co to jest? Meta-uczenie co to jest? Uczenie się tego jak się uczyć Uwolnienie się od uciażliwego doboru MODELU i PAREMETRÓW modelu. Bachotek05/1 Cele meta-uczenia Pełna ale kryterialna automatyzacja modelowania danych

Bardziej szczegółowo

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych Mateusz Kobos, 07.04.2010 Seminarium Metody Inteligencji Obliczeniowej Spis treści Opis algorytmu i zbioru

Bardziej szczegółowo

8. Drzewa decyzyjne, bagging, boosting i lasy losowe

8. Drzewa decyzyjne, bagging, boosting i lasy losowe Algorytmy rozpoznawania obrazów 8. Drzewa decyzyjne, bagging, boosting i lasy losowe dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Drzewa decyzyjne Drzewa decyzyjne (ang. decision trees), zwane

Bardziej szczegółowo

WYKŁAD 11 Uczenie maszynowe drzewa decyzyjne

WYKŁAD 11 Uczenie maszynowe drzewa decyzyjne WYKŁAD 11 Uczenie maszynowe drzewa decyzyjne Reprezentacja wiedzy w postaci drzew decyzyjnych entropia, przyrost informacji algorytmy ID3, C4.5 problem przeuczenia wyznaczanie reguł rzykładowe drzewo decyzyjne

Bardziej szczegółowo

Algorytm indukcji klasyfikatora za pomocą EA z automatycznym przełączaniem ukierunkowań

Algorytm indukcji klasyfikatora za pomocą EA z automatycznym przełączaniem ukierunkowań Algorytm indukcji klasyfikatora za pomocą EA z automatycznym przełączaniem ukierunkowań Anna Manerowska, Michal Kozakiewicz 2.12.2009 1 Wstęp Jako projekt na przedmiot MEUM (Metody Ewolucyjne Uczenia Maszyn)

Bardziej szczegółowo

CLUSTERING. Metody grupowania danych

CLUSTERING. Metody grupowania danych CLUSTERING Metody grupowania danych Plan wykładu Wprowadzenie Dziedziny zastosowania Co to jest problem klastrowania? Problem wyszukiwania optymalnych klastrów Metody generowania: k centroidów (k - means

Bardziej szczegółowo

SYSTEMY UCZĄCE SIĘ WYKŁAD 1. INFORMACJE WSTĘPNE. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

SYSTEMY UCZĄCE SIĘ WYKŁAD 1. INFORMACJE WSTĘPNE. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska. SYSTEMY UCZĄCE SIĘ WYKŁAD 1. INFORMACJE WSTĘPNE Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska PLAN WYKŁADU WSTĘP W 1 Uczenie się w ujęciu algorytmicznym. W

Bardziej szczegółowo

Elementy modelowania matematycznego

Elementy modelowania matematycznego Elementy modelowania matematycznego Modelowanie algorytmów klasyfikujących. Podejście probabilistyczne. Naiwny klasyfikator bayesowski. Modelowanie danych metodą najbliższych sąsiadów. Jakub Wróblewski

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium JAVA Zadanie nr 2 Rozpoznawanie liter autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z problemem klasyfikacji

Bardziej szczegółowo

Logiczna reprezentacja wiedzy i metoda logiczno-algebraiczna

Logiczna reprezentacja wiedzy i metoda logiczno-algebraiczna Logiczna reprezentacja wiedzy i metoda logiczno-algebraiczna dr inż. Grzegorz ilcek & dr inż. Maciej Hojda Zakład Inteligentnych Systemów Wspomagania Decyzji, Instytut Informatyki, Politechnika Wrocławska

Bardziej szczegółowo

Sztuczna inteligencja

Sztuczna inteligencja POLITECHNIKA KRAKOWSKA WIEiK KATEDRA AUTOMATYKI I TECHNIK INFORMACYJNYCH Sztuczna inteligencja www.pk.edu.pl/~zk/si_hp.html Wykładowca: dr inż. Zbigniew Kokosiński zk@pk.edu.pl Wykład 10: Zbiory przybliżone

Bardziej szczegółowo

Systemy ekspertowe. Krzysztof Patan

Systemy ekspertowe. Krzysztof Patan Systemy ekspertowe Krzysztof Patan Wprowadzenie System ekspertowy Program komputerowy, który wykonuje złożone zadania o dużych wymaganiach intelektualnych i robi to tak dobrze jak człowiek będący ekspertem

Bardziej szczegółowo

Znajdowanie wyjścia z labiryntu

Znajdowanie wyjścia z labiryntu Znajdowanie wyjścia z labiryntu Zadanie to wraz z problemem pakowania najcenniejszego plecaka należy do problemów optymalizacji, które dotyczą znajdowania najlepszego rozwiązania wśród wielu możliwych

Bardziej szczegółowo

dr inż. Jarosław Forenc

dr inż. Jarosław Forenc Informatyka 2 Politechnika Białostocka - Wydział Elektryczny Elektrotechnika, semestr III, studia stacjonarne I stopnia Rok akademicki 2010/2011 Wykład nr 7 (24.01.2011) dr inż. Jarosław Forenc Rok akademicki

Bardziej szczegółowo

Metody indukcji reguł

Metody indukcji reguł Metody indukcji reguł Indukcja reguł Grupa metod charakteryzująca się wydobywaniem reguł ostrych na podstawie analizy przypadków. Dane doświadczalne składają się z dwóch części: 1) wejściowych X, gdzie

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd.

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd. Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd. M. Czoków, J. Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika w Toruniu 2013-11-26 Projekt pn. Wzmocnienie potencjału

Bardziej szczegółowo

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska

Bardziej szczegółowo

Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego

Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego IBS PAN, Warszawa 9 kwietnia 2008 Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego mgr inż. Marcin Jaruszewicz promotor: dr hab. inż. Jacek Mańdziuk,

Bardziej szczegółowo

Dr inż. Robert Wójcik, p. 313, C-3, tel Katedra Informatyki Technicznej (K-9) Wydział Elektroniki (W-4) Politechnika Wrocławska

Dr inż. Robert Wójcik, p. 313, C-3, tel Katedra Informatyki Technicznej (K-9) Wydział Elektroniki (W-4) Politechnika Wrocławska Dr inż. Robert Wójcik, p. 313, C-3, tel. 320-27-40 Katedra Informatyki Technicznej (K-9) Wydział Elektroniki (W-4) Politechnika Wrocławska E-mail: Strona internetowa: robert.wojcik@pwr.edu.pl google: Wójcik

Bardziej szczegółowo