Logika Stosowana. Wykład 9 - Wnioskowanie indukcyjne Część 2 Wnioskowanie bayesowskie. Marcin Szczuka. Instytut Matematyki UW
|
|
- Adam Barański
- 6 lat temu
- Przeglądów:
Transkrypt
1 Logika Stosowana Wykład 9 - Wnioskowanie indukcyjne Część 2 Wnioskowanie bayesowskie Marcin Szczuka Instytut Matematyki UW Wykład monograficzny, semestr letni 2016/2017 Marcin Szczuka (MIMUW) Logika Stosowana / 34
2 Niezorientowani w ogólnej teorii nieprawdopodobieństwa po dziś dzień zapytują, czemu właściwie Trurl uprawdopodobnił smoka, a nie elfa czy krasnala, a czynią tak z ignorancji, nie wiedzą bowiem, że smok jest po prostu bardziej od krasnala prawdopodobny (...) Stanisław Lem Cyberiada: Wyprawa trzecia, czyli smoki prawdopodobieństwa Marcin Szczuka (MIMUW) Logika Stosowana / 34
3 Plan wykładu 1 Wprowadzenie 2 Wnioskowanie bayesowskie 3 Bayesowska predykcja i wspomaganie decyzji Zadanie klasyfikacji Wybór hipotezy - MAP i ML Optymalny klasyfikator bayesowski Naiwny klasyfikator bayesowski 4 Wybór hipotezy w ogólności Marcin Szczuka (MIMUW) Logika Stosowana / 34
4 Miara prawdziwości / wiarygodności Przypomnijmy, że aby indukcyjny system wnioskowania zachowywał pożądaną spójność zazwyczaj wymaga się od niego, aby możliwe było ustalenie stopnia wsparcia dla prawdziwości sformułowanych w nim wniosków. Mierzy on siłę wpływu prawdziwości przesłanek na prawdziwość wniosku. Od systemu (semi-)formalnego i miary prawdziwości będziemy wymagać: 1 Spełniania kryterium zgodności (CoA). 2 Zapewnienia, aby stopień pewności, z jakim przyjmujemy wniosek nie przewyższał stopnia pewności z którym uznajemy przesłanki oraz stopnia ufności w stosowane reguły inferencji (quasi-monotoniczność). 3 Możliwości wskazania granicy między pożądanymi, a nonsensownymi wnioskami. 4 Możliwie wysokiej intuicyjności. Marcin Szczuka (MIMUW) Logika Stosowana / 34
5 Rozumowania probabilistyczne Już pierwsze próby uporządkowania rozumowań indukcyjnych zmierzały w stronę wykorzystania prawdopodobieństwa i statystyki, często rozumianych w sposób płytki i nieścisły. Z czasem rozumowania oparte o metody probabilistyczne, szczególnie o wnioskowanie bayesowskie, znalazły się w centrum zainteresowania filozofów i logików dążących do uporządkowania i sformalizowania wnioskowania przez indukcję (logiki indukcyjnej). Elementy wnioskowań probabilistycznych można znaleźć u Pascala, Fermata i wielu innych. Współczesne podejście formalne do logiki indukcyjnej opartej na prawdopodobieństwie zainaugurował John Maynard Keynes w Treatise on Probability (1921). Rudolf Carnap rozwinął te idee w Logical Foundations of Probability (1950) i wielu kolejnych pracach. Po uporządkowaniu teorii prawdopodobieństwa przez Kołmogorowa wnioskowania probabilistyczne uzyskały też przyzwoitą podstawę teoretyczną. Marcin Szczuka (MIMUW) Logika Stosowana / 34
6 Probabilistyczna logika indukcyjna W przypadku logik indukcyjnych (w tym probabilistycznych) nie ma większego sensu rozważać relacji i jej związku z relacją =. Natomiast dla relacji = zamiast mówić o wynikaniu logicznym w ścisłym sensie, mówimy o funkcji wsparcia (prawdopodobieństwie) prawdziwości. Funkcja wsparcia Funkcja P : L [0, 1], gdzie L jest zbiorem wyrażeń (językiem), jest funkcją wsparcia, jeżeli dla A, B, C będących wyrażeniami w L: 1 Istnieje co najmniej jedna para wyrażeń D, E L dla której P (D E) < 1. 2 Jeżeli B = A, to P (A B) = 1. 3 Jeżeli = (B C), to P (A B) = P (A C). 4 Jeżeli C = (A B), to albo P (A B C) = P (A C) + P (B C) albo D L P (D C) = 1. 5 P ((A B) C) = P (A (B C)) P (B C) Marcin Szczuka (MIMUW) Logika Stosowana / 34
7 Probabilistyczna logika indukcyjna Łatwo zauważyć, że warunki dla funkcji wsparcia P, są niczym innym jak warunkami dla miary prawdopodobieństwa. W warunkach dla funkcji P operator odpowiada koncepcyjnie wynikaniu (logical entailment), czyli podstawowemu krokowi wnioskowania. Łatwo zauważyć, że dla ustalonego systemu formalnego funkcja P nie musi być wyznaczona jednoznacznie. Zauważmy, że warunki na P zgadzają sie w podstawowych punktach z warunkami dla prawdopodobieństwa (bezwarunkowego), wystarczy położyć P (A) = P (A (D D)) dla jakiegoś D. Jednakże te warunki pozwalają też ustalić wartość P (A C) w sytuacji gdy prawdopodobieństwo przesłanki C jest równe 0 (czyli P (C) = P (C (D D)) = 0). Warunek 1 (nietrywialność) można wyrazić też jako A L P ((A A) (A A)) < 1. Marcin Szczuka (MIMUW) Logika Stosowana / 34
8 Plan wykładu 1 Wprowadzenie 2 Wnioskowanie bayesowskie 3 Bayesowska predykcja i wspomaganie decyzji Zadanie klasyfikacji Wybór hipotezy - MAP i ML Optymalny klasyfikator bayesowski Naiwny klasyfikator bayesowski 4 Wybór hipotezy w ogólności Marcin Szczuka (MIMUW) Logika Stosowana / 34
9 Prawdopodobieństwo Zanim przejdziemy dalej musimy ustalić (uproszczone) aksjomaty i podstawowe własności dla miary (prawdopodobieństwa), którą będziemy się posługiwać. Dla odróżnienia od poprzednich oznaczeń, będziemy używać Pr na oznaczenie miary prawdopodobieństwa. Aksjomaty prawdopodobieństwa dyskretnego (Kołmogorow) 1 Dla każdego zdarzenia A Ω wartość Pr(A) [0, 1]. 2 Prawdopodobieństwo całkowite Pr(Ω) = 1. 3 Addytywność jeśli A 1,..., A n są wzajemnie wykluczające, to n Pr(A i ) = 1 Pr(B) = i=1 n Pr(B A i ) Pr(A i ). i=1 Z aksjomatem 2 możemy mieć trudności. Marcin Szczuka (MIMUW) Logika Stosowana / 34
10 Własności prawdopodobieństwa Pr(A B) = Pr(B) Pr(A B) = Pr(A) Pr(B A) Pr(A B) = Pr(A) + Pr(B) Pr(A B) Pr(A B) - prawdopodobieństwo zdarzenia A pod warunkiem B. Pr(A B) = Pr(A B) Pr(B) Reguła Bayes a Pr(A B) = Pr(B A) Pr(A) Pr(B) Marcin Szczuka (MIMUW) Logika Stosowana / 34
11 Wnioskowanie bayesowskie Z powodów które staną sie jasne w następnej części wykładu będziemy używać następujących oznaczeń. T X - zbiór przesłanek (evidence set) pochodzących z jakiejś (ogromnej) przestrzeni. h H - wniosek (hipoteza) pochodząca z (ogromnej) przestrzeni hipotez. V S H,T - przestrzeń wersji, podzbiór tych hipotez z H, które są zgodne z T. Reguła wnioskowania (Bayes a) Dla dowolnej hipotezy h H i zbioru danych T X zachodzi: Pr(h T ) = Pr(T h) Pr(h) Pr(T ) Czyli prawdopodobieństwo (stopień wiarygodności) wniosku h ustalamy na podstawie prawdopodobieństwa przesłanek i stopnia w jakim hipoteza uprawdopodobnia przesłanki. Marcin Szczuka (MIMUW) Logika Stosowana / 34
12 Uwagi do reguły wnioskowania Pr(h T ) - prawdopodobieństwo a posteriori hipotezy h przy posiadaniu przesłanek (danych) T - tego szukamy. Pr(T ) - prawdopodobieństwo zbioru przesłanek (danych). Nie musimy go znać (na szczęście), żeby porównywać prawdopodobieństwa a posteriori hipotez. Jeżeli jednak musimy je wyznaczyć explicite, to możemy mieć kłopot. Potrzebujemy wyznaczyć Pr(h) i Pr(T h). Na razie zakładamy, że potrafimy je wyznaczyć, a także, że mamy ustalone H. Pr(T h) określa stopień w jakim wybór hipotezy h uprawdopodobnia wystąpienie (prawdziwość) przesłanek ze zbioru T. Marcin Szczuka (MIMUW) Logika Stosowana / 34
13 Plan wykładu 1 Wprowadzenie 2 Wnioskowanie bayesowskie 3 Bayesowska predykcja i wspomaganie decyzji Zadanie klasyfikacji Wybór hipotezy - MAP i ML Optymalny klasyfikator bayesowski Naiwny klasyfikator bayesowski 4 Wybór hipotezy w ogólności Marcin Szczuka (MIMUW) Logika Stosowana / 34
14 Plan wykładu 1 Wprowadzenie 2 Wnioskowanie bayesowskie 3 Bayesowska predykcja i wspomaganie decyzji Zadanie klasyfikacji Wybór hipotezy - MAP i ML Optymalny klasyfikator bayesowski Naiwny klasyfikator bayesowski 4 Wybór hipotezy w ogólności Marcin Szczuka (MIMUW) Logika Stosowana / 34
15 Wspomaganie decyzji Prawdziwą przydatność wnioskowania bayesowskiego można ocenić w zastosowaniach, z których najpopularniejszym jest wspomaganie decyzji (klasyfikacji). Wspomaganie decyzji (klasyfikacji) jest szczególnym przykładem wykorzystania metod wnioskowań indukcyjnych takich jak predykcja, wnioskowanie przez analogię i indukcja eliminacyjna. Będziemy konstruować klasyfikatory bayesowskie, to jest algorytmy (procedury), które na podstawie próbki nauczą się wyznaczać prawdopodobieństwo wartości decyzji (klasyfikacji) dla nowych przykładów. Ograniczenie wnioskowania do zadania klasyfikacji pozwala na uzyskanie efektywnych obliczeniowo metod jego automatyzacji. Marcin Szczuka (MIMUW) Logika Stosowana / 34
16 Klasyfikatory - pojęcia podstawowe Dziedzina (przestrzeń, uniwersum) to pewien zbiór X, z którego pochodzą (którego elementami są) nasze przykłady. Element x X nazywamy przykładem (instancją, przypadkiem, rekordem, entką, wektorem, obiektem, wierszem). Atrybut (cecha, pomiar, kolumna) to pewna funkcja a : X A. Zbiór A jest nazywany dziedziną wartości atrybutu, lub prościej dziedziną atrybutu. Zakładamy, że każdy przykład x X jest całkowicie reprezentowany przez wektor gdzie a 1 (x),..., a n (x), a i : X A i dla i = 1,..., n. n nazywamy czasem rozmiarem (długością) przykładu. W naszych zastosowaniach wyróżniamy specjalny atrybut nazywany decyzją (klasą) lub atrybutem decyzyjnym, tradycyjnie oznaczany dec lub d. Marcin Szczuka (MIMUW) Logika Stosowana / 34
17 Dane tablicowe Outlook Temp Humid Wind EnjoySpt sunny hot high FALSE no sunny hot high TRUE no overcast hot high FALSE yes rainy mild high FALSE yes rainy cool normal FALSE yes rainy cool normal TRUE no overcast cool normal TRUE yes sunny mild high FALSE no..... rainy mild high TRUE no Marcin Szczuka (MIMUW) Logika Stosowana / 34
18 Klasyfikatory Zbiór treningowy (próbka treningowa/ucząca) to podzbiór T X. To odpowiednik zbioru przesłanek. T d - podzbiór danych treningowych o decyzji d. To odpowiednik zbioru przesłanek wspierających konkretną hipotezę. T d a i =v - podzbiór danych treningowych o wartości atrybutu a i równej v i decyzji d. To odpowiednik zbioru przesłanek konkretnego rodzaju, wspierających konkretną hipotezę. Zbiór hipotez H to teraz zbiór możliwych warunków na decyzję postaci (dec = d), gdzie d V dec. Zadanie klasyfikacji Mając daną próbkę treningową T wyznaczyć jak najlepiej (najbardziej wiarygodnie) wartość dec(x) dla nowego przykładu x X (tj. x / T ). Pytanie: Jak wybrać najlepszą wartość decyzji? Marcin Szczuka (MIMUW) Logika Stosowana / 34
19 Plan wykładu 1 Wprowadzenie 2 Wnioskowanie bayesowskie 3 Bayesowska predykcja i wspomaganie decyzji Zadanie klasyfikacji Wybór hipotezy - MAP i ML Optymalny klasyfikator bayesowski Naiwny klasyfikator bayesowski 4 Wybór hipotezy w ogólności Marcin Szczuka (MIMUW) Logika Stosowana / 34
20 Wybór hipotezy - MAP W zadaniu klasyfikacji bayesowskiej chodzi o to, by znając przykłady z przeszłości (treningowe) i wartości atrybutów (poza decyzją) dla nowego przykładu x wyznaczyć dla niego najprawdopodobniejszą wartość decyzji. Trzeba zatem wyznaczyć za pomocą wzoru Bayesa taką hipotezę h, która maksymalizuje wsparcie. Hipoteza MAP - Maximum A Posteriori Mając dany zbiór T, klasyfikujemy nowy przykład x X wykorzystując hipotezę h MAP H czyli przypisujemy obiektowi x wartość decyzji zwróconą przez h MAP (x), gdzie: h MAP = arg max h H Pr(h T ) = arg max Pr(T h) Pr(h) h H W typ podejściu wybieramy hipotezę która jest najbardziej prawdopodobna wśród dostępnych. Marcin Szczuka (MIMUW) Logika Stosowana / 34
21 Wybór hipotezy - ML Hipoteza ML - Maximum Likelihood Mając dany zbiór T, klasyfikujemy nowy przykład x X wykorzystując hipotezę h ML H czyli przypisujemy obiektowi x wartość decyzji zwróconą przez h ML (x), gdzie: h ML = arg max Pr(T h). h H W typ podejściu wybieramy hipotezę która najlepiej uzasadnia (uprawdopodobnia) zbiór przykładów treningowych. Zwróćmy uwagę, że sama hipoteza h może w tym podejściu być bardzo mało prawdopodobna, za to bardzo dobrze dopasowana do danych. Marcin Szczuka (MIMUW) Logika Stosowana / 34
22 Uwagi do ML i MAP Obie metody wymagają znajomości Pr(T h). W przypadku MAP musimy też znać Pr(h), aby wykorzystać wzór Bayesa. MAP jest dość naturalny, ale ma pewne istotne słabości. W szczególności, promuje dominujące wartości decyzji. Obie metody zakładają, że zbiór treningowy nie zawiera błędów i że poszukiwana hipoteza występuje w H. ML jest bliski intuicyjnemu rozumieniu uczenia w oparciu o przykłady. Jest to proces wyboru hipotezy, która podaje najlepszy powód dla istnienia posiadanego przez nas zbioru danych. Reguła MAP wybiera najbardziej prawdopodobną hipotezę, podczas gdy nas tak naprawdę interesuje wybranie najbardziej prawdopodobnej wartości decyzji dla konkretnego przykładu. Przyjmijmy V dec = {0, 1}, H = {h MAP, h 1,..., h m }, 1 i m h(x) = 0, h MAP (x) = 1 oraz m Pr(h MAP T ) Pr(h i T ) Marcin Szczuka (MIMUW) Logika Stosowana / 34 i=1
23 Wyznaczanie prawdopodobieństw Pr(h) - prostszy kawałek. To prawdopodobieństwo może wynikać ze stosowanej metody konstruowania hipotez, lub (najczęściej) wszystkie hipotezy są jednakowo prawdopodobne. W tym drugim przypadku: Pr(h) = 1 H Problem stanowi rozmiar H. To może być ogromna przestrzeń. Ponadto, w wielu rzeczywistych zastosowaniach nie znamy całego H. Pr(T h) - trudniejszy kawałek. Zauważmy, że nas interesuje tylko podejmowanie decyzji. Chcemy tylko wiedzieć, jakie jest prawdopodobieństwo, że zbiór przykładów T będzie zgodny (będzie miał tą samą decyzję) z hipotezą h. To daje nam: { 1 gdy h V SH,T Pr(T h) = 0 gdy h / V S H,T Niestety, pozostaje stary problem z rozmiarem i znajomością H. Marcin Szczuka (MIMUW) Logika Stosowana / 34
24 ML i MAP w praktyce MAP i/lub ML mogą, pomimo wad, znaleźć zastosowanie w pewnych szczególnych sytuacjach, na przykład gdy: Przestrzeń hipotez jest bardzo ściśle ograniczona (i mała). Wykorzystujemy MAP i/lub ML do porównania (kilku) konkurujących hipotez skonstruowanych wcześniej innymi metodami. To wiąże się z zagadnieniami tzw. uczenia warstwowego (ang. layered learning). Marcin Szczuka (MIMUW) Logika Stosowana / 34
25 Plan wykładu 1 Wprowadzenie 2 Wnioskowanie bayesowskie 3 Bayesowska predykcja i wspomaganie decyzji Zadanie klasyfikacji Wybór hipotezy - MAP i ML Optymalny klasyfikator bayesowski Naiwny klasyfikator bayesowski 4 Wybór hipotezy w ogólności Marcin Szczuka (MIMUW) Logika Stosowana / 34
26 Optymalny klasyfikator bayesowski Optymalny klasyfikator bayesowski (Bayesian Optimal Classifier BOC) zawsze zwraca najbardziej prawdopodobną wartość decyzji dla danego przykładu i próbki uczącej. Nie może zatem być pokonany przez żaden algorytm uczący, jeśli porównujemy błędy rzeczywiste (globalne). Niestety, BOC jest niezbyt dobrze stosowalny w praktyce, gdyż wykorzystuje pełną przestrzeń hipotez. Niech c(.) będzie przybliżaną decyzją, T próbką treningową. h BOC = arg max d V dec Pr(c(x) = d T ) gdzie: Pr(c(x) = d T ) = h H Pr(c(x) = d h) Pr(h T ) Pr(c(x) = d h) = { 1 if h(x) = d 0 if h(x) d Hipoteza, którą zwraca BOC może nie należeć do H. Marcin Szczuka (MIMUW) Logika Stosowana / 34
27 Plan wykładu 1 Wprowadzenie 2 Wnioskowanie bayesowskie 3 Bayesowska predykcja i wspomaganie decyzji Zadanie klasyfikacji Wybór hipotezy - MAP i ML Optymalny klasyfikator bayesowski Naiwny klasyfikator bayesowski 4 Wybór hipotezy w ogólności Marcin Szczuka (MIMUW) Logika Stosowana / 34
28 Naiwny klasyfikator bayesowski Niech x będzie nowym przykładem, który mamy sklasyfikować. Powinniśmy wybrać taką hipotezę (decyzję) h, że: n h(x ) = arg max Pr(c(x) = d a i (x) = a i (x )) d V dec czyli, ze wzoru Bayesa arg max d C Pr(c(x) = d) Pr( n i=1 i=1 a i (x) = a i (x ) c(x) = d) Jeżeli przyjmiemy (naiwne) założenie, że poszczególne atrybuty (kolumny) są niezależne jako zmienne losowe, to: arg max Pr(c(x) = d) n Pr(a i (x) = a i (x ) c(x) = d) d C i=1 Rzeczy, które pozostaje nam wyliczyć (z danych) to: Pr(c(x) = d) i Pr(a i (x) = v c(x) = d). Marcin Szczuka (MIMUW) Logika Stosowana / 34
29 NBC - technikalia Zwykle wykorzystujemy m-estymatę by otrzymać: Pr(a i (x) = v c(x) = d) = T d a i v + mp T + m Jeśli nie mamy dodatkowej wiedzy o rozkładzie wartości atrybutów to zwykle ustalamy jednakowe prawdopodobieństwo wszystkich wartości czyli p = 1 A i, gdzie A i jest (skończonym) zbiorem możliwych wartości atrybutu a i. Najczęściej ustalamy m = A i. Złożoność NBC Dla każdego przykładu musimy zwiększać licznik wystąpień odpowiedniej klasy decyzyjnej i wartości odpowiednich atrybutów. To daje razem: O(n T ) Jest to najniższa złożoność (liczba kroków), jaką może osiągnąć rozsądny algorytm uczący się klasyfikacji. Ponadto, każdy pojedynczy krok w NBC jest bardzo prosty i szybki. Marcin Szczuka (MIMUW) Logika Stosowana / 34
30 Plan wykładu 1 Wprowadzenie 2 Wnioskowanie bayesowskie 3 Bayesowska predykcja i wspomaganie decyzji Zadanie klasyfikacji Wybór hipotezy - MAP i ML Optymalny klasyfikator bayesowski Naiwny klasyfikator bayesowski 4 Wybór hipotezy w ogólności Marcin Szczuka (MIMUW) Logika Stosowana / 34
31 Oczekiwania względem hipotez Przechodząc na nieco wyższy poziom abstrakcji, możemy postawić wymaganie, by wybierana hipoteza nie tylko dobrze pasowała do rzeczywistości, ale była także jak najprostsza. Jest to swoiste odwołanie do brzytwy Ockhama (lex parsimoniae). Przyjmujemy najprostsze z możliwych wyjaśnienie, przy czym w ujęciu Williama z Ockham za najprostszą powinniśmy przyjmować hipotezę, która wymaga poczynienia najsłabszych (najmniej licznych) założeń. W praktyce, szczególnie informatycznej, lex parsimoniae zastępuje się często zasadą najkrótszego (minimalnego) opisu (MDL - Minimum Description Length). MDL - zasada najkrótszego opisu Za najlepszą hipotezę uważamy taką, która prowadzi do najlepszej kompresji danych. To znaczy, ze przy przyjęcie tej hipotezy pozwala napisać możliwie najkrótszy/najprostszy algorytm odtwarzający dane. W przypadku klasyfikatorów, często oznacza to po prostu przyjęcie hipotezy o najkrótszym opisie. Marcin Szczuka (MIMUW) Logika Stosowana / 34
32 MDL i klasyfikacja bayesowska Klasyfikatory bayesowskie są ogólnie uważane za jedne z najlepszych producentów hipotez zgodnych z zasadą MDL. Dla porównywania długości opisów w najprostszym przykładzie przyjmiemy, że długość ta jest logarytmem (dwójkowym) opisu (prawdopodobieństwa). Logarytmując stronami wzór Bayesa dostajemy: log Pr(h T ) = log Pr(h) + log Pr(T h) log Pr(T ) Podstawiając L(.) za log Pr(.) otrzymujemy: L(h T ) = L(h) + L(T h) L(T ) gdzie L(h), L(T h) reprezentują długość opisu h i długość opisu danych T przy ustalonym h, przy założeniu znajomości odpowiednich optymalnych kodowań. Marcin Szczuka (MIMUW) Logika Stosowana / 34
33 MDL i klasyfikacja bayesowska Wybieramy zatem hipotezę minimalizującą długość opisu, czyli: h MDL = arg min h H L Enc H (h) + L EncD (T h) Przyjmując, że Enc H i Enc D są optymalnymi kodowaniami dla, odpowiednio, hipotezy i danych, dostajemy: h MDL = h MAP. Intuicyjnie, zasada najkrótszego opisu pomaga znaleźć balans między jakością, a prostotą hipotezy. MDL jest może być praktycznie użyteczna w ocenie (rankingu) hipotez pochodzących z różnych źródeł, np. uzyskanych przez konkurujące rodzaje algorytmów klasyfikacji. Przydaje się także w metodach upraszczających hipotezy np. przy filtrowaniu reguł decyzyjnych czy przycinaniu drzew decyzyjnych. Czesto jest także wykorzystywana w roli warunku stopu dla algorytmów uczenia się reguł z danych. Marcin Szczuka (MIMUW) Logika Stosowana / 34
34 Złożoność Kołmogorowa MDL jest także silnie związana z pojęciem złożoności Kołmogorowa (Kolmogorov Complexity, descriptive complexity, Kolmogorov Chaitin complexity, algorithmic entropy). Złożoność Kołmogorowa dla łańcucha symboli (ciągu danych), skończonego lub nieskończonego, to długość najkrótszego programu, który generuje dany łańcuch. Oczywiście pojęcie długości programu jest dość skomplikowane i wymaga formalizacji, przeważnie z wykorzystaniem języków akceptowanych przez maszyny Turinga. Wyliczanie złożoności Kołmogorowa jest zwykle bardzo trudne, a czasami niewykonalne (nierozstrzygalne). Weźmy na przykład dwa ciągi: ma bardzo niską złożoność Kołmogorowa, ponieważ istnieje bardzo prosty program generujący cyfry rozwinięcia liczby π jako losowy ciąg liczb ma potencjalnie dużą złożoność Kołmogorowa. Marcin Szczuka (MIMUW) Logika Stosowana / 34
Metody probabilistyczne klasyfikatory bayesowskie
Konwersatorium Matematyczne Metody Ekonomii narzędzia matematyczne w eksploracji danych First Prev Next Last Go Back Full Screen Close Quit Metody probabilistyczne klasyfikatory bayesowskie Wykład 8 Marcin
Bardziej szczegółowoElementy modelowania matematycznego
Elementy modelowania matematycznego Modelowanie algorytmów klasyfikujących. Podejście probabilistyczne. Naiwny klasyfikator bayesowski. Modelowanie danych metodą najbliższych sąsiadów. Jakub Wróblewski
Bardziej szczegółowoLogika Stosowana. Wykład 2 - Logika modalna Część 2. Marcin Szczuka. Instytut Informatyki UW. Wykład monograficzny, semestr letni 2016/2017
Logika Stosowana Wykład 2 - Logika modalna Część 2 Marcin Szczuka Instytut Informatyki UW Wykład monograficzny, semestr letni 2016/2017 Marcin Szczuka (MIMUW) Logika Stosowana 2017 1 / 27 Plan wykładu
Bardziej szczegółowoKonwersatorium Matematyczne Metody Ekonomii narzędzia matematyczne w eksploracji danych. Podstawowe pojęcia
Konwersatorium Matematyczne Metody Ekonomii narzędzia matematyczne w eksploracji danych Podstawowe pojęcia Wykład 2 Marcin Szczuka http://www.mimuw.edu.pl/ szczuka/mme/ Many mickles make muckle. First
Bardziej szczegółowoAlgorytmy klasyfikacji
Algorytmy klasyfikacji Konrad Miziński Instytut Informatyki Politechnika Warszawska 6 maja 2015 1 Wnioskowanie 2 Klasyfikacja Zastosowania 3 Drzewa decyzyjne Budowa Ocena jakości Przycinanie 4 Lasy losowe
Bardziej szczegółowoEksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18
Eksploracja Danych wykład 4 Sebastian Zając WMP.SNŚ UKSW 10 maja 2017 Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja 2017 1 / 18 Klasyfikacja danych Klasyfikacja Najczęściej stosowana (najstarsza)
Bardziej szczegółowoLogika Stosowana. Wykład 1 - Logika zdaniowa. Marcin Szczuka. Instytut Informatyki UW. Wykład monograficzny, semestr letni 2016/2017
Logika Stosowana Wykład 1 - Logika zdaniowa Marcin Szczuka Instytut Informatyki UW Wykład monograficzny, semestr letni 2016/2017 Marcin Szczuka (MIMUW) Logika Stosowana 2017 1 / 30 Plan wykładu 1 Język
Bardziej szczegółowokomputery? Andrzej Skowron, Hung Son Nguyen Instytut Matematyki, Wydział MIM, UW
Czego moga się nauczyć komputery? Andrzej Skowron, Hung Son Nguyen son@mimuw.edu.pl; skowron@mimuw.edu.pl Instytut Matematyki, Wydział MIM, UW colt.tex Czego mogą się nauczyć komputery? Andrzej Skowron,
Bardziej szczegółowoReguły decyzyjne, algorytm AQ i CN2. Reguły asocjacyjne, algorytm Apriori.
Analiza danych Reguły decyzyjne, algorytm AQ i CN2. Reguły asocjacyjne, algorytm Apriori. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/ REGUŁY DECYZYJNE Metoda reprezentacji wiedzy (modelowania
Bardziej szczegółowoModele DSGE. Jerzy Mycielski. Maj Jerzy Mycielski () Modele DSGE Maj / 11
Modele DSGE Jerzy Mycielski Maj 2008 Jerzy Mycielski () Modele DSGE Maj 2008 1 / 11 Modele DSGE DSGE - Dynamiczne, stochastyczne modele równowagi ogólnej (Dynamic Stochastic General Equilibrium Model)
Bardziej szczegółowoWnioskowanie bayesowskie
Wnioskowanie bayesowskie W podejściu klasycznym wnioskowanie statystyczne oparte jest wyłącznie na podstawie pobranej próby losowej. Możemy np. estymować punktowo lub przedziałowo nieznane parametry rozkładów,
Bardziej szczegółowoLogika stosowana. Ćwiczenia Wnioskowanie przez abdukcję. Marcin Szczuka. Instytut Matematyki, Uniwersytet Warszawski
Logika stosowana Ćwiczenia Wnioskowanie przez abdukcję Marcin Szczuka Instytut Matematyki, Uniwersytet Warszawski Wykład fakultatywny w semestrze zimowym 2013/2014 Marcin Szczuka (MIMUW) Logika stosowana
Bardziej szczegółowoWprowadzenie. Data Science Uczenie się pod nadzorem
Wprowadzenie Wprowadzenie Wprowadzenie Wprowadzenie Machine Learning Mind Map Historia Wstęp lub uczenie się z przykładów jest procesem budowy, na bazie dostępnych danych wejściowych X i oraz wyjściowych
Bardziej szczegółowoIndukowane Reguły Decyzyjne I. Wykład 3
Indukowane Reguły Decyzyjne I Wykład 3 IRD Wykład 3 Plan Powtórka Grafy Drzewa klasyfikacyjne Testy wstęp Klasyfikacja obiektów z wykorzystaniem drzewa Reguły decyzyjne generowane przez drzewo 2 Powtórzenie
Bardziej szczegółowoWYKŁAD 11 Uczenie maszynowe drzewa decyzyjne
WYKŁAD 11 Uczenie maszynowe drzewa decyzyjne Reprezentacja wiedzy w postaci drzew decyzyjnych entropia, przyrost informacji algorytmy ID3, C4.5 problem przeuczenia wyznaczanie reguł rzykładowe drzewo decyzyjne
Bardziej szczegółowoWstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak
Wstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak 1 Wprowadzenie. Zmienne losowe Podczas kursu interesować nas będzie wnioskowanie o rozpatrywanym zjawisku. Poprzez wnioskowanie rozumiemy
Bardziej szczegółowoTeoria systemów uczacych się i wymiar Vapnika-Chervonenkisa
Systemy uczace się 2009 1 / 32 Teoria systemów uczacych się i wymiar Vapnika-Chervonenkisa Hung Son Nguyen Wydział Matematyki, Informatyki i Mechaniki Uniwersytet Warszawski email: son@mimuw.edu.pl Grudzień
Bardziej szczegółowoKlasyfikatory: k-nn oraz naiwny Bayesa. Agnieszka Nowak Brzezińska Wykład IV
Klasyfikatory: k-nn oraz naiwny Bayesa Agnieszka Nowak Brzezińska Wykład IV Naiwny klasyfikator Bayesa Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną
Bardziej szczegółowoAgnieszka Nowak Brzezińska Wykład III
Agnieszka Nowak Brzezińska Wykład III Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną niezależność zmiennych niezależnych (tu naiwność) Bardziej opisowe
Bardziej szczegółowoKlasyfikacja metodą Bayesa
Klasyfikacja metodą Bayesa Tadeusz Pankowski www.put.poznan.pl/~tadeusz.pankowski warunkowe i bezwarunkowe 1. Klasyfikacja Bayesowska jest klasyfikacją statystyczną. Pozwala przewidzieć prawdopodobieństwo
Bardziej szczegółowoMetody indukcji reguł
Metody indukcji reguł Indukcja reguł Grupa metod charakteryzująca się wydobywaniem reguł ostrych na podstawie analizy przypadków. Dane doświadczalne składają się z dwóch części: 1) wejściowych X, gdzie
Bardziej szczegółowoAgnieszka Nowak Brzezińska Wykład III
Agnieszka Nowak Brzezińska Wykład III Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną niezależność zmiennych niezależnych (tu naiwność) Bardziej opisowe
Bardziej szczegółowoWYKŁAD 4. Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie. autor: Maciej Zięba. Politechnika Wrocławska
Wrocław University of Technology WYKŁAD 4 Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie autor: Maciej Zięba Politechnika Wrocławska Klasyfikacja Klasyfikacja (ang. Classification):
Bardziej szczegółowoSYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska
SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska DRZEWO REGRESYJNE Sposób konstrukcji i przycinania
Bardziej szczegółowoAlgorytmy, które estymują wprost rozkłady czy też mapowania z nazywamy algorytmami dyskryminacyjnymi.
Spis treści 1 Wstęp: generatywne algorytmy uczące 2 Gaussowska analiza dyskryminacyjna 2.1 Gaussowska analiza dyskryminacyjna a regresja logistyczna 3 Naiwny Klasyfikator Bayesa 3.1 Wygładzanie Laplace'a
Bardziej szczegółowoPrawdopodobieństwo i statystyka
Wykład XIV: Metody Monte Carlo 19 stycznia 2016 Przybliżone obliczanie całki oznaczonej Rozważmy całkowalną funkcję f : [0, 1] R. Chcemy znaleźć przybliżoną wartość liczbową całki 1 f (x) dx. 0 Jeden ze
Bardziej szczegółowoZłożoność i zagadnienia implementacyjne. Wybierz najlepszy atrybut i ustaw jako test w korzeniu. Stwórz gałąź dla każdej wartości atrybutu.
Konwersatorium Matematyczne Metody Ekonomii Narzędzia matematyczne w eksploracji danych Indukcja drzew decyzyjnych Wykład 3 - część 2 Marcin Szczuka http://www.mimuw.edu.pl/ szczuka/mme/ Plan wykładu Generowanie
Bardziej szczegółowoRozpoznawanie obrazów
Rozpoznawanie obrazów Ćwiczenia lista zadań nr 7 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie
Bardziej szczegółowoMetoda tabel semantycznych. Dedukcja drogi Watsonie, dedukcja... Definicja logicznej konsekwencji. Logika obliczeniowa.
Plan Procedura decyzyjna Reguły α i β - algorytm Plan Procedura decyzyjna Reguły α i β - algorytm Logika obliczeniowa Instytut Informatyki 1 Procedura decyzyjna Logiczna konsekwencja Teoria aksjomatyzowalna
Bardziej szczegółowoWeryfikacja hipotez statystycznych. KG (CC) Statystyka 26 V / 1
Weryfikacja hipotez statystycznych KG (CC) Statystyka 26 V 2009 1 / 1 Sformułowanie problemu Weryfikacja hipotez statystycznych jest drugą (po estymacji) metodą uogólniania wyników uzyskanych w próbie
Bardziej szczegółowoSystemy uczące się wykład 2
Systemy uczące się wykład 2 dr Przemysław Juszczuk Katedra Inżynierii Wiedzy, Uniwersytet Ekonomiczny 19 X 2018 Podstawowe definicje Fakt; Przesłanka; Konkluzja; Reguła; Wnioskowanie. Typy wnioskowania
Bardziej szczegółowoWyk lad 8: Leniwe metody klasyfikacji
Wyk lad 8: Leniwe metody Wydzia l MIM, Uniwersytet Warszawski Outline 1 2 lazy vs. eager learning lazy vs. eager learning Kiedy stosować leniwe techniki? Eager learning: Buduje globalna hipoteze Zaleta:
Bardziej szczegółowoPodstawowe modele probabilistyczne
Wrocław University of Technology Podstawowe modele probabilistyczne Maciej Zięba maciej.zieba@pwr.edu.pl Rozpoznawanie Obrazów, Lato 2018/2019 Pojęcie prawdopodobieństwa Prawdopodobieństwo reprezentuje
Bardziej szczegółowoWspółczesna technika inwersyjna - dokad zmierzamy? Wojciech Dȩbski
Współczesna technika inwersyjna - dokad zmierzamy? Wojciech Dȩbski 24.5.2 Pomiar bezpośredni IGF, 24.5.2 IGF - Pomiar pośredni IGF, 24.5.2 IGF - 2 Interpretacja matematyczna m m + dm m d + dd d = G(m)
Bardziej szczegółowoLogika Stosowana. Wykład 7 - Zbiory i logiki rozmyte Część 3 Prawdziwościowa logika rozmyta. Marcin Szczuka. Instytut Informatyki UW
Logika Stosowana Wykład 7 - Zbiory i logiki rozmyte Część 3 Prawdziwościowa logika rozmyta Marcin Szczuka Instytut Informatyki UW Wykład monograficzny, semestr letni 2016/2017 Marcin Szczuka (MIMUW) Logika
Bardziej szczegółowoO ISTOTNYCH OGRANICZENIACH METODY
O ISTOTNYCH OGRANICZENIACH METODY ALGORYTMICZNEJ Dwa pojęcia algorytmu (w informatyce) W sensie wąskim Algorytmem nazywa się każdy ogólny schemat procedury możliwej do wykonania przez uniwersalną maszynę
Bardziej szczegółowoSpis treści. Definicje prawdopodobieństwa. Częstościowa definicja prawdopodobieństwa. Wnioskowanie_Statystyczne_-_wykład
Wnioskowanie_Statystyczne_-_wykład Spis treści 1 Definicje prawdopodobieństwa 1.1 Częstościowa definicja prawdopodobieństwa 1.1.1 Przykład 1.1.2 Rozwiązanie: 1.1.3 Inne rozwiązanie: 1.1.4 Jeszcze inne
Bardziej szczegółowoZłożoność informacyjna Kołmogorowa. Paweł Parys
Złożoność informacyjna Kołmogorowa Paweł Parys Serock 2012 niektóre liczby łatwiej zapamiętać niż inne... (to zależy nie tylko od wielkości liczby) 100...0 100 100... 100 100 100 25839496603316858921 31415926535897932384
Bardziej szczegółowoWYKŁAD 3. Klasyfikacja: modele probabilistyczne
Wrocław University of Technology WYKŁAD 3 Klasyfikacja: modele probabilistyczne Maciej Zięba Politechnika Wrocławska Klasyfikacja Klasyfikacja (ang. Classification): Dysponujemy obserwacjami z etykietami
Bardziej szczegółowoM T E O T D O ZI Z E E A LG L O G R O Y R TM
O ALGORYTMACH I METODZIE ALGORYTMICZNEJ Czym jest algorytm? Czym jest algorytm? przepis schemat zestaw reguł [ ] program ALGORYTM (objaśnienie ogólne) Algorytm Pojęcie o rodowodzie matematycznym, oznaczające
Bardziej szczegółowoAnaliza danych. http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU
Analiza danych Wstęp Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU Różne aspekty analizy danych Reprezentacja graficzna danych Metody statystyczne: estymacja parametrów
Bardziej szczegółowoRozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów
Rozdział : Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów W tym rozdziale omówione zostaną dwie najpopularniejsze metody estymacji parametrów w ekonometrycznych modelach nieliniowych,
Bardziej szczegółowoWstęp do programowania
Wstęp do programowania Złożoność obliczeniowa, poprawność programów Paweł Daniluk Wydział Fizyki Jesień 2013 P. Daniluk(Wydział Fizyki) WP w. XII Jesień 2013 1 / 20 Złożoność obliczeniowa Problem Ile czasu
Bardziej szczegółowoStanisław Cichocki Natalia Nehrebecka. Wykład 7
Stanisław Cichocki Natalia Nehrebecka Wykład 7 1 1. Metoda Największej Wiarygodności MNW 2. Założenia MNW 3. Własności estymatorów MNW 4. Testowanie hipotez w MNW 2 1. Metoda Największej Wiarygodności
Bardziej szczegółowoStruktury danych i złożoność obliczeniowa Wykład 5. Prof. dr hab. inż. Jan Magott
Struktury danych i złożoność obliczeniowa Wykład 5 Prof. dr hab. inż. Jan Magott DMT rozwiązuje problem decyzyjny π przy kodowaniu e w co najwyżej wielomianowym czasie, jeśli dla wszystkich łańcuchów wejściowych
Bardziej szczegółowoSpacery losowe generowanie realizacji procesu losowego
Spacery losowe generowanie realizacji procesu losowego Michał Krzemiński Streszczenie Omówimy metodę generowania trajektorii spacerów losowych (błądzenia losowego), tj. szczególnych procesów Markowa z
Bardziej szczegółowoIndukcja drzew decyzyjnych
Konwersatorium Matematyczne Metody Ekonomii Narzędzia matematyczne w eksploracji danych Indukcja drzew decyzyjnych Wykład 3 - część 2 Marcin Szczuka http://www.mimuw.edu.pl/ szczuka/mme/ Divide et impera
Bardziej szczegółowoSZTUCZNA INTELIGENCJA
SZTUCZNA INTELIGENCJA WYKŁAD 4. UCZENIE SIĘ INDUKCYJNE Częstochowa 24 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska WSTĘP Wiedza pozyskana przez ucznia ma charakter odwzorowania
Bardziej szczegółowoPrawdopodobieństwo czerwonych = = 0.33
Temat zajęć: Naiwny klasyfikator Bayesa a algorytm KNN Część I: Naiwny klasyfikator Bayesa Naiwny klasyfikator bayerowski jest prostym probabilistycznym klasyfikatorem. Naiwne klasyfikatory bayesowskie
Bardziej szczegółowoPodstawy metod probabilistycznych. dr Adam Kiersztyn
Podstawy metod probabilistycznych dr Adam Kiersztyn Przestrzeń zdarzeń elementarnych i zdarzenia losowe. Zjawiskiem lub doświadczeniem losowym nazywamy taki proces, którego przebiegu i ostatecznego wyniku
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium JAVA Zadanie nr 2 Rozpoznawanie liter autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z problemem klasyfikacji
Bardziej szczegółowoGranica kompresji Kodowanie Shannona Kodowanie Huffmana Kodowanie ciągów Kodowanie arytmetyczne. Kody. Marek Śmieja. Teoria informacji 1 / 35
Kody Marek Śmieja Teoria informacji 1 / 35 Entropia Entropia określa minimalną statystyczną długość kodowania (przyjmijmy dla prostoty że alfabet kodowy A = {0, 1}). Definicja Niech X = {x 1,..., x n }
Bardziej szczegółowodomykanie relacji, relacja równoważności, rozkłady zbiorów
1 of 8 2012-03-28 17:45 Logika i teoria mnogości/wykład 5: Para uporządkowana iloczyn kartezjański relacje domykanie relacji relacja równoważności rozkłady zbiorów From Studia Informatyczne < Logika i
Bardziej szczegółowoIndukcja matematyczna
Indukcja matematyczna 1 Zasada indukcji Rozpatrzmy najpierw następujący przykład. Przykład 1 Oblicz sumę 1 + + 5 +... + (n 1). Dyskusja. Widzimy że dla n = 1 ostatnim składnikiem powyższej sumy jest n
Bardziej szczegółowoProcesy stochastyczne
Wykład I: Istnienie procesów stochastycznych 21 lutego 2017 Forma zaliczenia przedmiotu Forma zaliczenia Literatura 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane
Bardziej szczegółowo11. Gry Macierzowe - Strategie Czyste i Mieszane
11. Gry Macierzowe - Strategie Czyste i Mieszane W grze z doskonałą informacją, gracz nie powinien wybrać akcję w sposób losowy (o ile wypłaty z różnych decyzji nie są sobie równe). Z drugiej strony, gdy
Bardziej szczegółowoSympozjum Trwałość Budowli
Sympozjum Trwałość Budowli Andrzej ownuk ROJEKTOWANIE UKŁADÓW Z NIEEWNYMI ARAMETRAMI Zakład Mechaniki Teoretycznej olitechnika Śląska pownuk@zeus.polsl.gliwice.pl URL: http://zeus.polsl.gliwice.pl/~pownuk
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11,
1 Kwantyzacja skalarna Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 10.05.005 Kwantyzacja polega na reprezentowaniu dużego zbioru wartości (być może nieskończonego) za pomocą wartości
Bardziej szczegółowoSZTUCZNA INTELIGENCJA
SZTUCZNA INTELIGENCJA SYSTEMY ROZMYTE Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii Biomedycznej Laboratorium
Bardziej szczegółowoPrzeszukiwanie z nawrotami. Wykład 8. Przeszukiwanie z nawrotami. J. Cichoń, P. Kobylański Wstęp do Informatyki i Programowania 238 / 279
Wykład 8 J. Cichoń, P. Kobylański Wstęp do Informatyki i Programowania 238 / 279 sformułowanie problemu przegląd drzewa poszukiwań przykłady problemów wybrane narzędzia programistyczne J. Cichoń, P. Kobylański
Bardziej szczegółowo5. Wprowadzenie do prawdopodobieństwa Wprowadzenie Wyniki i zdarzenia Różne podejścia do prawdopodobieństwa Zdarzenia wzajemnie wykluczające się i
Spis treści Przedmowa do wydania polskiego - Tadeusz Tyszka Słowo wstępne - Lawrence D. Phillips Przedmowa 1. : rola i zastosowanie analizy decyzyjnej Decyzje złożone Rola analizy decyzyjnej Zastosowanie
Bardziej szczegółowoPorównanie czasów działania algorytmów sortowania przez wstawianie i scalanie
Więcej o sprawności algorytmów Porównanie czasów działania algorytmów sortowania przez wstawianie i scalanie Załóżmy, że możemy wykonać dane zadanie przy użyciu dwóch algorytmów: jednego o złożoności czasowej
Bardziej szczegółowoObliczenia inspirowane Naturą
Obliczenia inspirowane Naturą Wykład 01 Modele obliczeń Jarosław Miszczak IITiS PAN Gliwice 05/10/2016 1 / 33 1 2 3 4 5 6 2 / 33 Co to znaczy obliczać? Co to znaczy obliczać? Deterministyczna maszyna Turinga
Bardziej szczegółowoProcesy stochastyczne
Wykład I: Istnienie procesów stochastycznych 2 marca 2015 Forma zaliczenia przedmiotu Forma zaliczenia Literatura 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane są
Bardziej szczegółowoModele Obliczeń. Wykład 1 - Wprowadzenie. Marcin Szczuka. Instytut Matematyki, Uniwersytet Warszawski
Modele Obliczeń Wykład 1 - Wprowadzenie Marcin Szczuka Instytut Matematyki, Uniwersytet Warszawski Wykład fakultatywny w semestrze zimowym 2014/2015 Marcin Szczuka (MIMUW) Modele Obliczeń 2014/2015 1 /
Bardziej szczegółowoTEORETYCZNE PODSTAWY INFORMATYKI
1 TEORETYCZNE PODSTAWY INFORMATYKI WFAiS UJ, Informatyka Stosowana I rok studiów, I stopień Wykład 14c 2 Definicje indukcyjne Twierdzenia dowodzone przez indukcje Definicje indukcyjne Definicja drzewa
Bardziej szczegółowoIndukcja. Materiały pomocnicze do wykładu. wykładowca: dr Magdalena Kacprzak
Indukcja Materiały pomocnicze do wykładu wykładowca: dr Magdalena Kacprzak Charakteryzacja zbioru liczb naturalnych Arytmetyka liczb naturalnych Jedną z najważniejszych teorii matematycznych jest arytmetyka
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-10-15 Projekt
Bardziej szczegółowoSYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.
SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska INFORMACJE WSTĘPNE Hipotezy do uczenia się lub tworzenia
Bardziej szczegółowoAlgorytmy metaheurystyczne Wykład 11. Piotr Syga
Algorytmy metaheurystyczne Wykład 11 Piotr Syga 22.05.2017 Drzewa decyzyjne Idea Cel Na podstawie przesłanek (typowo zbiory rozmyte) oraz zbioru wartości w danych testowych, w oparciu o wybrane miary,
Bardziej szczegółowoTestowanie hipotez statystycznych
9 października 2008 ...czyli definicje na rozgrzewkę n-elementowa próba losowa - wektor n zmiennych losowych (X 1,..., X n ); intuicyjnie: wynik n eksperymentów realizacja próby (X 1,..., X n ) w ω Ω :
Bardziej szczegółowoKRZYSZTOF WÓJTOWICZ Instytut Filozofii Uniwersytetu Warszawskiego
KRZYSZTOF WÓJTOWICZ Instytut Filozofii Uniwersytetu Warszawskiego wojtow@uw.edu.pl 1 2 1. SFORMUŁOWANIE PROBLEMU Czy są empiryczne aspekty dowodów matematycznych? Jeśli tak to jakie stanowisko filozoficzne
Bardziej szczegółowoLogika Stosowana. Wykład 2 - Logika modalna Część 3. Marcin Szczuka. Instytut Informatyki UW. Wykład monograficzny, semestr letni 2017/2018
Logika Stosowana Wykład 2 - Logika modalna Część 3 Marcin Szczuka Instytut Informatyki UW Wykład monograficzny, semestr letni 2017/2018 Marcin Szczuka (MIMUW) Logika Stosowana 2018 1 / 36 Plan wykładu
Bardziej szczegółowoCLUSTERING. Metody grupowania danych
CLUSTERING Metody grupowania danych Plan wykładu Wprowadzenie Dziedziny zastosowania Co to jest problem klastrowania? Problem wyszukiwania optymalnych klastrów Metody generowania: k centroidów (k - means
Bardziej szczegółowoData Mining Wykład 6. Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa.
GLM (Generalized Linear Models) Data Mining Wykład 6 Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa Naiwny klasyfikator Bayesa jest klasyfikatorem statystycznym -
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia Licencjackie Wykład 15, Kryptografia: algorytmy asymetryczne (RSA)
Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 15, 19.06.2005 1 Kryptografia: algorytmy asymetryczne (RSA) Niech E K (x) oznacza szyfrowanie wiadomości x kluczem K (E od encrypt, D K (x)
Bardziej szczegółowoTeoretyczne podstawy informatyki
Teoretyczne podstawy informatyki Wykład 12a: Prawdopodobieństwo i algorytmy probabilistyczne http://hibiscus.if.uj.edu.pl/~erichter/dydaktyka2010/tpi-2010 Prof. dr hab. Elżbieta Richter-Wąs 1 Teoria prawdopodobieństwa
Bardziej szczegółowoSID Wykład 7 Zbiory rozmyte
SID Wykład 7 Zbiory rozmyte Wydział Matematyki, Informatyki i Mechaniki UW slezak@mimuw.edu.pl Wstęp Language Ontological Commitment Epistemological Commitment (What exists in the world) (What an agent
Bardziej szczegółowoStatystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Dr Anna ADRIAN Paw B5, pok 407 adrian@tempus.metal.agh.edu.pl
Bardziej szczegółowoQuick Launch Manual:
egresja Odds atio Quick Launch Manual: regresja logistyczna i odds ratio Uniwesytet Warszawski, Matematyka 28.10.2009 Plan prezentacji egresja Odds atio 1 2 egresja egresja logistyczna 3 Odds atio 4 5
Bardziej szczegółowoKlasyfikator. ˆp(k x) = 1 K. I(ρ(x,x i ) ρ(x,x (K) ))I(y i =k),k =1,...,L,
Klasyfikator Jedną z najistotniejszych nieparametrycznych metod klasyfikacji jest metoda K-najbliższych sąsiadów, oznaczana przez K-NN. W metodzie tej zaliczamy rozpoznawany obiekt do tej klasy, do której
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia Licencjackie Wykład 14, Kryptografia: algorytmy asymetryczne (RSA)
Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 14, 7.06.2005 1 Kryptografia: algorytmy asymetryczne (RSA) Niech E K (x) oznacza szyfrowanie wiadomości x kluczem K (E od encrypt, D K (x)
Bardziej szczegółowoPrzepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału.
Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału Wiktor Miszuris 2 czerwca 2004 Przepustowość kanału Zacznijmy od wprowadzenia równości IA, B HB HB A HA HA B Można ją intuicyjnie
Bardziej szczegółowoLogika intuicjonistyczna
Logika intuicjonistyczna Logika klasyczna oparta jest na pojęciu wartości logicznej zdania. Poprawnie zbudowane i jednoznaczne stwierdzenie jest w tej logice klasyfikowane jako prawdziwe lub fałszywe.
Bardziej szczegółowoJeśli powyższy opis nie jest zrozumiały należy powtórzyć zagadnienie standaryzacji zanim przejdzie się dalej!
CO POWINNIŚMY WIEDZIEĆ (I ROZUMIEĆ) ZABIERAJĄC SIĘ DO CZYTANIA 1. Jeśli mamy wynik (np. z kolokwium) podany w wartościach standaryzowanych (np.: z=0,8) to wiemy, że aby ustalić jaki był wynik przed standaryzacją
Bardziej szczegółowoKomputerowa analiza danych doświadczalnych
Komputerowa analiza danych doświadczalnych Wykład 9 27.04.2018 dr inż. Łukasz Graczykowski lukasz.graczykowski@pw.edu.pl Semestr letni 2017/2018 Metoda największej wiarygodności ierównosć informacyjna
Bardziej szczegółowoDowód pierwszego twierdzenia Gödela o. Kołmogorowa
Dowód pierwszego twierdzenia Gödela o niezupełności arytmetyki oparty o złożoność Kołmogorowa Grzegorz Gutowski SMP II rok opiekun: dr inż. Jerzy Martyna II UJ 1 1 Wstęp Pierwsze twierdzenie o niezupełności
Bardziej szczegółowoTechnologie i systemy oparte na logice rozmytej
Zagadnienia I Technologie i systemy oparte na logice rozmytej Mają zastosowania w sytuacjach kiedy nie posiadamy wystarczającej wiedzy o modelu matematycznym rządzącym danym zjawiskiem oraz tam gdzie zbudowanie
Bardziej szczegółowoSZTUCZNA INTELIGENCJA
SZTUCZNA INTELIGENCJA WYKŁAD 10. WNIOSKOWANIE W LOGICE ROZMYTEJ Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska WNIOSKOWANIE W LOGICE DWUWARTOŚCIOWEJ W logice
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych
Bardziej szczegółowoWykład Centralne twierdzenie graniczne. Statystyka matematyczna: Estymacja parametrów rozkładu
Wykład 11-12 Centralne twierdzenie graniczne Statystyka matematyczna: Estymacja parametrów rozkładu Centralne twierdzenie graniczne (CTG) (Central Limit Theorem - CLT) Centralne twierdzenie graniczne (Lindenberga-Levy'ego)
Bardziej szczegółowoStruktury danych i złożoność obliczeniowa Wykład 7. Prof. dr hab. inż. Jan Magott
Struktury danych i złożoność obliczeniowa Wykład 7 Prof. dr hab. inż. Jan Magott Problemy NP-zupełne Transformacją wielomianową problemu π 2 do problemu π 1 (π 2 π 1 ) jest funkcja f: D π2 D π1 spełniająca
Bardziej szczegółowoSystem bonus-malus z mechanizmem korekty składki
System bonus-malus z mechanizmem korekty składki mgr Kamil Gala Ubezpieczeniowy Fundusz Gwarancyjny dr hab. Wojciech Bijak, prof. SGH Ubezpieczeniowy Fundusz Gwarancyjny, Szkoła Główna Handlowa Zagadnienia
Bardziej szczegółowo1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie
Wykaz tabel Wykaz rysunków Przedmowa 1. Wprowadzenie 1.1. Wprowadzenie do eksploracji danych 1.2. Natura zbiorów danych 1.3. Rodzaje struktur: modele i wzorce 1.4. Zadania eksploracji danych 1.5. Komponenty
Bardziej szczegółowoMetody Statystyczne. Metody Statystyczne
#7 1 Czy straszenie jest bardziej skuteczne niż zachęcanie? Przykład 5.2. s.197 Grupa straszona: 8,5,8,7 M 1 =7 Grupa zachęcana: 1, 1, 2,4 M 2 =2 Średnia ogólna M=(M1+M2)/2= 4,5 Wnioskowanie statystyczne
Bardziej szczegółowoStatystyki: miary opisujące rozkład! np. : średnia, frakcja (procent), odchylenie standardowe, wariancja, mediana itd.
Wnioskowanie statystyczne obejmujące metody pozwalające na uogólnianie wyników z próby na nieznane wartości parametrów oraz szacowanie błędów tego uogólnienia. Przewidujemy nieznaną wartości parametru
Bardziej szczegółowoPrzykład eksploracji danych o naturze statystycznej Próba 1 wartości zmiennej losowej odległość
Dwie metody Klasyczna metoda histogramu jako narzędzie do postawienia hipotezy, jaki rozkład prawdopodobieństwa pasuje do danych Indukcja drzewa decyzyjnego jako metoda wykrycia klasyfikatora ukrytego
Bardziej szczegółowozdarzenie losowe - zdarzenie którego przebiegu czy wyniku nie da się przewidzieć na pewno.
Rachunek prawdopodobieństwa Podstawowym celem rachunku prawdopodobieństwa jest określanie szans zajścia pewnych zdarzeń. Pojęcie podstawowe rachunku prawdopodobieństwa to: zdarzenie losowe - zdarzenie
Bardziej szczegółowoTechniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I
Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje:
Bardziej szczegółowoBadania operacyjne: Wykład Zastosowanie kolorowania grafów w planowaniu produkcji typu no-idle
Badania operacyjne: Wykład Zastosowanie kolorowania grafów w planowaniu produkcji typu no-idle Paweł Szołtysek 12 czerwca 2008 Streszczenie Planowanie produkcji jest jednym z problemów optymalizacji dyskretnej,
Bardziej szczegółowo