5. Zagadnienia klasyfikacji 5-1 Obiekty i obrazy 5-2 Cechy 5-3 Klasyfikacja obrazów 5-4 Funkcje decyzyjne 5-5 *Klasyfikacja obiektów a klasyfikacja obrazów 5-6 *Problem niejednoznaczności obserwacji 5-7 *Niejednoznaczne dziedziczenie klas 5-8 *Dziedziczenie probabilistyczne 5-9 Klasyfikacja binarna a funkcje logiczne 5-10 Klasyfikacja liniowa 5-11 Najprostsze klasyfikacje nieliniowe 5-12 LiczbaklasyfikacjiliniowychNobrazówwR n 5-13 Liczba klasyfikacji liniowych- przykład 19 maja 2004 5. Zagadnienia klasyfikacji 5-0
5-14 Liczba binarnych klasyfikacji liniowych 5-15 Klasyfikatory liniowe 5-16 Liniowe klasyfikatory binarne 5-17 *Kontekst probabilistyczny 5-18 Budowa klasyfikatorów dostępna informacja 19 maja 2004 5. Zagadnienia klasyfikacji 5-0
Obiekty i obrazy zbiórobiektów S funkcjaobserwacji ϕ:s U zbiórobrazówu zwykleu R n n liczba czujników, liczba punktów obrazu obrazu=[u 1 u n ] T U obraz binarny, obraz czarno-biały u i {L,H}; (zwykle{0,1}) 19 maja 2004 5. Zagadnienia klasyfikacji 5-1
Cechy zbiórwektorówcech U R n funkcjacech ϕ :U U zmodyfikowanafunkcjaobserwacji ϕ ϕ:s U 19 maja 2004 5. Zagadnienia klasyfikacji 5-2
Klasyfikacja obrazów funkcja klasyfikująca l(u)=k u U k funkcje przynależności doklasyu k,k=1,...,c χ k (u)=1 u U k χ k (u)=0 u/ U k zbiór decyzyjny D= k U k 19 maja 2004 5. Zagadnienia klasyfikacji 5-3
funkcja klasyfikująca l Funkcje decyzyjne funkcje decyzyjne l(u)=k d k (u)>d j (u)dlaj k funkcjeprzynależnościχ k sąfunkcjamidecyzyjnymi 19 maja 2004 5. Zagadnienia klasyfikacji 5-4
*Klasyfikacja obiektów a klasyfikacja obrazów klasyobiektóws i dziedziczoneklasyobrazówu i =ϕ(s i ) dziedziczeniejednoznaczne U i U j = fori j klasyfikacjaobrazówaklasyfikacjaobiektów: u U k s S k 19 maja 2004 5. Zagadnienia klasyfikacji 5-5
*Problem niejednoznaczności obserwacji obrazu funkcja obserwacji może nie być odwracalna: niejednoznaczności obserwacji przeciwobrazϕ 1 (u)obrazuu:zbiórobiektówmającychtensamobrazu s ϕ 1 (u) ϕ(s)=u klasy dziedziczone rozłączne: obiekty mające ten sam obraz należą do tej samej klasy klasy dziedziczone mogą nie być rozłączne 19 maja 2004 5. Zagadnienia klasyfikacji 5-6
*Niejednoznaczne dziedziczenie klas niejednoznaczność,jeżeliu i U j χ przyjmuje wartości z(niezerowych) wierzchołków kostki jednostkowej 19 maja 2004 5. Zagadnienia klasyfikacji 5-7
*Dziedziczenie probabilistyczne rozkład obiektów P funkcjaprzynależnościwu: χ k (u)=p{s S k } χ przyjmuje wartości z kostki jednostkowej 19 maja 2004 5. Zagadnienia klasyfikacji 5-8
Klasyfikacja binarna a funkcje logiczne N=4 (4obrazy) U R 2 (obrazyzłożonez2punktów) c=2 (klasyfikacjebinarne) + + + + + + + + u 1 ANDu 2 u 1 ORu 2 NOTu 1 u 1 XORu 2 19 maja 2004 5. Zagadnienia klasyfikacji 5-9
Klasyfikacja liniowa hiperpłaszczyznah(w,b)={u R n :w T u+b=0} w wektor normalny, b przesunięcie podprzestrzeńdodatniau + (w,b)={u R n :w T u+b>0}względem hiperpłaszczyzny H(w, b) podprzestrzeńujemnau (w,b) klasyfikacja liniowa: dowolne dwie klasy można rozdzielić hiperpłaszczyzną 19 maja 2004 5. Zagadnienia klasyfikacji 5-10
Najprostsze klasyfikacje nieliniowe 3obrazywR,2klasy + + + 4obrazybinarnewR 2,2klasy + + + + 19 maja 2004 5. Zagadnienia klasyfikacji 5-11
LiczbaklasyfikacjiliniowychNobrazówwR n liczba klasyfikacji liniowych L(N, n)(< dla szczególnych usytuowań obrazów) 2 N forn n+1 ( małoobrazów ) L(N,n)= 2 n ) forn n+1 i=0 ( N 1 i liczba klasyfikacji liniowych/ liczba klasyfikacji binarnych r(n,n)= L(N,n) 1 dla N = B(N) 2 1 N n ) i=0 ( N 1 i n+1 1 dla N n+1 1 r(n,n) 1 0.9 0.8 n=1 4 16 64 256 0.7 0.6 0.5 0.4 n=1,4,16,64,256 0.3 0.2 0.1 polowa klasyfikacji liniowa 0 0 1 2 3 4 N / (n+1) dlaconajwyżejn 0 =n+1obrazówwr n wszystkieklasyfikacjemogąbyćliniowe dlan v =2(n+1)obrazówwR n conajwyżejpołowaklasyfikacjijestliniowa N v :pojemnośćklasyfikacjiliniowychwr n 19 maja 2004 5. Zagadnienia klasyfikacji 5-12
Liczba klasyfikacji liniowych- przykład N = N = N = N = N = N = N = wszystkie li- pojemność 2 3 4 5 6 7 8 niowe B(N) 4 8 16 32 64 128 256 R 1 *4 6 8 10 12 14 16 2 4 R 2 4 *8 14 22 32 44 58 3 6 R 3 4 8 *16 30 52 84 128 4 8 R 4 4 8 16 *32 62 114 198 5 10 R 5 4 8 16 32 *64 126 240 6 12 lewa+górnalewa L(N,n)=L(N 1,n)+L(N 1,n 1) 19 maja 2004 5. Zagadnienia klasyfikacji 5-13
Liczba binarnych klasyfikacji liniowych liczba max. liczba liczba liczba ułamek punktów obrazów klasyfikacji klasyfikacji klasyfikacji obrazu binarnych binarnych liniowych liniowych n N=2 n B(N)=2 N L(N,n) r=l/b 2 4 16 14 0.875 3 8 256 128 0.500 4 16 65536 3882 0.059 5 32 4.310 9 412736 9.610-5 8 256 10 77 10 15 10-63 16 65536 10 19728 10 64 10-19664 19 maja 2004 5. Zagadnienia klasyfikacji 5-14
Klasyfikatory liniowe afinicznefunkcjedecyzyjned k (u)=b k +wk T u, k=1,...,c b 1 +w1u T d(u)=. =b+wu=wu b c +wcu T afiniczne funkcje decyzyjne klasy liniowo rozdzielne klasy liniowo rozdzielne istnieją afiniczne funkcje decyzyjne funkcje decyzyjne są porównywane parami(liczbę wierszy W można zmniejszyć o jeden) b i +w T iu>b j +w T ju b+w T u>0 gdziew=w i w j,b=b i b j 19 maja 2004 5. Zagadnienia klasyfikacji 5-15
Liniowe klasyfikatory binarne binarny klasyfikator liniowy d(u) = 1 jeśliw T u+b<0 l(u)= 1 jeśliw T u+b>0 gdziew=w + w,b=b + b b ++w+u T b +w u T zmodyfikowana funkcja decyzyjna porównywana z zerem d(u)=b+w T u hiperpłaszczyznaklasyfikującah(w,b)={u:d(u)=0} 19 maja 2004 5. Zagadnienia klasyfikacji 5-16
*Kontekst probabilistyczny jeśliϕ(s i ) ϕ(s j ) toklasyfikacjaniejestjednoznaczna. dodatkowo znana miara probabilistyczne P na S rozkład obrazów w ramach każdej klasy(ciągły) f u k (z)dz=p(z u z+dz s S k ) rozkładaprioriklas{π k,k=1,...,c},gdzieπ k =P{s S k } znanyobrazu;rozkładaposterioriklas π k u =P{s S k u} (regułabayesa)= π kf u k (u) f u (u) klasyfikacja w zbiorze obrazów = π kf u k (u) c i=1 π if u i (u) funkcjadecyzyjna:d k (u)=π k u klasyfikatorbayesowski równoważnaf.d:d k (u)=π k f u k (u) dladyskretnegorozkładuobrazów:p j k =P(u=j s S k ) π k j = π kp j k p j = π kp j k c i=1 π ip j i 19 maja 2004 5. Zagadnienia klasyfikacji 5-17
Budowa klasyfikatorów dostępna informacja liczbaklascznana przykładuczący(u i,l(u i )) zbiór uczący(zbiór trenujący) U L = {( u i,l(u i ) ),i=1,...,n } liczbaklascznanalubnie przykładuczącyu i (klasanieznana) zbiór uczący U L ={u i,i=1,...,n} 19 maja 2004 5. Zagadnienia klasyfikacji 5-18