Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda

Wielkość: px
Rozpocząć pokaz od strony:

Download "Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda"

Transkrypt

1 Wstęp do sieci neuronowych, wykład 10. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych realizowany w ramach Poddziałania Programu Operacyjnego Kapitał Ludzki

2 1 Modele sieci rekurencyjnej Energia sieci 2 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 3 4 Pojemność sieci

3 Modele sieci rekurencyjnej Energia sieci 1 Modele sieci rekurencyjnej Energia sieci 2 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 3 4 Pojemność sieci

4 Sieci skierowane przypomnienie Modele sieci rekurencyjnej Energia sieci Sieci skierowane graf połączeń synaptycznych nie zawiera cykli wierzchołki dają się posortować topologicznie, dynamika odbywa się synchronicznie zgodnie z kolejnością zadaną przez otrzymaną kolejność,

5 Modele sieci rekurencyjnej Energia sieci Graf sieci dopuszcza istnienie cykli skierowanych, sortowanie topologiczne nie jest możliwe, Czynnik czasowy w dynamice: sieć rozwijamy w szereg podsieci powiązanych ze sobą zależnościami czasowymi.

6 Motywacja Modele sieci rekurencyjnej Energia sieci Chcemy stworzyć rekurencyjną sieć neuronową, zdolną kodować i rozwiązywać (dyskretne) problemy optymalizacyjne Rozważania w poniższym rozdziale będą dotyczyły konstrukcji autoasocjatora graficznego, W dalszych wykładach pokażemy jak dostosować sieć do innych problemów.

7 typu Hopfielda Modele sieci rekurencyjnej Energia sieci każda jednostka ma przypisany swój spin σ i { 1, +1} zmienny w trakcie dynamiki, połączenia synaptyczne mają przypisane wagi w ij = w ji R stałe w trakcie dynamiki, zmienne w trakcie uczenia, w ii = 0, jeżeli krawędzi nie ma w grafie, to w ij = 0, neurony otrzymują swoje pole zewnętrzne h i R stałe.

8 Modele sieci rekurencyjnej Energia sieci Ogólna koncepcja dynamiki w sieciach rekurencyjnych neuron zmienia swój spin i wysyła informację do sąsiadów, po zmianie jest nieaktywny przez pewien okres czasu τ r czas refrakcji, po upływie τ r neuron może przyjmować i wysyłać impulsy, przesył impulsu po krawędzi zajmuje pewien okres czasu τ p (czas przesyłu, może zależeć od rodzaju lub długości krawędzi),

9 Dynamika Glaudera Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to sieć jest niewielka i można stosować następującą dynamikę: wylosuj neuron σ i, przypisz σ i = sign( j w ij σ j + h i ) powtarzaj 1 i 2 aż do ustabilizowania się sytuacji. Oznaczmy M i = j w ijσ j + h i lokalne pole wypadkowe dla jednostki i.

10 Dynamika Little a Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to działanie przybliżamy dynamiką synchroniczną: wszystkie neurony jednocześnie ustawiają się zgodnie z lokalnym polem wypadkowym, tj, przypisujemy: σ i = sign(m i ) przy wykorzystaniu zestawu spinów z poprzedniej iteracji.

11 Dynamika Little a Modele sieci rekurencyjnej Energia sieci Alternatywne sformułowanie: Rozpocznij z losowego σ 0 Powtarzaj wielokrotnie: Przypisz σ t+1 := sign(w σ t + H) gdzie: W = [w ij ] i,j=1..n jest macierzą wag, H wektor pól zewnętrznych σ t wektor spinów w t-tym kroku.

12 Dynamika Hybrydowa Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to dynamika staje się skomplikowana ze względu na znaczne opóźnienia w przesyle. małe fragmenty sieci (tj. bliskie jednostki) przybliżamy dynamiką asynchroniczną (Glaudera), w dużej skali stosujemy dynamikę synchroniczną uwzględniającą różnice czasowe.

13 Energia sieci Modele sieci rekurencyjnej Energia sieci Określmy energię sieci (Hammiltonian) zależny od bieżącej konfiguracji spinów neuronów: Energia E( σ) = 1 w ij σ i σ j 2 i i j h i σ i Wagi w ij oraz pola zewnętrzne h i są ustalone, więc energia zależy tylko od spinów.

14 Twierdzenie Modele sieci rekurencyjnej Energia sieci Twierdzenie W trakcie dynamiki Glaudera energia sieci nie ulega wzrostowi.

15 Twierdzenie Modele sieci rekurencyjnej Energia sieci Twierdzenie W trakcie dynamiki Glaudera energia sieci nie ulega wzrostowi. Dowód na tablicy

16 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ).

17 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k w ij σ i σ j h j σ j h i σ i j j i

18 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k w ij σ i σ j h j σ j h i σ i j j i Zmieniliśmy tylko spin σ i więc j i,k i w jkσ j σ k oraz j i h jσ j nie wpływają na zmianę energii.

19 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k w ij σ i σ j h j σ j h i σ i j j i Zmieniliśmy tylko spin σ i więc j i,k i w jkσ j σ k oraz j i h jσ j nie wpływają na zmianę energii. Obliczmy E( σ ) E( σ) = = j w ij σ iσ j h i σ i j w ij σ i σ j h i σ i =

20 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i =

21 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) =

22 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) = (σ i σ i ) j w ij σ j h i = (σ i σ i )( M i )

23 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) = (σ i σ i ) j w ij σ j h i = (σ i σ i )( M i ) Przypomnijmy, że podstawialiśmy σ i := sign(m i ). E( σ ) E( σ) = (sign(m i ) ( sign(m i ))M i = 2 M i 0

24 Modele sieci rekurencyjnej Energia sieci Ewolucja sieci Hopfielda, dynamika Little a click

25 Wniosek Modele sieci rekurencyjnej Energia sieci Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji σ również, podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie.

26 Wniosek Modele sieci rekurencyjnej Energia sieci Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji σ również, podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie. Wykorzystamy dynamikę asynchroniczną sieci do znajdowania rozwiązania problemów optymalizacyjnych. Wystarczy do tego sprecyzować wagi w ij i pola lokalne h j, Dostosowanie wag i pól zewnętrznych jest zagadnieniem uczenia sieci.

27 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 1 Modele sieci rekurencyjnej Energia sieci 2 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 3 4 Pojemność sieci

28 Cel Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Chcemy stworzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będziemy w stanie go odtworzyć.

29 Cel Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Chcemy stworzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będziemy w stanie go odtworzyć. Oznaczmy: I µ = {ξ µ i } obraz wzorcowy, i = 1..N indeks piksela, N ilość pikseli, µ = 1..P indeks wzorca, P ilość wzorców, σ i neurony sieci, po jednym neuronie na każdy piksel obrazu, w ij wagi między neuronami, h i pola zewnętrzne.

30 Konstrukcja Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

31 Konstrukcja Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Oznaczmy stopień zgodności stanu sieci σ ze wzorcem I µ M µ ( σ) = 1 N N σ i ξ µ i = 1 N σ, I µ i=1

32 Konstrukcja Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Oznaczmy stopień zgodności stanu sieci σ ze wzorcem I µ M µ ( σ) = 1 N N σ i ξ µ i = 1 N σ, I µ i=1 M µ ( σ) = 1 oznacza pełną zgodność, M µ ( σ) = 1 całkowitą niezgodność, ale przy naszych oznaczeniach należy pamiętać, że jest to idealny negatyw.

33 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 P (M µ ( σ)) 2 = µ=1

34 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1

35 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1 N 2 P 1 N N 2 µ=1 N i=1 j=1,j i σ i σ j ξ µ i ξ µ j + 1 N 2 N σi 2 ξ µ i i=1 2

36 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1 N 2 P 1 N N 2 µ=1 N i=1 j=1,j i σ i σ j ξ µ i ξ µ j + 1 N 2 N σi 2 ξ µ i i=1 2

37 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j

38 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j = 1 2N N i j µ=1 P σ i σ j ξ µ i ξ µ j

39 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j = 1 2N = 1 2 N i j µ=1 N σ i σ j 1 N i j P σ i σ j ξ µ i ξ µ j P ξ µ i ξ µ j µ=1

40 Wagi Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Otrzymujemy zależności na wagi: Wagi w ij = 1 N P ξ µ i ξ µ j µ=1 oraz na pola zewnętrzne Pola zewnętrzne h i = 0 Zerowe pola zewnętrzne sprawiają, że sieć nie ma preferencji odnośnie kolorów. Negatywy są rozpoznawane tak samo jak obrazy oryginalne.

41 Przestrzeń stanów Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

42 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Rekonstrukcja obrazu dynamika Glaudera Gdy sieć jest już nauczona możemy odzyskać wejściowy zaszumiony obraz: 1 Obraz wejściowy konwertujemy na konfigurację spinów σ, 2 Poddajemy bieżącą konfigurację ewolucji Glaudera: 1 Losujemy jednostkę i, 2 Ustawiamy spin σ i := sign( j w ijσ j ), 3 Powtarzamy 2.1 i 2.2 aż stan sieci się ustabilizuje, 3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację spinów σ.

43 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Rekonstrukcja obrazu dynamika Little a Ustaloną mamy macierz wag W = (w ij ) N i,j=1 1 Obraz wejściowy konwertujemy na konfigurację początkową (t = 0) spinów σ 0, 2 Poddajemy konfigurację ewolucji: 1 Przypisujemy σ t+1 := W σ t σ t+1 i := sign( σ t+1 i ) 2 Powtarzamy 2.1 aż stan sieci się ustabilizuje, 3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację spinów σ T.

44 Trajektoria odzyskiwania obrazu Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Rysunek uproszczony, przestrzeń to { 1, +1} d a nie R

45 Trajektoria odzyskiwania obrazu Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

46 Ograniczenia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Jakie wymagania sieć musi spełniać aby poprawnie odtwarzać wzorce? Ile maksymalnie wzorców P =? może się pomieścić w sieci o N neuronach?

47 Fakt Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Jakie wymagania sieć musi spełniać aby poprawnie odtwarzać wzorce? Ile maksymalnie wzorców może się pomieścić w sieci o N neuronach?

48 Pojemność sieci Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Fakt W sieci o N wierzchołkach można przechować maksymalnie nieskorelowanych wzorców. N 4 log N

49 Pojemność sieci Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci W poprawnym działaniu ważną rolę odgrywa brak korelacji między wzorcami uczącymi.

50 Co to są wzorce skorelowane? Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

51 Co to są wzorce skorelowane? Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

52 Korelacja a poprawne odzyskiwanie Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

53 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Niepoprawne odzyskiwanie za dużo wzorców lub wzorce skorelowane

54 Zapoznaj się z mechanizmem symulowanego wyżarzania. Dlaczego jest on często wprowadzany do dynamiki sieci Hopfielda? Oszacuj wymagania pamięciowe naiwnej implementacji sieci Hopfielda dla obrazów o rozdzielczości Jak można zredukować zapotrzebowanie pamięciowe? (*) Jak można zmusić sieć Hopfielda do uczenia się z rozróżnieniem obrazu od negatywu?

55 Zaimplementuj autoasocjator graficzny Hopfielda. Zaimplementuj autoasocjator lingwistyczny (dla par / trójek liter) bazujący na sieci Hopfielda. Jak sieć będzie działać dla problemy rozpoznawania małych liter na matrycy dużej rozdzielczości?

56 Pojemność sieci Poniższy fragment zawiera szkice oszacowań pojemności sieci, przy której można stabilnie odzyskać obraz, Nie obowiązuje na egzaminie.

57 Stabilność wzorca Pojemność sieci Załóżmy, że wzorce I µ są niezależne, tj. P(ξ µ i = +1) = P(ξ µ i = 1) = 1 2 Pytamy: kiedy I µ jest punktem stałym dynamiki sieci?

58 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i =

59 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j N µ σ j

60 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i

61 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0.

62 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0. M i (I µ 0 ) = ξ µ 0 i + µ µ 0 M µ (I µ 0 )ξ µ i

63 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0. M i (I µ 0 ) = ξ µ 0 i + µ µ 0 M µ (I µ 0 )ξ µ i }{{} } {{ } sygnał szum

64 Stabilność wzorca Pojemność sieci Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2

65 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j

66 Stabilność wzorca Pojemność sieci Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Zdefiniujmy zmienną losową Ξ: Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1:

67 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) =

68 Stabilność wzorca Pojemność sieci Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Zdefiniujmy zmienną losową Ξ: Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ j = N j

69 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 N N N 1 j

70 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 1 D N(0, 1) N N N 1 N j

71 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 1 D N(0, 1) N(0, 1 N N N 1 N N ) j

72 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 1 D N(0, 1) N(0, 1 N N N 1 N N ) j I dalej: M µ (I µ0 )ξ µ i N(0, P 1 N ) µ µ 0

73 Stabilność wzorca Pojemność sieci Aby nie zepsuć wzorca musi zachodzić µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1

74 Stabilność wzorca Pojemność sieci Aby nie zepsuć wzorca musi zachodzić µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1 Wariancja musi być bardzo mała P 1 N 1

75 Stabilność wzorca Pojemność sieci Aby nie zepsuć wzorca musi zachodzić µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1 Wariancja musi być bardzo mała P 1 N 1 czyli P N

76 Pojemność sieci Wzorzec I µ 0 zaburzamy w R punktach. Szum nadal wynosi N(0, P N ). Sygnał (1 R N )ξµ 0 i. Szukamy bezpiecznego α = P N, aby wciąż dało się odzyskać obraz.

77 Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N ) =

78 Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N ) = Φ(1 2R/N α ) =

79 Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N 1 2R/N ) = Φ(1 ) = 1 Φ( ) α α

80 Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N 1 2R/N ) = Φ(1 ) = 1 Φ( ) α α Chcemy odtworzyć wszystkie piksele (a nie jeden), więc prawdopodobieństwo wyniesie ( 1 Φ( 1 2R/N α )) N

81 Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N 1 2R/N ) = Φ(1 ) = 1 Φ( ) α α Chcemy odtworzyć wszystkie piksele (a nie jeden), więc prawdopodobieństwo wyniesie ( 1 Φ( 1 2R/N ) N ) 1 N Φ( 1 2R/N ) α α

82 Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ).

83 Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α

84 Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α N α (1 2R/N) 2π 2R/N)2 exp( (1 ) 2α

85 Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α N α (1 2R/N) 2π 2R/N)2 exp( (1 ) 2α N α exp( (1 2R/N)2 2α ) 2π

86 Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α N α (1 2R/N) 2π 2R/N)2 exp( (1 ) 2α Po zlogarytmowaniu: N α exp( (1 2R/N)2 2α ) 2π (1 2R N )2 2α ( ln δ + ln N + ln α ) 2

87 Pojemność sieci Wniosek α (1 2R N )2 2 ln N 1 2 ln N W sieci o N wierzchołkach można przechować maksymalnie wzorców. N 4 log N

Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa

Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa M. Czoków, J. Piersa 2012-01-10 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego 3 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline. Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 13-1- Projekt pn. Wzmocnienie potencjału dydaktycznego

Bardziej szczegółowo

Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty

Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-03 Projekt pn. Wzmocnienie potencjału

Bardziej szczegółowo

8. Neuron z ciągłą funkcją aktywacji.

8. Neuron z ciągłą funkcją aktywacji. 8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i

Bardziej szczegółowo

Uczenie sieci neuronowych i bayesowskich

Uczenie sieci neuronowych i bayesowskich Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10

Bardziej szczegółowo

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa

Bardziej szczegółowo

Metody Sztucznej Inteligencji II

Metody Sztucznej Inteligencji II 17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału

Bardziej szczegółowo

Podstawy OpenCL część 2

Podstawy OpenCL część 2 Podstawy OpenCL część 2 1. Napisz program dokonujący mnożenia dwóch macierzy w wersji sekwencyjnej oraz OpenCL. Porównaj czasy działania obu wersji dla różnych wielkości macierzy, np. 16 16, 128 128, 1024

Bardziej szczegółowo

Elementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2

Elementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2 Elementy Sztucznej Inteligencji Sztuczne sieci neuronowe cz. 2 1 Plan wykładu Uczenie bez nauczyciela (nienadzorowane). Sieci Kohonena (konkurencyjna) Sieć ze sprzężeniem zwrotnym Hopfielda. 2 Cechy uczenia

Bardziej szczegółowo

Wykład 10 Estymacja przedziałowa - przedziały ufności dla średn

Wykład 10 Estymacja przedziałowa - przedziały ufności dla średn Wykład 10 Estymacja przedziałowa - przedziały ufności dla średniej Wrocław, 21 grudnia 2016r Przedział ufności Niech będzie dana próba X 1, X 2,..., X n z rozkładu P θ, θ Θ. Definicja 10.1 Przedziałem

Bardziej szczegółowo

Wykład z Technologii Informacyjnych. Piotr Mika

Wykład z Technologii Informacyjnych. Piotr Mika Wykład z Technologii Informacyjnych Piotr Mika Uniwersalna forma graficznego zapisu algorytmów Schemat blokowy zbiór bloków, powiązanych ze sobą liniami zorientowanymi. Jest to rodzaj grafu, którego węzły

Bardziej szczegółowo

Estymacja przedziałowa - przedziały ufności dla średnich. Wrocław, 5 grudnia 2014

Estymacja przedziałowa - przedziały ufności dla średnich. Wrocław, 5 grudnia 2014 Estymacja przedziałowa - przedziały ufności dla średnich Wrocław, 5 grudnia 2014 Przedział ufności Niech będzie dana próba X 1, X 2,..., X n z rozkładu P θ, θ Θ. Definicja Przedziałem ufności dla paramertu

Bardziej szczegółowo

Wprowadzenie do Sieci Neuronowych lista zadań 1

Wprowadzenie do Sieci Neuronowych lista zadań 1 Wprowadzenie do Sieci Neuronowych lista zadań 1 Maja Czoków, Jarosław Piersa 2010-10-04 1 Zasadyzaliczania 1.1 Oceny Zaliczenie laboratoriów na podstawie implementowania omawianych algorytmów. Każde zadanie

Bardziej szczegółowo

Instrukcja realizacji ćwiczenia

Instrukcja realizacji ćwiczenia SIEĆ KOHONENA ROZPOZNAWANIE OBRAZÓW Cel ćwiczenia: zapoznanie się ze sposobem reprezentacji wiedzy w sieciach Kohonena i mechanizmami sąsiedztwa i sumienia neuronów. Zadanie do analizy: analizujemy sieć

Bardziej szczegółowo

Obliczenia iteracyjne

Obliczenia iteracyjne Lekcja Strona z Obliczenia iteracyjne Zmienne iteracyjne (wyliczeniowe) Obliczenia iteracyjne wymagają zdefiniowania specjalnej zmiennej nazywanej iteracyjną lub wyliczeniową. Zmienną iteracyjną od zwykłej

Bardziej szczegółowo

Co to jest grupowanie

Co to jest grupowanie Grupowanie danych Co to jest grupowanie 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Szukanie grup, obszarów stanowiących lokalne gromady punktów Co to jest grupowanie

Bardziej szczegółowo

Algorytmy stochastyczne laboratorium 03

Algorytmy stochastyczne laboratorium 03 Algorytmy stochastyczne laboratorium 03 Jarosław Piersa 10 marca 2014 1 Projekty 1.1 Problem plecakowy (1p) Oznaczenia: dany zbiór przedmiotów x 1,.., x N, każdy przedmiot ma określoną wagę w(x i ) i wartość

Bardziej szczegółowo

Elektroniczne materiały dydaktyczne do przedmiotu Wstęp do Sieci Neuronowych

Elektroniczne materiały dydaktyczne do przedmiotu Wstęp do Sieci Neuronowych Elektroniczne materiały dydaktyczne do przedmiotu Wstęp do Sieci Neuronowych Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-12-21 Koncepcja kursu Koncepcja

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Ćwiczenia lista zadań nr 7 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie

Bardziej szczegółowo

Sortowanie topologiczne skierowanych grafów acyklicznych

Sortowanie topologiczne skierowanych grafów acyklicznych Sortowanie topologiczne skierowanych grafów acyklicznych Metody boolowskie w informatyce Robert Sulkowski http://robert.brainusers.net 23 stycznia 2010 1 Definicja 1 (Cykl skierowany). Niech C = (V, A)

Bardziej szczegółowo

Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe

Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe Nierówność Czebyszewa Niech X będzie zmienną losową o skończonej wariancji V ar(x). Wtedy wartość oczekiwana E(X) też jest skończona i

Bardziej szczegółowo

Janusz Adamowski METODY OBLICZENIOWE FIZYKI Kwantowa wariacyjna metoda Monte Carlo. Problem własny dla stanu podstawowego układu N cząstek

Janusz Adamowski METODY OBLICZENIOWE FIZYKI Kwantowa wariacyjna metoda Monte Carlo. Problem własny dla stanu podstawowego układu N cząstek Janusz Adamowski METODY OBLICZENIOWE FIZYKI 1 Rozdział 20 KWANTOWE METODY MONTE CARLO 20.1 Kwantowa wariacyjna metoda Monte Carlo Problem własny dla stanu podstawowego układu N cząstek (H E 0 )ψ 0 (r)

Bardziej szczegółowo

Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału.

Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału. Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału Wiktor Miszuris 2 czerwca 2004 Przepustowość kanału Zacznijmy od wprowadzenia równości IA, B HB HB A HA HA B Można ją intuicyjnie

Bardziej szczegółowo

zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych

zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych 1. [E.A 5.10.1996/zad.4] Funkcja gęstości dana jest wzorem { 3 x + 2xy + 1 y dla (x y) (0 1) (0 1) 4 4 P (X > 1 2 Y > 1 2 ) wynosi:

Bardziej szczegółowo

Statystyka i eksploracja danych

Statystyka i eksploracja danych Wykład XII: Zagadnienia redukcji wymiaru danych 12 maja 2014 Definicja Niech X będzie zmienną losową o skończonym drugim momencie. Standaryzacją zmiennej X nazywamy zmienną losową Z = X EX Var (X ). Definicja

Bardziej szczegółowo

i=7 X i. Zachodzi EX i = P(X i = 1) = 1 2, i {1, 2,..., 11} oraz EX ix j = P(X i = 1, X j = 1) = 1 7 VarS 2 2 = 14 3 ( 5 2 =

i=7 X i. Zachodzi EX i = P(X i = 1) = 1 2, i {1, 2,..., 11} oraz EX ix j = P(X i = 1, X j = 1) = 1 7 VarS 2 2 = 14 3 ( 5 2 = Kombinatoryka W tej serii zadań można znaleźć pojawiające się na egzaminach zadania dotyczące problemu wyznaczania prostych parametrów rozkładu w przypadku zgadnień kombinatorycznych. Zadania te wymagają

Bardziej szczegółowo

Zaawansowane metody numeryczne

Zaawansowane metody numeryczne Wykład 10 Rozkład LU i rozwiązywanie układów równań liniowych Niech będzie dany układ równań liniowych postaci Ax = b Załóżmy, że istnieją macierze L (trójkątna dolna) i U (trójkątna górna), takie że macierz

Bardziej szczegółowo

Najkrótsza droga Maksymalny przepływ Najtańszy przepływ Analiza czynności (zdarzeń)

Najkrótsza droga Maksymalny przepływ Najtańszy przepływ Analiza czynności (zdarzeń) Carl Adam Petri (1926-2010) Najkrótsza droga Maksymalny przepływ Najtańszy przepływ Analiza czynności (zdarzeń) Problemy statyczne Kommunikation mit Automaten praca doktorska (1962) opis procesów współbieżnych

Bardziej szczegółowo

Wprowadzenie do Sieci Neuronowych Laboratorium 02 Perceptron prosty cd

Wprowadzenie do Sieci Neuronowych Laboratorium 02 Perceptron prosty cd Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki Wprowadzenie do Sieci

Bardziej szczegółowo

Wykład 9: Markov Chain Monte Carlo

Wykład 9: Markov Chain Monte Carlo RAP 412 17.12.2008 Wykład 9: Markov Chain Monte Carlo Wykładowca: Andrzej Ruciński Pisarz: Ewelina Rychlińska i Wojciech Wawrzyniak Wstęp W tej części wykładu zajmiemy się zastosowaniami łańcuchów Markowa

Bardziej szczegółowo

Programowanie dynamiczne i algorytmy zachłanne

Programowanie dynamiczne i algorytmy zachłanne Programowanie dynamiczne i algorytmy zachłanne Tomasz Głowacki tglowacki@cs.put.poznan.pl Zajęcia finansowane z projektu "Rozwój i doskonalenie kształcenia na Politechnice Poznańskiej w zakresie technologii

Bardziej szczegółowo

Podstawy sztucznej inteligencji

Podstawy sztucznej inteligencji wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,

Bardziej szczegółowo

AKADEMIA GÓRNICZO-HUTNICZA Wydział Matematyki Stosowanej ROZKŁAD NORMALNY ROZKŁAD GAUSSA

AKADEMIA GÓRNICZO-HUTNICZA Wydział Matematyki Stosowanej ROZKŁAD NORMALNY ROZKŁAD GAUSSA AKADEMIA GÓRNICZO-HUTNICZA Wydział Matematyki Stosowanej KATEDRA MATEMATYKI TEMAT PRACY: ROZKŁAD NORMALNY ROZKŁAD GAUSSA AUTOR: BARBARA MARDOSZ Kraków, styczeń 2008 Spis treści 1 Wprowadzenie 2 2 Definicja

Bardziej szczegółowo

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Piotr Dalka Przykładowe algorytmy decyzyjne Sztuczne sieci neuronowe Algorytm k najbliższych sąsiadów Kaskada klasyfikatorów AdaBoost Naiwny

Bardziej szczegółowo

Dystrybucje, wiadomości wstępne (I)

Dystrybucje, wiadomości wstępne (I) Temat 8 Dystrybucje, wiadomości wstępne (I) Wielkości fizyczne opisujemy najczęściej przyporządkowując im funkcje (np. zależne od czasu). Inną drogą opisu tych wielkości jest przyporządkowanie im funkcjonałów

Bardziej szczegółowo

ESTYMACJA PRZEDZIAŁOWA WYBRANYCH PARAMETRÓW

ESTYMACJA PRZEDZIAŁOWA WYBRANYCH PARAMETRÓW ESTYMACJA PRZEDZIAŁOWA WYBRANYCH PARAMETRÓW POPULACJI Szkic wykładu Wprowadzenie 1 Wprowadzenie 2 3 4 Przypomnienie dotychczasowych rozważań Przedziałem ufności nazywamy przedział losowy, o którym przypuszczamy

Bardziej szczegółowo

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA BUDOWA RZECZYWISTEGO NEURONU

Bardziej szczegółowo

Weryfikacja hipotez statystycznych

Weryfikacja hipotez statystycznych Weryfikacja hipotez statystycznych Przykład (wstępny). Producent twierdzi, że wadliwość produkcji wynosi 5%. My podejrzewamy, że rzeczywista wadliwość produkcji wynosi 15%. Pobieramy próbę stuelementową

Bardziej szczegółowo

Fuzja sygnałów i filtry bayesowskie

Fuzja sygnałów i filtry bayesowskie Fuzja sygnałów i filtry bayesowskie Roboty Manipulacyjne i Mobilne dr inż. Janusz Jakubiak Katedra Cybernetyki i Robotyki Wydział Elektroniki, Politechnika Wrocławska Wrocław, 10.03.2015 Dlaczego potrzebna

Bardziej szczegółowo

Wstęp do Rachunku Prawdopodobieństwa, IIr. WMS

Wstęp do Rachunku Prawdopodobieństwa, IIr. WMS Wstęp do Rachunku Prawdopodobieństwa, IIr. WMS przykładowe zadania na. kolokwium czerwca 6r. Poniżej podany jest przykładowy zestaw zadań. Podczas kolokwium na ich rozwiązanie przeznaczone będzie ok. 85

Bardziej szczegółowo

Algorytm Dijkstry znajdowania najkrótszej ścieżki w grafie

Algorytm Dijkstry znajdowania najkrótszej ścieżki w grafie Algorytm Dijkstry znajdowania najkrótszej ścieżki w grafie Używane struktury danych: V - zbiór wierzchołków grafu, V = {1,2,3...,n} E - zbiór krawędzi grafu, E = {(i,j),...}, gdzie i, j Î V i istnieje

Bardziej szczegółowo

Matematyka dyskretna - 7.Drzewa

Matematyka dyskretna - 7.Drzewa Matematyka dyskretna - 7.Drzewa W tym rozdziale zajmiemy się drzewami: specjalnym przypadkiem grafów. Są one szczególnie przydatne do przechowywania informacji, umożliwiającego szybki dostęp do nich. Definicja

Bardziej szczegółowo

1 Automaty niedeterministyczne

1 Automaty niedeterministyczne Szymon Toruńczyk 1 Automaty niedeterministyczne Automat niedeterministyczny A jest wyznaczony przez następujące składniki: Alfabet skończony A Zbiór stanów Q Zbiór stanów początkowych Q I Zbiór stanów

Bardziej szczegółowo

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI

Bardziej szczegółowo

b) Niech: - wśród trzech wylosowanych opakowań jest co najwyżej jedno o dawce 15 mg. Wówczas:

b) Niech: - wśród trzech wylosowanych opakowań jest co najwyżej jedno o dawce 15 mg. Wówczas: ROZWIĄZANIA I ODPOWIEDZI Zadanie A1. Można założyć, że przy losowaniu trzech kul jednocześnie kolejność ich wylosowania nie jest istotna. A więc: Ω = 20 3. a) Niech: - wśród trzech wylosowanych opakowań

Bardziej szczegółowo

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Dr Anna ADRIAN Paw B5, pok 407 adrian@tempus.metal.agh.edu.pl

Bardziej szczegółowo

Sprzedaż online. Piotr Sankowski Uniwersytet Warszawski Warszawa p. 1/40

Sprzedaż online. Piotr Sankowski Uniwersytet Warszawski Warszawa p. 1/40 Sprzedaż online Piotr Sankowski Uniwersytet Warszawski Warszawa 18.04.2013 - p. 1/40 Plan wykładu Problem skojarzeń online Algorytm zachłanny Algorytm losowo rankujacy Dolne ograniczenie Problem aukcji

Bardziej szczegółowo

Plan wykładu. Przykład. Przykład 3/19/2011. Przykład zagadnienia transportowego. Optymalizacja w procesach biznesowych Wykład 2 DECYZJA?

Plan wykładu. Przykład. Przykład 3/19/2011. Przykład zagadnienia transportowego. Optymalizacja w procesach biznesowych Wykład 2 DECYZJA? /9/ Zagadnienie transportowe Optymalizacja w procesach biznesowych Wykład --9 Plan wykładu Przykład zagadnienia transportowego Sformułowanie problemu Własności zagadnienia transportowego Metoda potencjałów

Bardziej szczegółowo

Planowanie przedsięwzięć

Planowanie przedsięwzięć K.Pieńkosz Badania Operacyjne Planowanie przedsięwzięć 1 Planowanie przedsięwzięć Model przedsięwzięcia lista operacji relacje poprzedzania operacji modele operacji funkcja celu planowania K.Pieńkosz Badania

Bardziej szczegółowo

Kolorowanie wierzchołków Kolorowanie krawędzi Kolorowanie regionów i map. Wykład 8. Kolorowanie

Kolorowanie wierzchołków Kolorowanie krawędzi Kolorowanie regionów i map. Wykład 8. Kolorowanie Wykład 8. Kolorowanie 1 / 62 Kolorowanie wierzchołków - definicja Zbiory niezależne Niech G będzie grafem bez pętli. Definicja Mówimy, że G jest grafem k kolorowalnym, jeśli każdemu wierzchołkowi możemy

Bardziej szczegółowo

Prawdopodobieństwo i statystyka

Prawdopodobieństwo i statystyka Wykład XI: Testowanie hipotez statystycznych 12 stycznia 2015 Przykład Motywacja X 1, X 2,..., X N N (µ, σ 2 ), Y 1, Y 2,..., Y M N (ν, δ 2 ). Chcemy sprawdzić, czy µ = ν i σ 2 = δ 2, czyli że w obu populacjach

Bardziej szczegółowo

Sieci komputerowe. Wykład 8: Wyszukiwarki internetowe. Marcin Bieńkowski. Instytut Informatyki Uniwersytet Wrocławski

Sieci komputerowe. Wykład 8: Wyszukiwarki internetowe. Marcin Bieńkowski. Instytut Informatyki Uniwersytet Wrocławski Sieci komputerowe Wykład 8: Wyszukiwarki internetowe Marcin Bieńkowski Instytut Informatyki Uniwersytet Wrocławski Sieci komputerowe (II UWr) Wykład 8 1 / 37 czyli jak znaleźć igłę w sieci Sieci komputerowe

Bardziej szczegółowo

Zaawansowane algorytmy i struktury danych

Zaawansowane algorytmy i struktury danych Zaawansowane algorytmy i struktury danych u dr Barbary Marszał-Paszek Opracowanie pytań teoretycznych z egzaminów. Strona 1 z 12 Pytania teoretyczne z egzaminu pisemnego z 25 czerwca 2014 (studia dzienne)

Bardziej szczegółowo

ALHE. prof. Jarosław Arabas semestr 15Z

ALHE. prof. Jarosław Arabas semestr 15Z ALHE prof. Jarosław Arabas semestr 15Z Wykład 5 Błądzenie przypadkowe, Algorytm wspinaczkowy, Przeszukiwanie ze zmiennym sąsiedztwem, Tabu, Symulowane wyżarzanie 1. Błądzenie przypadkowe: Pierwszym krokiem

Bardziej szczegółowo

Wykład 11: Martyngały: Twierdzenie o zbieżności i Hoeffdinga

Wykład 11: Martyngały: Twierdzenie o zbieżności i Hoeffdinga RAP 412 21.01.2009 Wykład 11: Martyngały: Twierdzenie o zbieżności i Hoeffdinga Wykładowca: Andrzej Ruciński Pisarz: Łukasz Waszak 1 Wstęp Na ostatnim wykładzie przedstawiliśmy twierdzenie o zbieżności

Bardziej szczegółowo

EGZAMIN - Wersja A. ALGORYTMY I STRUKTURY DANYCH Lisek89 opracowanie kartki od Pani dr E. Koszelew

EGZAMIN - Wersja A. ALGORYTMY I STRUKTURY DANYCH Lisek89 opracowanie kartki od Pani dr E. Koszelew 1. ( pkt) Dany jest algorytm, który dla dowolnej liczby naturalnej n, powinien wyznaczyd sumę kolejnych liczb naturalnych mniejszych od n. Wynik algorytmu jest zapisany w zmiennej suma. Algorytm i=1; suma=0;

Bardziej szczegółowo

Sieci neuronowe - dokumentacja projektu

Sieci neuronowe - dokumentacja projektu Sieci neuronowe - dokumentacja projektu Predykcja finansowa, modelowanie wskaźnika kursu spółki KGHM. Piotr Jakubas Artur Kosztyła Marcin Krzych Kraków 2009 1. Sieci neuronowe - dokumentacja projektu...

Bardziej szczegółowo

Matematyka Dyskretna 2/2008 rozwiązania. x 2 = 5x 6 (1) s 1 = Aα 1 + Bβ 1. A + B = c 2 A + 3 B = d

Matematyka Dyskretna 2/2008 rozwiązania. x 2 = 5x 6 (1) s 1 = Aα 1 + Bβ 1. A + B = c 2 A + 3 B = d C. Bagiński Materiały dydaktyczne 1 Matematyka Dyskretna /008 rozwiązania 1. W każdym z następujących przypadków podać jawny wzór na s n i udowodnić indukcyjnie jego poprawność: (a) s 0 3, s 1 6, oraz

Bardziej szczegółowo

Rozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład

Rozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład Rozdział 1 Wektory losowe 1.1 Wektor losowy i jego rozkład Definicja 1 Wektor X = (X 1,..., X n ), którego każda współrzędna jest zmienną losową, nazywamy n-wymiarowym wektorem losowym (krótko wektorem

Bardziej szczegółowo

), którą będziemy uważać za prawdziwą jeżeli okaże się, że hipoteza H 0

), którą będziemy uważać za prawdziwą jeżeli okaże się, że hipoteza H 0 Testowanie hipotez Każde przypuszczenie dotyczące nieznanego rozkładu badanej cechy nazywamy hipotezą statystyczną. Hipoteza określająca jedynie wartości nieznanych parametrów liczbowych badanej cechy

Bardziej szczegółowo

Tematy próbnego pisemnego egzaminu dojrzałości z matematyki

Tematy próbnego pisemnego egzaminu dojrzałości z matematyki Tematy próbnego pisemnego egzaminu dojrzałości z matematyki Zadanie Rozwiąż nierówność: [ +log 0, ( x- )] + [ +log 0, ( x- )] + [ +log 0, ( x- )] ++ + [ + log 0, ( x- )] Zadanie Odcinek AB, gdzie A = (,

Bardziej szczegółowo

WEKTORY I WARTOŚCI WŁASNE MACIERZY. = λ c (*) problem przybliżonego rozwiązania zagadnienia własnego dla operatorów w mechanice kwantowej

WEKTORY I WARTOŚCI WŁASNE MACIERZY. = λ c (*) problem przybliżonego rozwiązania zagadnienia własnego dla operatorów w mechanice kwantowej WEKTORY I WARTOŚCI WŁASNE MACIERZY Ac λ c (*) ( A λi) c nietrywialne rozwiązanie gdy det A λi problem przybliżonego rozwiązania zagadnienia własnego dla operatorów w mechanice kwantowej A - macierzowa

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się algorytmem gradientu prostego

Bardziej szczegółowo

Zbigniew S. Szewczak Uniwersytet Mikołaja Kopernika Wydział Matematyki i Informatyki. Graniczne własności łańcuchów Markowa

Zbigniew S. Szewczak Uniwersytet Mikołaja Kopernika Wydział Matematyki i Informatyki. Graniczne własności łańcuchów Markowa Zbigniew S. Szewczak Uniwersytet Mikołaja Kopernika Wydział Matematyki i Informatyki Graniczne własności łańcuchów Markowa Toruń, 2003 Co to jest łańcuch Markowa? Każdy skończony, jednorodny łańcuch Markowa

Bardziej szczegółowo

Analiza kanoniczna w pigułce

Analiza kanoniczna w pigułce Analiza kanoniczna w pigułce Przemysław Biecek Seminarium Statystyka w medycynie Propozycje tematów prac dyplomowych 1/14 Plan 1 Słów kilka o podobnych metodach (PCA, regresja) 2 Motywacja, czyli jakiego

Bardziej szczegółowo

Metody numeryczne. materiały do wykładu dla studentów. 7. Całkowanie numeryczne

Metody numeryczne. materiały do wykładu dla studentów. 7. Całkowanie numeryczne Metody numeryczne materiały do wykładu dla studentów 7. Całkowanie numeryczne 7.1. Całkowanie numeryczne 7.2. Metoda trapezów 7.3. Metoda Simpsona 7.4. Metoda 3/8 Newtona 7.5. Ogólna postać wzorów kwadratur

Bardziej szczegółowo

Algorytmiczne sieci neuronowe idea działania, słabe i mocne strony

Algorytmiczne sieci neuronowe idea działania, słabe i mocne strony Patryk DUŃSKI Wydział Informatyki, Zachodniopomorski Uniwersytet Technologiczny w Szczecinie E mail: pdunski@wi.zut.edu.pl Algorytmiczne sieci neuronowe idea działania, słabe i mocne strony Streszczenie:

Bardziej szczegółowo

Badania operacyjne: Wykład Zastosowanie kolorowania grafów w planowaniu produkcji typu no-idle

Badania operacyjne: Wykład Zastosowanie kolorowania grafów w planowaniu produkcji typu no-idle Badania operacyjne: Wykład Zastosowanie kolorowania grafów w planowaniu produkcji typu no-idle Paweł Szołtysek 12 czerwca 2008 Streszczenie Planowanie produkcji jest jednym z problemów optymalizacji dyskretnej,

Bardziej szczegółowo

F. Piękniewski and T. Schreiber. Preprint No 8/2005 Version 1, posted on April 20, 2005

F. Piękniewski and T. Schreiber. Preprint No 8/2005 Version 1, posted on April 20, 2005 presence of correlated patterns F. Piękniewski and T. Schreiber Preprint No 8/2005 Version 1, posted on April 20, 2005 UNIWERSYTET MIKOŁAJA KOPERNIKA W TORUNIU WYDZIAŁ MATEMATYKI I INFORMATYKI Filip Piękniewski

Bardziej szczegółowo

Testowanie hipotez. Hipoteza prosta zawiera jeden element, np. H 0 : θ = 2, hipoteza złożona zawiera więcej niż jeden element, np. H 0 : θ > 4.

Testowanie hipotez. Hipoteza prosta zawiera jeden element, np. H 0 : θ = 2, hipoteza złożona zawiera więcej niż jeden element, np. H 0 : θ > 4. Testowanie hipotez Niech X = (X 1... X n ) będzie próbą losową na przestrzeni X zaś P = {P θ θ Θ} rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby X. Definicja 1. Hipotezą zerową Θ

Bardziej szczegółowo

Statystyka matematyczna Testowanie hipotez i estymacja parametrów. Wrocław, r

Statystyka matematyczna Testowanie hipotez i estymacja parametrów. Wrocław, r Statystyka matematyczna Testowanie hipotez i estymacja parametrów Wrocław, 18.03.2016r Plan wykładu: 1. Testowanie hipotez 2. Etapy testowania hipotez 3. Błędy 4. Testowanie wielokrotne 5. Estymacja parametrów

Bardziej szczegółowo

Optymalizacja systemów

Optymalizacja systemów Optymalizacja systemów Laboratorium Zadanie nr 3 Sudoku autor: A. Gonczarek Cel zadania Celem zadania jest napisanie programu rozwiązującego Sudoku, formułując problem optymalizacji jako zadanie programowania

Bardziej szczegółowo

dwójkę liczącą Licznikiem Podział liczników:

dwójkę liczącą Licznikiem Podział liczników: 1. Dwójka licząca Przerzutnik typu D łatwo jest przekształcić w przerzutnik typu T i zrealizować dzielnik modulo 2 - tzw. dwójkę liczącą. W tym celu wystarczy połączyć wyjście zanegowane Q z wejściem D.

Bardziej szczegółowo

Zadania optymalizacyjne w szkole ponadgimnazjalnej. Materiały do przedmiotu Metodyka Nauczania Matematyki 2 (G-PG). Prowadzący dr Andrzej Rychlewicz

Zadania optymalizacyjne w szkole ponadgimnazjalnej. Materiały do przedmiotu Metodyka Nauczania Matematyki 2 (G-PG). Prowadzący dr Andrzej Rychlewicz Zadania optymalizacyjne w szkole ponadgimnazjalnej. Materiały do przedmiotu Metodyka Nauczania Matematyki 2 G-PG). Prowadzący dr Andrzej Rychlewicz Przeanalizujmy następujące zadanie. Zadanie. próbna matura

Bardziej szczegółowo

Uniwersytet Mikołaja Kopernika. Wydział Matematyki i Informatyki. Jarosław Piersa piersaj(at)mat.uni.torun.pl

Uniwersytet Mikołaja Kopernika. Wydział Matematyki i Informatyki. Jarosław Piersa piersaj(at)mat.uni.torun.pl Uniwersytet Mikołaja Kopernika Wydział Matematyki i Informatyki Jarosław Piersa piersaj(at)mat.uni.torun.pl Abstrakt Poniższy referat dotyczy zagadnień uczenia w sieciach neuronowych i bayesowskich(sieciach

Bardziej szczegółowo

Algorytmy sortujące i wyszukujące

Algorytmy sortujące i wyszukujące Algorytmy sortujące i wyszukujące Zadaniem algorytmów sortujących jest ułożenie elementów danego zbioru w ściśle określonej kolejności. Najczęściej wykorzystywany jest porządek numeryczny lub leksykograficzny.

Bardziej szczegółowo

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ optymalizacje podejmowanych decyzji Tomasz Karczyoski Wydział W-08 IZ Czym są sieci neuronowe Struktura matematycznych oraz programowy lub sprzętowy model, realizujących obliczenia lub przetwarzanie sygnałów

Bardziej szczegółowo

Zadania do wykładu Jakościowa Teoria Równań Różniczkowych Zwyczajnych

Zadania do wykładu Jakościowa Teoria Równań Różniczkowych Zwyczajnych Zadania do wykładu Jakościowa Teoria Równań Różniczkowych Zwyczajnych [ ] e Zadanie 1 Pokazać, że X(t) = 2t cos t sin t e 2t jest specjalną macierzą fundamentalną w sin t cos t [ 2 cos chwili τ = 0 układu

Bardziej szczegółowo

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18 Eksploracja Danych wykład 4 Sebastian Zając WMP.SNŚ UKSW 10 maja 2017 Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja 2017 1 / 18 Klasyfikacja danych Klasyfikacja Najczęściej stosowana (najstarsza)

Bardziej szczegółowo

Rachunek Prawdopodobieństwa i Statystyka

Rachunek Prawdopodobieństwa i Statystyka Rachunek Prawdopodobieństwa i Statystyka W 2. Probabilistyczne modele danych Zmienne losowe. Rozkład prawdopodobieństwa i dystrybuanta. Wartość oczekiwana i wariancja zmiennej losowej Dr Anna ADRIAN Zmienne

Bardziej szczegółowo

Rachunek prawdopodobieństwa i statystyka - W 9 Testy statystyczne testy zgodności. Dr Anna ADRIAN Paw B5, pok407

Rachunek prawdopodobieństwa i statystyka - W 9 Testy statystyczne testy zgodności. Dr Anna ADRIAN Paw B5, pok407 Rachunek prawdopodobieństwa i statystyka - W 9 Testy statystyczne testy zgodności Dr Anna ADRIAN Paw B5, pok407 adan@agh.edu.pl Weryfikacja hipotez dotyczących postaci nieznanego rozkładu -Testy zgodności.

Bardziej szczegółowo

Testowanie modeli predykcyjnych

Testowanie modeli predykcyjnych Testowanie modeli predykcyjnych Wstęp Podczas budowy modelu, którego celem jest przewidywanie pewnych wartości na podstawie zbioru danych uczących poważnym problemem jest ocena jakości uczenia i zdolności

Bardziej szczegółowo

Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11,

Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 1 Kwantyzacja skalarna Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 10.05.005 Kwantyzacja polega na reprezentowaniu dużego zbioru wartości (być może nieskończonego) za pomocą wartości

Bardziej szczegółowo

Ważne rozkłady i twierdzenia

Ważne rozkłady i twierdzenia Ważne rozkłady i twierdzenia Rozkład dwumianowy i wielomianowy Częstość. Prawo wielkich liczb Rozkład hipergeometryczny Rozkład Poissona Rozkład normalny i rozkład Gaussa Centralne twierdzenie graniczne

Bardziej szczegółowo

Inteligentne systemy informacyjne

Inteligentne systemy informacyjne Inteligentne systemy informacyjne Moduł 10 Mieczysław Muraszkiewicz www.icie.com.pl/lect_pw.htm M. Muraszkiewicz strona 1 Sieci neuronowe szkic Moduł 10 M. Muraszkiewicz strona 2 Dwa nurty M. Muraszkiewicz

Bardziej szczegółowo

Andrzej Wiśniewski Logika I Materiały do wykładu dla studentów kognitywistyki. Wykład 10. Twierdzenie o pełności systemu aksjomatycznego KRZ

Andrzej Wiśniewski Logika I Materiały do wykładu dla studentów kognitywistyki. Wykład 10. Twierdzenie o pełności systemu aksjomatycznego KRZ Andrzej Wiśniewski Logika I Materiały do wykładu dla studentów kognitywistyki Wykład 10. Twierdzenie o pełności systemu aksjomatycznego KRZ 1 Tezy KRZ Pewien system aksjomatyczny KRZ został przedstawiony

Bardziej szczegółowo

Problem kodowania w automatach

Problem kodowania w automatach roblem kodowania w automatach Kodowanie stanów to przypisanie kolejnym stanom automatu odpowiednich kodów binarnych. Minimalna liczba bitów b potrzebna do zakodowania automatu, w którym liczność zbioru

Bardziej szczegółowo

Wyszukiwanie binarne

Wyszukiwanie binarne Wyszukiwanie binarne Wyszukiwanie binarne to technika pozwalająca na przeszukanie jakiegoś posortowanego zbioru danych w czasie logarytmicznie zależnym od jego wielkości (co to dokładnie znaczy dowiecie

Bardziej szczegółowo

Zadania ze statystyki, cz.7 - hipotezy statystyczne, błąd standardowy, testowanie hipotez statystycznych

Zadania ze statystyki, cz.7 - hipotezy statystyczne, błąd standardowy, testowanie hipotez statystycznych Zadania ze statystyki, cz.7 - hipotezy statystyczne, błąd standardowy, testowanie hipotez statystycznych Zad. 1 Średnia ocen z semestru letniego w populacji studentów socjologii w roku akademickim 2011/2012

Bardziej szczegółowo

Algorytmy genetyczne w interpolacji wielomianowej

Algorytmy genetyczne w interpolacji wielomianowej Algorytmy genetyczne w interpolacji wielomianowej (seminarium robocze) Seminarium Metod Inteligencji Obliczeniowej Warszawa 22 II 2006 mgr inż. Marcin Borkowski Plan: Przypomnienie algorytmu niszowego

Bardziej szczegółowo

Metody kodowania wybranych cech biometrycznych na przykładzie wzoru naczyń krwionośnych dłoni i przedramienia. Mgr inż.

Metody kodowania wybranych cech biometrycznych na przykładzie wzoru naczyń krwionośnych dłoni i przedramienia. Mgr inż. Metody kodowania wybranych cech biometrycznych na przykładzie wzoru naczyń krwionośnych dłoni i przedramienia Mgr inż. Dorota Smorawa Plan prezentacji 1. Wprowadzenie do zagadnienia 2. Opis urządzeń badawczych

Bardziej szczegółowo

Wprowadzenie do badań operacyjnych - wykład 2 i 3

Wprowadzenie do badań operacyjnych - wykład 2 i 3 Wprowadzenie do badań operacyjnych - wykład 2 i 3 Hanna Furmańczyk 14 listopada 2008 Programowanie liniowe (PL) - wszystkie ograniczenia muszą być liniowe - wszystkie zmienne muszą być ciągłe n j=1 c j

Bardziej szczegółowo

Algorytmy sztucznej inteligencji

Algorytmy sztucznej inteligencji Algorytmy sztucznej inteligencji Dynamiczne sieci neuronowe 1 Zapis macierzowy sieci neuronowych Poniżej omówione zostaną części składowe sieci neuronowych i metoda ich zapisu za pomocą macierzy. Obliczenia

Bardziej szczegółowo

Zakładamy, że są niezależnymi zmiennymi podlegającymi (dowolnemu) rozkładowi o skończonej wartości oczekiwanej i wariancji.

Zakładamy, że są niezależnymi zmiennymi podlegającymi (dowolnemu) rozkładowi o skończonej wartości oczekiwanej i wariancji. Wnioskowanie_Statystyczne_-_wykład Spis treści 1 Centralne Twierdzenie Graniczne 1.1 Twierdzenie Lindeberga Levy'ego 1.2 Dowód 1.2.1 funkcja tworząca sumy zmiennych niezależnych 1.2.2 pochodna funkcji

Bardziej szczegółowo

dr inż. Jarosław Forenc

dr inż. Jarosław Forenc Informatyka 2 Politechnika Białostocka - Wydział Elektryczny Elektrotechnika, semestr III, studia stacjonarne I stopnia Rok akademicki 2010/2011 Wykład nr 7 (24.01.2011) dr inż. Jarosław Forenc Rok akademicki

Bardziej szczegółowo

EGZAMIN MAGISTERSKI, czerwiec 2015 Biomatematyka

EGZAMIN MAGISTERSKI, czerwiec 2015 Biomatematyka Biomatematyka Rozpatrzmy chorobę, która rozprzestrzenia się za pośrednictwem nosicieli, u których nie występują jej symptomy. Niech C(t) oznacza liczbę nosicieli w chwili t. Zakładamy, że nosiciele są

Bardziej szczegółowo

Złożoność obliczeniowa zadania, zestaw 2

Złożoność obliczeniowa zadania, zestaw 2 Złożoność obliczeniowa zadania, zestaw 2 Określanie złożoności obliczeniowej algorytmów, obliczanie pesymistycznej i oczekiwanej złożoności obliczeniowej 1. Dana jest tablica jednowymiarowa A o rozmiarze

Bardziej szczegółowo

Algorytmy mrówkowe w dynamicznych problemach transportowych

Algorytmy mrówkowe w dynamicznych problemach transportowych y w dynamicznych problemach transportowych prof. dr hab Jacek Mandziuk MiNI, PW 3 czerwca 2013 Cel pracy Zbadanie zachowania algorytmu go zwykłego oraz z zaimplementowanymi optymalizacjami dla problemów

Bardziej szczegółowo

Baza w jądrze i baza obrazu ( )

Baza w jądrze i baza obrazu ( ) Przykład Baza w jądrze i baza obrazu (839) Znajdź bazy jądra i obrazu odwzorowania α : R 4 R 3, gdzie α(x, y, z, t) = (x + 2z + t, 2x + y 3z 5t, x y + z + 4t) () zór ten oznacza, że α jest odwzorowaniem

Bardziej szczegółowo

Zagadnienie transportowe

Zagadnienie transportowe 9//9 Zagadnienie transportowe Optymalizacja w procesach biznesowych Wykład Plan wykładu Przykład zagadnienia transportowego Sformułowanie problemu Własności zagadnienia transportowego Metoda potencjałów

Bardziej szczegółowo