Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału.
|
|
- Elżbieta Kowalczyk
- 6 lat temu
- Przeglądów:
Transkrypt
1 Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału Wiktor Miszuris 2 czerwca 2004 Przepustowość kanału Zacznijmy od wprowadzenia równości IA, B HB HB A HA HA B Można ją intuicyjnie zilustrować poniższym rysunkiem Rysunek : Intuicyjne przedstawienie związków pomiędzy entropią i informacją Intuicyjnie informacja IA, B jest to miara tego, co musimy jeszcze wiedzieć o A, jeśli wiemy wszystko o B I na odwrót Załóżmy, że mamy dwa alfabety A oraz B i kanał z A do B reprezentowany przez macierz gdzie p i,j P a i b j p, p,n p m, p m,n Prawdopodobieństwo wystąpienia symbolu b na wyjściu z kanału można opisać równaniem: pb a A papa b Intuicyjnie można ten wzór zailustrować poniższym rysunkiem prawdopodobieństwo wystąpienia na wyjściu symbolu b jest sumą iloczynów prawdopodobieństwa wystąpienia symbolu a na wejściu oraz prawdopodobieństwa przejścia w kanale z a na b Zdefiniujemy przepustowość kanału jako: C max IA, B A Rozkład A, dla którego otrzymywane jest maksimum, nazywany jest optymalnym rozkładem wejściowym Przykład : Obliczyć przepustowość binarnego kanału symetrycznego
2 Dla przypomnienia, binarnym kanałem symetrycznym nazywamy kanał charakteryzujący się następującymi cechami: Alfabetem wejściowym jest A {0, }, alfabetem wyjściowym jest również B {0, } P P Macierzą reprezentującą kanał jest, gdzie P P P P Wprowadźmy funkcję pomocniczą H b, nazywaną funkcją binarnej entropii H b x x logx x log x Jej wykres zaprezentowany jest poniżej Załóżmy, że rozkładem alfabetu A jest P A 0 q oraz P A q Naszym zadaniem jest zmaksymalizować wartość IA, B HB HB A Zauważmy, że: HB x B P x log P x P q + P q log H b P q + P q P q + P q + P q + P q log P q + P q oraz HB A P A 0 [ P B 0 A 0 log P B 0 A P B A 0 log P B A 0 ] + + P A [ P B 0 A log P B 0 A + + P B A log P B A ] P A 0 P log P + P log P + P A P log P + P log P P log P + P log P H b P A zatem szukana przepustowość kanału binarnego, jest równa max IA, B H b P q + P q H b P H b 05 H b P q Wartość 05 nie jest wybrana przypadkowo Funkcja H b x osiąga swoje maksimum w tym punkcie patrz rysunek powyżej 2 Odczytywanie wiadomości z kanału Załóżmy, że dostaliśmy z kanału wiadomość b W jaki sposób można się dowiedzieć, co miał na myśli nadawca? Lub inaczej mówiąc, jaka wiadomość a została oryginalnie włożona do kanału? W 2
3 tym celu zdefiniujmy pojęcie reguły decyzyjnej : B A Funkcja ta ma za zadanie zwrócić jak najdokładniej symbol włożony przez nadawcę na wejściu kanału przetłumaczyć wiadomość Rozpatrzymy tutaj dwa przypadki Pierwszy łatwy, polegający na założeniu, że wiemy z jakim prawdopodobieństem jego symbole mogą się pojawiać na wejściu do kanału, znamy rozkład A Możemy policzyć pa a B b P a b b P a b a A P a P a b Jakością reguły decyzyjnej dla danego symbolu b jest wartość P b b Jakością reguły jest uśrednienie po wszystkich możliwych wartościach b Wprowadzimy miarę jakości reguły decyzyjnej w zależności od rozkładu A P rc, A b B P bp b b b B b B P b b P bp b b P b Miarą dualną do miary jakości będzie P re, A P rc, A Jest to wielkość określająca średnie prawdopodobieństwo błędu Będziemy docelowo zmierzać w tym wykładzie do odpowiedzi, jaką regułę decyzyjną należy przyjąć, jeśli nie znamy rozkładu A Zauważmy, że wygodniej jest patrzeć na macierz P a b P a b n P a m b P a m b n P a P a b P a b n P a m P a m b P a m b n W aktualnie rozpatrywanym, prostym przypadku, dobrą reguła decyzyjną jest reguła idealnego obserwatora Funkcja w tym przypadku maksymalizuje wartość P ap a b W przypadku binarnego kanału symetrycznego BSC P q P q P q P q q 0 0 q P P P P reguła idealnego obserwatora będzie wyglądała następująco: { { 0, gdy P q P q, gdy P q P q 0,, wpp 0, wpp Przejdźmy do przypadku trudniejszego, nie znamy rozkładu A Pierwszym narzucającym się rozwiązaniem jest założenie, że A ma rozkład jednostajny i traktowanie tego zadania, jak poprzednio Innym rozwiązaniem jest zdefiniowanie funkcji a b jako reguły maksymalnego podobieństwa, maksymalizującej P a b Reguła ta jest optymalna, argumentem za tym są następujące rozważania Zdefiniujmy przestrzeń wszystkich możliwych rozkładów prawdopodobieństw A P P {< P,, P m > [0] m, P + + P m } Obliczymy następującą całkę reprezentującą średnie prawdopodobieństwo poprawnego odkodowania informacji i zobaczymy, czy rzeczywiście będziemy osiągali maksimum w średnim przypadku dla reguły maksymalnego podobieństwa 3
4 P rc, pd p P bp b bd p b B P b b }{{} b B I P bd p } {{ } II Człon I nie zależy od p, więc można było go wyprowadzić przed całkę Człon II jest stały i nie zależy od permutacji liczb przechodzi on całą dziedzinę P, zależy on jedynie od m A więc maksimum jest faktycznie osiągane w przypadku, gdy użyjemy reguły maksymalnego podobieństwa człon I ma maksymalną wartość 3 Poprawa wydajności kanału Kolejnym zagadnieniem jest polepszenie kanału w ten sposób, żeby stał się on jak najbardziej niezawodny Jedną z prostszych technik jest powtarzanie tego samego symbolu kilka razy Rozpatrzmy przykład, w którym mamy do czynienia z symetrycznym kanałem binarnym, p q q p gdzie q p Załóżmy, że każdy symbol powtarzać będziemy trzy razy I tak możemy napisać prawdopodobieństwa przejścia P ppp, P 0 00 pqp itd Powstaje więc w ten sposób nowy kanał zdefiniowany następującą macierzą p 3 p 2 q p 2 q q 2 p p 2 q q 2 p q 2 p q 3 q 3 q 2 p q 2 p p 2 q q 2 p p 2 q p 2 q p 3 Dla Zdefiniujmy regułę decyzyjną dekodującą wiadomość w ten sposób, że dla komunikatu o większej ilości jedynek będzie to jedynka, zaś o większej ilości zer zero W ten sposób zdefiniowaliśmy trzeci kanał z {0, } w {0, } o macierzy p 3 + 3p 2 q 3q 2 p + q 3 q 3 + 3q 2 p p 3 + 3p 2 q Porównajmy P rc, dla zwykłego binarnego kanału symetrycznego z prawdopodobieństwem poprawnego przesłania symbolu p oraz dla nowo otrzymanego kanału Dla zwykłego kanału, i rozkładu normalnego A, P rc, P B ip A idi B i P A idip B i A idi p i 0, A więc prawdopodobieństwo błędu wynosi dla zwykłego kanału P re, P rc, q Natomiast w przypadku potrójnego powtarzania symbolu, odpowiednio P re,3 q 3 + 3q 2 p Widać, że P re, < P re,3 dla q < /4 W ogólnym przypadku, jeśli ten sam symbol będzie powtarzany n razy, prawdopodobieństwo błędu będzie wynosiło P re,n n/2 n i0 i p i q n i Oszacujmy, jak wielki jest to błąd w przypadku granicznym Obliczenia będziemy przeprowadzać dla sytuacji q < p, gdyż w sytuacji p q 05 prawdopodobieństwo błędu wynosi 05 co jest łatwe do obliczenia Nie rozpatrujemy tego przypadku, gdyż wskazuje on na to, że kanał kompletnie ignoruje wejście i wyjście nie jest w żaden sposób zależne od symbolu wejściowego Równie dobrze moglibyśmy podrzucić monetę i podać wynik losowania Wróćmy do oszacowania Załóżmy, że q < p a więc kanał jest bardziej prawdomówny niż zakłócający Zauważyć można, że P re,n n/2 n i0 i p n/2 q n/2 Dla ułatwienia, załóżmy, że n 2k P re,n p k q k k 2k i0 i p k p k k 2k i0 i p p k 2 2k 2 W przypadku n 2k + rozumowanie jest bardzo podobne i 0, 4
5 Funkcja p p przyjmuje maksimum w punkcie p 05 Jak założyliśmy p [0, 05, a więc p p [0, /4 Połóżmy p p t 4, gdzie t [0, Przepiszmy P re,n t k 4 2 2k t k 2 Z twierdzenia o trzech ciągach wynika, że w przypadku granicznym, lim n inf P re,n 0 Faktem więc jest, że wydłużając sztucznie komunikat, zwiększamy szanse poprawnego jego odczytania 5
Entropia to wielkość określająca liczbę bitów informacji zawartej w danej wiadomości lub źródle. Spełnia ona trzy naturalne warunki: I(s) jest
Entropia to wielkość określająca liczbę bitów informacji zawartej w danej wiadomości lub źródle. Spełnia ona trzy naturalne warunki: I(s) jest malejącą funkcją prawdopodobieństwa zajścia zdarzenia s. I(s)
Bardziej szczegółowoteoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015
teoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015 1 wczoraj Wprowadzenie matematyczne. Entropia i informacja. Kodowanie. Kod ASCII. Stopa kodu. Kody bezprefiksowe.
Bardziej szczegółowoteoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015
teoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015 1 zakres materiału zakres materiału 1. Czym jest teoria informacji? 2. Wprowadzenie matematyczne. 3. Entropia i informacja.
Bardziej szczegółowoIII. ZMIENNE LOSOWE JEDNOWYMIAROWE
III. ZMIENNE LOSOWE JEDNOWYMIAROWE.. Zmienna losowa i pojęcie rozkładu prawdopodobieństwa W dotychczas rozpatrywanych przykładach każdemu zdarzeniu była przyporządkowana odpowiednia wartość liczbowa. Ta
Bardziej szczegółowoWykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe
Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe Nierówność Czebyszewa Niech X będzie zmienną losową o skończonej wariancji V ar(x). Wtedy wartość oczekiwana E(X) też jest skończona i
Bardziej szczegółowoKompresja danych DKDA (7)
Kompresja danych DKDA (7) Marcin Gogolewski marcing@wmi.amu.edu.pl Uniwersytet im. Adama Mickiewicza w Poznaniu Poznań, 22 listopada 2016 1 Kwantyzacja skalarna Wprowadzenie Analiza jakości Typy kwantyzatorów
Bardziej szczegółowo0 + 0 = 0, = 1, = 1, = 0.
5 Kody liniowe Jak już wiemy, w celu przesłania zakodowanego tekstu dzielimy go na bloki i do każdego z bloków dodajemy tak zwane bity sprawdzające. Bity te są w ścisłej zależności z bitami informacyjnymi,
Bardziej szczegółowoKONSPEKT FUNKCJE cz. 1.
KONSPEKT FUNKCJE cz. 1. DEFINICJA FUNKCJI Funkcją nazywamy przyporządkowanie, w którym każdemu elementowi zbioru X odpowiada dokładnie jeden element zbioru Y Zbiór X nazywamy dziedziną, a jego elementy
Bardziej szczegółowoSpacery losowe generowanie realizacji procesu losowego
Spacery losowe generowanie realizacji procesu losowego Michał Krzemiński Streszczenie Omówimy metodę generowania trajektorii spacerów losowych (błądzenia losowego), tj. szczególnych procesów Markowa z
Bardziej szczegółowoESTYMACJA PRZEDZIAŁOWA WYBRANYCH PARAMETRÓW
ESTYMACJA PRZEDZIAŁOWA WYBRANYCH PARAMETRÓW POPULACJI Szkic wykładu Wprowadzenie 1 Wprowadzenie 2 3 4 Przypomnienie dotychczasowych rozważań Przedziałem ufności nazywamy przedział losowy, o którym przypuszczamy
Bardziej szczegółowo13. Równania różniczkowe - portrety fazowe
13. Równania różniczkowe - portrety fazowe Grzegorz Kosiorowski Uniwersytet Ekonomiczny w Krakowie rzegorz Kosiorowski (Uniwersytet Ekonomiczny 13. wrównania Krakowie) różniczkowe - portrety fazowe 1 /
Bardziej szczegółowoMetody teorii gier. ALP520 - Wykład z Algorytmów Probabilistycznych p.2
Metody teorii gier ALP520 - Wykład z Algorytmów Probabilistycznych p.2 Metody teorii gier Cel: Wyprowadzenie oszacowania dolnego na oczekiwany czas działania dowolnego algorytmu losowego dla danego problemu.
Bardziej szczegółowoWybrane rozkłady zmiennych losowych. Statystyka
Wybrane rozkłady zmiennych losowych Statystyka Rozkład dwupunktowy Zmienna losowa przyjmuje tylko dwie wartości: wartość 1 z prawdopodobieństwem p i wartość 0 z prawdopodobieństwem 1- p x i p i 0 1-p 1
Bardziej szczegółowoTemat: Algorytm kompresji plików metodą Huffmana
Temat: Algorytm kompresji plików metodą Huffmana. Wymagania dotyczące kompresji danych Przez M oznaczmy zbiór wszystkich możliwych symboli występujących w pliku (alfabet pliku). Przykład M = 2, gdy plik
Bardziej szczegółowoWybrane rozkłady zmiennych losowych. Statystyka
Wybrane rozkłady zmiennych losowych Statystyka Rozkład dwupunktowy Zmienna losowa przyjmuje tylko dwie wartości: wartość 1 z prawdopodobieństwem p i wartość 0 z prawdopodobieństwem 1- p x i p i 0 1-p 1
Bardziej szczegółowoZakładamy, że są niezależnymi zmiennymi podlegającymi (dowolnemu) rozkładowi o skończonej wartości oczekiwanej i wariancji.
Wnioskowanie_Statystyczne_-_wykład Spis treści 1 Centralne Twierdzenie Graniczne 1.1 Twierdzenie Lindeberga Levy'ego 1.2 Dowód 1.2.1 funkcja tworząca sumy zmiennych niezależnych 1.2.2 pochodna funkcji
Bardziej szczegółowoStanisław Cichocki Natalia Nehrebecka. Wykład 7
Stanisław Cichocki Natalia Nehrebecka Wykład 7 1 1. Metoda Największej Wiarygodności MNW 2. Założenia MNW 3. Własności estymatorów MNW 4. Testowanie hipotez w MNW 2 1. Metoda Największej Wiarygodności
Bardziej szczegółowoPropozycje rozwiązań zadań z matematyki - matura rozszerzona
Jacek Kredenc Propozycje rozwiązań zadań z matematyki - matura rozszerzona Zadanie 1 Zastosujmy trójkąt Paskala 1 1 1 1 2 1 1 3 3 1 Przy iloczynie będzie stał współczynnik 3. Zatem Odpowiedź : C Zadanie
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11,
1 Kwantyzacja skalarna Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 10.05.005 Kwantyzacja polega na reprezentowaniu dużego zbioru wartości (być może nieskończonego) za pomocą wartości
Bardziej szczegółowoĆwiczenia z metodyki nauczania rachunku prawdopodobieństwa
Ćwiczenia z metodyki nauczania rachunku prawdopodobieństwa 25 marca 209 Zadanie. W urnie jest b kul białych i c kul czarnych. Losujemy n kul bez zwracania. Jakie jest prawdopodobieństwo, że pierwsza kula
Bardziej szczegółowo3. FUNKCJA LINIOWA. gdzie ; ół,.
1 WYKŁAD 3 3. FUNKCJA LINIOWA FUNKCJĄ LINIOWĄ nazywamy funkcję typu : dla, gdzie ; ół,. Załóżmy na początek, że wyraz wolny. Wtedy mamy do czynienia z funkcją typu :.. Wykresem tej funkcji jest prosta
Bardziej szczegółowoOznacza to, że chcemy znaleźć minimum, a właściwie wartość najmniejszą funkcji
Wykład 11. Metoda najmniejszych kwadratów Szukamy zależności Dane są wyniki pomiarów dwóch wielkości x i y: (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ). Przypuśćmy, że nanieśliśmy je na wykres w układzie
Bardziej szczegółowoRachunek prawdopodobieństwa Rozdział 5. Rozkłady łączne
Rachunek prawdopodobieństwa Rozdział 5. Rozkłady łączne 5.3 Rozkłady warunkowe i warunkowa wartość oczekiwana Katarzyna Rybarczyk-Krzywdzińska semestr zimowy 2015/2016 Prawdopodobieństwo wyraża postawę
Bardziej szczegółowoMETODY BADAŃ NA ZWIERZĘTACH ze STATYSTYKĄ wykład 3-4. Parametry i wybrane rozkłady zmiennych losowych
METODY BADAŃ NA ZWIERZĘTACH ze STATYSTYKĄ wykład - Parametry i wybrane rozkłady zmiennych losowych Parametry zmiennej losowej EX wartość oczekiwana D X wariancja DX odchylenie standardowe inne, np. kwantyle,
Bardziej szczegółowoKodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład Kody liniowe - kodowanie w oparciu o macierz parzystości
Kodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład 13 1 Kody liniowe - kodowanie w oparciu o macierz parzystości Przykład Różne macierze parzystości dla kodu powtórzeniowego. Co wiemy z algebry
Bardziej szczegółowo5. Rozwiązywanie układów równań liniowych
5. Rozwiązywanie układów równań liniowych Wprowadzenie (5.1) Układ n równań z n niewiadomymi: a 11 +a 12 x 2 +...+a 1n x n =a 10, a 21 +a 22 x 2 +...+a 2n x n =a 20,..., a n1 +a n2 x 2 +...+a nn x n =a
Bardziej szczegółowo3a. Wstęp: Elementarne równania i nierówności
3a. Wstęp: Elementarne równania i nierówności Grzegorz Kosiorowski Uniwersytet Ekonomiczny w Krakowie zima 2017/2018 Grzegorz Kosiorowski (Uniwersytet Ekonomiczny 3a. Wstęp: w Krakowie) Elementarne równania
Bardziej szczegółowoProcesy stochastyczne WYKŁAD 2-3. Łańcuchy Markowa. Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi.
Procesy stochastyczne WYKŁAD 2-3 Łańcuchy Markowa Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi. Przykład Symetryczne błądzenie przypadkowe na prostej. 1 2 Łańcuchem
Bardziej szczegółowozaznaczymy na osi liczbowej w ten sposób:
1. Zagadnienia teoretyczne. 1.1. Przedział domknięty Przykład 1. Pisząc mamy na myśli wszystkie liczby rzeczywiste od -4 do 7, razem z -4 i 7. Jeśli napiszemy, będziemy mówić o zbiorze wszystkich liczb
Bardziej szczegółowoRozwiązywanie układów równań liniowych
Rozwiązywanie układów równań liniowych Marcin Orchel 1 Wstęp Jeśli znamy macierz odwrotną A 1, to możęmy znaleźć rozwiązanie układu Ax = b w wyniku mnożenia x = A 1 b (1) 1.1 Metoda eliminacji Gaussa Pierwszy
Bardziej szczegółowoKody Tunstalla. Kodowanie arytmetyczne
Kody Tunstalla. Kodowanie arytmetyczne Kodowanie i kompresja informacji - Wykład 3 8 marca 2010 Kody Tunstalla Wszystkie słowa kodowe maja ta sama długość ale jeden kod może kodować różna liczbę liter
Bardziej szczegółowoP (A B) = P (A), P (B) = P (A), skąd P (A B) = P (A) P (B). P (A)
Wykład 3 Niezależność zdarzeń, schemat Bernoulliego Kiedy dwa zdarzenia są niezależne? Gdy wiedza o tym, czy B zaszło, czy nie, NIE MA WPŁYWU na oszacowanie prawdopodobieństwa zdarzenia A: P (A B) = P
Bardziej szczegółowoKompresja bezstratna. Entropia. Kod Huffmana
Kompresja bezstratna. Entropia. Kod Huffmana Kodowanie i bezpieczeństwo informacji - Wykład 10 29 kwietnia 2013 Teoria informacji Jeśli P(A) jest prawdopodobieństwem wystapienia informacji A to niech i(a)
Bardziej szczegółowodr inż. Ryszard Rębowski 1 WPROWADZENIE
dr inż. Ryszard Rębowski 1 WPROWADZENIE Zarządzanie i Inżynieria Produkcji studia stacjonarne Konspekt do wykładu z Matematyki 1 1 Postać trygonometryczna liczby zespolonej zastosowania i przykłady 1 Wprowadzenie
Bardziej szczegółowoFUNKCJA KWADRATOWA. Zad 1 Przedstaw funkcję kwadratową w postaci ogólnej. Postać ogólna funkcji kwadratowej to: y = ax + bx + c;(
Zad Przedstaw funkcję kwadratową w postaci ogólnej Przykład y = ( x ) + 5 (postać kanoniczna) FUNKCJA KWADRATOWA Postać ogólna funkcji kwadratowej to: y = ax + bx + c;( a 0) Aby ją uzyskać pozbywamy się
Bardziej szczegółowoLista 6. Kamil Matuszewski 13 kwietnia D n =
Lista 6 Kamil Matuszewski 3 kwietnia 6 3 4 5 6 7 8 9 Zadanie Mamy Pokaż, że det(d n ) = n.... D n =.... Dowód. Okej. Dla n =, n = trywialne. Załóżmy, że dla n jest ok, sprawdzę dla n. Aby to zrobić skorzystam
Bardziej szczegółowoMetody probabilistyczne
Metody probabilistyczne. Twierdzenia graniczne Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 20.2.208 / 26 Motywacja Rzucamy wielokrotnie uczciwą monetą i zliczamy
Bardziej szczegółowoEkonomia matematyczna - 1.2
Ekonomia matematyczna - 1.2 6. Popyt Marshalla, a popyt Hicksa. Poruszać się będziemy w tzw. standardowym polu preferencji X,, gdzie X R n i jest relacją preferencji, która jest: a) rosnąca (tzn. x y x
Bardziej szczegółowoWażne rozkłady i twierdzenia c.d.
Ważne rozkłady i twierdzenia c.d. Funkcja charakterystyczna rozkładu Wielowymiarowy rozkład normalny Elipsa kowariacji Sploty rozkładów Rozkłady jednostajne Sploty z rozkładem normalnym Pobieranie próby
Bardziej szczegółowoAlgorytmy w teorii liczb
Łukasz Kowalik, ASD 2004: Algorytmy w teorii liczb 1 Algorytmy w teorii liczb Teoria liczb jest działem matemtyki dotyczącym własności liczb naturalnych. Rozważa się zagadnienia związane z liczbami pierwszymi,
Bardziej szczegółowoZajęcia nr. 3 notatki
Zajęcia nr. 3 notatki 22 kwietnia 2005 1 Funkcje liczbowe wprowadzenie Istnieje nieskończenie wiele funkcji w matematyce. W dodaktu nie wszystkie są liczbowe. Rozpatruje się funkcje które pobierają argumenty
Bardziej szczegółowoWykład Centralne twierdzenie graniczne. Statystyka matematyczna: Estymacja parametrów rozkładu
Wykład 11-12 Centralne twierdzenie graniczne Statystyka matematyczna: Estymacja parametrów rozkładu Centralne twierdzenie graniczne (CTG) (Central Limit Theorem - CLT) Centralne twierdzenie graniczne (Lindenberga-Levy'ego)
Bardziej szczegółowoWykład 4 Przebieg zmienności funkcji. Badanie dziedziny oraz wyznaczanie granic funkcji poznaliśmy na poprzednich wykładach.
Wykład Przebieg zmienności funkcji. Celem badania przebiegu zmienności funkcji y = f() jest poznanie ważnych własności tej funkcji na podstawie jej wzoru. Efekty badania pozwalają naszkicować wykres badanej
Bardziej szczegółowomacierze jednostkowe (identyczności) macierze diagonalne, które na przekątnej mają same
1 Macierz definicja i zapis Macierzą wymiaru m na n nazywamy tabelę a 11 a 1n A = a m1 a mn złożoną z liczb (rzeczywistych lub zespolonych) o m wierszach i n kolumnach (zamiennie będziemy też czasem mówili,
Bardziej szczegółowoIII. Wstęp: Elementarne równania i nierówności
III. Wstęp: Elementarne równania i nierówności Fryderyk Falniowski, Grzegorz Kosiorowski Uniwersytet Ekonomiczny w Krakowie ryderyk Falniowski, Grzegorz Kosiorowski (Uniwersytet III. Wstęp: Ekonomiczny
Bardziej szczegółowoPrawdopodobieństwo warunkowe Twierdzenie o prawdopodobieństwie całkowitym
Edward Stachowski Prawdopodobieństwo warunkowe Twierdzenie o prawdopodobieństwie całkowitym W podstawie programowej obowiązującej na egzaminie maturalnym od 05r pojawiły się nowe treści programowe Wśród
Bardziej szczegółowoMatematyka dyskretna. Andrzej Łachwa, UJ, /15
Matematyka dyskretna Andrzej Łachwa, UJ, 2013 andrzej.lachwa@uj.edu.pl 7/15 Rachunek różnicowy Dobrym narzędziem do obliczania skończonych sum jest rachunek różnicowy. W rachunku tym odpowiednikiem operatora
Bardziej szczegółowoRachunek wektorowy - wprowadzenie. dr inż. Romuald Kędzierski
Rachunek wektorowy - wprowadzenie dr inż. Romuald Kędzierski Graficzne przedstawianie wielkości wektorowych Długość wektora jest miarą jego wartości Linia prosta wyznaczająca kierunek działania wektora
Bardziej szczegółowoTeoria miary. WPPT/Matematyka, rok II. Wykład 5
Teoria miary WPPT/Matematyka, rok II Wykład 5 Funkcje mierzalne Niech (X, F) będzie przestrzenią mierzalną i niech f : X R. Twierdzenie 1. NWSR 1. {x X : f(x) > a} F dla każdego a R 2. {x X : f(x) a} F
Bardziej szczegółowoKodowanie informacji
Kodowanie informacji Tomasz Wykład 4: kodowanie arytmetyczne Motywacja Podstawy i własności Liczby rzeczywiste Motywacje 1 średnia długość kodu Huffmana może odbiegać o p max + 0.086 od entropii, gdzie
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia dzienne Wykład 9,
1 Kody Tunstalla Kodowanie i kompresja Streszczenie Studia dzienne Wykład 9, 14.04.2005 Inne podejście: słowa kodowe mają ustaloną długość, lecz mogą kodować ciągi liter z alfabetu wejściowego o różnej
Bardziej szczegółowoi=7 X i. Zachodzi EX i = P(X i = 1) = 1 2, i {1, 2,..., 11} oraz EX ix j = P(X i = 1, X j = 1) = 1 7 VarS 2 2 = 14 3 ( 5 2 =
Kombinatoryka W tej serii zadań można znaleźć pojawiające się na egzaminach zadania dotyczące problemu wyznaczania prostych parametrów rozkładu w przypadku zgadnień kombinatorycznych. Zadania te wymagają
Bardziej szczegółowo1 Moduł Modbus ASCII/RTU 3
Spis treści 1 Moduł Modbus ASCII/RTU 3 1.1 Konfigurowanie Modułu Modbus ASCII/RTU............. 3 1.1.1 Lista elementów Modułu Modbus ASCII/RTU......... 3 1.1.2 Konfiguracja Modułu Modbus ASCII/RTU...........
Bardziej szczegółowo6.4 Podstawowe metody statystyczne
156 Wstęp do statystyki matematycznej 6.4 Podstawowe metody statystyczne Spóbujemy teraz w dopuszczalnym uproszczeniu przedstawić istotę analizy statystycznej. W szczególności udzielimy odpowiedzi na postawione
Bardziej szczegółowoFunkcje dwóch zmiennych
Funkcje dwóch zmiennych Andrzej Musielak Str Funkcje dwóch zmiennych Wstęp Funkcja rzeczywista dwóch zmiennych to funkcja, której argumentem jest para liczb rzeczywistych, a wartością liczba rzeczywista.
Bardziej szczegółowoWykład 13. Informatyka Stosowana. 14 stycznia 2019 Magdalena Alama-Bućko. Informatyka Stosowana Wykład , M.A-B 1 / 34
Wykład 13 Informatyka Stosowana 14 stycznia 2019 Magdalena Alama-Bućko Informatyka Stosowana Wykład 13 14.01.2019, M.A-B 1 / 34 Pochodne z funkcji elementarnych c = 0 (x n ) = nx n 1 (a x ) = a x ln a,
Bardziej szczegółowoPodstawowe pojęcia. Teoria informacji
Kodowanie i kompresja informacji - Wykład 1 22 luty 2010 Literatura K. Sayood, Kompresja danych - wprowadzenie, READ ME 2002 (ISBN 83-7243-094-2) Literatura K. Sayood, Kompresja danych - wprowadzenie,
Bardziej szczegółowo4b. Badanie przebiegu zmienności funkcji - monotoniczność i wypukłość
4b. Badanie przebiegu zmienności funkcji - monotoniczność i wypukłość Grzegorz Kosiorowski Uniwersytet Ekonomiczny w Krakowie zima 2017/2018 rzegorz Kosiorowski (Uniwersytet Ekonomiczny 4b. wbadanie Krakowie)
Bardziej szczegółowoRozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów
Rozdział : Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów W tym rozdziale omówione zostaną dwie najpopularniejsze metody estymacji parametrów w ekonometrycznych modelach nieliniowych,
Bardziej szczegółowoWykorzystanie programów komputerowych do obliczeń matematycznych
Temat wykładu: Wykorzystanie programów komputerowych do obliczeń matematycznych Kody kolorów: żółty nowe pojęcie pomarańczowy uwaga kursywa komentarz * materiał nadobowiązkowy Przykłady: Programy wykorzystywane
Bardziej szczegółowoW ostatnim wykładzie doszliśmy do tego, że problem znalezienia klasyfikatora optymalnego pod względem marginesów można wyrazić w następujący sposób:
Spis treści 1 Maszyny Wektorów Wspierających 2 1.1 SVM w formaliźmie Lagranga 1.2 Przejście do pstaci dualnej 1.2.1 Wyznaczenie parametrów modelu: 1.2.2 Klasyfikacja: 2 Funkcje jądrowe 2.1 Mapowanie do
Bardziej szczegółowoZaawansowane metody numeryczne
Wykład 11 Ogólna postać metody iteracyjnej Definicja 11.1. (metoda iteracyjna rozwiązywania układów równań) Metodą iteracyjną rozwiązywania { układów równań liniowych nazywamy ciąg wektorów zdefiniowany
Bardziej szczegółowoTeoria Informacji - wykład. Kodowanie wiadomości
Teoria Informacji - wykład Kodowanie wiadomości Definicja kodu Niech S={s 1, s 2,..., s q } oznacza dany zbiór elementów. Kodem nazywamy wówczas odwzorowanie zbioru wszystkich możliwych ciągów utworzonych
Bardziej szczegółowoWykład 4: Wnioskowanie statystyczne. Podstawowe informacje oraz implementacja przykładowego testu w programie STATISTICA
Wykład 4: Wnioskowanie statystyczne Podstawowe informacje oraz implementacja przykładowego testu w programie STATISTICA Idea wnioskowania statystycznego Celem analizy statystycznej nie jest zwykle tylko
Bardziej szczegółowoAgnieszka Nowak Brzezińska Wykład III
Agnieszka Nowak Brzezińska Wykład III Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną niezależność zmiennych niezależnych (tu naiwność) Bardziej opisowe
Bardziej szczegółowoArytmetyka liczb binarnych
Wartość dwójkowej liczby stałoprzecinkowej Wartość dziesiętna stałoprzecinkowej liczby binarnej Arytmetyka liczb binarnych b n-1...b 1 b 0,b -1 b -2...b -m = b n-1 2 n-1 +... + b 1 2 1 + b 0 2 0 + b -1
Bardziej szczegółowoZałóżmy, że obserwujemy nie jedną lecz dwie cechy, które oznaczymy symbolami X i Y. Wyniki obserwacji obu cech w i-tym obiekcie oznaczymy parą liczb
Współzależność Załóżmy, że obserwujemy nie jedną lecz dwie cechy, które oznaczymy symbolami X i Y. Wyniki obserwacji obu cech w i-tym obiekcie oznaczymy parą liczb (x i, y i ). Geometrycznie taką parę
Bardziej szczegółowoKlasyfikacja metodą Bayesa
Klasyfikacja metodą Bayesa Tadeusz Pankowski www.put.poznan.pl/~tadeusz.pankowski warunkowe i bezwarunkowe 1. Klasyfikacja Bayesowska jest klasyfikacją statystyczną. Pozwala przewidzieć prawdopodobieństwo
Bardziej szczegółowoLiczby pierwsze. Kacper Żurek, uczeń w Gimnazjum nr 1 im. Jana Pawła II w Giżycku.
Liczby pierwsze Kacper Żurek, uczeń w Gimnazjum nr 1 im. Jana Pawła II w Giżycku. Liczbą pierwszą nazywany każdą taką liczbę naturalną, która posiada dokładnie dwa dzielniki naturalne, czyli jest podzielna
Bardziej szczegółowo11. Gry Macierzowe - Strategie Czyste i Mieszane
11. Gry Macierzowe - Strategie Czyste i Mieszane W grze z doskonałą informacją, gracz nie powinien wybrać akcję w sposób losowy (o ile wypłaty z różnych decyzji nie są sobie równe). Z drugiej strony, gdy
Bardziej szczegółowoKrótka wycieczka do wnętrza komputera
Krótka wycieczka do wnętrza komputera Podstawy Technik Informatycznych Roman Simiński roman.siminski@us.edu.pl www.siminskionline.pl Kraina do której trafiła Alicja była zupełnie inna...... a co by zobaczyła
Bardziej szczegółowoTestowanie modeli predykcyjnych
Testowanie modeli predykcyjnych Wstęp Podczas budowy modelu, którego celem jest przewidywanie pewnych wartości na podstawie zbioru danych uczących poważnym problemem jest ocena jakości uczenia i zdolności
Bardziej szczegółowoElementy teorii informacji i kodowania
i kodowania Entropia, nierówność Krafta, kodowanie optymalne Marcin Jenczmyk m.jenczmyk@knm.katowice.pl 17 kwietnia 2015 M. Jenczmyk Spotkanie KNM i kodowania 1 / 20 Niech S = {x 1,..., x q } oznacza alfabet,
Bardziej szczegółowoTeoria Informacji i Metody Kompresji Danych
Teoria Informacji i Metody Kompresji Danych 1 Przykładowe zadania (dodatkowe materiały wykładowe) 2 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL
Bardziej szczegółowo1 Pochodne wyższych rzędów
Pochodne wyższych rzędów Pochodną rzędu drugiego lub drugą pochodną funkcji y = f(x) nazywamy pochodną pierwszej pochodnej tej funkcji. Analogicznie definiujemy pochodne wyższych rzędów, jako pochodne
Bardziej szczegółowoCałka nieoznaczona, podstawowe wiadomości
Całka nieoznaczona, podstawowe wiadomości Funkcją pierwotną funkcji w przedziale nazywamy funkcję taką, że dla każdego punktu z tego przedziału zachodzi Różnica dwóch funkcji pierwotnych w przedziale danej
Bardziej szczegółowoNa A (n) rozważamy rozkład P (n) , który na zbiorach postaci A 1... A n określa się jako P (n) (X n, A (n), P (n)
MODELE STATYSTYCZNE Punktem wyjścia w rozumowaniu statystycznym jest zmienna losowa (cecha) X i jej obserwacje opisujące wyniki doświadczeń bądź pomiarów. Zbiór wartości zmiennej losowej X (zbiór wartości
Bardziej szczegółowolim Np. lim jest wyrażeniem typu /, a
Wykład 3 Pochodna funkcji złożonej, pochodne wyższych rzędów, reguła de l Hospitala, różniczka funkcji i jej zastosowanie, pochodna jako prędkość zmian 3. Pochodna funkcji złożonej. Jeżeli funkcja złożona
Bardziej szczegółowoAgnieszka Nowak Brzezińska Wykład III
Agnieszka Nowak Brzezińska Wykład III Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną niezależność zmiennych niezależnych (tu naiwność) Bardziej opisowe
Bardziej szczegółowo2. FUNKCJE. jeden i tylko jeden element y ze zbioru, to takie przyporządkowanie nazwiemy FUNKCJĄ, lub
WYKŁAD 2 1 2. FUNKCJE. 2.1.PODSTAWOWE DEFINICJE. Niech będą dane zbiory i. Jeżeli każdemu elementowi x ze zbioru,, przyporządkujemy jeden i tylko jeden element y ze zbioru, to takie przyporządkowanie nazwiemy
Bardziej szczegółowoRozdział 1. Zmienne losowe, ich rozkłady i charakterystyki. 1.1 Definicja zmiennej losowej
Rozdział 1 Zmienne losowe, ich rozkłady i charakterystyki 1.1 Definicja zmiennej losowej Zbiór możliwych wyników eksperymentu będziemy nazywać przestrzenią zdarzeń elementarnych i oznaczać Ω, natomiast
Bardziej szczegółowoTeoria. a, jeśli a < 0.
Teoria Definicja 1 Wartością bezwzględną liczby a R nazywamy liczbę a określoną wzorem a, jeśli a 0, a = a, jeśli a < 0 Zgodnie z powyższym określeniem liczba a jest równa odległości liczby a od liczby
Bardziej szczegółowoAby mówić o procesie decyzyjnym Markowa musimy zdefiniować następujący zestaw (krotkę): gdzie:
Spis treści 1 Uczenie ze wzmocnieniem 2 Proces decyzyjny Markowa 3 Jak wyznaczyć optymalną strategię? 3.1 Algorytm iteracji funkcji wartościującej 3.2 Algorytm iteracji strategii 4 Estymowanie modelu dla
Bardziej szczegółowoTeoria informacji i kodowania Ćwiczenia Sem. zimowy 2016/2017
Teoria informacji i kodowania Ćwiczenia Sem. zimowy 06/07 Źródła z amięcią Zadanie (kolokwium z lat orzednich) Obserwujemy źródło emitujące dwie wiadomości: $ oraz. Stwierdzono, że częstotliwości wystęowania
Bardziej szczegółowoStopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n ) < oznaczamy jako a n = o p (1) prawdopodobieństwa szybciej niż n α.
Stopy zbieżności Stopę zbieżności ciagu zmiennych losowych a n, takiego, że a n oznaczamy jako a n = o p (1 p 0 a Jeśli n p n α 0, to a n = o p (n α i mówimy a n zbiega według prawdopodobieństwa szybciej
Bardziej szczegółowoRACHUNEK MACIERZOWY. METODY OBLICZENIOWE Budownictwo, studia I stopnia, semestr 6. Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska
RACHUNEK MACIERZOWY METODY OBLICZENIOWE Budownictwo, studia I stopnia, semestr 6 Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Czym jest macierz? Definicja Macierzą A nazywamy
Bardziej szczegółowoMatematyka II. Bezpieczeństwo jądrowe i ochrona radiologiczna Semestr letni 2018/2019 wykład 13 (27 maja)
Matematyka II Bezpieczeństwo jądrowe i ochrona radiologiczna Semestr letni 208/209 wykład 3 (27 maja) Całki niewłaściwe przedział nieograniczony Rozpatrujemy funkcje ciągłe określone na zbiorach < a, ),
Bardziej szczegółowoOptymalizacja systemów
Optymalizacja systemów Laboratorium Sudoku autor: A. Gonczarek Cel zadania Celem zadania jest napisanie programu rozwiązującego Sudoku, formułując problem optymalizacji jako zadanie programowania binarnego.
Bardziej szczegółowoRachunek prawdopodobieństwa
Rachunek prawdopodobieństwa Sebastian Rymarczyk srymarczyk@afm.edu.pl Tematyka zajęć 1. Elementy kombinatoryki. 2. Definicje prawdopodobieństwa. 3. Własności prawdopodobieństwa. 4. Zmienne losowe, parametry
Bardziej szczegółowo5. Analiza dyskryminacyjna: FLD, LDA, QDA
Algorytmy rozpoznawania obrazów 5. Analiza dyskryminacyjna: FLD, LDA, QDA dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Liniowe funkcje dyskryminacyjne Liniowe funkcje dyskryminacyjne mają ogólną
Bardziej szczegółowoEGZAMIN MAGISTERSKI, czerwiec 2014 Matematyka w ekonomii i ubezpieczeniach
Matematyka w ekonomii i ubezpieczeniach Sprawdź, czy wektor x 0 = (0,5,,0,0) jest rozwiązaniem dopuszczalnym zagadnienia programowania liniowego: Zminimalizować 3x 1 +x +x 3 +4x 4 +6x 5, przy ograniczeniach
Bardziej szczegółowoWłasności statystyczne regresji liniowej. Wykład 4
Własności statystyczne regresji liniowej Wykład 4 Plan Własności zmiennych losowych Normalna regresja liniowa Własności regresji liniowej Literatura B. Hansen (2017+) Econometrics, Rozdział 5 Własności
Bardziej szczegółowoWażne rozkłady i twierdzenia
Ważne rozkłady i twierdzenia Rozkład dwumianowy i wielomianowy Częstość. Prawo wielkich liczb Rozkład hipergeometryczny Rozkład Poissona Rozkład normalny i rozkład Gaussa Centralne twierdzenie graniczne
Bardziej szczegółowo7. CIĄGI. WYKŁAD 5. Przykłady :
WYKŁAD 5 1 7. CIĄGI. CIĄGIEM NIESKOŃCZONYM nazywamy funkcję określoną na zbiorze liczb naturalnych, dodatnich, a wyrazami ciągu są wartości tej funkcji. CIĄGIEM SKOŃCZONYM nazywamy funkcję określoną na
Bardziej szczegółowo8. TRYGONOMETRIA FUNKCJE TRYGONOMETRYCZNE KĄTA OSTREGO.
WYKŁAD 6 1 8. TRYGONOMETRIA. 8.1. FUNKCJE TRYGONOMETRYCZNE KĄTA OSTREGO. SINUSEM kąta nazywamy stosunek przyprostokątnej leżącej naprzeciw kąta do przeciwprostokątnej w trójkącie prostokątnym : =. COSINUSEM
Bardziej szczegółowoMet Me ody numer yczne Wykład ykład Dr inż. Mic hał ha Łanc Łan zon Instyt Ins ut Elektr Elektr echn iki echn i Elektrot Elektr echn olo echn
Metody numeryczne Wykład 3 Dr inż. Michał Łanczont Instytut Elektrotechniki i Elektrotechnologii E419, tel. 4293, m.lanczont@pollub.pl, http://m.lanczont.pollub.pl Zakres wykładu Pojęcia podstawowe Algebra
Bardziej szczegółowoWyszukiwanie binarne
Wyszukiwanie binarne Wyszukiwanie binarne to technika pozwalająca na przeszukanie jakiegoś posortowanego zbioru danych w czasie logarytmicznie zależnym od jego wielkości (co to dokładnie znaczy dowiecie
Bardziej szczegółowoWykłady z matematyki inżynierskiej EKSTREMA FUNKCJI. JJ, IMiF UTP
Wykłady z matematyki inżynierskiej EKSTREMA FUNKCJI JJ, IMiF UTP 05 MINIMUM LOKALNE y y = f () f ( 0 ) 0 DEFINICJA. Załóżmy, że funkcja f jest określona w pewnym otoczeniu punktu 0. MINIMUM LOKALNE y y
Bardziej szczegółowoSzkice rozwiązań zadań z arkuszy maturalnych zamieszczonych w 47. numerze Świata Matematyki, który można nabyć w sklepie na
Szkice rozwiązań zadań z arkuszy maturalnych zamieszczonych w 47. numerze Świata Matematyki, który można nabyć w sklepie na www.swiatmatematyki.pl 1. Wypiszmy początkowe potęgi liczby Zestaw podstawowy
Bardziej szczegółowoWYKŁAD 1. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Instytut Matematyki Uniwersytet Warszawski
WYKŁAD 1 Witold Bednorz, Paweł Wolff Instytut Matematyki Uniwersytet Warszawski Rachunek Prawdopodobieństwa, WNE, 2010-2011 Wprowadzenie Gry hazardowe Wprowadzenie Gry hazardowe Klasyczna definicja prawdopodobieństwa.
Bardziej szczegółowo