Informacja. Informacja. Informacja. Informacja/wiadomość. Zbiór danych zebranych w celu ich przetworzenia i otrzymania wyników (nowych informacji).

Transkrypt

1 Informacja Informacja Czynnik, któremu człowiek może przypisać określony sens (znaczenie) w celu wykorzystania do różnych celów. Wszystko to, co może być zużytkowane do bardziej sprawnego wyboru działań prowadzących do realizacji pewnego celu. Informacja Zbiór danych zebranych w celu ich przetworzenia i otrzymania wyników (nowych informacji). Wielkość abstrakcyjna, która może być przechowywana, przesyłana i przetwarzana w pewnych obiektach a także stosowana do sterowania obiektami (obiekty: organizmy żywe, urządzenia techniczne, systemy obiektów). Informacja/wiadomość Jest trzynasta. Godzinę temu była dwunasta. Jest trzynasta. Godzinę temu był ostatni w tym dniu samolot do Polski. Ta sama wiadomość może mieć różną wartość. Wiadomość jest rodzajem nośnika (sposobem zapisu) informacji, informacja jest zaś treścią wiadomości.

2 Wiadomość/komunikat Wiadomość może być przekazana w formie komunikatu. Ten sam komunikat może przekazywać różne wiadomości dla różnych odbiorców Informacja/wiadomość/komunikat Komunikat jest odpowiednio zakodowaną wiadomością, zawierającą pewną ilość informacji. Wiadomość o wszczęciu zbrojnego wystąpienia przeciwko rządowi republikańskiemu przekazali spiskowcy frankistowscy komunikatem nad Hiszpanią niebo jest czyste. Definicja Informacja - wielkość abstrakcyjna, która może być przechowywana w pewnych obiektach, przesyłana pomiędzy obiektami, przetwarzana w pewnych obiektach i stosowana do sterowania pewnymi obiektami, przy czym przez obiekty rozumie się organizmy żywe, urządzenia techniczne oraz systemy takich obiektów. /A.Mazurkiewicz/ Informacja W praktyce informacje można zdefiniować jako dane wraz ze sposobem ich interpretowania. Dane jest więc pojęciem ogólniejszym, który obejmuje informacje bez znanego lub istotnego w danym kontekście znaczenia ich treści.

3 Teoria informacji Informacją zajmuje się nauka zwana Teorią Informacji - dotyczy ona przekazywania wiadomości ze źródła wiadomości do ich przeznaczenia (odbiorcy). Ilość informacji Fundamentalną koncepcją teorii informacji jest przyjęcie, że informacja zawarta w przekazie zwana zawartością informacyjną jest definiowalną i mierzalną wielkością matematyczną. Określenie zawartość nie odnosi się do znaczenia przekazywanej wiadomości, ale do prawdopodobieństwa, że określona wiadomość zostanie odebrana (odczytana) z całego zbioru możliwych wiadomości. Największa wartość zawartości informacyjnej odnosi się do wiadomości, która jest najmniej prawdopodobna. Twierdzenie Shannona Łącze informacyjne Dla odniesienia zawartości informacyjnej (k) do prawdopodobieństwa, Shannon wprowadził proste równanie: k=log 2 1/p, gdzie p jest prawdopodobieństwem uzyskania (otrzymania, zaistnienia) wiadomości, Źródło Zakłócenia Nadajnik (kodowanie) Kanał Odbiornik (dekodowanie) Przeznaczenie informacji Im większe jest prawdopodobieństwo wyniku dla zdarzenia, tym mniejszą ilość informacji otrzymuje się w związku z jego zaistnieniem. I na odwrót - im mniej prawdopodobny był wynik zdarzenia, tym więcej informacji zawiera wiadomo o jego zaistnieniu. Informacja Sygnały Sygnały Informacja

4 Źródło informacji Źródła analogowe przykłady Termometr, barometr Struny głosowe Instrumenty muzyczne Źródła cyfrowe przykłady Klawiatura Telegraf Źródło informacji Generuje wiadomo (znak), koduje je w postaci sygnału i wysyła znaki (jeden po drugim w czasie). Modelem generacji jest zdarzenie losowe. Zakładamy dyskretne i stacjonarne zdarzenia losowe, tzn.: znaki są wybierane ze skończonego zbioru, z niezależnym od czasu prawdopodobieństwem. Powietrze Kanał przesyłowy Linie telefoniczne Ethernet CD, DVD Dyski magnetyczne Pamięć operacyjna Przestrzeń międzyplanetarna Kanał przesyłowy na przesyłany sygnał oddziałują tu inne sygnały losowe, tzw. sygnały zakłócające - odebrany przez odbiornik sygnał może by różny od sygnału nadanego.

5 Odbiornik informacji Kodowanie następuje tu odwrotne dekodowanie sygnału na postać wiadomości (znaku) i odczytanie tej wiadomości. Odbiorca wiadomości musi podjąć decyzję, który spośród ustalonych z góry znaków został przyjęty. Kodowanie to zapisywanie informacji w określony sposób. Kodowanie: Alfabet wejściowy A (np. A={a,b,,z}) Alfabet wyjściowy B każdej literze z A przyporządkowuje ciąg liter z B Kodowanie binarne: Kodowanie każdemu elementowi alfabetu przyporządkowuje ciąg binarny (np. a 0001, b 0010, itd. ) Inaczej K(a)=0001, K(b)=0010, gdzie K to kod. Słowo kodowe Jeśli K(a)=0001, to 0001 jest słowem kodowym a. Kodowanie o stałej długości: Kodowanie Każde słowo kodowe ma tę samą długość np. K(a)=0001, K(b)=0010, K(c) musi mieć 4 bity Kodowanie o zmiennej długości: Słowa kodowe mogą mieć różne długości np. K(a)=0001, K(b)=100 Kodowanie jednoznaczne Po zakodowaniu słowa x do postaci y można je odkodować tylko na jeden sposób, uzyskując x. Warunek jednoznaczności kodu o stałej długości: Dla każdych dwóch liter a b wystarczy K(a) K(b)

6 Entropia informacyjna źródła informacji Informacja docierająca od nadawcy do odbiorcy, ulega różnorakim modyfikacjom, czasami wręcz zniekształceniom, do których przyczyniają się zarówno sami uczestnicy procesu komunikowania, jak i otoczenie fizyczne, a nawet kod. Zakłócenia tego rodzaju nazywane są entropią informacyjną lub szumem. Jeżeli źródło może nadawać n różnych komunikatów, to jego entropią informacyjną źródła nazywamy wartością oczekiwaną ilości informacji w komunikatach z tego źródła. Entropia informacyjna pojęcie entropii zostało zapożyczone z termodynamiki do określenia średniej zawartości informacyjnej wiadomości z określonego źródła. entropia może być rozumiana intuicyjnie jako miara nieuporządkowania systemu. w teorii informacji entropia wiadomości równa się średniej zawartości informacyjnej. jeśli w jakimś zbiorze wiadomości, prawdopodobieństwo ich wystąpienia jest równe to całkowitą entropię określa wzór H = log 2 N, gdzie N jest liczbą możliwych wiadomości w zestawie. Redundancja Redundancja to ilość informacji przekraczająca wymagane do rozwiązania problemu minimum. Ułatwienie odtworzenia danych po ich częściowej utracie, czy uszkodzeniu lub też do wykrycia takiego uszkodzenia (bit parzystości, suma kontrolna, kod nadmiarowy CRC) Nadmiarowość jest cechą każdego systemu informacyjnego przesyłającego jakieś dane cyfrowe, Usuwanie nieprzydatnej redundancji to kompresja danych. Co przekazuje informacje? Informację przekazuje możliwość porównania dwóch stanów: - zmiana stanu jest informacją - brak zmian to brak informacji

7 Jednostki informacji bit podstawowa, najmniejsza i niepodzielna jednostka informacji cyfrowej, jaka może być przetwarzana przez komputer bit może przechowywać informację o jednym z dwóch możliwych stanów przyjmuje wartości oznaczane jako 0 albo 1 bit to skrót terminu BInary DigiT. bit to po angielsku kawałek skrót: b Jednostki informacji 1 bit: 0, 1, rozróżnia 2 znaki 2 bity: 00, 01, 10, 11, rozróżniają 4 znaki. 3 bity: 000, 001, 010, 011, 100, 101, 110, 111, rozróżniają 8 znaków. 4 bity: , rozróżniają 16 znaków (tetrada) 8 bitów pozwala odróżnić 28 = 16 x 16 = 256 znaków Cztery bity to tetrada Osiem bitów tworzy tzw. oktet zwany również bajtem (B) Jednostki informacji Dwa bajty to (najczęściej...) półsłowo. Cztery bajty (32 bity) to słowo. 64 bity to podwójne słowo. Słowo komputerowe - ilość informacji przetwarzanej przez komputer. Komputer 8, 16, 32 (64, 128-) bitowy oznacza wielkość grupy danych, którą komputer może operować jako całością. Jednostki informacji W informatyce nazwy przedrostków nie odpowiadają tym w układzie SI kilo = 1000= 10 3 mega = = 10 6 = kilo x 1000 giga = = 10 9 = mega x 1000 tera = = = giga x 1000 Kilo = 1024= 2 10 Mega = = 2 20 = Kilo x 1024 Giga = = 2 30 = Mega x1024 Tera = = 2 40 = Giga x 1024

8 Wielkość danych 2 10 =1024=1K kilobajt, typowa strona tekstu to kilka KB; 2 20 =1024K=1M megabajt, książka bez grafiki lub minuta muzyki; 2 30 =1024M=1G gigabajt, film cyfrowy, sporo grafiki, ludzki genom; 2 40 =1024G=1T terabajt, duża biblioteka, szerokoekranowy film w kinie; 2 50 =1024T=1P petabajt, ludzka pamięć; Rozróżnienie B i b: B=bajty, KB=kilobajty, MB=megabajty, GB=gigabajty b=bity, Kb=kilobity, Mb-megabity... Dlaczego komputery przetwarzają bity? Bity są proste mogą przyjmować tylko jeden z dwóch stanów: 0 i 1. Dlatego układy operujące na bitach są dużo prostsze niż dla innych jednostek. Za pomocą bitów można dobrze kodować dowolną informację, więc przetwarzanie informacji można wykonywać przy pomocy układów operujących na bitach. Dlaczego komputery przetwarzają bity? Bity są odporne na zakłócenia - w czasie przekazu należy wykryć tylko dwa poziomy, wysoki H - 1 i niski L - 0. Brak wartości pośrednich. W przypadku innych jednostek sygnał musi mieć więcej poziomów, a więc jest bardziej podatny na przekłamania w trakcie transmisji. Binarny system pozycyjny da się bezpośrednio zakodować w postaci bitów - każdej cyfrze binarnej odpowiada jeden bit (na bitach można wykonywać dowolne operacje arytmetyczne, a więc liczyć) Przyszłość maszyn liczących komputer kwantowy Informacją kwantową nazywamy informację zawartą w stanie układu kwantowego. Jednostką informacji kwantowej jest kubit. Informacja kwantowa może być zakodowane w nielokalnych związkach pomiędzy poszczególnymi elementami układu, które nie mają odpowiednika w klasycznej teorii informacji. Mówimy wtedy, że układ jest w stanie splątanym.

9 Przyszłość maszyn liczących komputer kwantowy Inna cechą odróżniającą informację kwantową od klasycznej informacji jest jej probabilistyczność. System liczbowy Zbiór reguł do jednolitego zapisywania i nazywania cyfr. Mierząc wartość jednego kubitu, możemy uzyskać z pewnym prawdopodobieństwem wynik 0 lub 1. Z wyjątkiem pewnych szczególnych przypadków nie możemy przewidzieć który z nich uzyskamy. addytywne pozycyjno-wagowe Systemy addytywne Posiadają osobne symbole dla pierwszych kilku małych liczb, a następnie posiadają kolejne symbole dla ich wielokrotności. W systemach tych liczby tworzy się przez "dodawanie" kolejnych symboli i stąd ich nazwa Przykład Jeśli "X"=10,"V"=5,"I"=1 to XVI = = 16) (rzymski system liczbowy) Systemy pozycyjno-wagowe System pozycyjny to taki, w którym znaczenie znaków zależy od ich pozycji. System wagowy to taki, w którym każdej pozycji cyfry przypisana jest inna waga. Liczbę przedstawia się jako ciąg cyfr, przy czym wartość tej liczby zależy zarówno od cyfr jak i miejsca, na którym się one znajdują w tym ciągu Przykład Liczba 5004 w dziesiętnym systemie liczbowym, w którym podstawą pozycji jest 10 : 5 x x x x 10 0 = 5 x x 1

10 System pozycyjno-wagowy Liczbę całkowitą L w systemie pozycyjnym o podstawie (bazie) r zapisujemy w postaci: (a n-1 a 1 a 0 ) r Unikalną reprezentacją liczby o wartości L jest zbiór cyfr {a n-1,,a 1,a 0 ) takich, że n i L = ap i i= 0 P - podstawa systemu a kolejne cyfry w liczbie i indeks kolejnych cyfr System dziesiętny (decymalny, arabski ) Podstawę systemu dziesiętnego tworzy liczba 10. Zapis liczby tworzymy za pomocą cyfr o przypisanych wartościach od 0 do 9. Przykład = 1x x x10 0 System dwójkowy (binarny) Podstawę systemu binarnego tworzy liczba 2. Zapis liczby tworzymy za pomocą cyfr o przypisanych wartościach 0 i 1. Przykład = 1x x x x2 0 = = System dwójkowy (binarny) Naturalny system informatyki Zalety: Prostota łatwa realizacja techniczna (elektronika) możliwość interpretacji cyfr {0, 1} jako wartości logicznych Wady: długość zapisu liczby przyzwyczajenie do systemu dziesiętnego

11 A B C D E F System szestnastkowy (hexadecymalny) Podstawę systemu binarnego tworzy liczba 16. Zapis liczby tworzymy za pomocą cyfr o przypisanych wartościach od 0 do 9 oraz kolejne litery alfabetu łacińskiego A, B, C, D, E, F. Przykład A1F 16 = Ax x Fx16 0 = 10x x x1 = Po co jest system szestnastkowy? Adresy komórek pamięci są szesnastkowe Zawartość komórek (bajtów) jest określana w sposób szesnastkowy Zadania Algorytm Hornera obliczania dziesiętnej wartości liczby całkowitej (7) =??? (10) (3) =??? (10) AGF63B (17) =??? (10) n - liczba cyfr w zapisie pozycyjnym danej liczby p - podstawa systemu pozycyjnego, w którym jest zapisana liczba c i -cyfra stojąca na i-tej pozycji. Pozycja o numerze 0 jest pierwszą pozycją od strony prawej. w - obliczana wartość liczby 1. w 0 2. i n w c i + w x p 4. jeśli i = 0, to koniec, w zawiera wartość liczby 5. i i wróć do punktu 3

12 Algorytm Hornera przykład Obliczyć przy pomocy algorytmu Hornera dziesiętną wartość liczby zapisanej w systemie pozycyjnym o podstawie p=8. w 0 w x 8 = 7 w x 8 = 60 w x 8 = 482 w x 8 = 3856 w x 8 = w x 8 = i kończymy, ponieważ osiągnęliśmy ostatnią cyfrę Algorytm Hornera zadanie Obliczyć przy pomocy algorytmu Hornera wartość liczby zapisanej w systemie pozycyjnym o podstawie p=3. Metoda przeliczania liczb Problem - znalezienie kolejnych cyfr zapisu liczby dziesiętnej w systemie docelowym. Wartość liczby L jest równa zgodnie ze wzorem: L = C n-1 p n-1 + C n-2 p n C 2 p 2 + C 1 p + C 0 Do wydobycia poszczególnych cyfr C i, i = 0,1,2,...,n-1, są nam potrzebne dwa działania: div - dzielenie całkowitoliczbowe - określa ile całkowitą ilość razy dzielnik mieści się w dzielnej, na przykład: 9 div 4 = 2, gdyż 4 mieści się w 9 dwa razy. mod - reszta z dzielenia całkowitoliczbowego, na przykład: 9 mod 4 = 1,gdyż 4 mieści się w 9 dwa razy, co daje 8 i pozostaje reszta 1. Znajdowanie rozwinięcia liczby o podstawie p w-wartość liczby p - podstawa systemu pozycyjnego c i - cyfra na i-tej pozycji w systemie pozycyjnym o podstawie p 1. i 0 2. c i reszta z dzielenia w / p 3. w wynik dzielenia całkowitego w / p 4. jeśli w = 0, to kończymy, wszystkie cyfry znalezione 5. i i wróć do punktu 2

13 Znajdowanie rozwinięcia liczby o podstawie p przykład Przeliczyć wartość na system piątkowy. w / 5 = 2557 i reszta 1 w 2557 / 5 = 511 i reszta 2 w 511 / 5 = 102 i reszta 1 w 102 / 5 = 20 i reszta 2 w 20 / 5 = 4 i reszta 0 w 4 / 5 = 0 i reszta 4 (koniec obliczeń, ponieważ otrzymaliśmy wartość 0) Znajdowanie rozwinięcia liczby o podstawie p zadania Przeliczyć wartość (10) na system dwójkowy. Przedstawić w systemie trójkowym liczbę (10). Przedstawić w systemie czwórkowym liczbę 2743 (10) (10) = (5) Konwersja dwójkowo-ósemkowa Konwersja ósemkowo-dwójkowa cyfry ósemkowe cyfra wartość 000 (2) 001 (2) 010 (2) 011 (2) 100 (2) 101 (2) 110 (2) 111 (2) (2) (2) (2) = (8) cyfry ósemkowe cyfra wartość 000 (2) 001 (2) 010 (2) 011 (2) 100 (2) 101 (2) 110 (2) 111 (2) (8) = (2)

14 Konwersja dwójkowo-szestnastkowa A B C D E F (2) (2) D 7 B 5 5 D (2) = D7B55G (16) A 1011 B 1100 C 1101 D 1110 E 1111 F Konwersja szestnastkowo-dwójkowa D 7 B 5 5 D D7B55G (16) = (2)