dr inż. Paweł Myszkowski

Transkrypt

1 dr inż. Paweł Myszkowski Politechnika Białostocka Wydział Elektryczny Elektronika i Telekomunikacja, semestr II, studia stacjonarne I stopnia Rok akademicki 2015/2016 Wykład nr 2 ( )

2 Plan prezentacji: kodowanie liczb stałopozycyjnych kodowanie znaków

3 Pozycyjne systemy liczbowe a język C w języku C możemy zapisywać liczby w trzech systemach: dziesiętnym (domyślnie), np ósemkowym (liczba poprzedzona zerem 0), np. 011 (11 (8) = 9 (10) ) szesnastkowym (liczba poprzedzona 0x lub 0X), np. 0x11 (11 (16) = 17 (10) ) Specyfikatory formatu - wyświetlanie funkcją printf() liczba dziesiętna: %d %i liczba ósemkowa: %o liczba szesnastkowa: %x %X Specyfikatory formatu wczytywanie funkcją scanf() liczba dziesiętna: %d (typ int) %D (typ long) liczba ósemkowa: %o (typ int) %O (typ long) liczba szesnastkowa: %x (typ int) %X (typ long)

4 Kodowanie Przetwarzane informacje: liczby, znaki, wartości logiczne, obrazy, dźwięki, itp. muszą być reprezentowane za pomocą tylko dwóch wartości: 1 stan wysoki 0 stan niski Konieczne jest przyjęcie reguł przekształcania różnych postaci informacji na wartości binarne (zero-jedynkowe) Kodowaniem nazywamy proces przekształcania jednej postaci informacji na inną postać

5 Klasyfikacja kodów ze względu na przeznaczenie: KODY LICZBOWE ALFANUMERYCZNE INNE NKB BCD 1 z N 2 z 5 Kołowy ASCII ISO 646 ISO 8859 EBCDIC Unicode Graya Morse'a

6 Klasyfikacja kodów ze względu na konstrukcję: KODY PROSTE DETEKCYJNE NKB BCD ASCII Graya 1 z N 2 z 5 ISO 646 ISO 8859 Unicode

7 Naturalny Kod Binarny (NKB, BCN) Naturalny Kod Binarny otrzymujemy przypisując dowolnej liczbie dziesiętnej odpowiadającą jej liczbę binarną x 7 x x 5 x x 3 x x 1 x Liczba (10) NKB Liczba (10) NKB Liczba (10) NKB Liczba (10) NKB

8 Naturalny Kod Binarny (NKB, BCN) W Naturalnym Kodzie Binarnym za pomocą n-bitów można zapisać liczbę binarną z zakresu X (2) =[0,2 n -1] Maksymalne liczby binarne 1 bit 1 (2) = = 1 (10) 2 bity 11 (2) = = 3 (10) 3 bity 111 (2) = = 7 (10) 8 bitów (2) = = 255 (10) 16 bitów (2) = = (10) 24 bity (2) = = (10) 32 bity (2) = = (10)

9 Kod BCD (Binary-Coded Decimal) sposób zapisu liczb polegający na zakodowaniu kolejnych cyfr liczby dziesiętnej przy użyciu kolejnych półbajtów (tetrad) systemu dwójkowego (NKB) w ogólnym przypadku kodowane są tylko znaki 0 9 pozostałe kombinacje bitów można wykorzystać np. do zakodowania znaku liczby Zastosowanie kalkulatory, mierniki cyfrowe data i czas w BIOS-ie systemy bankowe Liczba (10) BCD Liczba (10) BCD

10 Kod BCD przykłady 1924 (10) =? (BCD) (10) = (BCD) (BCD) =? (10) (BCD) = 9632 (10)

11 Kod BCD zalety i wady Przewaga BCD nad NKB: prostsze obliczenia i zaokrąglanie liczb (podstawa systemu: 10) łatwa konwersja dla potrzeb wyświetlacza 7-segmentowego mniejsze błędy obliczeń dla niektórych wartości niecałkowitych, np. 0.1 Przewaga NKB nad BCD: nadmiarowość na czterech bitach można zapisać 16 różnych wartości, a BCD korzysta tylko z dziesięciu skomplikowane operacje arytmetyczne, np. dodawanie, mnożenie

12 Liczba dziesiętna BCD 8421 Excess-3 BCD 2421 BCD

13 Kod 1 z N (pierścieniowy) Najbardziej rozpowszechniony wariant to kod 1 z 10 Kod wagowy (9, 8, 7, 6, 5, 4, 3, 2, 1, 0) Kod detekcyjny w czasie wykonywania operacji można testować liczbę jedynek brak jedynki lub wykrycie dwóch lub więcej wskazuje na błąd

14 Kod 1 z 10 Liczba (10) NKB Kod 1 z

15 Kod 2 z 5 Kod 5-bitowy jeden znak kodowany jest na 5 bitach Zawsze zapalone (1) są dwa bity, a trzy wygaszone (0) Można zakodować 10 znaków (zwykle cyfry dziesiętne) Kod stałowagowy; istnieją różne warianty kodu (01236, 74210), nie są jednak wzajemnie jednoznaczne Kod detekcyjny (stała liczba jedynek w każdym słowie kodowym) Zastosowanie: kody kreskowe

16 Kod 2 z 5 różne warianty Liczba dziesiętna 2 z 5 (01236) 2 z 5 (74210)

17 Kod kołowy 5-bitowy kod kołowy nazywany jest kodem Johnsona Zaczynając od najmniej znaczącego bitu zwiększamy liczbę stanów 1, aż do wszystkich bitów równych 1 Następnie zerujemy stany równe 1, zaczynając od najmniej znaczącego bitu, aż do osiągnięcia wartości Kod jest cykliczny, więc kolejną wartością po będzie 00000

18 Kod kołowy (Johnsona) Liczba (10) NKB Kod Johnsona

19 Kod Graya Kod dwójkowy, bezwagowy, niepozycyjny, detekcyjny Każde dwa kolejne słowa kodowe różnią się stanem zaledwie jednego bitu Kod jest cykliczny pierwsze i ostatnie słowo kodowe również różnią się stanem jednego bitu Kod ma szerokie zastosowanie w przemyśle, szczególnie do cyfrowego pomiaru analogowych wielkości mechanicznych (kąt, przesuw), a także w przetwornikach analogowo-cyfrowych

20 Kod Graya Kod 1-bitowy 0 1 konstrukcja n-bitowego kodu Graya: Kod 2-bitowy dopisz do kodu (n-1)-bitowego te same słowa kodowe, ale w odwrotnej kolejności (odbicie lustrzane) do początkowych wyrazów na początku dopisz bit o wartości 0, a do odbitych bit o wartości 1 Kod 3-bitowy

21 Kodowanie znaków: ASCII ISO 646 (7 bitów) (7 bitów) IBM-Latin-2 Mazovia ISO 8859 (8 bitów) EBCDIC (8 bitów) UNICODE Win-1250 UTF-8 UTF-16 UTF-32

22 Kod ASCII American Standard Code for Information Interchange kod 7-bitowy [0-127] kody 0-31 oraz 127 kody sterujące (np. terminal) kody litery, cyfry, znaki z klawiatury

23 Kod ASCII znaki "widoczne" Kod Znak sp.! " # $ % & ' ( ) * +, -. / Kod Znak : ; < = >? Kod A B C D E F G H I J K L M N O Kod Znak P Q R S T U V W X Y Z [ \ ] ^ _ Kod Znak ` a b c d e f g h i j k l m n o Kod Znak p q r s t u v w x y z { } ~

24 Kod ASCII znaki sterujące Kod Znak Opis Kod Znak Opis 0 NUL null 16 DLE data link escape 1 SOH start of heading 17 DC1 device control 1 2 STX start of text 18 DC2 device control 2 3 ETX end of text 19 DC3 device control 3 4 EOT end of transmission 20 DC4 device control 4 5 ENQ enquiry 21 NAK negative acknowledge 6 ACK acknowledge 22 SYN synchronous idle 7 BEL bell 23 ETB end of trans. block 8 BS backspace 24 CAN cancel 9 TAB horizontal tab 25 EM end of medium 10 LF line feed, new line 26 SUB substitute 11 VT vertical tab 27 ESC escape 12 FF form feed, new page 28 FS file separator 13 CR carriage return 29 GS group separator 14 SO shift out 30 RS record separator 15 SI shift in 31 US unit separator 127 DEL delete

25 Znaki sterujące w języku C/C++ NUL koniec łańcucha znaków [\0] BEL alarm, sygnał dźwiękowy [\a] BS klawisz Backspace [\b] TAB tabulator (odstęp) [\t] LF przejście do nowego wiersza [\n] CR powrót na początek wiersza [\r]

26 ISO / IEC 646 Pierwsze próby kodowania znaków diakrytycznych stosowany w latach 70-tych i 80-tych również kod 7-bitowy [0-127] 10 miejsc na litery danego kraju (języka) 2 miejsca na oznaczenie waluty pozostałe znaki zgodne z ASCII

27 ISO / IEC 646 kolor żółty znaki narodowe i symbole waluty

28 Polskie znaki tylko małe litery (zbyt mało miejsc) [BN-74/ ] Wybrane kodowania odmian narodowych:

29 ISO / IEC 8859 Zestaw standardów dla większości krajów świata utworzony w połowie lat 80-tych i uznany jako norma kod 8-bitowy [0-255] pełny bajt kody tablica znaków ASCII kody dodatkowe znaki sterujące (nieużywane) kody znaki diakrytyczne czerwiec 2004 r. koniec prac nad standardem

30 ISO / IEC 8859 stosowane standardy ISO (Latin-1) alfabet łaciński (Europa zachodnia) ISO (Latin-2) łaciński (Europa środkowa i wschodnia) ISO (Latin-3) łaciński (Europa południowa) ISO (Latin-4) łaciński (Europa północna) ISO (Cyrillic) cyrylica ISO (Arabic) alfabet arabski ISO (Greek) alfabet grecki ISO (Hebrew) alfabet hebrajski ISO (Latin-5) ISO (Latin-6) ISO (Thai) alfabet tajski ISO brak ISO (Latin-7) ISO (Latin-8) występują polskie znaki ISO (Latin-9) ISO (Latin-10) łaciński (Europa środkowa; są polskie znaki)

31 ISO / IEC ("zachodnioeuropejskie") dostępne języki: albański, angielski, baskijski, duński, estoński, fiński, francuski, hiszpański, irlandzki, islandzki, kataloński, łaciński, niderlandzki, niemiecki, norweski, portugalski, retoromański, szkocki, szwedzki, włoski ISO / IEC ("środkowo-", "wschodnioeuropejskie") dostępne języki: bośniacki, chorwacki, czeski, węgierski, polski, rumuński, serbski, serbsko-chorwacki, słowacki, słoweński, górno- i dolnołużycki kodowanie zgodne z Polską Normą

32 Porównanie ISO / IEC oraz ISO / IEC Polskie znaki: Ą ą Ć ć Ę ę Ł ł Ń ń Ó ó Ś ś Ź ź Ż ż

33 EBCDIC Próba wykorzystania kodu BCD do kodowania znaków Extended Binary Coded Decimal Interchange Code stosowany głównie w systemach IBM w latach 60-tych kod 8-bitowy [0-255] nie ma nawet częściowej zgodności z ASCII nie zachowuje kolejności liter, np. po i nie występuje j

34 Porównanie EBCDIC oraz ISO / IEC

35 Problem kodowania polskich znaków w Polsce stosowano ok. 20 schematów kodowania polskich liter przymiarki do wprowadzenia standardu: Mazovia promowany przez społeczność informatyczną (określał sposób kodowania polskich liter, choć nie był pełną stroną kodową) IBM-Latin-2 (CP-852) wprowadzony przez IBM i Microsoft, stosowany w systemach DOS, OS/2 i częściowo w Windows Windows-1250 (CP-1250) wprowadzony w polskiej wersji językowej systemu Windows ISO-Latin-2 (ISO ) stosowany w Internecie rok 1993: wprowadzenie normy PN-93 T "Technika informatyczna. Znormalizowane zbiory znaków graficznych przeznaczone do stosowania w kodach 8-bitowych." więcej informacji:

36 Różnice w kodowaniu polskich znaków Litera Mazovia IBM Latin-2 Windows-1250 ISO Latin-2 Ą Ć Ę Ł Ń Ó Ś Ź Ż ą ć ę ł ń ó ś ź ż

37 Windows-1250 Przez długi czas był standardem ze względu na pozycję firmy strona kodowa używana przez system Microsoft Windows do reprezentacji tekstów w językach środkowoeuropejskich, bazujących na alfabecie łacińskim obsługiwane języki: albański, chorwacki, czeski, polski, rumuński, słowacki, słoweński, węgierski, także niemiecki duży stopień podobieństwa do ISO : Windows-1250 posiada wszystkie jego drukowalne znaki (plus dodatkowe), jednak niektóre zajmują inne miejsca

38 Porównanie ISO oraz Windows-1250

39 Problem z kompatybilnością w praktyce tekst zapisany w standardzie ISO Ą Ć Ę Ł Ń Ó Ś Ź Ż ą ć ę ł ń ó ś ź ż ten sam tekst wyświetlony w systemie Windows jako Windows-1250 (np. w Notatniku) Ć Ę Ł Ń Ó Ż ± ć ę ł ń ó Ľ ż

40 Unicode (Unikod) Ostateczne rozwiązanie? Unicode komputerowy zestaw znaków, który ma 0bługiwać wszystkie pisma i inne znaki (np. symbole muzyczne, techniczne) używane na świecie przypisuje unikalny numer każdemu znakowi, niezależny od używanego systemu, programu czy języka reprezentuje znaki w postaci abstrakcyjnej to oprogramowanie dobiera postać wizualną (czcionkę, rozmiar) zdefiniowany przez dwa standardy Unicode oraz ISO / IEC w których znaki są identyczne obsługiwany przez nowe technologie (Java, XML,.NET Framework)

41 Unicode (Unikod) rozwijany przez konsorcjum skupiające firmy komputerowe, twórców oprogramowania oraz użytkowników koduje w sumie znaków! pierwsza wersja: październik 1991 (Unicode 1.0) ostatnia wersja: czerwiec 2015 (Unicode 8.0) więcej informacji:

42 Unicode - podział Zakres Znaczenie F Basic Latin (to samo co w ASCII) FF Latin-1 Supplement (to samo co w ISO ) F Latin Extended-A F Latin Extended-B AF IPA Extensions (International Phonetic Alphabet) 02B0 02FF Spacing Modifiers Letters FF Greek FF Cyrillic 1D00 1D7F Phonetic Extensions 1D80 1DBF Phonetic Extensions Supplement 1E00 1EFF Latin Extended Additional 1F00 1FFF Greek Extended

43 Unicode (Unikod) standard definiuje kody numeryczne przypisane poszczególnym znakom, ale nie określa sposobu ich bajtowego kodowania kodowanie określa, w jaki sposób znaki ze zbioru mają być przedstawione w postaci binarnej istnieją trzy podstawowe metody kodowania (i wiele dodatkowych): UTF-32 UFT-16 UTF-8 UTF UCS znak kodowany na 32 bitach (4 bajty) znak kodowany na 16 bitach (2 bajty) znak kodowany na 8 bitach (1 bajt) UCS Transformation Format Universal Character Set każda z metod obejmuje wszystkie kodowane w Unicode znaki

44 Unicode (Unikod) w zależności od metody kodowania znak opisany jest za pomocą różnej liczby bajtów źródło:

45 Kodowanie UTF-32 sposób kodowania wymagający użycia 32-bitowych słów kod znaku przedstawia numer w tabeli Unicode i ma zawsze stałą długość (4 bajty) kody obejmują zakres od 0 do 0x10FFFF (16) (od 0 do (10) ) w przypadku typowych znaków ten typ jest bardzo nieefektywny (np. litera 'A' w ISO 8859 zajmuje tylko 1 bajt)

46 Kodowanie UTF-16 sposób kodowania wymagający użycia 16-bitowych słów znaki z przedziału od 0 do 0xFFFF kodowane są jednym słowem, którego wartość jest jednocześnie kodem znaku w Unicode znaki z wyższych pozycji kodowane są za pomocą dwóch słów: pierwsze słowo z przedziału: drugie słowo z przedziału: 0xD800 0xDBFF 0XDC00 0xDFFF

47 Kodowanie UTF-8 kodowanie ze zmienną długością reprezentacji znaku, wymagające użycia 8-bitowych słów znaki mapowane są na ciągi bajtów 0x00 do 0x7F - bity 0xxxxxxx 0x80 do 0x7FF - bity 110xxxxx 10xxxxxx 0x800 do 0xFFFF - bity 1110xxxx 10xxxxxx 10xxxxxx 0x10000 do 0x1FFFFF - bity 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 0x do 0x3FFFFFF - bity xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 0x do 0x7FFFFFFF - bity x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

48 Kodowanie UTF-8 Zalety kodowania UTF-8 każdy znak z ASCII jest znakiem w UTF-8, a żaden znak spoza ASCII nie zawiera bajtu z ASCII o każdym bajcie wiadomo, czy jest początkiem znaku, czy leży w środku tekst zakodowany w ISO-Latin-x przybiera na objętości w niewielkim stopniu po przekodowaniu go do UTF-8 Wady kodowania UTF-8 znaki alfabetów nie-łacińskich (np. polskie znaki) zajmują po dwa bajty, a w kodowaniach narodowych (np. ISO ) tylko jeden

49 Przykłady '?' znak zapytania, kod ASCII = 3F (16) = 63 (10) 63 (10) = (2) I zakres, kod UTF-8: (2) ' ' mała grecka litera mikro, kod Unicode = B5 (16) = 181 (10) 181 (10) = (2) II zakres, kod UTF-8: (2)

50 Polskie litery w Unicode małe litery Litera ą ć ę ł ń ó ś ź ż Kod F3 015B 017A 017C wielkie litery Litera Ą Ć Ę Ł Ń Ó Ś Ź Ż Kod D3 015A B

51 Uwaga praktyczna program pracujący w oknie konsoli korzysta ze strony kodowej CP 852 (IBM-Latin-2) stronę kodową w oknie konsoli można sprawdzić i zmienić poleceniem systemowym CHCP (CHange Code Page) >system("chcp"); >Aktywna strona kodowa: 852 >system("chcp 1250"); >Aktywna strona kodowa: 1250 wykorzystanie innej strony kodowej i uzyskanie polskich liter wymaga dodatkowo zmiany czcionki w ustawieniach okna konsoli

52 Dziękuję za uwagę. Kolejny wykład: 9 marca 2016 Zapraszam!