Komunikacja człowiek-komputer

Transkrypt

1 Komunikacja człowiek-komputer Wykład 3 Dr inż. Michał Kruk Komunikacja człowiek - komputer dr inż. Michał Kruk

2 Reprezentacja znaków Aby zakodować tekst, trzeba każdej możliwej kombinacji bitów przyporządkować pewien znak Najpopularniejszym standardem kodowania znaków był kod ASCII Jeden znak w tym kodzie zajmuje 1 bajt (8 bitów) Obowiązuje od systemu DOS po dziś

3 Przykład

4 Kod ASCII W latach sześćdziesiątych pojawił się standard ASCII Standard ASCII w praktyce używa 7 bitów Na 7 bitach można zakodować 128 znaków 0-31 specjalne kody sterujące Dalej cyfry, małe i duże litery alfabetu Na końcu wszystkie znaki znajdujące się na klawiaturze

5 Kod ASCII Pośród znaków ASCII wydzieloną grupę stanowią tzw. białe znaki (ang. whitespace) albo inaczej odstępy. Są one uznawane za znaki oddzielające pewne części tekstu. Należą do nich 4 znaki: spacja (kod 32), tabulacja (kod 9), koniec wiersza (kod 10) oraz powrót karetki (kod 13).

6 Znaki końca wiersza Dwa różne standardy W Windows koniec wiersza zaznacza się sekwencją dwóch znaków CR (kod 13) i LF (kod 10) W Linux natomiast samym znakiem LF (kod 10) Np. notatnik nie odczyta poprawnie znaków końca linii zapisanych w Linuxie. Wyświetli wszystko w jednej linii.

7 ASCII tablica znaków

8 Extended ASCII 8 bitów daje nam 256 znaków Za mało by zakodować znaki różnych alfabetów świata 7 bitów ASCII plus jeden dodatkowy bit dodatkowe 128 znaków powstałe po użyciu ósmego bitu nie jest ujednolicone wiele tzw. stron kodowych (ang. codepage)

9 ANSI i ISO Pierwszy z nich to wymyślony przez Microsoft i wykorzystywany w Windowsach ANSI (to jest nieoficjalna nazwa). Jego odpowiednikiem wykorzystywanym w innych jest ISO Choć oba mają zdefiniowane ponad dwieście pięćdziesiąt symboli, ta liczba jest cały czas niewystarczająca do pracy we wszystkich językach dlatego każda rodzina języków posiadała własną wersję tych kodowań.

10 Extended ASCII Używanie różnych stron kodowych jest nieco problematyczne Dla samego języka polskiego powstało wiele stron kodowych W chwili obecnej najbardziej popularne są dwa: ISO (Latin-2) Windows-1250

11 ISO i Windows-1252 Europa zachodnia

12 ANSI i ISO Do obsługi języków zachodnioeuropejskich jest wersja oznaczona jako Windows-1252 (lub CP1252). Dla środkowoeuropejskich istnieje wersja Windows Oprócz tego są jeszcze inne strony kodowe wydane przez Microsoft do obsługi pozostałych języków (np cyrylica, 932- japoński, arabski). Podobnie rzecz ma się ze standardem ISO Dla języków Europy zachodniej istnieje strona kodowa oznaczona jako ISO , dla środkowoeuropejskich ISO , a kolejne numery na końcu to: Europa południowa, północna, cyrylica itd.

13

14 UNICODE Potrzebny był nowy sposób kodowania znaków, który obejmowałby wszystkie możliwe symbole używane we wszystkich językach świata. Tak oto w 1991 oficjalnie został ogłoszony UNICODE. Początkowo zawierał on 7161 znaków, ale ta liczba ciągle rosła i obecnie wynosi Dużo.

15 UNICODE Od jego wprowadzenia w jednym dokumencie można używać wielu języków, wpisywać skomplikowane formuły Do tego UNICODE jest obsługiwany przez wszystkie współczesne systemy i tak samo jak poprzednie pierwszych 127 znaków jest identycznych z ASCII. Dzięki temu o wiele rzadziej występują problemy z krzaczkami.

16 UNICODE Pojawił się jednak inny problem tak wielka liczba możliwych znaków sprawiła, że do ich zapisu przestał wystarczać 1 bajt. Jeden bajt składa się z ośmiu jedynek lub zer, co pozwala ułożyć je na 256 różnych sposobów. Czyli tyle, ile symboli mają strony kodowe. Żeby zwiększyć liczbę znaków obsługiwanych przez system kodowania, trzeba zwiększyć liczbę bajtów potrzebnych do wstawienia litery.

17 UNICODE Ostatnio dodany do unikodu znak, przedstawiający turecką Lirę ma symbol (raczej nie jest jeszcze obsługiwany przez czcionki i programy). Numer przypisany do niego to W systemie zero-jedynkowym (binarnym), do jego zapisania potrzebne są aż 3 bajty: Gdyby teraz każda litera musiała zajmować po 3 bajty, nawet te z początku, którym wystarczy po jednym zwiększyłoby się miejsce potrzebne do zapisania pliku na dysku.

18 UNICODE Trzeba było uniknąć sytuacji, w której liczba 65 powiązana z liter A była zapisana w sposób, marnujący pamięć komputera: Programiści wymyślili więc, że znaki nie muszą mieć stałej liczby bajtów. Tak powstał UTF-8. I teraz bardzo ważna rzecz: UNICODE to tylko tabelka z wypisanymi wszystkimi znakami i ich numerkami. A za to, żeby działało to na komputerze, odpowiadają kodowania. Jest wspomniany już UTF-8, UTF-16 i UTF- 32

19

20 UTF-8 Używa od 8 do 32 bitów Każdy tekst w ASCII jest tekstem w UTF-8. Żaden znak spoza ASCII nie zawiera bajtu z ASCII. Typowy tekst ISO-Latin-X rozrasta się w bardzo niewielkim stopniu po przekonwertowaniu do UTF-8. Nie zawiera bajtów 0xFF i 0xFE, więc łatwo można go odróżnić od tekstu UTF-16. Znaki o kodzie różnym od 0 nie zawierają bajtu 0, co pozwala stosować UTF-8 w ciągach zakończonych zerem. O każdym bajcie wiadomo, czy jest początkiem znaku, czy też leży w jego środku Nie ma problemów z little endian vs. big endian. Jest domyślnym kodowaniem w XML Znaki CJK zajmują po 3 bajty zamiast 2 w kodowaniach narodowych. Znaki alfabetów niełacińskich zajmują po 2 bajty zamiast jednego w kodowaniach narodowych. UTF-8 nie używa przesunięć zasięgów, co stanowi dodatkowe utrudnienie dla implementacji UTF-8

21 UTF-8 Mapowanie znaków Unicode na ciągi bajtów: 0x00 do 0x7F bity 0xxxxxxx, gdzie kolejne x to bity licząc od najwyższego 0x80 do 0x7FF bity 110xxxxx 10xxxxxx 0x800 do 0xFFFF bity 1110xxxx 10xxxxxx 10xxxxxx 0x10000 do 0x1FFFFF bity 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 0x do 0x3FFFFFF bity xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 0x do 0x7FFFFFFF bity x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx Znaki z przedziału ASCII (0 do 127) kodowane są jako jeden bajt, czyli m.in. litery alfabetu łacińskiego. Polskie znaki diakrytyczne kodowane już są jako dwa bajty. W listopadzie 2003 roku kodowanie UTF-8 zostało ograniczone zgodnie z RFC 3629 do 0x10FFFF pozycji, w celu zapewnienia zgodności z ograniczeniami systemu UTF-16. Rezultatem jest usunięcie wszystkich sekwencji złożonych z 5 i 6 bajtów oraz około połowy sekwencji 4-bajtowych.

22 Przykład Ą w UNICODE d = A więc 2 bajty 0x80 do 0x7FF bity 110xxxxx 10xxxxxx 110xxxxx 10xxxxxx C 4 8 4

23 BOM BOM (ang. Byte Order Mark) znacznik kolejności bajtów

24 Rady praktyczne W notatniku kodowanie ANSI to Windows jeżeli używamy polskiego systemu operacyjnego UWAGA! W edytorach on-line (np. w popularnych hostigach) nie ma wyboru kodowania. Bardzo często zmieniają one same kodowanie na ISO!! W chwili obecnej powinniśmy uzywać wyłącznie kodowania UTF-8

25 Tablica unicode