Treści multimedialne - kodowanie, przetwarzanie, prezentacja

Transkrypt

1 Treści multimedialne - kodowanie, przetwarzanie, prezentacja Andrzej Majkowski informatyka + 1

2 Program wykładu 1. Dźwięk w przekazie multimedialnym 2. Obraz w multimediach 3. Budowa wyświetlaczy LCD informatyka + 2

3 Multimedia Multimedia to media, które wykorzystują różne formy informacji oraz różne formy ich przekazu w celu dostarczania odbiorcom informacji lub rozrywki. Prezentacje multimedialne mogą być odbierane na żywo, wyświetlane, transmitowane lub odtwarzane w dowolnym miejscu. Termin multimedia jest niejednoznaczny. informatyka + 3

4 Multimedia formy przekazu Wykorzystywane formy przekazu to tradycyjne: tekst Tekst może być wzbogacony innymi środkami przekazu, z których najważniejsze to: dźwięk, obraz: grafika, animacja, wideo Te dwie formy będą dokładniej omówione w dalszej części prezentacji informatyka + 4

5 Co to jest dźwięk? Fala dźwiękowa rozchodzi się jako podłużna fala akustyczna w danym ośrodku sprężystym: gazie, płynie. W ciałach stałych, takich jak metale, występuje również fala poprzeczna. Dźwięk, jako drgania cząsteczek, charakteryzuje się tym, że cząsteczka pobudzona przekazuje energię cząstce sąsiedniej, a sama drga wokół własnej osi. Skutkiem tego są lokalne zmiany ciśnienia ośrodka rozchodzące się falowo. informatyka + 5

6 Dźwięk W powietrzu w temperaturze otoczenia 20 o C prędkość dźwięku wynosi ok. 345 m/s. Zakres częstotliwości od 20 Hz do 20 khz jest zakresem częstotliwości słyszalnych (fonicznych, audio). Fala o częstotliwości 20 Hz ma długość 17,25 m. Fala o częstotliwości 20 khz ma długość 1,72 cm. Dźwięki o częstotliwości mniejszej od 20 Hz są nazywane infradźwiękami, zaś o częstotliwości większej od 20 khz ultradźwiękami. informatyka + 6

7 Zakres słyszalności informatyka + 7

8 Komputerowa edycja dźwięku Zastosowanie w komputerach kart dźwiękowych umożliwiło łatwą i jednocześnie zaawansowaną obróbkę sygnałów dźwiękowych na potrzeby prezentacji multimedialnych informatyka + 8

9 Karty dźwiękowe W 1987 r. powstaje pierwsza karta dźwiękowa firmy AdLib, wyposażona w złącze ISA. Sercem karty był procesor Yamaha YM3812. Karta mogła odtwarzać 9 kanałów jednocześnie albo 11 (polifonia) w tym 5 kanałów przeznaczonych na instrumenty perkusyjne. Dźwięk był generowany na zasadzie syntezy FM (Frequency Modulation), jako wynik mieszania pary fal o określonych kształtach. informatyka + 9

10 Karty dźwiękowe W 1988 r. firma Creative Music Systems (dzisiaj Creative Labs) zaproponowała klientom pierwszą w swoim dorobku kartę ISA, tj. Game Blaster. Była to nowsza wersja dotychczas produkowanego syntezatora C/MS. Karta odtwarzała 12 kanałów z regulowanym poziomem głośności oraz 3 kanały perkusyjne. Dźwięk stereo. Przeznaczona była dla użytkowników gier. informatyka + 10

11 Karty dźwiękowe Pierwszą kartę z serii Sound Blaster wyprodukowano w 1989r. Karta zawierała syntezator FM, odtwarzała dźwięk mono z rozdzielczością 8 bitów. Karty Sound Blaster 16 i moduł Wave Blaster wprowadzono na rynek w 1992r. Karta mogła odtwarzać i zapisywać dźwięk (stereo) z częstotliwością 44,1kHz w 16 bitowej rozdzielczości. Istniała możliwość podłączenia modułu Wave Blaster, który posiadał 4MB próbek dźwięków. W 1994 r. wprowadzono nowy model karty Sound Blaster AVE32, z którym zintegrowano moduł Wave Blaster. W 1998 r. opracowano kartę Sound Blaster Live!, która umożliwiała uzyskanie dźwięku 4-kanałowego i dysponowała technologią EAX (symulacja dźwięku w różnych środowiskach). informatyka + 11

12 Budowa kart dźwiękowych 1. Generator dźwięku - występował w starszych kartach i był to zazwyczaj generator FM oraz generator szumu, służył do sprzętowego generowania dźwięków za pomocą modulacji i łączenia fal oraz szumu. 2. Pamięć ROM lub półprzewodnikowa typu flash umożliwia przechowywanie danych (np. próbek wykorzystywanych do syntezowania dźwięku). 3. Przetworniki a/c i c/a - umożliwiające rejestrację i odtwarzanie dźwięku. 4. Mikser dźwięku - służy do łączenia sygnałów dźwięku z różnych źródeł, generatorów dźwięku, przetworników c/a, wejść zewnętrznych, itp. informatyka + 12

13 Budowa kart dźwiękowych cd. 5. Wzmacniacz wyjściowy - służy do podłączenia słuchawek lub dopasowania linii wyjściowych przetwornika c/a. 6. Interfejs do komputera - służący do komunikacji i wymiany danych z kartą dźwiękową, zazwyczaj ISA, PCI lub USB. 7. Procesor DSP - służy do cyfrowej obróbki dźwięku, np. nakładania efektów. 8. Interfejs MIDI - służy do podłączania do komputera cyfrowych instrumentów muzycznych. informatyka + 13

14 Karty dźwiękowe Sound Blaster Audigy 2 ZS Platinum Pro Karta PCI z zewnętrznym interfejsem Dolby Digital 7.1, - próbkowanie: 24bit/96kHz wejście i wyjście S/PDIF: 2x RCA i 2x Toslink wyjścia liniowe: 3x stereo, - wejścia liniowe: 3x stereo wejście mikrofonowe wejście i wyjście MIDI wyjście słuchawkowe, złącza FireWire informatyka + 14

15 Formaty zapisu i przechowywania plików multimedialnych Kontenery multimedialne umożliwiają przechowywanie różnego rodzaju danych: dźwięku, obrazów, filmu, napisów, informacji o rozdziałach itp. w wielu formatach. Przykładami kontenerów multimedialnych są: AVI (standardowy kontener systemu Windows) Advanced Systems Format (standardowy kontener dla multimediów pakietu Windows Media - WMA oraz WMV) OGG (bezpłatny kontener dla multimediów strumieniowych wysokiej jakości) MPEG-4 Part 14 (standardowy kontener AV dla MPEG-4) informatyka + 15

16 Kodowanie PCM Metoda PCM polega na reprezentacji wartości chwilowej sygnału (próbkowaniu) w określonych (najczęściej równych) odstępach czasu, czyli z określoną częstością (tzw. częstotliwość próbkowania). informatyka + 16

17 Kodowanie PCM - kwantyzacja Wartość chwilowa sygnału jest przedstawiana za pomocą słowa kodowego, którego wartości odpowiadają wybranym przedziałom kwantyzacji sygnału wejściowego. informatyka + 17

18 Inne metody cyfrowego kodowania dźwięku Mp3 Standard MPEG-1 - "Layer3 Ogg Vorbis Mp4 (MPEG-4 Part14)? AAC Usprawnienia względem starszych algorytmów kompresji dźwięku próbkowanie 8-96 khz (MP khz) do 48 kanałów (MP3 2 kanały w standardzie MPEG-1 i 5.1 w standardzie MPEG-2) skuteczniejszy i wydajniejszy lepsze przenoszenie częstotliwości ponad 16 khz lepszy tryb kompresji sygnału stereofonicznego joint-stereo informatyka + 18

19 Co to jest obraz cyfrowy? Sygnały świetlne docierające do oczu są zamieniane na cechy takie jak kształt, kolor, czy wzajemne relacje przestrzenne obiektów. Obrazy cyfrowe reprezentują te same sceny wizualne w postaci dwuwymiarowych tablic pikseli. Technika cyfrowa umożliwia przeprowadzenie szeregu operacji obróbki obrazu, w tym także działań niewykonalnych tradycyjnymi metodami przy pomocy filtrów optycznych lub analogowej elektroniki. informatyka + 19

20 Jak widzimy? Rejestracja promieniowania świetlnego jest realizowana na siatkówce oka. Siatkówkę oka można przyrównać do pewnego rodzaju światłoczułej matrycy, na której znajdują się receptory widzenia pręciki i czopki. informatyka + 20

21 Początki Lata systemy rozpoznawania wojskowego, wykorzystanie podwyższania jakości obrazu fotograficznego (dystorsja, nieostrość, kontrast) Początek lat 60. XX wieku - początki cyfrowego przetwarzania obrazu na potrzeby NASA (misje Ranger a) informatyka + 21

22 Początki Lata 60. XX wieku technika cyfrowa wykorzystywana jest do obróbki zdjęć satelitarnych i zdjęć pochodzących z kolejnych misji NASA oraz europejskich programów kosmicznych. Po prawej pierwszy obraz Księżyca sfotografowany przez statek Ranger 7. informatyka + 22

23 Dziedziny zastosowania CPO astronomia obrazowanie ultradźwiękowe radiologia metrologia sejsmologia mikroskopia CPO nawigacja automatyczna telekomunikacja robotyka nadzór przemysłowy bezpieczeństwo wojsko kino i TV medycyna rozrywka informatyka + 23

24 Dziedziny zastosowania CPO Zdjęcia zarejestrowane z użyciem różnych technik, wykorzystywane w różnych dziedzinach nauki. Poniżej: zdjęcie rentgenowskie dłoni, angiogram (obraz żył lub tętnic). informatyka + 24

25 Dziedziny zastosowania CPO Przykład obrazu zarejestrowanego kamerą termowizyjną informatyka + 25

26 Dziedziny zastosowania CPO Zdjęcie radarowe, stopiona powierzchnia Wenus. informatyka + 26

27 Dziedziny zastosowania CPO Jądrowy rezonans magnetyczny a) aparat MRI b) przekrój mózgu informatyka + 27

28 Dziedziny zastosowania CPO Mikroskopia elektronowa informatyka + 28

29 Modele barw informatyka + 29

30 Modele barw Kojarzone ze sprzętem RGB model addytywny, barwa powstaje w wyniku emisji światła, wszystkie barwy powstają przez zmieszanie trzech barw podstawowych: czerwonej, zielonej i niebieskiej. CMY, CMYK model substraktywny, barwy uzyskuje się dzięki światłu odbitemu od zadrukowanego podłoża, wszystkie barwy w modelu CMY powstają przez zmieszanie trzech barw podstawowych: cyan (zielono-niebieska), magenta (purpurowa), yellow (żółta). informatyka + 30

31 Mieszanie barw Mieszanie addytywne Mieszanie substraktywne informatyka + 31

32 Modele barw informatyka + 32

33 Atrybuty barwy Odcień barwy wrażenie związane z konkretną długością fali. Nasycenie - mieszanie (0-100%) z barwą białą. Jasność (luminancja) wrażenie związane z wielkością strumienia świetlnego (umowna skala 0 1). informatyka + 33

34 Balans bieli i korekcja barw Zadaniem całego toru wizyjnego jest wierna reprodukcja barw. Często jednak okazuje się, że odtwarzane barwy są w pewnym stopniu zafałszowane (skóra, śnieg). Zadaniem korekcji barw jest właśnie sprowadzenie postaci barw do formy akceptowalnej przez widza. Celem ustawienia balansu bieli jest osłabienie barwy dominującej. W procesie edycji obrazu przy pomocy odpowiednich narzędzi można zaznaczyć fragment obrazu, który według widza ma być biały, a program dokona automatycznego zrównoważenia bieli dla całego obrazu. informatyka + 34

35 Balans bieli i korekcja barw W niektórych sytuacjach nie warto nawet szukać ustawienia gwarantującego neutralne kolory informatyka + 35

36 Temperatura barwowa Temperatura barwowa, jako cecha określająca wrażenie percepcyjne oglądanego obrazu, zależy głównie od rodzaju oświetlenia oraz od właściwości barwnych elementów występujących w scenie obrazowej. W praktyce temperaturę barwową definiuje się na podstawie relacji jakie zaobserwowano pomiędzy temperaturą a właściwościami emisyjnymi ciała czarnego. Temperaturę barwową oblicza się na podstawie średniej wartości kolorów całego obrazu, z pominięciem pikseli, które nie mają wielkiego wpływu na temperaturę barwową, a mianowicie pikseli koloru czarnego i tzw. pikseli samo-świecących czyli większych od wartości średniej o pewną wartość progową. informatyka + 36

37 Podział zakresu temperatury barwowej Kategoria subiektywna Gorąca Ciepła Neutralna Zimna Zakres temperatur 1667K ~ 2250K 2251K ~ 4170K 4171K ~ 8060K 8061K ~ 25000K informatyka + 37

38 Temperatura barwowa, balans bieli informatyka + 38

39 Komputerowa edycja obrazu Istnieje wiele narzędzi umożliwiających przetwarzanie obrazów dwuwymiarowych statycznych Coraz silniejsze obliczeniowo komputery oraz dostępność kamer cyfrowych umożliwiły również stosowanie nagrań wideo informatyka + 39

40 System do cyfrowego przetwarzania obrazów informatyka + 40

41 Etapy przetwarzania sygnału wizyjnego Zanim obraz zostanie poddany cyfrowej obróbce, musi być przekształcony do postaci elektrycznej w przetworniku analizującym, a następnie poddany dyskretyzacji i kwantyzacji. we/wy cyfrowe Kompresja We analogowe A/C Próbkowanie Bufor ramek Skanowanie C/A Wy analogowe informatyka + 41

42 Kamery cyfrowe Taśmy: MiniDV Parametry: - rozdzielczość 500 do 540 linii - dźwięk 2 kanały rozdzielczości 16 bitów z próbkowaniem 48 khz lub 4 kanały 12 bitów 32 khz - port IEEE 1394 FireWire informatyka + 42

43 Kamery cyfrowe Standard AVCHD (Advanced Video Coding High Definition) Specyfikacja formatu AVCHD została ogłoszona przez firmy Sony i Panasonic - sygnał o wysokiej rozdzielczości HDTV - kompresja wideo MPEG-4 AVC/H kompresja audio Dolby Digital (AC-3), PCM, zapis kanałowy - zapis na dyskach HDD lub na kartach pamięci flash informatyka + 43

44 Filtry mozaikowe Na jeden pixel czerwony lub niebieski przypadają dwa zielone. Odpowiada to warunkom widzenia człowieka, które najczulej reaguje na zmiany jasności w zielonej części widma. Aby uzyskać dane o kolorze danego punku musimy skorzystać z algorytmu interpolacji i danych z sąsiednich pixeli. Dopiero po procesie interpolacji uzyskujemy dane o kolorze danego punktu. W praktyce stosowane są różne układy filtrów barwnych. Najpopularniejszym jest oczywiście filtr RGB. informatyka + 44

45 System 3CCD Podstawą technologii zawartej w przetwornikach obrazu 3CCD jest pryzmat, który rozszczepia światło na trzy podstawowe kolory RGB informatyka + 45

46 Skanowanie Odczyt zawartości bufora w trybie międzyliniowym lub kolejnoliniowym (skanowanie progresywne) Skanowanie międzyliniowe Skanowanie progresywne informatyka + 46

47 skanowanie progresywne 4CIF Skanowanie międzyliniowe 4CIF Skanowanie międzyliniowe 2CIF Przykład zastosowania skanowania progresywnego oraz międzyliniowego. Samochód porusza się z prędkością 20 km/h. 4CIF x 596 2CIF x 288 informatyka + 47

48 Efekty specjalne Kluczowanie Chroma Key: nałożenie na zwykle niebieskie lub zielone tło nowego obrazu. informatyka + 48

49 Ekrany LCD ukierunkowanie światła informatyka + 49

50 Ekrany LCD przepływ światła informatyka + 50

51 Ekrany LCD TN (Twisted Nematic) informatyka + 51

52 Ekrany LCD TN (Twisted Nematic) informatyka + 52

53 Ekrany LCD TN (Twisted Nematic) Różnicując napięcie na końcówkach ciekłego kryształu można modulować stopień zamknięcia przełącznika, aby uzyskać stany pośrednie informatyka + 53

54 DSTN (dual scan TN) matryce pasywne informatyka + 54

55 Matryce aktywne informatyka + 55

56 Budowa matryc TFT informatyka + 56

57 Budowa matryc TFT Powiększenie pikseli na wyświetlaczu LCD informatyka + 57

58 Technologia IPS (In-Plane Switching) Filtr polaryzujący Powierzchnia przeźroczysta Ciekły kryształ Elektroda Powierzchnia przeźroczysta Filtr polaryzujący Pojedynczy piksel bez napięcia informatyka + 58

59 Technologia IPS (In-Plane Switching) Filtr polaryzujący Powierzchnia przeźroczysta Ciekły kryształ Elektroda Powierzchnia przeźroczysta Filtr polaryzujący Pojedynczy piksel z przyłożonym napięciem informatyka + 59

60 Multidomain Vertical Alignment (MVA) informatyka + 60

61 Multidomain Vertical Alignment (MVA) informatyka + 61

62 Dziękuję za uwagę informatyka + 62