Transmisja i rejestracja sygnałów wprowadzenie oraz podstawy percepcji dźwięku i obrazu Opracował: dr inż. Piotr Suchomski
Kontakt Katedra Systemów Multimedialnych Wydział ETI dr inż. Piotr M. Suchomski, pok. EA 730 e-mail: pietka@sound.eti.pg.gda.pl tel. 23-01 http://www.sound.eti.pg.gda.pl login: student Hasło: lab@kaesem
Wprowadzenie Wykład obejmuje prezentację szeregu podstawowych pojęć z zakresu rejestracji, przetwarzania i transmisji sygnałów wideofonicznych.
Zakres tematyczny wykładu 1. Podstawy percepcji dźwięku i obrazu 2. Przetworniki elektroakustyczne 3. Przetworniki obrazu 4. Cyfrowy tor foniczny 5. Cyfrowy tor wizyjny
Zakres tematyczny wykładu 6. Obiektywy, aparaty cyfrowe, kamery 7. Synchronizacja urządzeń wizyjnofonicznych 8. Formaty zapisu dźwięku i obrazu 9. Montaż dźwięku 10. Montaż wizyjny
Zakres tematyczny wykładu 11. Metody kompresji dźwięku i obrazu 12. Transmisja sygnałów wizyjnofonicznych 13. Kodowanie i szyfrowanie sygnałów wizyjno-fonicznych
Laboratorium 1. Podstawy rejestracji nagrań wideofonicznych 2. Komputerowy montaż dźwięku 3. Kompresja dźwięku 4. Podstawy zgrywania i montażu obrazu 5. Kompresja obrazu 6. Transmisja nagrań wideofonicznych w sieci TCP/IP
Laboratorium piątek, lab. EA 630, godz. 8-10 Wprowadzenie 11.03 Nr ćwiczenia terminy 1 18.03, 1.04 2 8.04, 15.04 3 22.04, 29.04 4 6.05, 13.05 5 20.05, 27.05 6 3.06, 10.06
Zaliczenie Zaliczenie wykładu test wyboru, Wynik kolokwium (na koniec semestru) + ocena z laboratorium (50% +50%) Dodatkowe punkty za obecność na wykładzie: +3 pkt. obecność na wszystkich wykładach, +2 pkt. tylko 1 nieusprawiedliwiona nieobecność, +1 pkt. tylko 2 nieusprawiedliwione nieobecności.
Podstawowe informacje o percepcji obrazu
Narząd wzrokowy Narząd wzroku jest wysoko zorganizowanym analizatorem zmysłowym, którego czynność polega na odbieraniu wrażeń promieniowania świetlnego. Widzenie jest złożonym procesem fizycznopsychicznym, który składa się z trzech etapów: przyjęcia (wychwycenia) bodźca, jego przewodzenia oraz zebrania i poznania go. Warunki te spełnia zbudowany i funkcjonujący prawidłowo układ wzrokowy.
Anatomia narządu wzroku Naczyniówka Plamka żółta Nerw wzrokowy Plamka ślepa
Fizjologia narządu wzroku Oko - optyczny układ skupiający, dający obrazy rzeczywiste, pomniejszone, odwrócone; załamanie światła (rogówka, soczewka); akomodacja oka - regulacja oka tak aby obraz znalazł się w pobliżu plamki żółtej; regulacja ostrości obrazu - zmiana krzywizny soczewki; przesłona - zmiana wielkości otworu źrenicy; obraz na siatkówce; nieustanny, skokowy ruch oka (oczopląs) - warunek konieczny widzenia;
Fizjologia narządu wzroku Bezwładność wzroku ludzkiego czas przetworzenia pojedynczego obrazu, powstałego na siatkówce wynosi ok. 1/10 s; Zdolność całkująca wzroku ludzkiego liczba dostrzeganych szczegółów zależna od odległości oka od obserwowanego obiektu;
Światło widzialne jest częścią szerokiego widma elektro-magnetycznego 100 Czułość względna Odpowiedź oka ludzkiego (odpowiedź luminancji) 0 400 500 600 700 Długość fali (nm)
Kolor jest wrażeniem uformowanym przez kombinację Źródła, Modyfikatora i Detektora Źródło Modyfikator Detektor w widmie EM nie ma kolorów, lecz fale
Barwa Odcień barwy dotyczy takich pojęć jak czerwony, zielony, niebieski, żółty itp.; Nasycenie barwy określa odległość od poziomu szarości o taki samym natężeniu, np. barwa czerwona jest silnie nasycona, a barwa różowa jest średnio nasycona; Jasność lub jaskrawość (żródła światła) określa achromatyczny opis odbieranej jasności;
Oko posiada pręciki(100 mln.) dla detekcji składowych luminancji i 3 rodzaje czopków (9 mln.) do detekcji koloru Czerwony czopek + + + + Bezbarwny (Luminancja) Pręciki Zielony czopek + + Żółty + - - Czerwono-Zielony (Chrominancja) + Niebieski czopek Niebiesko-Żółty (Chrominancja) Oko ma wyższą czułość dla składowej Luminancji
Addytywne mieszanie barw w aparatach fotograficznych i kamerach zachodzi w wyniku kombinacji (sumowania) 3 kolorów podstawowych Czerwonego, Zielonego i Niebieskiego
Synteza subtraktywna barw (CMY) jest metodą uzyskiwania kolorów w drukarkach Czerwony Żółty Purpurowy Zielony Cyjan Niebieski
Modele barw RGB (monitory, addytywna metoda tworzenia barw); CMY lub CMYK (drukarki, plotery itp., subtraktywna metoda tworzenia barw; YIQ (telewizja kolorowa) uniwersalny model odwzorowania barw w telewizji kolorowej i czarno-białej, Y składowa jasności, I i Q składowe koloru; HSV lub HSB(odcień barwy, nasycenie, wartość, artystyczny model barw, tinty, cienie, tony);
Modele barw problemy konwersji Każde urządzenie może mieć specyficzną odmianę modelu barw (np. 2 monitory mogą mieć różne modele RGB); Nie wszystkie barwy są osiągalne w każdym modelu barw; Istnieje możliwość konwersji barw między poszczególnymi modelami. Proces konwersji nie jest prosty. Nie każda barwa po konwersji będzie jednoznacznie przedstawiona w modelu barw;
Prezentacja obrazu Monitor- punkty o składowych RGB Drukarka nakładanie kolejnych warstw farby według metody subtraktywnej; Obrazy czarno-białe wydruk techniką mikrowzorów, półtony; n x n -> n 2 +1 poziomów
Główne parametry obrazu - rozdzielczość Rozmiar liczba punktów na płaszczyźnie np.640x480; Rozdzielczość liczba punktów na cal długości (dpi); Rozdzielczość monitora 72-90 dpi; Rozdzielczość przeciętnej drukarki atramentowej od 150 do 1200 dpi; Rozdzielczość optyczna przeciętnego skanera od 300 do 1200 dpi;
Główne parametry obrazu - rozdzielczość Problem dopasowania rozdzielczości różnych urządzeń: Obraz zeskanowanego obrazu na monitorze jest znacznie większy od rozmiaru rzeczywistego; kolorowy wydruk na ogół będzie miał mniejszy rozmiar na wydruku (sposób drukowania pikseli wpływa na różnicę w rozmiarze);
Podstawy zapisu danych komputerowych Najmniejsza jednostka informacji 1 bit; 1bajt = 8 bitów; 1 kb = 1024 bajty; 2 n 2 7 2 6 2 5 2 4 2 3 2 2 2 1 2 0 bit najmłodszy 1 0 0 1 1 1 0 1 2 7 +2 4 +2 3 +2 2 +2 0 = 157
Główne parametry obrazu kodowanie koloru Sposób kodowania barw: 1 bit - obraz czarno-biały; 8 bitów odcienie szarości lub paleta 256 kolorów; 16 bitów ok.. 65 tys. kolorów (high color); 24 bity 16 mln. kolorów (true color); 32, 36, 48... bity 16 mln. Kolorów (nadmiarowe bity są zabezpieczeniem poprawności transmisji danych między urządzeniami)
Pojęcie częstotliwości w obrazie Częstotliwość w obrazie jest rozumiana jako szybkość zmian jasności; Niska częstotliwość oznacza małe zmiany jasności (np. niebo, morze, zachód słońca itp.); Wysoka częstotliwość oznacza duże zmiany jasności w obrazie, duża liczba szczegółów (np. obraz kolorowych kwiatów, zdjęcie grupy ludzi itp.);
Problem prawidłowego odwzorowania barw Histogram informacja statystyczna o zawartości barw (rozkładzie jasności) w obrazie;
Problem prawidłowego odwzorowania barw słaby kontrast Mały kontrast mała dynamika zróżnicowania kolorów, należy rozciągnąć histogram;
Problem prawidłowego odwzorowania barw słaby kontrast Efekt poprawy jakości obrazka za pomocą typowej funkcji kontroli kontrastu i jasności ( niszczenie kształtu histogramu) ;
Problem prawidłowego odwzorowania barw słaby kontrast Efekt poprawy jakości obrazka za pomocą funkcji wyrównywania poziomów;
Problem prawidłowego odwzorowania barw problem jasności Nieprawidłowa jasność histogram przesunięty w kierunku małych bądź dużych jasności;
Problem prawidłowego odwzorowania barw problem jasności Nieprawidłowa jasność przesuwanie histogramy poprzez wzmocnienie jasności na ogół nie daje pozytywnych rezultatów;
Podstawowe informacje o percepcji dźwięku
Narząd słuchu
Narząd słuchu Ucho zewnętrzne składa się z małżowiny i kanału usznego, zakończone błoną bębenkową, doprowadza dźwięk do ucha środkowego poprzez drgania błony bębenkowej; Ucho środkowe układ kosteczek słuchowych (młotek, kowadełko, strzemiączko), tworzy transformator między powietrznym środowiskiem ucha zewnętrznego a ciekłym środowiskiem ucha wewnętrznego. Średnie wzmocnienie sygnału wynosi ok. 30 db. (44x).
Narząd słuchu Ucho wewnętrzne zajmuje się analizą i przetworzeniem dźwięku na szereg bodźców elektrycznych i za pomocą nerwów słuchowych przesyła informację dźwiękową do wyższych pięter słuchowych. Zasadniczą częścią ucha wewnętrznego jest ślimak, którego istotną częścią jest błona podstawna z narządem Cortiego. Układ komórek słuchowych na błonie podstawnej i nerwów słuchowych ma układ tonotopowy (podział na częstotliwości).
Zakres słyszenia człowieka zakres słyszanych przez człowieka częstotliwości: 16 Hz - 20 khz; zakres dynamiki słuchu: 130 db
Zakres słyszenia człowieka
Dźwięk zjawisko fizyczne Dźwięk jest falą (akustyczną) rozchodzącą się w danym ośrodku sprężystym (ciała stałe, ciecze i gazy); Dźwięk jest falą zdolną do wywołania wrażenia słuchowego;
Ton Najprostszym rodzajem drgań źródła dźwięku są drgania sinusoidalne; Wrażenie słuchowe wywoływane takim drganiem nazywane jest tonem prostym; A( t) A0 sin(2 ft) Gdzie: - A 0 maksymalne wychylenie (amplituda), - f częstotliwość drgań;
Ton 1Hz = 1 drganie w ciągu 1 sekundy; Okres (T)= czas pełnego jednego drgania; f = 1/T;
Wieloton Na ogół mamy do czynienia z dźwiękami złożonymi, które można przedstawić jako sumę tonów prostych. Dokonując analizy dźwięku za pomocą transformacji Fouriera uzyskuje się sumę składowych dźwięków prostych. Zbiór składowych sinusoidalnych dźwięku złożonego, określonych przez amplitudę i częstotliwość każdej składowej, nazywa się widmem akustycznym dźwięku;
Wieloton
Wieloton Jeżeli w widmie dźwięku częstotliwości składowych są wielokrotnością pewnej częstotliwości, będącej największym wspólnym podzielnikiem tych składowych, to taki dźwięk jest wielotonem harmonicznym, a składowe nazywa się kolejnymi składowymi harmonicznymi dźwięku; Ton podstawowy to ton o częstotliwości będącej największym wspólnym podzielnikiem pozostałych częstotliwości składowych harmonicznych. O wysokości dźwięku decyduje ton podstawowy;
Barwa dźwięku Barwa dźwięku jest cechą wrażenia słuchowego zależną od składu widma dźwięku. Barwa dźwięku zależy od ilości składowych, ich amplitud i względnych stosunków natężenia. Barwa dźwięku pozwala rozróżniać dwa dźwięki o takiej samej wysokości;
Obwiednia dźwięku Obwiednia dźwięku opisuje zależność amplitudy dźwięku od czasu; Zazwyczaj obwiednie dźwięków, zwłaszcza muzycznych, opisuje się za pomocą modelu ADSR (ang. Attack, Decay, Sustain, Release);
Obwiednia dźwięku Czasy trwania poszczególnych faz są różne i charakterystyczne dla instrumentów muzycznych; Nie zawsze muszą występować wszystkie fazy;
Szum Szum to dźwięk, którego widmo akustyczne jest ciągłe i ma przypadkowy charakter. Szum biały wszystkie składowe mają taką samą amplitudę; Szumy kolorowy (np. brązowy, różowy itp.) niektóre zakresy częstotliwości mają znacznie większą amplitudę niż pozostałe.
Szum Szum biały Szum brązowy
Dudnienia, tremolo, vibrato Efekt dudnienia występuje gdy w tym samym czasie generowane są dźwięki o częstotliwościach różniących się o niewielką wartość np. 400 Hz i 420 Hz. Efekt tremolo efekt modulacji amplitudy;. Efekt vibrato efekt modulacji częstotliwości
Natężenie i głośność dźwięku Natężenie dźwięku to parametr obiektywny, mierzalny, określa moc akustyczną fali przechodzącą przez powierzchnię 1 m 2, prostopadłą do fali akustycznej.jednostką natężenia dźwięku jest W/ m 2 (Wat na metr kwadratowy); Głośność dźwięku jest subiektywną cechą wrażenia słuchowego, zależną od wielu czynników takich jak: częstotliwość, struktura widmowa, poziom ciśnienia akustycznego, czas trwania bodźca, czułość słuchu, rodzaj i charakter ubytku słuchu.
Krzywe jednakowej głośności fon jednostka poziomu głośności. Poziom głośności dźwieku wynosi n fonów jeśli przeciętny słuchacz ocenia go jako jednakowo głośny z dźwiękiem 1kHz o poziomie ciśnienia n decybeli;
Głośność dźwięku Głośność dźwięku zależy od szerokości pasma, a nie zależy od ilości składowych. Im większa szerokość pasma tym wrażenie głośności większe. Dla dźwięków krótszych niż 200 ms. Wrażenie głośności rośnie wraz ze wzrostem czasu trwania dźwięku. Dla dźwięków o czasie trwania dłuższym niż kilka sekund wrażenie głośności maleje wraz ze wzrostem czasu trwania dźwięku (efekt adaptacji słuchowej).
Maskowanie dźwięków Maskowanie proces, w którym próg słyszalności jednego dźwięku (sygnału) podnosi się na skutek obecności innego dźwięku (maskera). Maskowanie całkowite występuje gdy głośność jednego dźwięku zanika w obecności innego dźwięku. Maskowanie częściowe występuje gdy głośność dźwięku obniża się w obecności innego dźwięku.
Maskowanie dźwięków Maskowanie równoczesne jeśli sygnał i masker występują w tym samym czasie. Maskowanie nierównoczesne gdy sygnał i masker są względem siebie przesunięte w czasie. Pasmo krytyczne maksymalna szerokość pasma szumu, który powoduje podwyższanie progu słyszenia (maskowanie) tonu o częstotliwości równej częstotliwości środkowej pasma krytycznego.
Maskowanie dźwięków Maskowanie jest zależne od częstotliwości sygnału i maskera. Jeśli częstotliwość maskera i sygnału należą do tego samego pasma krytycznego to występuje efekt maskowania.
Wysokość dźwięku Wysokość dźwięku to subiektywne wrażenie słuchowe pozwalające szeregować dźwięki od niskich do wysokich. Wysokość dźwięku zależy głównie od częstotliwości (ton prosty) lub częstotliwości podstawowej (dźwięki złożone). Na ocenę wysokości dźwięku oprócz częstotliwości wpływ ma również: poziom głośności, obwiednia amplitudy, skład widmowy, czas trwania oraz obecność innych dźwięków.
Wysokość dźwięku- skala muzyczna Interwał muzyczny określony stosunek częstotliwości dwóch dźwięków muzycznych. Dźwięk 2x wyższy w muzyce określany jest jako wyższy o oktawę. Oktawę tworzy 12 półtonów. Różnica częstotliwości sąsiadujących półtonów wynosi: 12 2
Wysokość dźwięku- skala muzyczna
Określanie kierunku dźwięku Określenie kierunku dochodzenia dźwięku jest znacznie dokładniejsze w przypadku słyszenia dwuusznego. Człowiek lokalizuje kierunek dźwięku na podstawie analizy różnicy faz dźwięku (czasu dotarcia do ucha lewego i ucha prawego) oraz różnicy natężeń dźwięku (poziom głośności w uchu lewym i w uchu prawym). Im wyższa częstotliwość dźwięku tym łatwiej lokalizować kierunek dźwięku.
Sygnał muzyczny Duża dynamika sygnału od 30 db (ciche partie) do 110 db. Częstotliwości w zakresie od 16 Hz do 16 khz (muzyka organowa), a zazwyczaj od 30 Hz do 15 khz.
Sygnał mowy Sygnał mowy jest splotem parametrów układu artykulacji traktu głosowego (jama ustna, nosowa, język itp.) i tonu krtaniowego (charakterystyczna częstotliwość pobudzenia). Zależność poziomu ciśnienia sygnału mowy od częstotliwości oznacza, że w określonych zakresach częstotliwości, składowe widma dźwięków mowy przybierają wartości znacznie wyższe niż w pozostałych zakresach częstotliwości. Te zakresy częstotliwości, w których składowe widma przyjmują maksymalne wartości nazywa się formantami, zaś odpowiadające im częstotliwości częstotliwościami formantowymi.
Sygnał mowy Sygnał mowy charakteryzuje duża grupa parametrów akustyczno-fonetycznych, przy czym nie wszystkie parametry biorą bezpośredni udział w procesie percepcji. Ta redundancja danych pozwala percypować dźwięk nawet w trudnych warunkach akustycznych. Tony podstawowe mowy są w zakresie od 74 Hz do 1056 Hz. Istotne znaczenie dla zrozumiałości mowy mają częstotliwości nawet do 10 khz. Poziom dżwięku mowy 34 db 94 db.
analogowy poziom Sygnał dźwiękowy czas cyfrowy poziom czas
Cyfrowy sygnał dźwiękowy składa się z tzw. próbek pobieranych z określoną częstotliwością próbkowania rozdzielczość bitowa liczba bitów służąca do opisania pojedynczej wartości pojedynczej próbki (słupka) im więcej bitów służy do opisu danego dźwięku, tym bardziej dokładnie jesteśmy w stanie opisać dany dźwięk częstotliwość próbkowania szybkość pobierania próbek im większa częstotliwość próbkowania, tym sygnał cyfrowy lepiej opisuje sygnał analogowy częstotliwość próbkowania nie może być zbyt mała bo nie będzie wiadomo jak naprawdę wygląda sygnał częstotliwość próbkowania musi być dwa razy większa od maksymalnej częstotliwości sygnału
Częstotliwość próbkowania Aby w technice cyfrowej zapisać bez zniekształceń (wiernie) sygnał analogowy należy go spróbkować z częstotliwością co najmniej dwa razy większą niż najwyższa częstotliwość występująca w tym sygnale. (elementarne prawo obowiązujące w technice cyfrowej)
Przykłady częstotliwość próbkowania 8000Hz można zakodować sygnał do 3,5kHz 11025 można zakodować sygnał do 5,0kHz 22050 można zakodować sygnał do 10kHz 44100 można zakodować sygnał do 20kHz 192000 można zakodować sygnał do 90kHz
Dziękuję za uwagę