System strumieniowania treści wysokich rozdzielczości i treści stereoskopowych 3D

Transkrypt

1 System strumieniowania treści wysokich rozdzielczości i treści stereoskopowych 3D Autorzy: Maciej Głowiak, Bartłomiej Idzikowski, Piotr Ostapowicz, Maciej Stróżyk Wrocław, 3 grudnia,

2 Agenda Projekt Inżynieria Internetu Przyszłości (IIP) Treści wysokich rozdzielczości Technologia HD Technologia 4K System strumieniowania Wymagania Architektura Zastosowania Podsumowanie 2

3 Projekt Inżynieria Internetu Przyszłości (IIP) Projekt dotyczy opracowania i przetestowania infrastruktury i usług dla nowych generacji sieci Internet, tj. Internetu IPv6 i Internetu Przyszłości (ang. Future Internet). Oczekuje się, iż nowe generacje Internetu (jeden z głównych priorytetów badawczych w ramach Programów Ramowych Unii Europejskiej) przyczynią się istotnie do rozwoju cywilizacyjnego w Europie powodując, że z ich możliwości będą korzystały wszystkie lub prawie wszystkie obszary ludzkiej aktywności. 3

4 Aplikacje projektu IIP Cel Szczegółowy 3 Zastosowania Internetu Przyszłości Zadanie 3.3 Internet 3D, kino cyfrowe, UHD Działanie Składowanie i strumieniowanie nowych mediów Aplikacja System strumieniowania treści w wysokiej rozdzielczości (4K) oraz w postaci stereoskopowej 3D 4

5 Technologia - 4K Obrazy wysokich rozdzielczości: Full HD 1920 x K 4096 x 2160 (DCI), 3840 x 2160 Składowanie 4K - obrazy nieskompresowane pojedyncza klatka 4K RGB (24 bit) to 26 MB wideo to 24 fps (klatki na sekundę), co daje: 625 MB/sek. 37,5 GB/min. 2,25 TB/godz. Strumieniowanie 4K wymagania sieciowe Rodzaj strumienia Strumień danych Interfejs sieciowy 4K JPEG2000 (DCI) 250 Mbit/s 1 Gbit/s 4K JPEG2000 (DCI) 3D 2x 250 Mbit/s 1 Gbit/s 4K nieskompresowane 6 Gbit/s 10 Gbit/s 4K nieskopres. 3D 12 Gbit/s 2 x 10Gbit/s (40 Gbit/s) * - dane dotyczą obrazu 4096x2160, RGB, 4:4:4, 8-bit, 24fps 5

6 Technologia - DCI Digital Cinema Initiatives (DCI) organizacja zrzeszająca największe studia filmowe założona w 2002 r. w celu ustanowienia standardów dla kina cyfrowego Standard Digital Cinema System Specification ustanowiony 20 lipca 2005 (v.1.0) z późniejszymi zmianami (obecnie v.1.2) Rozdzielczości dla kina cyfrowego (DCI) 2K (2048x1080) 4K (4096x2160) Kompresja JPEG2000 Maksymalny strumień wideo dla 4K to 250 mbit/s Pojedyncza ramka max. 1,3 MB (24 fps) 6

7 Technologa - urządzenia Technologia i sprzęt 1080p (FullHD) popularny i dostępny na rynku Sprzęt 4K specjalizowany i prototypowy kodery sieciowe (intopix, NTT) monitory (Astro, Barco, Sony) projektory (Sony, JVC, Meridian) odtwarzacze (Doremi, DVS, Zaxel) kamery (Red One, JVC, Dalsa) 7

8 Aplikacja System strumieniowania treści w wysokiej rozdzielczości (4K, HD) oraz w postaci stereoskopowej 3D 8

9 Aplikacja - uzasadnienie Rosnące zapotrzebowanie na usługi transmisji treści wysokich rozdzielczości w wielu dziedzinach a jednocześnie ograniczona dostępność odpowiedniego sprzętu i oprogramowania zdolnego do realizacji tego typu usług. Telemedycyna Transmisja wideo obrazu skomplikowanych operacji do zdalnego zespołu specjalistów konsultujących przebieg operacji on-line Niezbędna duża szczegółowość obrazu oraz odwzorowania barw Niezawodność transmisji Filmowanie i archiwizowanie przebiegu operacji i diagnostyki medycznej w celach edukacyjnych Teleobecność Systemy wideokonferencyjne wysokiej rozdzielczości i 3D Transmisje na żywo ważnych wydarzeń Sport (BBC, Londyn 2012) Koncerty Monitoring wizyjny Rozpoznawanie twarzy z tłumu np. na lotniskach, dworcach Dzięki dużej rozdzielczości pojedyncza klatka obrazu zawiera wystarczającą ilość szczegółów do rozpoznawania poszczególnych twarzy 9

10 Aplikacja funkcjonalność Strumieniowanie treści wysokich rozdzielczości na żądanie w czasie rzeczywistym Wybór treści i odbiorcy końcowego (wraz z zestawem niezbędnych parametrów) Komunikacja z siecią - przekazanie zestawu parametrów do sieci za pomocą zdefiniowanego interfejsu aplikacja-sieć Różne formy strumieniowanej treści: Strumieniowanie materiałów 4K i 4K stereoskopowych w czasie rzeczywistym ze źródeł zewnętrznych lub repozytoriów Strumieniowanie materiałów Full HD 3D w czasie rzeczywistym z kamer Strumieniowanie obrazu 4K z kamery w czasie rzeczywistym 10

11 Aplikacja zagadnienia badawcze Badania nad technikami synchronizacji między kodekami sprzętowymi i strumieniami stereoskopowymi Opracowanie i budowa prototypu interfejsu do strumieniowania wideo 4K w czasie rzeczywistym z kamery RED One (FPGA) Badania nad możliwościami integracji zasobów multimedialnych z sieciami wirtualnymi Projekt i budowa laboratorium wizualizacji 4K, 3D Analiza metod sprzętowej kompresji treści 11

12 Aplikacja ogólna architektura Aplikacja dostępowa Komunikacja z urządzeniami Komunikacja z urządzeniami Protokół sygnalizacyjny Sala prezentacyjna 4K Serwer strumieniowy transmisja live Sala prezentacyjna 4K 3D Serwer strumieniowy 12

13 Aplikacja - architektura Schemat blokowy systemu strumieniowania treści multimedialnych wysokich rozdzielczości i 3D w czasie rzeczywistym Kompresja sprzętowa FPGA API Moduł GTPserwera strumieniowego Dual Dane Sieć transportowa Kompresja programowa (wsparcie przez GPU) Moduł interfejsu zarządzania siecią Sygnalizacja Akwizycja materiałów (HD-SDI / HDD) Kompresja sygnału Strumieniowanie i sterowanie siecią Transport sygnału przez sieć 13

14 Aplikacja funkcjonalność 1 Strumieniowanie materiałów Full HD 3D na żywo z wykorzystaniem kamer Full HD Mb/s Sieć 2 x kamera Full HD Serwer strumienowy - koder JPEG2000 Intopix SYX-JP4K Klient - dekoder JPEG2000 Intopix SYX-JP4K System projekcji HD 3D 14

15 Aplikacja funkcjonalność 2 Strumieniowanie materiałów 4K i 4K stereoskopowych w czasie rzeczywistym ze źródeł zewnętrznych lub repozytoriów Odtwarzacz 4k (3D) 4xHD-SDI 3G Mb/s 4xHD-SDI DualLink Sieć 4xHD-SDI DualLink 10 Gb/s Repozytorium treści multimedialnych Serwer strumienowy - koder JPEG2000 Intopix SYX-JP4K Klient - dekoder JPEG2000 Intopix SYX-JP4K System projekcji 4K 3D 2 x Sony SRX-T105 15

16 Aplikacja prototypowy moduł sprzętowy Spartan3 FPGA Fabric Moduł FPGA USB Komputer PC z kartą RED Rocket ATAPI Strumień wideo 4K w formacie R3D Moduł DDR2 MMU USB Interface RED One 4K Zintegrowany moduł SO DIMM Uogólniony schemat blokowy interfejsu do strumieniowania wideo 4K w czasie rzeczywistym z kamery RED One na bazie układu programowalnego XC3s500A Spartan3 16

17 Aplikacja funkcjonalność 3 Strumieniowanie obrazu 4K z kamery w czasie rzeczywistym 4xHD-SDI 3G Mb/s 4xHD-SDI DualLink Sieć Kamera 4K Red One Serwer strumienowy - koder JPEG2000 Intopix SYX-JP4K Klient - dekoder JPEG2000 Intopix SYX-JP4K Projektor 4K Sony SRX-T105 17

18 Pobranie obrazu live 4K z kamery RED One 1) 2) Kamera 4K Red One Interfejs ATAPI ATAPI Grabber Sprzętowy interfejs pobierania danych z kamery RED One USB 480mbit/s Karta dekodująca R3D Red Rocket Karta graficzna 4K DVI Red Rocket Breakout Box Konwertery DVI HD SDI a) b) HD SDI HD SDI Platforma sprzętowa PC 3) 1. Pobieranie strumienia R3D przez ATAPI Grabber i przesyłanie przez USB do PC 2. Sprzętowe dekodowanie z wykorzystaniem karty RED Rocket 3. Wyświetlenie obrazu 4K (np. SONY SRX-T-105): a) Bezpośrednio z karty RED Rocket do Breakout Box b) Z wykorzystaniem karty graficznej (np. ATI V8800) Projektor 4K Sony SRX-T105 HD SDI Dual Link x4 18

19 Strumieniowanie obrazu live 4K z kamery RED One 1) 2) Interfejs ATAPI USB 480mbit/s Karta dekodująca R3D Red Rocket Kamera 4K Red One ATAPI Grabber Sprzętowy interfejs pobierania danych z kamery RED One Karta kodująca JPEG2000 Intopix Encoder (SkyMicro) Karta sieciowa 1GbE 3) IP (RTP) 1. Pobieranie strumienia R3D przez ATAPI Grabber 2. Sprzętowe dekodowanie z wykorzystaniem karty RED Rocket 3. Kompresja i strumieniowanie obrazu przez sieć 4. Dekompresja i wyświetlenie obrazu 4K (np. SONY SRX-T-105) Projektor 4K Sony SRX-T105 4) Dekoder JPEG2000 Intopix SYX-JP4K Sieć 19

20 Przykład potencjalnego wykorzystania systemu Centra dystrybucji treści Film A (4K) Lokalizacja A Sala kinowa Lokalizacja X - zdalne centrum dystrybucji filmów Transmisja strumieniowa 4K Film B (4K) Lokalizacja B Sala kinowa Brak problemów z dystrybucją kopii Szansa dla kin w małych miejscowościach Elastyczne możliwości rozliczania Wybór jakości transmisji Bezpieczeństwo Film B (HD) Lokalizacja C Dom kultury 20

21 Inne zastosowania Medycyna: Rozrywka: konsultacje wykłady kino cyfrowe (3D) video na żądanie transmisje sportowe Nauka i przemysł: wizualizacja procesów naukowych zdalna postprodukcja projektowanie inżynierskie monitoring wizyjny 21

22 Podsumowanie budowa eksperymentalnej platformy do strumieniowania treści wysokiej rozdzielczości integracja aplikacji multimedialnych z siecią wykorzystanie nowatorskich technologii multimedialnych: 4K, 4K3D zaprezentowanie możliwości nowoczesnych sieci komputerowych styk (protokół sygnalizacyjny) sieci i aplikacji multimedialnych przygotowanie referencyjnych laboratoriów umożliwiających składowanie i prezentację przesyłanych obrazów wysokich rozdzielczości i 3D 22

23 Podsumowanie Wydarzenia w dziedzinie transmisji wysokich rozdzielczości Transmisja strumieniowa 4K DCI podczas spotkania roboczego projektu GLIF (Global Lambda Integrated Facility) (CERN Genewa - PCSS Poznań) Pierwsza w Europie transmisja strumieniowa 4K DCI (PCSS Poznań Univeristy of Essex) Członkostwo w organizacji CineGrid ( Udział w inicjatywie HPDMNet ( Budowa laboratorium 4K w PCSS

24 Dziękuję za uwagę. Kontakt: Maciej Stróżyk, 24