GIS wysokiej rozdzielczości i monitoring video

Transkrypt

1 GIS wysokiej rozdzielczości i monitoring video Możliwości zastosowania GPU w celu zwiększenia wydajności Adam Strzelecki, doktorant IPPT PAN, FAIS UJ

2 Plan prezentacji Coś o sobie [2] Cykl życia danych GIS i monitorowania video [6] Podobieństwa GIS i monitorowania video [7] Stan branży GIS i monitorowania video [8] Dlaczego wydajność jest taka ważna i dlaczego zastosowanie GPU jest naturalną drogą do zwiększenia wydajności? [10] Rektyfikacja danych GIS [12] Zastosowanie GPU do rektyfikacji [16] Kompresja obrazów GIS [17] Przestrzeń kolorów YUV [25] Zastosowanie GPU do kompresji falkowej obrazu [26] Zastosowanie GPU w klientach GIS [27] Kompresja video z zastosowaniem metod MPEG [28] Zastosowanie GPU do kompresji MPEG, transformacji DCT i RGB YUV [29] Znajdowanie cech i detekcja ruchu na GPU [30] 2

3 Coś o sobie W 2003 roku obroniłem pracę magisterską z informatyki na Wydziale Matematyki i Fizyki UJ Programowanie gier z wykorzystaniem najnowszych technologii grafiki 3D, z naciskiem na tworzenie realistycznych modeli drzew i roślin pod kierunkiem dr hab. Ewy Grabskiej, prof. UJ Zastosowałem stochastyczne L-systemy do opisu cech gatunkowych roślin, gdzie ziarno zmiennej losowej decydowało o wyglądzie konkretnego egzemplarza Od tego roku jestem doktorantem IPPT PAN na wydziale FAIS UJ 3

4 Coś o sobie Od 6 lat współpracuję z francuską firmą Digitech International S.A. oraz ERDAS (wcześniej Leica Geosystems Geospatial Imaging, ER Mapper) Od 4 lat prowadzę działalność gospodarczą Zajmuję się projektowaniem i wdrażaniem systemów GIS Geospatial Imagery Systems W tym roku rozpoczęłem współpracę z polską firmą Cerber Sp. z o.o. w celu stworzenia autorskiego systemu monitorowania video 4

5 Aix-en-Provence, Francja Perth, Australia CERN Genewa, Szwajcaria 5

6 Pozyskanie obrazu GIS Cykl życia Nagranie materia$u video Dane cyfrowe (RAW) Sygna$ analogowy GIS i video Sygna$ analogowy Dane cyfrowe (RAW) GPU! Dost!p do danych GIS ze zdalnych urz"dze# Dane w uniersalnych formatach TIFF, BIL + parametry pozyskania obrazu (pozycja k"t czas, dane sensoryczne) Kompresja obrazu video (Sprz!towe kodeki MPEG-4, H.264) Strumie# obrazu skompresowany w formacie MPEG-4 lub H.264 Detekcja cech i wektoryzacja obrazu rastrowego Dane w formacie wektorowym np. SHP zawieraj"ce cechy znalezione na rastrze GPU? GPU! Rektyfikacja i ustalenie systemu wspó$rz!dnych (ERMapper Pro) Zrektyfikowane dane w uniwersalnych formatach + dane rektyfikacji (projekcja, system wspó$rz!dnych) Detekcja ruchu GPU? Wektory przesuni!% dla ustalonych rejonów obrazu Osadzenie danych wektorowych w bazie danych GPU! Kompresja i archiwizacja obrazu rastrowego (ERMapper Pro, ECW, JPEG2000) Archiwizacja materia$u video (Serwery plikowe NAS) RDBMS PostGIS, MySQL Skompresowany plik wektorowy Raster skompresowany w formacie ECW lub JPEG2000 Plik z fragmentem strumienia w formacie MPEG-4 lub H.264 Udost!pnianie danych GIS online Klient JPIP / ECWP GPU! GPU! Dedykowany klient nadzoru video Serwer HTTP Image Web Server Przegl"darka WWW Standardowy klient video (mplayer, Windows Media) 6

7 Podobieństwa GIS i monitorowania video Manipulowanie danymi o dużej objętości i dużej rozdzielczości (video może być traktowane jako dysktretny podzbiór przestrzeni N³) Swobodny dostęp do dowolnych danych w dowolnym momencie (dowolny podobraz w przypadku GIS, dowolna klatka w przypadku monitorowania video) Nacisk na bezpieczeństwo i ciągłość zapisu danych Operowanie na obrazie (statycznym - przestrzeń N² i ruchomym - przestrzeń N³) Ciągły przyrost danych wraz z upływem czasu Wiele źródeł i formatów danych 7

8 Stan branży i technologi GIS Obecnie na rynku GIS następuje konsolidacja firm, a co za tym idzie - zmniejszenie konkurencji oraz wyhamowanie postępu rozwiązań software owych Brak motywacji do wprowadzania nowych rozwiązań powoduje, że większość rozwiązań software owych jest przestarzała, i praktycznie żadne z nim nie używa GPU, a nawet chociażby rozszerzonych instrukcji procesorów takich jak SSE Biblioteki open-source są kiepskiej jakości i stosują mało wydajne algorytmy oparte na CPU, więc zupełnie nie nadają się do zastosowań na dużą skalę Rozdzielczość urządzeń sensorycznych oraz ilość danych źródłowych podwaja się z roku na rok, niestety obecnie (zmodyfikowane) prawo Moore a przestaje obowiązywać, więc stare algorytmy wcale nie działają szybciej Często się zdarza więc, że pojedyncza kompresja trwa tygodniami, co łącznie z błędami kompresji naraża firmy na stratę cennego czasu, a co za tym idzie pieniędzy Pomijam tutaj rozwiązania sprzętowe i rynek sprzętu sensorycznego GIS GIS to NIE jest GoogleMaps! 8

9 Stan branży i technologi monitorowania video Poniższe informacje mogą być mało wiarygodne ze względu na moje (jeszcze?) małe doświadczenie w tej branży Tak czy inaczej, wydaje się, że ta branża jest dość podobna do GIS Mała konkurencja w zastosowaniach na dużą skalę, liczy się tutaj zaledwie kilka firm, najbardziej znany jest Bosch Większość małych producentów oferuje przestarzałe analogowe rozwiązania Natomiast jest lepiej jeśli chodzi o technologię, która pokrywa się z tą stosowaną dla rynku domowego video, z tym że przetwarzanych jest tutaj wiele strumieni jednocześnie zamiast jednego Możemy zatem przenieść większość udoskonaleń dla zwykłych odtwarzaczy i rozwiązań multimedialnych do branży monitorowania video Obecne prace Intel-a nad Linux-em w celu udoskonaleniem obsługi GPU przez ten system dobrze rokują na przyszłość, szczególnie że Linux jest uważany za lepszą (a często jedyną) platformę serwerową dla rozwiązań monitorowania video (w tym rozwiązań zintegrowanych) Pomijam tutaj istotne rozwiązania sprzętowe, jak kamery, okablowanie i zasilanie 9

10 Dlaczego wydajność jest taka ważna? Żeby zaoszczędzić (zyskać dodatkowy) miesiąc w roku pracy wystarczy zwiększyć wydajność o 8,3% Często zyskanie 8,3% dodatkowego czasu może zwiększyć zyski firmy o 50%, jeśli ta ma względnie niską marżę w stosunku do kosztów Co z tego, skoro mamy już najlepsze oprogramowanie i sprzęt? Gdzie szukać wydajności? 10

11 Dlaczego użycie GPU! jest naturalną drogą do zwiększenia wydajności? (Zmodyfikowane) prawo Moore a przestało obowiązywać, a pojedyncze procesory (rdzenie) już nie podwajają swojej wydajności co 1.5 roku Obecnie jedyną drogą zwiększenia wydajności jest zwiększanie ilości rdzeni GPU w przeciętnym komputerze już od dawna mają teoretycznie moc kilku(nastu)krotnie większą niż CPU, a najszybszy obecnie (prawdopodobnie?) na rynku konsumenckim procesor Cell BE (PS3) ma teoretyczną wydaność ~200 GFLOPS, podczas gdy GPU na PS3 (wcale nie najszybsze na rynku) ma teoretyczną wydajność ~1.8 TFLOPS Wytworzenie pojedynczej jednostki strumieniowej (rdzenia) GPU jest o wiele tańsze niż wytworzenie rdzenia CPU Oczywiście CPU jest bardziej elastyczny niż GPU, jednakże skoro w każdym algorytmie 20% kodu zajmuje przeciętnie 80% czasu procesora, przeniesienie chociażby tych 20% na GPU powinno poskutkować drastycznym zwiększeniem wydajności rozwiązania Od niedawna możemy używać takich rozwiązań jak CUDA czy OpenCL, które pozwalają programować GPU w stylu do jakiego jesteśmy przyzwyczajeni pisząć na CPU oferując nam podzbiór języka C (C99) do opisu algorytmu 11

12 Rektyfikacja danych GIS Obrazy źródłowe składają się z tysięcy zdjęć zarejestrowanych przez aparaturę satelity bądź samolotu Obrazy źródłowe nie posiadają wspólnego systemu współrzędnych (prócz globalnego w przestrzeni 3D/4D?) Obrazy źródłowe są wycinkiem rzutu obrazu przestrzeni na płaszczyznę, opisywanego zbiorem parametrów odpowiadających pozycji satelity/samolotu w przestrzeni trójwymiarowej Nieprzetworzone i niezorientowane obrazy źródłowe są nieczytelne dla ludzi Zbiór zdjęć tego samego terenu tworzy tzw. mozaikę Mozaiki podlegają tzw. rektyfikacji, czyli korekcji geometrycznej obrazu mającej na celu stworzenie jednolitego wyjściowego cyfrowego obrazu zorientowanego geograficznie Zrektyfikowane obrazy mogą być źródłem dla analiz oraz map i planów 12

13 Rektyfikacja 13

14 Rektyfikacja Zniekształcenie panoramiczne Szeroki kąt widzenia 14

15 Rektyfikacja Zniekształcenie związane z krzywizną ziemi 15

16 Rektyfikacja GPU! Rektyfikacja to proces czysto geometryczny Użycie GPU jako jednostki przetwarzania geometrii jest tutaj naturalnym wyborem Liniowe przekształcenia na GPU dają nam 100% dokładność (przy użyciu tekstur w najwyższej rozdzielczości i filtrowania) Nieliniowe przekształcenia można aproksymować za pomocą siatki, a dokładność dostosowywać zwiększając gęstość tej siatki, na którą nakładana jest tekstura źródłowych danych Rektyfikacja może być tutaj logiczną częścią większej biblioteki przekształceń GIS opartej na GPU 16

17 Kompresja obrazów GIS Skąd wziął się wymóg kompresji obrazów wysokiej rozdzielczości Zrektyfikowane obrazy choć (teoretycznie) czytelne dla ludzi zajmują ogromną przestrzeń dyskową w postaci wielu plików, co wyklucza wydajny dostęp swobodny Zrektyfikowane obrazy nie mogą być wyświetlone w całości (ani zazwyczaj wydrukowane) z powodu swoich rozmiarów, przykładowo dane rastrowe (RGB, zdjęcia lotnicze) BD Ortho Francji w rozdzielczości 0.5m na piksel to obraz o rozmiarach ok. 2mln x 2mln pikseli co daje ponad 16 TB nieskompresowanych danych! Założenia i wymagania kompresji obrazów wysokiej rozdzielczości Swobodny dostęp do wycinków obrazów (snapshotów) w rozdzielczości urządzenia wyświetlającego użytkownika (monitora, drukarki) Wysoka wydajność przy równoczesnym dostępie wielu użytkowników Relatywnie małe wymagania przestrzeni dyskowej (duża kompresja) przy małej stracie jakości (lub kompresja bezstratna) 17

18 Kompresja obrazów GIS Formaty ECW / JPEG 2000 Enhanced Compressed Wavelet (stworzony przez Stuarta Nixona z firmy ER Mapper około roku 1995) i JPEG 2000 (następca formatu JPEG stworzony w 1999 przez konsorcjum JPEG) są formatami kompresji falkowej bazującej na dyskretnej transformacie falkowej DWT (podobnej do transformaty Fouriera i w szczególności do DCT) i kodowania piramidalnego: Kompresja falkowa (wavelet compression) jest wydajną (niektórzy mówią doskonałą) metodą kompresji obrazu zapewniającą doskonałe rezultaty bez straty bądź z małą stratą jakości (przekłamaniami). Kodowanie piramidalne jest metodą kodowania obrazu o wysokiej rozdzielczości zapewniającą wydajny swobodny dostęp do wycinków obrazu. 18

19 Kompresja obrazów GIS Kompresja falkowa Twórca: Została wymyślona przez francuskiego geofizyka Jeana Morleta w 1980 roku Bazuje na pomyśle znanej już od dłuższego czasu transformaty Fouriera Morlet szukał sposobu na pokonanie niedoskonałości transformaty Fouriera przy badaniach i zapisie sygnałów sejsmicznych Zastosowanie: Aktualnie kompresja falkowa jest stosowane z powodzeniem przez wiele firm i instytucji zajmujących się przetwarzaniem dźwięku i obrazu FBI używa kompresji falkowej do przechowywania 200 milionów (zdjęć) odcisków palców My używamy jej do przechowywania geoprzestrzennych obrazów bardzo dużej rozdzielczości Może być stosowana z powodzeniem także do kompresji dźwięku (muzyki), jako alternatywa dla formatu mp3 19

20 Kompresja obrazów GIS Transformata falkowa dla obrazów W przypadku obrazów stosuje się falki 2D (R 2 R dla jednego kanału), przykładowo na rysunku mamy falkę Daubechies 20 (JPEG 2000) Można też stosować prostsze falki, na przykład Haar (od Alfreda Haara 1901) (ECW) Dla obrazów cyfrowych stosuje się dyskretną transformatę falkową (DWT - discrete wavelet transform) razem z kodowaniem piramidalnym do dekompozycji obrazu Każdy kanał jest kompresowany osobno W przypadku formatu JPEG2000 możliwe jest kompresowanie kanałów zapisywanych w postaci liczb zmiennoprzecinkowych oraz dyferencjałów Często też przed kompresją obraz RGB konwertuje się do przestrzeni YUV (podobnie jak w przypadku materiału video) 20

21 Kompresja obrazów GIS Dekompozycja DWT Dekompozycja DWT jest rekursywnym algorytmem wykorzystującym filtry Przy każdej iteracji obraz jest dzielony na 2 pasma, wysokie i niskie: Wysokie jest samplowane 2x w dół, a różnica jest kompresowana i zapisywana Niskie jest samplowane 2x w dół i wykorzystywane do następnej iteracji Przy dekompresji iteracje wykonujemy w odwrotnej kolejności Przy każdej iteracji dekompresji uzyskujemy obraz o 2x większej rozdzielczości (lepsza aproksymacja / przybiliżenie ) W przypadku ECW / JPEG 2000 dekompozycje łączy się z kodowaniem piramidalnym 21

22 Kompresja obrazów GIS Kompresja falkowa i formaty kompresji Sama kompresja falkowa polega na wykonaniu DWT dla materiału źródłowego oraz kompresji składowych uzyskanych po wykonaniu transformacji Najczęściej wiele składowych jest bliska zeru (lub bliska sobie) w wielu otoczeniach, co daje dane poddające się bardzo dobrze kompresji (kompresja stratna może pomijać takie składowe zupełnie) Algorytmy kompresji różnią się typem zastosowanych falek oraz metodami kompresji składowych już po DWT Pod tym względem kompresja falkowa jest podobna do innych algorytmów takich jak JPEG czy nawet MP3, polegających na transformacji obrazu (lub dźwięku) do innego dokładnego lub aproksymującego modelu, którego współczynniki o wiele łatwiej podlegają kompresji niż model oryginalny (np. RGB w N²) Kompresję falkową natomiast wyróżnia duża efektywność, kodowanie piramidalne pozwala natomiast na dostęp do podobrazu bez potrzeby rekonstrukcji (dekompresji) całych danych 22

23 Kompresja obrazów GIS Kodowanie piramidalne Kodowanie piramidalne polega na rozbiciu obrazu na poziomy szczegółowości zawierające tzw. kafle o stałym rozmiarze (np. 256 x 256) Każdy kolejny niższy poziom przechowuje 4x więcej kafli o 2x większej rozdzielczości Poziom najniższy zawiera kafle o rozdzielczości natywnej obrazu Poziom najwyższy zawiera tylko jeden kafel 23

24 Kompresja obrazów GIS Formaty ECW / JPEG 2000 c.d. Wydajność kompresji Od 1/10 przy kompresji bezstratnej Do nawet 1/30, 1/40 przy kompresji stratnej jednak nie generującej dużych przekłamań (niewidocznych dla zwykłego użytkownika) Wydajność dostępu obrazów / sek. w rozdzielczości VGA w losowym dostępie swobodnym przy wykorzystaniu serwera dwuprocesorowego z 2GB pamięci RAM w przypadku danych źródłowych do 1 TB Niskie obciążenie dyskowych pamięci masowych; przy generowaniu obrazu algorytm dekompresji potrzebuje przeczytać maksymalnie około 3 x więcej danych niż rozmiar obrazu wyjściowego, a zazwyczaj nie więcej niż 1,2 x. Niskie wymagania pamięci (w przypadku formatu ECW) Dodatkowe możliwości Prosty dostęp przez serwery HTTP (indeksowany dostęp do pliku) Ogólnodostępne biblioteki do kompresji i dekompresji 24

25 Kompresja obrazów Przestrzeń kolorów YUV Oko ludzkie jest o wiele bardziej wrażliwe na zmiany natężenia światła w odbieranym obrazie, niż zmiany kolorów Dlatego od dłuższego czasu w kompresji obrazu (także w przekazach analogowych PAL) stosuje się przestrzeń kolorów YUV gdzie Y oznacza lumę (jasność) a U i V to chrominancja (odpowiadająca za kolor i nasycenie) Przy kodowaniu cyfrowym YUV najczęściej zmniejsza się podwójnie rozdzielczość dla składowych U i V, stosując 12-bitowe kodowanie piksela (8 bitów Y i po 2 bity U i V) Inaczej mówiąc jedna 8-bitowa wartość U i V przypada na grupę 4 8-bitowych wartości Y Dla porównania RGB koduje się najczęściej na 24- bitach, czasami też na 16-bitach 5:6:5, jednak kodowanie 16-bitowe jest percepowane jako posiadające gorszą jakość niż 12-bitowy YUV (Najbardziej widoczne na gradientowych przejściach) 25

26 Kompresja obrazów GIS GPU! DWT jest najbardziej kosztowną choć stosunkowo prostą operacją w algorytmie kompresji DWT czyli podział na pasma wysokie i niskie (filtrowanie) i downsampling idealnie nadaje się do wykonania na GPU, ze względu na charakter lokalny samej DWT, której pojedyncza składowa wyniku zależy tylko od pewnego otoczenia Choć już w 2005 roku, jeszcze przed premierą nvidia CUDA, Wong, Leung, Heng i Wang z Uniwersytetu w Hongkongu w publikacji Discrete Wavelet Transform on Consumer-Level Graphics Hardware zaproponowali referencyjną implementację DWT na GPU z wykorzystaniem programów fragmentów i tekstur, nadal na komercyjnym rynku nie ma rozwiązań bazujących na GPU, choć badania wskazują, że wydajność kompresji mogłaby wzrosnąć często 10x Można też zastanowić się, czy możliwe jest użycie GPU do kompresji składowych, szczególnie że dysponujemy teraz rozwiązaniami takimi jak CUDA czy OpenCL 26

27 Rozwiązania klienckie GIS GPU! Tak samo jak kompresja, dekompresja po stronie klienta może być wykonana na GPU Rozwiązania klienckie często używają wielu warstw obrazu nałożonych na siebie Takie warstwy niekoniecznie muszą mieć zgodne systemy współrzędnych, a GPU mogłoby wykonać transformacje geometryczne (podobnie jak w przypadku rektyfikacji) do przekształcenia układów współrzędnych Dodatkowo operacje takie jak przezroczystość, blending a nawet mapowanie nierówności (gdy posiadamy mapę wysokości) może być wykonywane na GPU (np. z zastosowaniem odpowiednich programów fragmentów) 27

28 Kompresja video Obecnie standardem są algorytmy kompresji z rodziny MPEG, a więc starszy i uznany MPEG-2 oraz nowsze coraz częściej stosowane w rozwiązaniach HD MPEG-4 i H.264 Algorytmy te stosują dyskretną transformatę kosinusową (DCT) (oraz HT w przypadku H.264) dla ramek kluczowych (podobnie jak w algorytmie JPEG) oraz kompresję przyrostową dla ramek pośrednich typu P i B i kompensację ruchu Choć ramek kluczowych jest najmniej w strumieniu video, to zajmują one najczęściej 2/3 jego objętości, w związku z tym ich kompresja jest kluczowym elementem wydajności algorytmu Ważnym elementem kompresji jest przekształcenie obrazu do przestrzeni barw YUV (kodowanie planarne 4:2:2) Obecnie prowadzone są również prace nad zastosowaniem kompresji falkowej dla materiału video, flagowym przykładem jest projekt Dirac prowadzony przez BBC, który ma pozwolić na przesyłanie obrazu HD po zwykłych łączach Internetowych. Dirac ma używać GPU do kompresji, gdyż rozwiązania oparte na CPU nie zapewniają odpowiedniej wydajności, aby materiał mógł być kompresowany w czasie rzeczywistym: ~1.5 FPS na najnowszych CPU vs 29 FPS na GPU 28

29 Kompresja video GPU! Obecnie większość kart graficznych posiada sprzętowe układy dla DCT i idct Niestety brakuje standardu uniwersalnego interfejsu dostępu do tych układów, szczególnie dla systemów innych niż Windows (ten posiada wsparcie w postaci DirectX VA) Większość bibliotek kompresji i dekompresji video stosuje DCT/iDCT oparte o rozszerzenia MMX i SSE dla procesorów Intela, które są o wiele mniej wydajne niż te na GPU Intel niedawno dostarczył API libva wraz z kodem źródłowym dla swoich zintegrowanych kart graficznych dla systemu Linux Transformacja przestrzeni kolorów RGB YUV jest również elementem wpływającym na wydajność, więc od dłuższego czasu GPU są wyposażone w sprzętową nakładkę (overlay), wykonującą tę transformację Niestety większość GPU (wszystkie?) posiadają tylko jedną taką nakładkę, a więc można ją zastosować tylko dla jednego strumienia video jednocześnie (dobre dla domowego video, ale nie dla monitorowania) RGB YUV wspierają też niektóre implementacje OpenGL (Apple) oferujące obsługę tekstur w formacie YUV przy buforze ramki RGB, na innych platformach natomiast można zaimplementować programy fragmentów RGB YUV na GPU Zastosowanie DCT/iDCT i transformacji kolorów na GPU pozwala zmniejszyć kilkukrotnie obciążenie procesora, zostawiając duży zapas wydajności na GPU 29

30 Znajdowanie cech i detekcja ruchu GPU? Zarówno znajdowanie cech i wektoryzacja dla obrazów GIS oraz detekcja ruchu dla systemów monitorowania video bazują najczęściej na odpowiednich filtrach takich jak posteryzacja, detekcja krawędzi oraz na badaniu przyrostowym Filtry takie również mogą być implementowane jako programy fragmentów dla GPU, a dopiero ostatnia faza algorytmu wykonywana na CPU może nadawać interpretację danym uzyskanym z GPU 30

31 Literatura Wong, Leung, Heng, Wang, Discrete Wavelet Transform on Consumer-Level Graphics Hardware,The Chinese University of Hong Kong, Yu, Medioni, A GPU-based implementation of Motion Detection from a Moving Platform, Institute for Robotics and Intelligent Systems University of Southern California, Randima Fernando, Mark J. Kilgard, The Cg Tutorial: The Definitive Guide To Programming Real-Time Graphics, Addision Wesley Professional, 2003 Michael J. Dickheiser, C++ For Game Programmers, Second edition, Charles River Media, 2007 NVIDIA CUDA Compute Unified Device Architecture, Programming Guide 1.1, NVidia Corp.,

32 Dziękuję za uwagę Pytania?