RZECZPOSPOLITA POLSKA Urząd Patentowy Rzeczypospolitej Polskiej (12) OPIS PATENTOWY (19) PL (11) 183094 (21) Numer zgłoszenia: 348143 (13) B1 (22) Data zgłoszenia: 13.03.1997 (86) Data i numer zgłoszenia międzynarodowego. 13.03.1997, PCT/IB97/00252 (87) Data 1 numer publikacji zgłoszenia międzynarodowego: 02.10.1997, W097/36419, PCT Gazette nr 42/97 (51) IntCl7 H04N 1/41 G06T 9/20 H04N 7/26 (54) Sposób i urządzenie do dekodowania obrazów (30) Pierwszeństwo: 28.03.1996,EP,96200834.8 (73) Uprawniony z patentu: K O N IN K L IJK E PH ILIPS E L E C T R O N IC S N.V., Eindhoven, N L (62) Numer zgłoszenia, z którego nastąpiło wydzielenie: 324335 (72) Twórcy wynalazku: Marcel Breeuwer, Eindhoven, N L (43) Zgłoszenie ogłoszono: 25.05.1998 BUP 11/98 Reiner B. M. Klein Gunnewiek, Eindhoven, N L (45) O udzieleniu patentu ogłoszono: 31.05.2002 WUP 05/02 (74) Pełnomocnik: Bury Lech, P A T P O L Spółka z 0.0. (57) 1. Sposób dekodowania obrazów zawierających obszary istotnych danych oraz obszary nieistotnych danych, znamienny tym, że identyfikuje się dane pseudoobrazu w oparciu o informacje o granicy i zastępuje się (9) dane pseudoobrazu przez ustalone z góry dane obrazu. FIG. 1 PL 183094 B1
Sposób i urządzenie do dekodowania obrazów Zastrzeżenia patentowe 1. Sposób dekodowania obrazów zawierających obszary istotnych danych oraz obszary nieistotnych danych, znamienny tym, że identyfikuje się dane pseudoobrazu w oparciu o informacje o granicy i zastępuje się (9) dane pseudoobrazu przez ustalone z góry dane obrazu. 2. Sposób według zastrz. 1, znamienny tym, że odbiera się zakodowane informacje o granicy i dekoduje się (8) informacje o granicy. 3. Urządzenie do dekodowania obrazów zawierających obszary istotnych danych oraz obszary nieistotnych danych, znamienne tym, że zawiera dekoder granicy (8), identyfikujący dane pseudoobrazu w oparciu o informacje o granicy i obwód rekonstrukcji (9), do zastępowania danych pseudoobrazu przez określone dane obrazu. 4. Urządzenie według zastrz. 3, znamienne tym, że dekoder granicy (8) jest skonfigurowany do odbioru zakodowanych informacji o granicy i do dekodowania zakodowanych informacji o granicy. * * * Przedmiotem wynalazku jest sposób i urządzenie do dekodowania obrazów. Zakodowane obrazy zawierają obszary istotnych i nieistotnych danych obrazowych, przy czym dane nieistotne identyfikuje się przy kodowaniu. Obrazy wizyjne mają zazwyczaj kształt prostokątny, chociaż użytkownik nie zawsze jest zainteresowany całym, prostokątnym obszarem obrazu. Na przykład informacja istotna z medycznego punktu widzenia jest często zawarta w kołowych obszarach obrazów medycznych. Obrazy takie wykazują ostre przejście między tymi kołowymi obszarami, a nieistotnym (zwykle czarnym) tłem. Niemiecki opis patentowy DE 3613759 ujawnia sposób zapisu tego typu obrazów. Kompresja danych jest uzyskiwana, w tym przypadku, przez pomijanie pikseli nieistotnych obszarów obrazu. Granica między obszarem istotnym i nieistotnym jest z góry znana, tak w przypadku nadajnika jak i odbiornika. Dzięki temu w odbiorniku jest określona pozycja wyświetlania na ekranie każdego odebranego piksela. Praktyczny przykład realizacji układu wykrywania granicy nagłych przejść od (czarnych) pikseli o wartości tła do pikseli istotnych i vice versa - został ujawniony w opisie patentowym US 5 014 198. Obrazy wizyjne są obecnie kodowane i poddawane kompresji przy użyciu takich sposobów kodowania jak metoda transformacji bloków lub DPCM, które wykorzystują korelację między sąsiednimi pikselami obrazu. Takie sposoby wymagają znacznej liczby bitów do kodowania ostrych przejść między sąsiednimi pikselami. Granice między istotnymi, a nieistotnymi obszarami obrazu znacząco wpływają na efektywność kodowania w przypadku wyżej wymienionych obrazów. W opisie patentowym US 5 267 333 zostało ujawnione urządzenie do syntezy obrazu ze zbioru danych obrazowych. Natomiast w opisie patentowym US 5 422 964 ujawniono sposób kodowania i dekodowania obrazów cyfrowych za pomocą transformacji bloków pikseli umożliwiającej redukcję szybkości transmisji. Transformacja bloków wywołuje nieciągłość poziomu jaskrawości, dla pikseli sąsiadujących z granicą bloku. Nieciągłości dla każdego granicznego piksela są wykrywane za pomocą zmiany znaku dwóch gradientów poziomu, wyliczanych odpowiednio dla poziomów dwóch pikseli sąsiadujących z pikselem granicznym. W opisie patentowym US 5 212 565 zostało ujawnione przekształcanie obszaru danych obrazowych z pola danych bez kompresji w cyfrowe dane binarne, podzielone na subsekcje
183 094 3 bloków bitów. Subsekcje poddaje się kompresji, w której każda subsekcja jest reprezentowana w kategorii wartości jej danych dominujących plus wystąpienia danych nie redundantnych. Sposób dekodowania obrazów zawierających obszary istotnych danych oraz obszary nieistotnych danych, według wynalazku, wyróżnia się tym, że identyfikuje się dane pseudoobrazu w oparciu o informacje o granicy i zastępuje się dane pseudoobrazu przez ustalone z góry dane obrazu. Zakodowane informacje o granicy korzystnie odbiera się i dekoduje. Urządzenie do dekodowania obrazów zawierających obszary istotnych danych oraz obszary nieistotnych danych, według wynalazku, wyróżnia się tym, że zawiera dekoder granicy, identyfikujący dane pseudoobrazu w oparciu o informacje o granicy i obwód rekonstrukcji, do zastępowania danych pseudoobrazu przez określone dane obrazu. Dekoder granicy jest korzystnie skonfigurowany do odbioru zakodowanych informacji o granicy i do dekodowania zakodowanych informacji o granicy. Doświadczalnie sprawdzono, że medyczne obrazy mogą być kodowane przy szybkości transmisji bitów mniejszej o 30%. Podczas dekodowania rekonstruuje się ostre przejścia między istotnymi i nieistotnymi obszarami danych obrazu. Zrekonstruowany obraz ma taki sam wygląd jak obraz oryginalny, zwykle oglądany przez specjalistów. Przedmiot wynalazku, w przykładzie wykonania, jest odtworzony na rysunku, na którym fig. 1 przedstawia schemat blokowy układu dostosowanego do kodowania i dekodowania obrazów zgodnie z wynalazkiem, fig. 2A do 2E - przebiegi sygnałów ilustrujące działanie przykładowej realizacji układu modyfikującego z fig. 1, a fig. 3A do 3C przedstawiają obszary obrazu ilustrujące działanie szczególnej realizacji układu modyfikującego z fig. 1. Figura 1 przedstawia schemat blokowy układu dostosowanego do kodowania i dekodowania obrazów. Prostokątny obraz, przeznaczony do zakodowania, jest oznaczony liczbą 1. Obraz składa się z kołowego obszaru 11, zawierającego istotne piksele i obszaru 12, zawierającego piksele nieistotne, jak pokazano na fig. 1. Granica między obszarami jest oznaczona liczbą 13. Od tego miejsca i dalej istotne piksele będą oznaczane jako x[i, j], a nieistotne jako y[i, j]. Pseudopiksele będą oznaczone jako p [i, j]. Sygnał wizyjny podaje się do zespołu wykrywania granicy 2, który jest dostosowany do wykrywania granicy 13, na przykład wykrywania nagłych przejść od (czarnych) pikseli o wartości tła do pikseli istotnych i vice versa. Praktyczny przykład realizacji zespołu wykrywania granicy 2 jest znany. Granica 13 jest bezstratnie kodowana w zespole kodowania granicy 3 i przekazywana bądź nagrywana. Sposoby bezstratnego kodowania są znane. Na przykład kodowanie o zmiennej długości może być zastosowane do maski definiującej obszar nieistotnych pikseli. Jeśli obszar istotnych pikseli ma kształt koła, to wystarczy przekazanie danych o jego środku i promieniu. Zespół wykrywania granicy 2 i zespół kodowania granicy 3 mogą być pominięte, jeśli granice są znane z góry. Sygnał wizyjny podaje się dalej, do układu modyfikującego 4. Układ ten otrzymuje informację o granicy z zespołu wykrywania granicy 2 i określa, na jej podstawie, czy podany piksel jest pikselem istotnym i pochodzi z obszaru 11, czy też jest pikselem nieistotnym, pochodzącym z obszaru 12. Nieistotne piksele są modyfikowane, jak to zostanie poniżej opisane. Następnie piksele są podawane do konwencjonalnego kodera obrazu, na przykład wykorzystującego metodę transformacji bloków lub DPCM. Zakodowana informacja o granicy B oraz informacja o obrazie I są zapisywane na nośniku informacji dla późniejszego wykorzystania, lub przekazywane do oddalonego odbiornika. Nośnik zapisu lub transmisji jest oznaczony liczbą 6. Poniżej zostaną opisane przykłady wykonania układu modyfikującego 4, na podstawie ich odpowiednich sygnałów wyjściowych. Praktyczne układy mogą być łatwo zaprojektowane przez osoby znające sposoby przetwarzania sygnałów cyfrowych. Odpowiednie przebiegi sygnałów zostały pokazane na fig. 2A do 2E. Dla uproszczenia pokazano sygnały jednowymiarowe, chociaż należy zrozumieć, że operacja modyfikacji jest korzystnie stosowana w dwuwymiarowej przestrzeni obrazowej. Sygnał wejściowy, dla odniesienia, został przedstawiony na fig. 2A. Zawiera on szereg nieistotnych pikseli y[n] i szereg istotnych pikseli
4 183 094 x[n]. Przyjęto, że tło obrazu jest czarne, stąd wszystkie piksele y[n] mają wartość zero. Odpowiednie sygnały wyjściowe układu modyfikującego zostały pokazane na fig. 2B do 2E. Teraz odpowiednie sygnały wyjściowe zawierają szereg pseudopikseli p[n] i szereg istotnych pikseli x[n]. Przebieg, pokazany na fig. 2B, został uzyskany przez zastąpienie nieistotnych pikseli y[n] identycznymi pseudopikselami p[n], których wartość odpowiada pierwszemu istotnemu pikselowi x[n] poza granicą. W przebiegu, pokazanym na fig. 2C, pseudopikseli p[n] stopniowo zmieniają, swoją wartość, od początkowej zero do wartości pierwszego istotnego piksela x[n] poza granicą. W przebiegu, z fig. 2D, nieistotna część obrazu stanowi zwierciadlane odbicie części istotnej. Dodatkowo, część pseudo-sygnałowa może zostać odfiltrowana przez filtr dolnoprzepustowy dla dalszego wygładzenia przejścia, co zapobiegnie pojawieniu się znaczących współczynników zmiennoprądowych i jeszcze podwyższy efektywność kodowania: Przebieg, z fig. 2E przedstawia pseudopikseli p[n] uzyskane przez ekstrapolację pikseli x[n] z obszaru istotnego do nieistotnego. Ekstrapolacja, pokazana na fig. 2E, zostanie teraz przedstawiona dla dwuwymiarowej przestrzeni obrazowej. Na fig. 3A do 3C pokazano lewy, górny róg prostokątnego obrazu. Blok pikseli 41, z fig. 3A, o odpowiednich rozmiarach (tu pokazano blok 4x4) jest tak wstępnie wybrany, aby zawierał pojedynczy nieistotny piksel 51 w lewym, górnym rogu. Nieistotny piksel y[i, j] jest następnie zamieniany na pseudopiksel p[i, j], mający średnią wartość wszystkich pozostałych pikseli w bloku. Matematyczny opis wygląda jak niżej: P[i, j] = 1/N2Ʃx[n, m] n,m 0 gdzie n i m (n,m - 0...N) określają położenie piksela w bloku NxN. Powyższa operacja jest powtarzana dla wszystkich nieistotnych pikseli y[i, j] wzdłuż granicy między istotnym obszarem 11, a nieistotnym obszarem 12, aż do przetworzenia ostatniego nieistotnego piksela 55. Blok 41 przesuwa się wzdłuż granicy, tak jak pokazuje strzałka 42. Blok może zawierać, w trakcie przetwarzania, uprzednio wygenerowane pseudopiksele, jak również jeszcze nie zastąpione piksele nieistotne. Podczas ekstrapolacji piksela 52 blok zawiera pseudopiksel 51. Nieistotny piksel 54 jest zawarty w bloku podczas przetwarzania piksela 53. Pseudopiksele są uwzględniane podczas uśredniania, a piksele nieistotne nie są. Figura 3B przedstawia sytuację po zastąpieniu wszystkich granicznych pikseli y[i, j] przez pseudopiksele p[i, j] (zacienione). Blok przesuwa się wówczas, w odwrotnym kierunku, wzdłuż nowoutworzonej granicy. Figura 3C przedstawia sytuację w następnym stopniu procesu. Nieistotny piksel 56 jest teraz zastępowany przez średnią pikseli z bloku 41 i bloku przesuwanego wzdłuż granicy w kierunku strzałki 43. W miarę postępu procesu ekstrapolacji coraz więcej pseudopikseli jest włączanych do bloku 41. Ostatecznie osiąga się wierzchołek 57 prostokątnego obrazu. Wówczas wszystkie pseudopiksele osiągną zbliżoną wartość. Obszar obrazu 12 może być, dzięki temu, bardzo efektywnie zakodowany. Obszar obrazu poddany ekstrapolacji może być dalej wygładzony za pomocą dwuwymiarowego filtra dolnoprzepustowego. Dzięki wygładzaniu ekstrapolowany obszar obrazu nie zawiera znacznych ilości energii. Sposób dekodowania zostanie opisany na podstawie fig. 1. Konwencjonalny dekoder 7 (na przykład wykorzystujący metodę transformacji bloków lub DPCM) przeprowadza operację odwrotną do operacji przeprowadzanej przez koder 5 na wyjściu nadajnika. Dlatego dekoder 7 rekonstruuje piksele do stanu wysłanego przez nadajnik. Gdyby obraz w takim stanie został wyświetlony na ekranie, to pseudopiksele zostałyby również wyświetlone, dając obraz z którym widz (w naszym przypadku specjalista medyczny) nie jest zaznajomiony. Dekoder granicy 8 otrzymuje słowo kodowe B, reprezentujące granicę między danymi istotnymi i pseudodanymi. W alternatywnym przypadku granice są znane z góry i zapisane lokalnie. Zdekodowane piksele i informacja o granicy są podawane do obwodu rekonstrukcji 9. Na podstawie informacji o granicy obwód rekonstrukcji identyfikuje pseudopiksele p[i, j] i istotne piksele x[i, j]. Jak to zostanie wykazane dalej, obwód rekonstrukcji 9 nie oddziałuje na piksele inne niż pseudopiksele. Piksele pseudoobrazu zostają
183 094 5 zastąpione przez założone dane obrazowe, na przykład czarne piksele. Tak zrekonstruowany obraz zawiera tak samo ostre granice jak obraz oryginalny. Konwencjonalny koder wizyjny 5 (fig. 1) może być koderem wykorzystującym metodę transformacji bloków. W tym przypadku obraz jest dzielony na bloki, poddawane danej transformacji ortogonalnej, takiej jak dobrze znana dyskretna transformacja kosinusoidalna. Większość bloków będzie zawierała jedynie istotne piksele, inne tylko piksele nieistotne, a tak zwane bloki mieszane będą zawierały istotne i nieistotne dane obrazowe. Wyżej opisana zamiana nieistotnych pikseli na pseudopiksele dotyczy jedynie mieszanych bloków. Bloki zawierające jedynie piksele nieistotne w ogóle nie muszą być transformowane. Mogą być albo zignorowane, albo zakodowane jako pojedynczy, stały współczynnik (korzystnie zero, to znaczy czarne). Podsumowując, ujawniono sposób kodowania obrazów zawierających obszary istotnych i nieistotnych pikseli (to znaczy tła). Piksele z nieistotnego obszaru są zastępowane przez piksele wygładzające przejście między obszarami. Tak otrzymany obraz jest następnie poddawany konwencjonalnemu kodowaniu obrazu, które obecnie generuje znacznie mniej bitów. Na wyjściu odbiornika pseudopiksele są zastępowane przez założone piksele tła, dla rekonstrukcji oryginalnych granic. Jeśli granica między obszarami nie jest znana z góry, to wykrywa się ją, koduje i przekazuje do odbiornika. Wynalazek jest szczególnie przydatny do kompresji medycznych obrazów o kołowych obszarach istotnych, ale może być również stosowany do kodowania innych obrazów wizyjnych, zawierających nieistotne obszary, takich jak obrazy w wideo telefonach, gdzie istotną informację stanowi obszar głowy i barków. FIG. 3A FIG.3B FIG.3C
183 094 FIG. 1 FIG. 2A FIG.2B FIG.2C FIG.2D FIG.2E Departament Wydawnictw UP RP. Nakład 50 egz. Cena 2,00 zł.