(12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego:

Transkrypt

1 RZECZPOSPOLITA POLSKA (12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego: (13) (51) T3 Int.Cl. H04N 5/92 ( ) H04N 9/804 ( ) Urząd Patentowy Rzeczypospolitej Polskiej (97) O udzieleniu patentu europejskiego ogłoszono: Europejski Biuletyn Patentowy 2011/01 EP B1 (54) Tytuł wynalazku: Urządzenie odtwarzające, sposób odtwarzania, nośnik zapisu, urządzenie zapisujące i sposób zapisywania (30) Pierwszeństwo: US P (43) Zgłoszenie ogłoszono: w Europejskim Biuletynie Patentowym nr 2009/33 (45) O złożeniu tłumaczenia patentu ogłoszono: Wiadomości Urzędu Patentowego 2011/06 (73) Uprawniony z patentu: Panasonic Corporation, Kadoma, JP (72) Twórca(y) wynalazku: PL/EP T3 JOSEPH MCCROSSAN, Osaka, JP TOMOYUKI OKADA, Osaka, JP KAZUHIRO MOCHINAGA, Osaka, JP (74) Pełnomocnik: rzecz. pat. Anna Gdula WTS RZECZNICY PATENTOWI WITEK, ŚNIEŻKO I PARTNERZY ul. Rudolfa Weigla Wrocław Uwaga: W ciągu dziewięciu miesięcy od publikacji informacji o udzieleniu patentu europejskiego, każda osoba może wnieść do Europejskiego Urzędu Patentowego sprzeciw dotyczący udzielonego patentu europejskiego. Sprzeciw wnosi się w formie uzasadnionego na piśmie oświadczenia. Uważa się go za wniesiony dopiero z chwilą wniesienia opłaty za sprzeciw (Art. 99 (1) Konwencji o udzielaniu patentów europejskich).

2 2 Opis Dziedzina techniki [0001] Niniejszy wynalazek dotyczy nośnika zapisu, takiego jak BD-ROM, oraz urządzenia odtwarzającego. Niniejszy wynalazek szczególnie dotyczy technologii do realizowania wyświetlania planszy napisowej i wyświetlania interaktywnego, z wykorzystaniem przesyłania informacji w postaci obrazów. Tło wynalazku [0002] Wyświetlanie planszy napisowej z wykorzystaniem przesyłania informacji w postaci obrazów ma ważne zadanie przenoszenia słów wypowiadanych przez bohaterów utworu, do ludzi w każdej części świata. Jedną konwencjonalną technologią do realizowania wyświetlania planszy napisowej jest aplikacja planszy napisowej według standardu ETSI EN (ETSI: Europejski Instytut Norm Telekomunikacyjnych - European Telecommunication Standards Institute). Aplikacja planszy napisowej obejmuje strumień wideo, który ma być odtwarzany wraz z wyświetlaniem planszy napisowej z wykorzystaniem przesyłania informacji w postaci obrazów. W tym przypadku, grafika, która odpowiada planszy napisowej jest wyświetlana w postaci strumienia danych według standardu MPEG2. Strumień danych stanowi sekwencja pakietów PES, w której każdy pakiet PES posiada PTS (znacznik czasu prezentacji). Standard ETSI EN definiuje koordynację w czasie wyświetlania planszy napisowej w aplikacji planszy napisowej. Ten standard ustala synchronizację pomiędzy obrazem filmowym i grafiką, w której grafika jest wyświetlana, gdy są wyświetlane odpowiadające jej obrazy w strumieniu wideo. [0003] Gdy plansza napisowa ma być stosowana dla formatu BD-ROM, istnieje konieczność dalszego zwiększenia poziomu rozdzielczości grafiki. Bardziej dokładnie, pożądane jest, by poziom rozdzielczości został poprawiony do poziomu wynoszącego 1920*1080. Jednakże, zrealizowanie takiej wysokiej rozdzielczości pociąga za sobą ogromną ilość obciążenia dekodującego podczas odtwarzania.

3 3 [0004] Standard ETSI EN definiuje kontrolę odtwarzania w celu przeprowadzania dekodowania w czasie wyznaczonym przez PTS oraz natychmiastowego wyświetlania. Gdy jest to stosowane, ogromna ilość obciążenia dekodującego będzie koncentrowała się w urządzeniu odtwarzającym w momentach bezpośrednio przed wyświetleniem. Takie koncentrowanie sił obciążających wydajność sprzętowo/programową urządzenia odtwarzającego jest zbyt wysokie, ażeby zrealizować wyświetlanie grafiki. Jeśli taki stan stanie się stanem podstawowym dla urządzeń odtwarzających, koszty produkcji urządzeń odtwarzających znacząco wzrosną, co uniemożliwi powszechne stosowanie takich urządzeń odtwarzających. [0005] Z opisu patentowego St. Zjedn. Ameryki nr US znane jest urządzenie odtwarzające sąsiadujący strumień systemowy. Do konwencjonalnego urządzenia odtwarzającego wprowadzany jest jeden lub więcej strumieni systemowych przeplatających co najmniej dane obrazu filmowego i dane audio, a informacje o połączeniu strumienia systemowego obejmują generator zegara systemowego STC służący do tworzenia zegara systemowego, który jest stosowany jako zegar odniesienia odtwarzania strumienia systemowego. Urządzenie odtwarzające dodatkowo obejmuje jeden lub więcej dekoderów do przetwarzania sygnału, które działają w odniesieniu do zegara systemowego STC, pamięci buforowe dekodera do tymczasowego przechowywania danych strumienia systemowego przesyłanych do odpowiadających im dekoderów przetwarzających sygnał, oraz selektory STC służące do wybierania zegara systemowego STC, do którego odwołują się dekodery przetwarzające sygnał, podczas dekodowania pierwszego strumienia systemowego, i kolejnego zegara systemowego STC, do którego odwołują się dekodery przetwarzające sygnał, podczas dekodowania drugiego strumienia systemowego odtwarzanego sąsiadująco względem pierwszego strumienia systemowego. [0006] Z powoływanego EP A1 znane jest urządzenie kodujące, które generuje strumień bitów składający się z wartości zegara odniesienia, znaczników czasu, i skompresowanych danych odpowiadających danym audio, wideo i sceny. W tym strumieniu bitów, znacznik czasu reprezentujący czas dekodowania jest dołączony do poszczególnych skompresowanych danych, i znacznik czasu reprezentujący taktowanie składania jest dołączony do skompresowanych danych wideo i skompresowanych danych sceny.

4 4 Dekodowanie i składanie są następnie przeprowadzane w odniesieniu do danych początkowych, które są danymi typu nie-wideo, i dlatego też, koordynacja w czasie dekodowania i składania danych typu nie-wideo może zostać zdefiniowana. [0007] Kolejny odsyłacz literaturowy, opis patentowy St. Zjedn. Ameryki nr US dotyczy zapisywania danych wideo, w którym, podczas odtwarzania strumienia danych, który jest zapisywany wraz z dołączoną informacją o znaczniku czasu w jednostkach pakietów, zarządzanie czasem jest wykonywane z zastosowaniem informacji o znaczniku czasu. Czas odtwarzania wideo, patrząc od strony użytkownika, który może być wskazywany przez czasy wyświetlania obrazu I, B, i P, jest różny od czasu informacji o znaczniku czasu. Z tego powodu, gdy zarządzanie czasem dla strumienia danych zapisanego na nośniku przechowującym informacje, jest wykonywane tylko z zastosowaniem informacji o znaczniku czasu, sterowanie czasem wyświetlania (sterowanie czasem odtwarzania wideo) przez użytkownika nie może być wykonywane dokładnie. W niniejszym wynalazku, tablica zależności czasowej wskazująca zależność pomiędzy informacją o znaczniku czasu zapisaną w strumieniu danych przy każdej pozycji czasu rozpoczęcia obrazu I i informacją o czasie wyświetlania (PTS lub informacja o polu) przez użytkownika jest dostarczona do części informacji zarządzania. [0008] Kolejny odsyłacz literaturowy, europejski opis patentowy EP dotyczy urządzenia i sposobu tworzenia aplikacji filmowych typu wielowersyjnego i generowania strumieni bitów do jednolitego odtwarzania, które są przeznaczone do przechowywania na dyskach optycznych. W celu wytworzenia wielowersyjnej aplikacji kinowej takiej, która umożliwia wybiórcze odtwarzanie części obrazów, konieczne jest wytworzenie strumieni systemowych o przeplatającej się strukturze zależnej od poprzedzających i kolejnych strumieni systemowych. Po określeniu kolejności odtwarzania, nie może być ona zmieniana podczas odtwarzania. Następnie, stosownie do ograniczeń dotyczących obiektów wideo zależnych od kolejności odtwarzania stosowana jest korekcja danych akustycznych, których stosunki z obiektami wideo są przedstawione. W ten sposób, czas wymagany na zakończenie aplikacji kinowej poprzez wielokrotne zmiany i kasowanie części obrazów może zostać skrócony, i może być realizowane wytwarzanie wielowersyjnej aplikacji kinowej przez producenta.

5 5 [0009] Kolejny odsyłacz literaturowy, międzynarodowe zgłoszenie patentowe WO dotyczy sposobów i urządzeń do zapisywania i następnie odtwarzania cyfrowych danych wideo. Transmitowane dane otrzymywane w formacie MPEG Strumienia Transportowego (TS) są przetwarzane z wytworzeniem zmodyfikowanego Strumienia Transportowego do zapisywania na dysku optycznym w celu zarejestrowania treści wybranego programu audiowizualnego. Ujawniono rozmaite techniki umożliwiające zezwalanie na bezpośredni dostęp w ciągu zapisywania, lecz bez ponownego tworzenia pakietów lub ponownego multipleksowania podstawowych strumieni audio i wideo, na przykład do formatu strumienia programowego. Otrzymywany Strumień Transportowy TS (DVIN) sporadycznie zawiera informację o mapowaniu strumienia (PAT/PMT) identyfikującą kod ID pakietu transportowego towarzyszący każdemu podstawowemu strumieniowi, przy czym wymieniona informacja o mapowaniu strumienia jest poddawana zmianom poprzez otrzymywany TS. Kody ID pakietu w zmodyfikowanym Strumieniu Transportowym mogą być ponownie mapowane do jednolitego zestawu wartości, ażeby zezwolić na bezpośrednie wejście do zapisanego strumienia. Alternatywnie, informacja o mapowaniu bieżącego strumienia może być wstawiana w każdym potencjalnym punkcie wejścia w zmodyfikowanym strumieniu. Informacja o charakterystycznym punkcie (CPI) definiująca zestaw potencjalnych punktów wejścia w całym strumieniu jest generowana na drodze parsowania otrzymywanego strumienia, i jest zapisana w oddzielnym pliku, ażeby ułatwić zlokalizowanie punktów wejścia na dysku. Punkty wejścia mogą na przykład obejmować wszystkie obrazy I, lub ich podzbiór. Wartości zegara odniesienia (PCR), które nie są przenoszone w jednym z pożądanych strumieni, są wstawiane do zmodyfikowanego Strumienia Transportowego z zastosowaniem oddzielnego ID pakietu. Zapisany strumień może być przepuszczany do standardowego dekodera z niewielką modyfikacją lub bez dalszych modyfikacji. [0010] W ten sposób, zastosowanie znacznika czasu dekodowania i znacznika czasu prezentacji do kontrolowania dekodowania odpowiednio danych graficznych i prezentacji zdekodowanych danych, jest dobrze znane w dziedzinie. Niemniej jednak, pozostaje problem koordynowania operacji wykonywanej przez dekoder odpowiedzialnej za dekodowanie danych graficznych oraz przez kontroler grafiki odpowiedzialnej za aktualizowanie zdekodowanej grafiki. Konwencjonalnie,

6 6 ta koordynacja jest osiągana przez komunikację międzyprocesową lub przez przerwania sprzętowe, w zależności od tego, jak zaimplementowany jest dekoder i kontroler grafiki. Jednakże, każdemu z tych środków koordynacji towarzyszy pewna wielkość opóźnienia, którego skutkiem jest problem związany z tym, że grafika nie może być synchronizowana z szybkością wyświetlania obrazu filmowego. [0011] Dlatego też, celem niniejszego wynalazku jest dostarczenie urządzenia odtwarzającego, sposobu odtwarzania, nośnika zapisu, na którym jest zapisany strumień danych graficznych, jak również urządzenia zapisującego i sposobu zapisywania, które przezwyciężają konwencjonalne problemy opisane powyżej. [0012] Ten cel jest realizowany przez elementy scharakteryzowane w załączonych zastrzeżeniach patentowych. [0013] Okres czasu, w którym dekodowana jest grafika jest wskazany przez znacznik czasu pakietu przechowującego grafikę, i wyświetlanie grafiki jest zdefiniowane przez wartość znacznika czasu przypisaną do odpowiadających jej informacji sterujących. Dlatego też, w niniejszym wynalazku, stan, w którym już nastąpiło zdekodowanie, lecz jeszcze nie nastąpiło wyświetlenie, innymi słowy, stan, w którym zdekompresowana grafika jest buforowana, jest definiowany na linii przebiegu czasowego odtwarzania. [0014] Poprzez definiowanie takiego okresu buforowania, możliwe staje się uniknięcie koncentracji ogromnej ilości obciążenia dekodującego w jednym momencie. Dodatkowo, jeśli zastosowanie zasobów sprzętowych do dekodowania jednocześnie rywalizuje z innymi procesami przetwarzania, możliwe jest zapewnienie takiego okresu buforowania, który pozwala na przemieszczenie okresu dekodowania grafiki, tym samym unikając takiej rywalizacji. [0015] W tym przypadku, jeśli takie pojęcie buforowania jest wprowadzane, ażeby osiągnąć wspomniany powyżej cel, technicy zajmujący się rozwojem takiego urządzenia odtwarzającego będą niepewni w kwestii zakresu pamięci, która ma być zainstalowana, ażeby zagwarantować prawidłowe działanie. W międzyczasie, technicy, którzy tworzą aplikację planszy napisowej będą także niespokojni, czy sama aplikacja planszy napisowej może być w sposób pewny odtwarzana przez urządzenie odtwarzające. Wszystko to jest spowodowane tym, że zajętość pamięci dla tego procesu buforowania będzie zmieniać się

7 7 chronologicznie, w toku odtwarzania na linii przebiegu czasowego odtwarzania. Jeśli chronologiczna zmiana w stanie zajętości pamięci pozostaje nieznana, niepokoje tych techników nie zostaną zredukowane. [0016] W celu rozwiązania tego problemu, pożądane jest posiadanie takiej konstrukcji, w której informacja sterująca obejmuje takie typy informacji, które wskazują rozpoczęcie zarządzania pamięcią, znacznik czasu pakietu sterującego stanowi znacznik czasu prezentacji, i pakiet sterujący dodatkowo obejmuje znacznik czasu dekodowania, którego wartość wskazuje punkt na linii przebiegu czasowego odtwarzania strumienia danych cyfrowych, który odpowiada rozpoczęciu zarządzania pamięcią, oraz czas, w którym informacja sterująca jest odczytywana pamięci. [0017] Zgodnie z tą konstrukcją, rozpoczęcie zarządzania pamięcią jest wskazywane przez znacznik czasu dekodowania pakietu przechowującego informacje sterujące. Dlatego też, poprzez odniesienie do znacznika czasu dekodowania, możliwe staje się poznanie, w którym momencie linii przebiegu czasowego odtwarzania powinna pojawić się każda pamięć buforowa dla modelu dekodera. Jeśli moment pojawienia się pamięci buforowej jest uważany za moment rozpoczęcia zarządzania pamięcią, łatwo jest uchwycić chronologiczne przejście zajętości pamięci buforowej, która przechowuje informacje sterujące, pamięci buforowej, która przechowuje grafikę przed zdekodowaniem, i pamięci buforowej, która przechowuje grafikę pod zdekodowaniu. Zmieniając wartość tego znacznika czasu dekodowania, możliwe jest regulowanie chronologicznej przemiany stanu pamięci buforowych. Zgodnie z taką regulacją, możliwe staje się uniknięcie przekroczenia zakresu pamięci buforowej w urządzeniu odtwarzającym. Dlatego też, wdrażanie sprzętu/oprogramowania staje się łatwe na etapie opracowywania urządzenia odtwarzającego. [0018] Dodatkowo, ponieważ łatwe staje się uchwycenie i regulowanie chronologicznej przemiany, zgodnie z tym staje się także łatwa weryfikacja, czy strumień danych graficznych otrzymywany przez przygotowującego prezentację spełnia ograniczenia modelu dekodera, które zakłada standard BD-ROM. Dlatego też, osoba zajmująca się przygotowywaniem prezentacji może kontynuować proces przygotowywania prezentacji w warunkach, w których zapewnione jest, że stworzona przez nią grafika będzie działać prawidłowo.

8 8 [0019] Zakładając model dekodera formatu BD-ROM, konieczne będzie wprowadzenie kolejnego elementu składowego, ażeby zrealizować niniejszy wynalazek. W tym modelu dekodera formatu BD-ROM, główny element składowy dekodera (tj. procesor) grafiki jest niezależny od głównego elementu składowego kontrolera (tj. sterownik) do aktualizowania grafiki. Powodem, dla którego główny element składowy dekodera jest dostarczony niezależnie od aktualizującego głównego elementu składowego kontrolera jest wykonywanie zaawansowanego procesu aktualizowania, takiego jak stopniowe wyświetlanie i kasowanie grafiki, które jest przydatne w przypadku, gdy grafikę stanowi na przykład plansza napisowa. Gdy aktualizującym głównym elementem składowym kontrolera jest element niezależny od głównego elementu składowego dekodera, połączenie procesor-kontroler będzie musiało być bliższe. Jest to spowodowane tym, że po zakończeniu dekodowania danych graficznych przez procesor, kontroler musi przeprowadzić aktualizację bez opóźnienia. [0020] Sposób w jaki zakończenie procesu dekodowania przez procesor jest zgłaszane do kontrolera zależy od sposobu w jaki procesor i kontroler są wprowadzone do urządzenia. Jeśli procesor i kontroler są wprowadzone w postaci programów, zawiadomienie będzie realizowane na drodze komunikacji wewnątrzprocesowej. Jeśli procesor i kontroler są wprowadzone w postaci niezależnych od siebie elementów składowych sprzętu komputerowego, to wówczas zawiadomienie będzie realizowane poprzez sygnał przerwania. Wielkość czasu opóźnienia takiego zawiadomienia zależy także od sposobu implementacji w urządzeniu. Jeśli implementacja wymaga dużego czasu opóźnienia zawiadomienia, to będziemy mieli do czynienia z przypadkiem, w którym aktualizowanie grafiki nie może być synchronizowane z szybkością wyświetlania obrazu filmowego. [0021] W celu zapobiegnięcia występowaniu takiej sytuacji, pożądane jest posiadanie takiej konstrukcji, w której wartość znacznika czasu prezentacji jest otrzymywana przez dodawanie wcześniej ustalonej wartości do wartości znacznika czasu dekodowania, gdzie wcześniej ustalona wartość opiera się na: dłuższym okresie czasu spośród takich jak okres czasu wymagany do wymazania ekranu, okres czasu wymagany do dekodowania danych graficznych; oraz okres czasu wymagany do zapisania danych graficznych na ekranie.

9 9 [0022] Znacznik czasu prezentacji pakietu przechowującego grafikę wskazuje czas zakończenia dekodowania, a znacznik czasu prezentacji pakietu przechowującego informacje sterujące wskazuje czas otrzymywany przez dodawanie wcześniej ustalonego okresu czasu do czasu zakończenia dekodowania. Dlatego też, tylko poprzez odniesienie do znaczników czasu prezentacji, kontroler może przeprowadzać aktualizowanie przy odpowiednim taktowaniu nie otrzymując od procesora żadnego zawiadomienia o zakończeniu dekodowania danych graficznych. Jeśli przeprowadzana jest taka aktualizacja, możliwe staje się zapewnienie, że aktualizacja jest zsynchronizowana z szybkością wyświetlania obrazu filmowego, niezależnie od sposobu implementacji w urządzeniu odtwarzającym. [0023] Ponieważ bliższe połączenie procesor-kontroler jest realizowane niezależnie od sposobu implementacji procesora-kontrolera w urządzeniu odtwarzającym, możliwe staje się zachowanie pewnego stopnia elastyczności w konstruowaniu urządzenia, jak również ułatwienie wytwarzania urządzeń przy niskich kosztach. Zwięzły opis figur rysunku [0024] Na FIG. 1 zilustrowano przykład zastosowania nośnika zapisu według niniejszego wynalazku. Na FIG. 2 zilustrowano strukturę formatu BD-ROM. Na FIG. 3 przedstawiono diagram ilustrujący schematycznie strukturę strumienia danych cyfrowych AVClip. Na FIG. 4A zilustrowano strukturę strumienia grafiki prezentacyjnej. Na FIG. 4B zilustrowano pakiet PES otrzymany po przekształceniu segmentów funkcjonalnych. Na FIG. 5 zilustrowano strukturę logiczną, która składający się z rozmaitych rodzajów segmentów funkcjonalnych. Na FIG. 6 zilustrowano zależność pomiędzy pozycją wyświetlania planszy napisowej i Epoką.

10 10 Na FIG. 7A zilustrowano składnię do definiowania Obiektu Graficznego w Segmencie Definicji Obiektu (ODS). Na FIG. 7B zilustrowano składnię Segmentu Rozdzielczości Palety (PDS). Na FIG. 8A zilustrowano składnię Segmentu Rozdzielczości Okna (WDS). Na FIG. 8B zilustrowano składnię Segmentu Prezentacji Kompozycji (PCS). Na FIG. 9 zilustrowano przykład opisu Zestawu Segmentów dla napisów dialogowych. Na FIG. 10 zilustrowano przykład opisu WDS i PCS w zestawie DS1. Na FIG. 11 zilustrowano przykład opisu PCS w zestawie DS2. Na FIG. 12 zilustrowano przykład opisu PCS w zestawie DS3. Na FIG. 13 przedstawiono przykład opisu Zestawu Segmentów, gdy przeprowadzane jest Wcięcie/Wycięcie, co zilustrowano wzdłuż linii przebiegu czasowego. Na FIG. 14 przedstawiono przykład opisu Zestawu Segmentów, gdy przeprowadzane jest Rozjaśnianie obrazu/ściemnianie obrazu, co zilustrowano wzdłuż linii przebiegu czasowego. Na FIG. 15 przedstawiono przykład opisu Zestawu Segmentów, gdy przeprowadzane jest Przewijanie, co zilustrowano wzdłuż linii przebiegu czasowego. Na FIG. 16 przedstawiono przykład opisu Zestawu Segmentów, gdy przeprowadzane jest Wypieranie/Kasowanie, co zilustrowano wzdłuż linii przebiegu czasowego. Na FIG. 17 przedstawiono diagram porównujący dwa przypadki: okno zawiera cztery Obiekty Graficzne, i okno zawiera dwa Obiekty Graficzne. Na FIG. 18 zilustrowano przykład algorytmu do obliczania czasu trwania dekodowania. Na FIG. 19 zilustrowano sieć działań algorytmu przedstawionego na FIG. 18. Na FIG. 20A i B zilustrowano sieci działań algorytmu przedstawionego na FIG. 18. Na FIG. 21A zilustrowano przypadek, w którym każde okno zawiera Segment Rozdzielczości Obiektu.

11 11 Na FIG. 21B i C zilustrowano wykresy czasowania przedstawiające kolejności pomiędzy etapami oznaczonymi symbolami liczbowymi odnoszącymi się do algorytmu pokazanego na FIG. 18. Na FIG. 22A zilustrowano przypadek, w którym każde okno zawiera dwa Segmenty Rozdzielczości Obiektu. Na FIG. 22B i C zilustrowano wykresy czasowania przedstawiające kolejności pomiędzy etapami oznaczonymi symbolami liczbowymi odnoszącymi się do algorytmu pokazanego na FIG. 18. Na FIG. 23A opisano przypadek, w którym każde z dwóch Okien zawiera ODS. Na FIG. 23B zilustrowano przypadek, w którym okres czasu dekodowania (2) jest dłuższy niż suma okresu czasu wymazywania (1) i okresu czasu zapisywania (31). Na FIG. 23C zilustrowano przypadek, w którym suma okresu czasu wymazywania (1) i okresu czasu zapisywania (31) jest dłuższa niż okres czasu dekodowania (2). Na FIG. 24 zilustrowano chronologiczne przejście aktualizacji opisanej w przykładzie w niniejszym opisie. Na FIG. 25A zilustrowano cztery Zestawy Segmentów, które zostały opisane w celu przeprowadzenia wyjaśnionej powyżej aktualizacji. Na FIG. 25B zilustrowano wykres czasowania pokazujący ustawienia DTS i PTS segmentów funkcjonalnych zawartych w czterech Zestawach Segmentów. Na FIG. 26 zilustrowano wewnętrzną strukturę urządzenia odtwarzającego według niniejszego wynalazku. Na FIG. 27 zilustrowano wielkości szybkości zapisu Rx, Rc, i Rd, Płaszczyzny Grafiki 8, Pamięci Buforowej Zakodowanych Danych 13, Pamięci Buforowej Obiektu 15, i Pamięci Buforowej Kompozycji 16. Na FIG. 28 przedstawiono wykres czasowania ilustrujący przetwarzanie potokowe procesów przez urządzenie odtwarzające. Na FIG. 29 zilustrowano wykres czasowania podczas przetwarzania potokowego procesów w przypadku, w którym dekodowanie segmentu ODS kończy się przed zakończeniem wymazywania Płaszczyzna Grafiki. Na FIG. 30 zilustrowano wykres czasowania pokazujący chronologiczną zmianę ilości nagromadzonej na Płaszczyźnie Grafiki 8.

12 12 Na FIG. 31 przedstawiono sieć działań ilustrującą procedurę operacji wprowadzającej segment funkcjonalny. Na FIG. 32 zilustrowano przykład multipleksowania. Na FIG. 33 zilustrowano sposób, w jaki zestaw DS10 jest wprowadzany do Pamięci Buforowej Zakodowanych Danych 13 urządzenia odtwarzającego. Na FIG. 34 zilustrowano przypadek, w którym przeprowadzane jest normalne odtwarzanie. Na FIG. 35 zilustrowano wprowadzanie zestawów DS1, DS10, i DS20 podczas normalnego odtwarzania przeprowadzanego sposobem przedstawionym na FIG. 34. Na FIG. 36 zilustrowano sieć działań pokazującą proces przeprowadzany przez Kontroler Grafiki 17. Na FIG. 37 zilustrowano sieć działań pokazującą proces przeprowadzany przez Kontroler Grafiki 17. Na FIG. 38 sieć działań pokazującą proces przeprowadzany przez Kontroler Grafiki 17. Na FIG. 39 zilustrowano przetwarzanie potokowe procesów urządzenia odtwarzającego bazujące na znaczniku PTS segmentu PDS. Na FIG. 40 przedstawiono diagram, który opisuje znaczenie Końca Zestawu Segmentów END w przetwarzaniu potokowym procesów przez urządzenie odtwarzające. Na FIG. 41 przedstawiono diagram ilustrujący schematycznie strukturę strumienia danych cyfrowych AVClip według drugiej realizacji. Na FIG. 42A i FIG. 42B zilustrowano diagramy przedstawiające interakcyjny ekran według drugiej realizacji. Na FIG. 43 zilustrowano strukturę danych Segmentu Interaktywnej Kompozycji. Na FIG. 44 przedstawiono zależność pomiędzy segmentem ODS zawartym w DSn, i segmentem ICS. Na FIG. 45 przedstawiono kompozycję ekranu podczas czasowego wyświetlania danych dowolnego obrazu pt1. Na FIG. 46 zilustrowano przykład ustawienia dla przycisku informacyjnego w segmencie ICS. Na FIG. 47 zilustrowano zmianę stanu od przycisku A do przycisku D.

13 13 Na FIG. 48 zilustrowano obrazy segmentów ODS11, 21, 31, i 41, jako jeden przykład. Na FIG. 49 zilustrowano obrazy segmentów ODS11-19 dla przycisku A, jako jeden przykład. Na FIG. 50 zilustrowano grupy stanów przycisku i kolejność segmentów ODS w Zestawie Segmentów. Na FIG. 51 zilustrowano zmianę stanu ekranu interakcyjnego, w którym rozmieszczone są grupy stanów przycisku przedstawione na FIG. 50. Na FIG. 52 zilustrowano kolejność segmentów ODS w Zestawie Segmentów. Na FIG. 53 przedstawiono różnicę w rozmieszczeniu segmentów ODS w grupie S-ODSs, pomiędzy przypadkiem, w którym parametr numer_domyślnego_wybranego_przycisku = 0, i przypadkiem, w którym numer_domyślnego_wybranego_przycisku = przycisk B. Na FIG. 54A i 54B przedstawiono wartość ΣSIXE(DSn[ICS.PRZYCISK[i]]), w przypadku, gdy N-ODSs zawierają wiele segmentów ODS wyznaczających przyciski A-D, i S-ODSs zawierają wiele segmentów ODS wyznaczających przyciski A-D. Na FIG. 55 przedstawiono odmierzanie czasu zsynchronizowanego wyświetlania z wykorzystaniem segmentu ICS. Na FIG. 56 przedstawiono jak ustawione są DTS i PTS w przypadku, w którym początkowe wyświetlanie ekranu interakcyjnego jest tworzone przez wiele segmentów ODSs, i w którym domyślny_wybrany_przycisk jest prawidłowy. Na FIG. 57 przedstawiono jak ustawione są DTS i PTS w przypadku, w którym początkowe wyświetlanie ekranu interakcyjnego jest tworzone przez wiele segmentów ODSs, i w którym domyślny_wybrany_przycisk jest nieprawidłowy. Na FIG. 58 zilustrowano zawartość Pamięci Buforowej Obiektu 15 w porównaniu z Płaszczyzną Grafiki 8. Na FIG. 59 zilustrowano operację przeprowadzaną przez Kontroler Grafiki 17 w początkowym czasie wyświetlania. Na FIG. 60 zilustrowano operację przeprowadzaną przez Kontroler Grafiki 17, gdy aktualizacja interakcyjnego ekranu jest przeprowadzana zgodnie z Pierwszą Czynnością Użytkownika (Przesunięcie w Prawo).

14 14 Na FIG. 61 zilustrowano operację przeprowadzaną przez Kontroler Grafiki 17, gdy aktualizacja interakcyjnego ekranu jest przeprowadzana zgodnie z Pierwszą Czynnością Użytkownika (Przesunięcie do Dołu). Na FIG. 62 zilustrowano operację przeprowadzaną przez Kontroler Grafiki 17, gdy aktualizacja interakcyjnego ekranu jest przeprowadzana zgodnie z Pierwszą Czynnością Użytkownika (Aktywowany). Na FIG. 63 przedstawiono wykres czasowania ilustrujący przetwarzanie potokowe procesów przeprowadzanych przez urządzenie odtwarzające. Na FIG. 64 przedstawiono wykres czasowania ilustrujący przetwarzanie potokowe procesów przez urządzenie odtwarzające w przypadku, w którym domyślny wybrany przycisk zmienia się dynamicznie. Na FIG. 65 przedstawiono wykres czasowania ilustrujący chronologiczne przejścia w stanach zajętości Płaszczyzny Grafiki 8, Pamięci Buforowej Obiektu 15, Pamięci Buforowej Zakodowanych Danych 13, i Pamięci Buforowej Kompozycji 16. Na FIG. 66 zilustrowano sieć działań pokazującą proces operacji wprowadzającej Segment. Na FIG. 67 zilustrowano przykład multipleksowania. Na FIG. 68 zilustrowano sposób, w jaki DS10 jest wprowadzany do Pamięci Buforowej Zakodowanych Danych 13 urządzenia odtwarzającego. Na FIG. 69 zilustrowano przypadek, w którym przeprowadzane jest normalne odtwarzanie. Na FIG. 70 zilustrowano wprowadzanie zestawów DS1, DS10, i DS20 podczas normalnego odtwarzania przeprowadzanego sposobem przedstawionym na FIG. 69. Na FIG. 71 przedstawiono sieć działań ilustrującą główną procedurę przetwarzania przeprowadzanego przez Kontroler Grafiki 17. Na FIG. 72 przedstawiono sieć działań ilustrującą przetwarzanie do realizowania sterowania operacją synchronizacji, które wykorzystuje znacznik czasu. Na FIG. 73 zilustrowano sieć działań pokazującą proces operacji zapisywania na Płaszczyźnie Grafiki 8. Na FIG. 74 przedstawiono sieć działań ilustrującą automatyczny proces aktywacji dla domyślnego wybranego przycisku.

15 15 Na FIG. 75 zilustrowano sieć działań pokazującą proces wyświetlania animacji. Na FIG. 76 przedstawiono sieć działań ilustrującą proces operacji UO. Na FIG. 77 przedstawiono sieć działań ilustrującą proces operacji zmiany bieżącego przycisku. Na FIG. 7 8 przedstawiono sieć działań ilustrującą proces operacji wprowadzania wartości liczbowej. Na FIG. 79 zilustrowano sposób wytwarzania BD-ROM, który zapisuje segment PCS wyjaśniony w pierwszej realizacji. Na FIG. 80 zilustrowano sposób wytwarzania BD-ROM, który zapisuje segment PCS wyjaśniony w drugiej realizacji. Najlepszy sposób wykonania wynalazku (Pierwsza Realizacja) [0025] Pierwsza Realizacja nośnika zapisu według niniejszego wynalazku jest wyjaśniona poniżej. [0026] Na FIG. 1 zilustrowano przykład zastosowania nośnika zapisu. Na figurze rysunku, BD-ROM 100 stanowi nośnik zapisu według niniejszego wynalazku. Nośnik BD-ROM 100 jest stosowany do dostarczania danych obrazów filmowych do Systemu Kina Domowego tworzonego przez urządzenie odtwarzające 200, telewizor 300, oraz pilot zdalnego sterowania 400. [0027] Nośnik zapisu według niniejszego wynalazku jest wytwarzany poprzez ulepszenie formatu BD-ROM w warstwie aplikacyjnej. Na FIG. 2 zilustrowano strukturę nośnika BD-ROM. [0028] Na figurze rysunku, nośnik BD-ROM jest pokazany na dole rysunku, a ścieżka na nośniku BD-ROM jest przedstawiona powyżej nośnika BD-ROM. Ścieżka w rzeczywistości ma kształt spiralny na dysku, lecz na figurze rysunku jest pokazana w postaci linii. Ścieżka zawiera obszar wejściowy, obszar pojemnościowy, i obszar wyjściowy. Obszar pojemnościowy na tym rysunku zawiera warstwę fizyczną, warstwę systemu plików i warstwę aplikacyjną. W części górnej rysunku, zilustrowany jest format aplikacyjny nośnika BD-ROM z zastosowaniem struktury katalogowej. Jak zilustrowano na figurze rysunku, nośnik BD-ROM zawiera katalog BDMV pod katalogiem głównym, i katalog BDMV

16 16 zawiera plik do przechowywania strumienia danych cyfrowych AVClip z rozszerzeniem M2TS (XXX.M2TS), plik do przechowywania informacji administracyjnej dla strumienia danych cyfrowych AVClip z rozszerzeniem CLPI (XXX. CLPI), i plik do definiowania logicznej Listy Odtwarzania (PL) dla strumienia danych cyfrowych AVClip z rozszerzeniem MPLS (YYY.MPLS). Tworząc powyższy format aplikacyjny, możliwe jest wytwarzanie nośnika zapisu według niniejszego wynalazku. W przypadku, gdy istnieje więcej niż jeden plik każdego rodzaju, korzystne jest wprowadzenie trzech katalogów o nazwach STREAM, CLIPINF, i PLAYLIST pod katalogiem BDMV, ażeby przechowywać pliki o takim samym rozszerzeniu w jednym katalogu. Szczególnie pożądane jest, ażeby przechowywać pliki z rozszerzeniem M2TS w katalogu STREAM, pliki z rozszerzeniem CLPI w katalogu CLIPINF, i pliki z rozszerzeniem MPLS w katalogu PLAYLIST. [0029] Wyjaśnienie dotyczące strumienia danych cyfrowych AVClip (XXX.M2TS) w powyższym formacie aplikacyjnym jest przedstawione poniżej. [0030] Strumień AVClip (XXX.M2TS) stanowi strumień danych cyfrowych w formacie MPEG-TS (TS oznacza Strumień Transportowy) otrzymywany przez multipleksowanie strumienia wideo, co najmniej jednego strumienia audio, i strumienia grafiki prezentacyjnej. Strumień wideo reprezentuje obrazy filmu, strumień audio reprezentuje dźwięk filmu, a strumień grafiki prezentacyjnej reprezentuje napisy do filmu. Na FIG. 3 przedstawiono diagram ilustrujący schematycznie strukturę strumienia danych cyfrowych AVClip. [0031] Strumień AVClip (XXX.M2TS) jest skonstruowany w następujący sposób. Strumień wideo składający się z wielu ramek danych wideo (obraz pj1, pj2, i pj3), i strumień audio składający się z wielu ramek danych audio (górny rząd rysunku) są indywidualnie przekształcane w wiersz pakietów PES (drugi rząd rysunku), a następnie w wiersz pakietów TS (trzeci rząd rysunku). Strumień grafiki prezentacyjnej (dolny rząd rysunku) jest przekształcany w wiersz pakietów PES (drugi od dołu rząd rysunku), a następnie w wiersz pakietów TS (trzeci od dołu rząd rysunku). Trzy wiersze pakietów TS są multipleksowane, i w ten sposób tworzony jest strumień danych cyfrowych AVClip (XXX.M2TS). [0032] Na figurze rysunku, tylko jeden strumień grafiki prezentacyjnej jest multipleksowany. Jednakże, w przypadku, w którym nośnik BD-ROM jest kompatybilny z wieloma językami, strumień grafiki prezentacyjnej dla każdego

17 17 języka jest multipleksowany z utworzeniem strumienia AVClip. Strumień danych cyfrowych AVClip utworzony w powyższy sposób jest dzielony na więcej niż jeden obszar, jak zwyczajne pliki komputerowe, i jest przechowywany w obszarach na nośniku BD-ROM. [0033] Następnie, objaśniony jest strumień grafiki prezentacyjnej. Na FIG. 4A zilustrowano strukturę strumienia grafiki prezentacyjnej. Górny rząd wskazuje wiersz pakietów TS przeznaczonych do multipleksowania do strumienia AVClip. Rząd drugi od góry wskazuje wiersz pakietów PES, który tworzy strumień danych graficznych. Wiersz pakietów PES jest konstruowany przez pobieranie danych właściwych z pakietów TS posiadających wcześniej ustalony PID (identyfikator procesu), i łączenie pobranych danych właściwych. [0034] Rząd trzeci od góry wskazuje strukturę strumienia danych graficznych. Strumień danych graficznych składa się z segmentów funkcjonalnych określanych jako Segment Prezentacji Kompozycji (PCS), Segment Rozdzielczości Okna (WDS), Segment Rozdzielczości Palety (PDS), Segment Rozdzielczości Obiektu (ODS), i Koniec Zestawu Segmentów (END). Spośród powyższych segmentów funkcjonalnych, segment PCS jest nazywany segmentem kompozycji ekranu, a segmenty WDS, PDS, ODS, i END są nazywane segmentami rozdzielczości. Pakiet PES i każdy z segmentów funkcjonalnych odpowiadają sobie jeden do jednego, jeden do wielu. Innymi słowy, jeden segment funkcjonalny jest albo zapisywany na nośniku BD-ROM po przekształceniu w jeden pakiet PES, lub po podzieleniu na fragmenty i przekształceniu w więcej niż jeden pakiet PES. [0035] Na FIG. 4B zilustrowano pakiet PES otrzymywany przez przekształcenie segmentów funkcjonalnych. Jak pokazano na figurze rysunku, pakiet PES składa się z nagłówka pakietu oraz danych właściwych, przy czym dane właściwe są zasadniczym elementem segmentu funkcjonalnego. Nagłówek pakietu zawiera DTS i PTS odpowiadające segmentowi funkcjonalnemu. DTS i PTS zawarte w nagłówku pakietu są w dalszej części niniejszego opisu określane jako DTS i PTS segmentu funkcjonalnego. [0036] Opisane powyżej rozmaite rodzaje segmentów funkcjonalnych tworzą strukturę logiczną, jak zilustrowana na FIG. 5. Na FIG. 5 zilustrowano strukturę logiczną, która składa się rozmaitych rodzajów segmentów

18 18 funkcjonalnych. Na figurze rysunku, górny rząd ilustruje Epoki, środkowy rząd ilustruje Zestawy Segmentów (DS), a dolny rząd ilustruje segmenty funkcjonalne. [0037] Każdy z zestawów DS pokazanych w środkowym rzędzie stanowi grupa segmentów funkcjonalnych, które składają się na grafikę dla jednego ekranu, spośród wszystkich z wielu segmentów funkcjonalnych, które tworzą strumień danych graficznych. Linie przerywane na figurze rysunku wskazują zestawy DS, do których należą segmenty funkcjonalne znajdujące się w dolnym rzędzie, i pokazują, że seria segmentów funkcjonalnych PCS, WDS, PDS, ODS, i END tworzy jeden zestaw DS. Urządzenie odtwarzające jest zdolne do generowania grafiki dla jednego ekranu poprzez odczytywanie segmentów funkcjonalnych, które tworzą zestaw DS. [0038] Epoki pokazane w górnym rzędzie wskazują okresy czasu, i zarządzanie pamięcią następuje sukcesywnie pod względem czasowym wzdłuż linii przebiegu czasowego odtwarzania strumienia AVClip w jednej Epoce. Jedna Epoka reprezentuje także grupę danych, która jest przypisana do tego samego okresu czasu. Wymieniona powyżej pamięć obejmuje Płaszczyznę Grafiki, która przechowuje grafikę dla jednego ekranu, oraz Pamięć Buforową Obiektu, która przechowuje zdekompresowane dane graficzne. Sukcesywność zarządzania pamięcią oznacza, że chwilowa Płaszczyzna Grafiki lub Pamięć Buforowa Obiektu nie występuje w Epoce, a wymazywanie i odtwarzanie grafiki są przeprowadzane jedynie we wcześniej ustalonym prostokątnym obszarze na Płaszczyźnie Grafiki (stosowane tu określenie chwilowy wskazuje wymazywanie całej zawartości danych przechowywanych w płaszczyźnie lub buforze). Wielkość i położenie prostokątnego obszaru są stałe podczas jednej Epoki. Tak długo jak wymazywanie i odtwarzanie grafiki są przeprowadzane jedynie we wcześniej ustalonym prostokątnym obszarze na Płaszczyźnie Grafiki, zagwarantowana jest synchronizacja odtwarzania pomiędzy obrazem i grafiką. Innymi słowy, Epoka jest jednostką na linii przebiegu czasowego odtwarzania, i w tej jednostce zagwarantowane jest, że obraz i grafika będą odtwarzane synchronicznie. Przesuwając obszar, w którym grafika jest wymazywana i odtwarzana, do innego położenia, konieczne jest zdefiniowanie punktu na linii przebiegu czasowego do przesuwania obszaru, a okres czasu znajdujący się po tym punkcie staje się nową Epoką. Synchronizacja odtwarzania nie jest gwarantowana na granicy pomiędzy dwoma Epokami.

19 19 [0039] Podczas oglądania rzeczywistego filmu, jedna Epoka stanowi taki okres czasu, w którym są wyświetlane plansze napisowe w tym samym prostokątnym obszarze na ekranie. Na FIG. 6 zilustrowano zależność pomiędzy położeniem plansz napisowych i Epoki. W przykładzie zilustrowanym przez ten rysunek, położenia, w których pokazanych jest pięć planszy napisowych Actually..., I was hiding, my feelings., I always, i loved you. przesuwają się stosownie do obrazu w filmie. W szczególności, plansze napisowe Actually..., I was hiding, i my feelings. pojawiają się na dole ekranu, natomiast plansze napisowe I always i loved you. są pokazane na górze ekranu. Położenie prostokątnego obszaru przesuwa się, ażeby patrząc na ekran plansze napisowe nie kolidowały z obrazami, wziąwszy pod uwagę widoczność filmu. Okres czasu, podczas którego plansze napisowe pojawiają się na dole stanowi Epoka 1, następny okres czasu, podczas którego plansze napisowe pojawiają się na górze stanowi Epoka 2. Każda z Epok 1 i 2 ma inny obszar, w którym odtwarzane są plansze napisowe. Obszarem w Epoce 1 jest okno 1 znajdujące się na dole ekranu, a obszarem w Epoce 2 jest okno 2 znajdujące się na górze ekranu. Zarządzanie pamięcią następuje sukcesywnie w każdej z Epok 1 i 2, i zgodnie z tym, odtwarzanie plansz napisowych w Oknach 1 i 2 jest zsynchronizowane z obrazami. [0040] Następnie, są opisane szczegóły dotyczące Zestawu Segmentów (DS). [0041] Linie przerywane hkl1 i hkl2 na FIG. 5 wskazują, który segment funkcjonalny w środkowym rzędzie należy do której Epoki. Seria zestawów DS Początek Epoki, Punkt Gromadzenia Danych, i Przypadek Normalny tworzy Epokę znajdującą się w górnym rzędzie. Zestawy Początek Epoki, Punkt Gromadzenia Danych, Przypadek Normalny, i Kontynuacja Epoki stanowią typy zestawów DS, a kolejność pomiędzy zestawami Punkt Gromadzenia Danych i Przypadek Normalny nie ma znaczenia i każdy z nich może być pierwszy. [0042] Początek Epoki jest zestawem DS, którego efektem wyświetlana jest nowe wyświetlanie wskazujące początek nowej Epoki. Z tego też względu, Początek Epoki zawiera wszystkie segmenty funkcjonalne potrzebne do wyświetlania nowej kompozycji ekranu. Początek Epoki znajduje się w takim

20 20 położeniu, które jest miejscem docelowym operacji przeskoku strumienia AVClip, takim jak rozdział w filmie. [0043] Punkt Gromadzenia Danych jest zestawem DS, którego efektem wyświetlana jest odświeżanie wyświetlania, i ma identyczną zawartość stosowaną do odtwarzania grafiki jak zestaw Początek Epoki, który jest poprzedzającym zestawem DS. Punkt Gromadzenia Danych nie znajduje się w momencie rozpoczęcia Epoki, lecz zawiera wszystkie segmenty funkcjonalne potrzebne do wyświetlania nowej kompozycji ekranu. Dlatego też, możliwe jest wyświetlanie grafiki bez błędów, gdy przeprowadzana jest operacja przeskoku do Punktu Gromadzenia Danych. Zgodnie z tym, stosując Punkt Gromadzenia Danych, możliwe jest komponowanie ekranu w środku Epoki. [0044] Punkt Gromadzenia Danych znajduje się w takim położeniu, które może być celem dla operacji przeskoku. Przykładem takiego położenia jest położenie, które mogłoby być wyspecyfikowane podczas przeprowadzania wyszukiwania czasowego. Wyszukiwanie czasowe jest operacją wykonywaną w odpowiedzi na wprowadzenie przez użytkownika czasu rozpoczęcia odtwarzania od punktu odtwarzania odpowiadającego czasowi określonemu przez użytkownika. Czas jest określony w przybliżeniu, na przykład co 10 minut lub co 10 sekund, i zgodnie z tym, punkty, w których rozpoczyna się odtwarzanie znajdują się w 10-minutowym przedziale czasowym, lub w 10-sekundowym przedziale czasowym, na przykład. Umieszczając Punkt Gromadzenia Danych w punktach, w których może rozpocząć się odtwarzanie, możliwe jest bezproblemowe przeprowadzanie odtwarzania po wyszukiwaniu czasowym. [0045] Przypadek Normalny jest zestawem DS, którego efektem wyświetlana jest aktualizacja wyświetlania, i zawiera tylko takie elementy, które są różne od poprzedniej kompozycji ekranu. W szczególności, gdy plansze napisowe w DSv są takie same jak plansze napisowe w DSu, lecz ekran jest wyświetlany inaczej w DSv i DSu, DSv jest dostarczany w takiej postaci, ażeby zawierał tylko PCS i tworzył DSv zestaw Przypadek Normalny. Przez to, konieczne staje się dostarczenie segmentu ODS z taką samą zawartością jak zawartość segmentu ODS w poprzednim zestawie DS, i wielkość danych na nośniku BD- ROM może zostać zmniejszona. Z drugiej strony, ponieważ zestaw DS taki jak Przypadek Normalny zawiera tylko różnicę, nie jest możliwe komponowanie ekranu, stosując sam zestaw Przypadek Normalny.