PL B1. WOJSKOWY INSTYTUT MEDYCYNY LOTNICZEJ, Warszawa, PL BUP 26/13

Transkrypt

1 PL B1 RZECZPOSPOLITA POLSKA (12) OPIS PATENTOWY (19) PL (11) (13) B1 (21) Numer zgłoszenia: (51) Int.Cl. A61B 3/113 ( ) Urząd Patentowy Rzeczypospolitej Polskiej (22) Data zgłoszenia: (54) Sposób i układ do określania bezpieczeństwa kierującego pojazdem (43) Zgłoszenie ogłoszono: BUP 26/13 (73) Uprawniony z patentu: WOJSKOWY INSTYTUT MEDYCYNY LOTNICZEJ, Warszawa, PL (45) O udzieleniu patentu ogłoszono: WUP 07/16 (72) Twórca(y) wynalazku: KRZYSZTOF MURAWSKI, Latchorzew, PL KRZYSZTOF RÓŻANOWSKI, Warszawa, PL

2 2 PL B1 Opis wynalazku Przedmiotem wynalazku jest sposób i układ określania bezpieczeństwa kierującego pojazdem, stosowany zwłaszcza w detekcji położenia i stanu oczu oraz badaniu aktywności okoruchowej kierowcy. Znany jest sposób według wynalazku US , polegający na detekcji i śledzeniu położenia obu oczu kierowcy lub innej osoby monitorowanej, oraz na wyznaczaniu położenia głowy względem promiennika podczerwieni i kamery podczerwieni i czasu, oraz na pomiarze czasu zamknięcia powieki lub powiek. Informacje te poddawane są analizie pod kątem bezpieczeństwa kierującego pojazdem. Znany jest układ według wynalazku nr US zawierający promiennik podczerwieni, kamerę podczerwieni połączoną z układem cyfrowego przetwarzania sygnałów za pomocą łącza szeregowego RS232. Kamera podczerwieni sterowana jest sygnałem wytwarzanym w układzie cyfrowego przetwarzania sygnałów. Obraz z kamery podczerwieni przetwarzany jest w przetworniku analogowocyfrowym i w postaci cyfrowej przetwarzany jest w układzie cyfrowego przetwarzania sygnałów. Układ zawiera interfejs komunikacyjny umożliwiający komunikację z nadrzędnym systemem bezpieczeństwa. Układ posiada pamięć typu RAM, w której zapisywane są wyniki przetwarzania sygnałów oraz historia aktywności okoruchowej monitorowanej osoby. Celem wynalazku jest stworzenie sposobu określania bezpieczeństwa kierującego pojazdem poprzez ograniczania liczby obliczeń niezbędnych do wykonania, mających na celu wyznaczenie położenia i stanu oczu w obrazie rejestrowanym w paśmie podczerwieni i wykorzystaniem obrazu z kamery wizyjnej. Celem wynalazku jest także stworzenie układu określania bezpieczeństwa kierującego pojazdem poprzez wyznaczania aktywności okoruchowej, w warunkach zmieniającej się wartości natężenia oświetlenia zewnętrznego. Cel ten osiągnięto w sposobie określenia bezpieczeństwa kierującego pojazdem, w którym aktywność oczu wyznacza się na podstawie przetwarzania pojedynczej ramki obrazu pobieranego z kamery podczerwieni, wytwarzającej sygnał wizyjny w postaci cyfrowej. Pobierana ramka jest standaryzowana i analizowana w układzie przetwarzania sygnałów, w celu automatycznego wyznaczenia wartości sygnału sterującego nastawieniem czasu ekspozycji sensora kamery podczerwieni, a także określenia miejsca położenia źrenic w obrazie, oraz dla zapewnienia stałych wartości granicznych jasności pikseli obrazu. Pobrana ramka obrazu przesyłana jest interfejsem USB do układu przetwarzania sygnałów i ramka obrazu w postaci cyfrowej, z wizyjnej kamery, łącznie ze wskaźnikami wytworzonymi w układzie przetwarzania sygnałów, bierze udział w generowaniu sygnału alarmu. Do dalszego przetwarzania sygnału wizyjnego wykorzystywana jest składowa R obrazu zawarta w przestrzeni barw RGB, po naniesieniu markerów oczu oraz znaczników ramki i czasu i po zapisaniu w rejestratorze, a następnie po zastosowaniu korekcji Gamma oraz ograniczeniu wielkość zbioru potencjalnych położeń źrenicy na obrazie rastrowym, w którym połączono produkty operatora Harris-Comer a i środki obszarów zawierających wyznaczone i podlegające segmentacji krawędzie, wyznaczone filtrem Canny, po przeprowadzeniu segmentacji, wykorzystując algorytm etykietowania i po wyeliminowaniu obiektów o szerokości i wysokości większej od 25 pikseli i takich, dla których wartość bezwzględna różnicy szerokości i wysokości jest większa od 2, a następnie poddaniu ocenie tego sygnału wraz z sygnałem pochodzącym z bazy wzorców, przez wyznaczenie współczynnika znormalizowanej korelacji krzyżowej obrazów i z bazy wzorców z wycinkiem pobranym z obrazu analizowanego i przez sortowanie zgodnie z malejącą wartością współczynnika zgodności i wyborze dwóch wartości różniących się o wartość 30 pikseli, dla wytworzenia sygnał alarmu z wykorzystaniem informacji z kamery wizyjnej. Wyznaczenia średniej jasności obrazu dokonuje się przy użyciu pojedynczej ramki pobieranego obrazu z kamery podczerwieni. Dokonuje się porównania pośredniej jasności obrazu z wartością progową i wytwarza się sygnał sterujący czasem ekspozycji sensora kamery podczerwieni. Standaryzacja obrazu realizowana jest zgodnie z zależnością: gdzie: standaryzowana wartość sygnału wejściowego (pojedynczego piksela w ramce obrazu), wartość sygnału wejściowego (pojedynczego piksela w ramce obrazu), minimalna wartość sygnału (piksela w ramce obrazu),

3 PL B1 3 maksymalna wartość sygnału (piksela w ramce obrazu), 255 maksymalna wartość piksela wynikająca z rozdzielczości przetwornika obrazu. Przetworzone ramki obrazów po standaryzacji podlegają strumieniowaniu z wykorzystaniem protokołu TCP/IP. Układ określenia bezpieczeństwa kierującego pojazdem ma sterownik promiennika podczerwieni, którego wyjście połączone jest z promiennikiem podczerwieni zaś wejście połączone jest z układem przetwarzania sygnałów, przy czym kamera podczerwieni i wizyjna kamera połączone są z układem przetwarzania sygnałów przez dwukierunkowy interfejs wejścia/wyjścia układu przetwarzania sygnałów, a rejestrator, serwer obrazu, kontroler USB/CAN połączone są z wyjściem układu przetwarzania sygnałów. Układ ma dotykowy monitor połączony z układem przetwarzania sygnałów. Zaletą takiego sposobu oraz układu jest minimalizacja czasu i ilości obliczeń koniecznych do wyznaczania położenia i stanu oczu osoby ocenianej, stworzenie układu reagującego na poziom jasności źrenic oraz możliwość alarmowania przy odchyleniu od stanów kontrolowanych. Sposób i układ wg wynalazku jest bliżej objaśniony na przykładzie wykonania uwidocznionym na rysunku, na którym fig. 1 przedstawia schemat blokowy układu do określania bezpieczeństwa kierującego pojazdem, fig. 2 przedstawia etapy sposobu określania bezpieczeństwa kierującego pojazdem poprzez określania aktywności okoruchowej kierowcy, fig. 3 przedstawia sposób oceny zgodności w sposobie określania bezpieczeństwa kierującego pojazdem, i opisano poniżej. Kamera 3 podczerwieni wytwarza sygnał wizyjny w postaci cyfrowej, który przesyłany jest do układu 6 przetwarzania sygnałów za pośrednictwem interfejsu USB. Tym samym interfejsem wysyłane są komendy konfiguracyjne do kamery 3, to znaczy czas ekspozycji, liczba ramek/s, rozdzielczość obrazu. Wizyjna kamera 4 wytwarza sygnał wizyjny w postaci cyfrowej, który przesyłany jest do układu 6 przetwarzania sygnałów za pośrednictwem interfejsu USB. Sygnał ten łącznie ze wskaźnikami wytwarzanymi przez układ 6 przetwarzania sygnałów bierze udział w generowaniu sygnału alarmu. Wskaźniki określane przez układ 6 przetwarzania sygnałów to: perclose czas zamknięcia oczu w jednostce czasu, peropen czas otwarcia oczu w jednostce czasu, blink frequency ilość mrugnięć oczu w jednostce czasu, stan oczu oko zamknięte lub otwarte, wielkości źrenicy. Promiennik 2 podczerwieni sterowany jest przez sterownik 5 promiennika Tryb pracy sterownika ustala układ 6 przetwarzania sygnałów. Wybór trybu pracy odbywa się przez wysyłanie interfejsem RS485 komend: włączenie lub wyłączenie promiennika, włączenie lub wyłączenie świetlnego sygnału alarmu, ustalenie częstotliwości załączania diod podczerwieni. Kontroler USB/ CAN 9 służy do komunikacji z systemem nadrzędnym oraz do zdalnego wymuszania trybu pracy układu 6 przetwarzania sygnałów. Serwer 8 obrazu służy do strumieniowania sygnału wizyjnego z kamery 4 i kamery 3 na wskazany komputer, celem zdalnej weryfikacji zachowania kierowcy w trakcie prowadzenia pojazdu. Z układem 6 przetwarzania sygnałów przyłączony jest dotykowy monitor 1 do kalibracji układu. Rejestrator 7 obrazu służy do lokalnej archiwizacji sygnału wizyjnego na dyskach twardych z obydwu kamer 3 i 4 oraz archiwizacji danych w pliku tekstowym takich jak: położenie lewej i prawej źrenicy na obrazie, stan oczu, pozostałe wartości wskaźników, numer i czas archiwizacji ramki, procent zgodności z wzorcem. W ten sposób ogranicza się czas przetwarzania ramki obrazu przez użycie nieparametrycznych: operatora Harris-Corner Detector i filtra Canny. W rezultacie działania uzyskuje się punkty charakterystyczne ramki obrazu, wśród których znajdują się punkty charakterystyczne źrenic. Zwykle liczba wyznaczanych punktów jest mniejsza od 100. Dzięki temu dla ramki obrazu o wymiarach 320 x 240 pikseli liczba wymaganych obliczeń normalizowanej korelacji krzyżowej przy jednym wzorcu wynosi maksymalnie 100, a nie uzyskiwane przy pełnym przeglądzie ramki obrazu. Dalsze przetwarzanie ramki obrazu sprowadzono do weryfikacji położenia źrenic w wyznaczonych punktach ramki obrazu. Weryfikację dokonuje się przez obliczenie wartości normalizowanej korelacji krzyżowej pomiędzy wycinkami ramki obrazu o środkach pokrywających się z wyznaczonymi punktami charakterystycznymi ramki obrazu i obrazami zawartymi w bazie wzorców. Obrazy zawarte w bazie wzorców są obrazami oczu ograniczonymi do szerokości tęczówki. Liczebność i dobór obrazów w bazie wzorców wpływa na skuteczność wykrywania źrenic w ramce obrazu przy zmianie odległości monitorowanej osoby od kamery podczerwieni. Sposób i układ według wynalazku, do określenia bezpieczeństwa kierującego pojazdem może mieć zastosowanie do oceny bezpieczeństwa i do podejmowania przedsięwzięć zapobiegawczych w sytuacjach zagrażających bezpieczeństwu kierowców, pilotów i operatorów maszyn oraz na stanowiskach pracy powodujących zmęczenie pracowników w wyniku jednostajności w y- konywanych czynności.

4 4 PL B1 Zastrzeżenia patentowe 1. Sposób określenia bezpieczeństwa kierującego pojazdem polegający na przetwarzaniu i pozyskiwaniu sygnału wizyjnego z kamery podczerwieni oraz analizie sygnału wyznaczającego aktywność okoruchową kierowcy, znamienny tym, że aktywność oczu wyznacza się na podstawie przetwarzania pojedynczej ramki obrazu pobieranego z kamery (3) podczerwieni, wytwarzającej sygnał wizyjny w postaci cyfrowej, przy czym pobierana ramka jest standaryzowana i analizowana w układzie (6) przetwarzania sygnałów, w celu automatycznego wyznaczenia wartości sygnału sterującego nastawieniem czasu ekspozycji sensora kamery podczerwieni, a także określenia miejsca położenia źrenic w obrazie, oraz dla zapewnienia stałych wartości granicznych jasności pikseli obrazu, oraz tym, że pobrana ramka obrazu przesyłana jest interfejsem USB do układu (6) przetwarzania sygnałów i ramka obrazu w postaci cyfrowej, z wizyjnej kamery (4), łącznie ze wskaźnikami wytworzonymi w układzie (6), bierze udział w generowaniu sygnału alarmu. 2. Sposób określenia bezpieczeństwa kierującego pojazdem, według zastrzeżenia 1, znamienny tym, że do dalszego przetwarzania sygnału wizyjnego wykorzystywana jest składowa R obrazu zawarta w przestrzeni barw RGB, po naniesieniu markerów oczu oraz znaczników ramki i czasu i po zapisaniu w rejestratorze, a następnie po zastosowaniu korekcji Gamma oraz ograniczeniu wielkość zbioru potencjalnych położeń źrenicy na obrazie rastrowym, w którym połączono produkty operatora Harris-Corner a i środki obszarów zawierających wyznaczone i podlegające segmentacji krawędzie, wyznaczone filtrem Canny, po przeprowadzeniu segmentacji, wykorzystując algorytm etykietowania i po wyeliminowaniu obiektów o szerokości i wysokości większej od 25 pikseli i takich, dla których wartość bezwzględna różnicy szerokości i wysokości jest większa od 2, a następnie poddaniu ocenie tego sygnału wraz z sygnałem pochodzącym z bazy wzorców, przez wyznaczenie współczynnika znormalizowanej korelacji krzyżowej obrazów i z bazy wzorców z wycinkiem pobranym z obrazu analizowanego i przez sortowanie zgodnie z malejącą wartością współczynnika zgodności i wyborze dwóch wartości różniących się o wartość 30 pikseli, dla wytworzenia sygnał alarmu z wykorzystaniem informacji z kamery wizyjnej. 3. Sposób określenia bezpieczeństwa kierującego pojazdem według zastrz. 1, znamienny tym, że wyznaczenia średniej jasności obrazu dokonuje się przy użyciu pojedynczej ramki pobieranego obrazu z kamery (3) podczerwieni. 4. Sposób określenia bezpieczeństwa kierującego pojazdem według zastrz. 1, znamienny tym, że dokonuje się porównania pośredniej jasności obrazu z wartością progową i wytwarza się sygnał sterujący czasem ekspozycji sensora kamery podczerwieni. 5. Sposób określenia bezpieczeństwa kierującego pojazdem według zastrz. 1, znamienny tym, że standaryzacja obrazu realizowana jest zgodnie z zależnością: gdzie: standaryzowana wartość sygnału wejściowego (pojedynczego piksela w ramce obrazu), wartość sygnału wejściowego (pojedynczego piksela w ramce obrazu), minimalna wartość sygnału (piksela w ramce obrazu), maksymalna wartość sygnału (piksela w ramce obrazu), 255 maksymalna wartość piksela wynikająca z rozdzielczości przetwornika obrazu. 6. Sposób określenia bezpieczeństwa kierującego pojazdem według zastrz. 1, znamienny tym, że przetworzone ramki obrazów po standaryzacji podlegają strumieniowaniu z wykorzystaniem protokołu TCP/IP. 7. Układ określenia bezpieczeństwa kierującego pojazdem, z pozyskiwaniem sygnału wizyjnego z kamery podczerwieni oraz analizą sygnału wyznaczającego aktywność okoruchową kierowcy, znamienny tym, że na sterownik (5) promiennika podczerwieni, którego wyjście jest połączone jest z promiennikiem (2) podczerwieni zaś wejście połączone jest z układem (6) przetwarzania sygnałów, przy czym kamera (3) podczerwieni i wizyjna kamera (4), połączone są z układem (6) przetwarzania sygnałów przez dwukierunkowy interfejs wejścia/wyjścia układu przetwarzania sygnałów, a rejestrator (7), serwer (8) obrazu, kontroler USB/CAN (9) połączone są z wyjściem układu (6) przetwarzania sygnałów. 8. Układ określenia bezpieczeństwa kierującego pojazdem, według zastrz. 7, znamienny tym, że dotykowy monitor (1) połączony jest z układem (6) przetwarzania sygnałów.

5 PL B1 5 Rysunki

6 6 PL B1 Departament Wydawnictw UPRP Cena 2,46 zł (w tym 23% VAT)