LABORATORIUM TELEMATYKI TRANSPORTU

ZESPÓŁ LABORATORIÓW TELEMATYKI TRANSPORTU ZAKŁAD TELEKOMUNIKACJI W TRANSPORCIE WYDZIAŁ TRANSPORTU POLITECHNIKI WARSZAWSKIEJ LABORATORIUM TELEMATYKI TRANSPORTU INSTRUKCJA DO ĆWICZENIA NR 5 Detekcja ruchu i pomiar prędkości pojazdów na podstawie sekwencji obrazów z drogi DO UŻYTKU WEWNĘTRZNEGO WARSZAWA 2006

1. Cel i zakres ćwiczenia Celem ćwiczenia jest poznanie metod detekcji ruchu pomiaru prędkości na podstawie sekwencji obrazów ruchu pojazdów. 2. Wykaz wykorzystanych przyrządów komputer PC z systemem Windows 98/NT/2000/XP, program pomiarowy Prędkość (rys. 2.1), moduł USB digitalizacji obrazu wideo (rys. 2.2). Rys. 2.1 Okno programu pomiarowego 1

Rys. 2.2 Moduł USB digitalizacji obrazu wideo 3. Wykaz użytych skrótów i oznaczeń Dla zwiększenia przejrzystości wprowadzono poniższe skróty oraz oznaczenia graficzne, które zostały wykorzystane w tekście instrukcji: - zapisz przebieg na dysku, - pytanie, na które odpowiedź musi znaleźć się w sprawozdaniu. 4. Wprowadzenie teoretyczne Podstawa wiedzy do tego ćwiczenia jest metoda pomiaru wykorzystana w pracy doktorskiej dr inż. Marka Stawowy, której fragmenty zostały tu zamieszczone za zgodą autora: ( ) 4.4. Model II - pomiary parametrów ruchu na jezdni wielopasmowej Rozważmy ruch pojazdu po drodze, w którym: - obszar drogi jest monitorowany przez nieruchomą kamerę umieszczoną nad jezdnią, a jej oś jest prostopadła do osi jezdni (lub wektora prędkości pojazdu); - na scenie może wystąpić więcej niż jeden pojazd; - wielkość, widzianego przez kamerę pojazdu jest dużo większa od rastra obrazu i mniejsza od wielkości sceny (monitorowanego odcinka drogi); - pojazdy poruszają się wielopasmową jezdnią w jednym kierunku. W niniejszym modelu, nawet gdyby zastosować metodę pomiaru parametrów ruchu pojazdów wybraną w ramach modelu I, czyli w oparciu o analizę maski ruchu, podejście do 2

tej analizy nie może być identyczne jak poprzednio. Macierz maski ruchu, w rozważanym przypadku będzie bowiem zawierała segmenty, które będą reprezentowały ruchy różnych pojazdów jadących niekoniecznie z tą samą prędkością. Nie można całej macierzy maski ruchu traktować jednolicie jako całość. Zatem, powyższe założenia narzucają potrzebę zastosowania podziału maski na segmenty, reprezentujące oddzielne, poruszające się pojazdy. Skoro zadaniem jest pomiar parametrów ruchu pojazdów, wystarczająca jest segmentacja macierzy maski ruchu. Do tego celu proponuje się metodę polegającą na wykrywaniu krawędzi masek ruchu poszczególnych pojazdów. Koncepcja tej metody w odniesieniu do jednego pojazdu została przedstawiona w podrozdziale 3.2.3. W niniejszym podrozdziale zostało przedstawione rozwinięcie dla sytuacji wielu pojazdów na drodze. 4.4.1. Wyszukiwanie krawędzi ruchu i segmentacji maski ruchu - koncepcja Wykrywanie krawędzi można wykonać kilkoma metodami. Zakładając, że rejestrowany ruch zachodzi zawsze wzdłuż jednej z krawędzi obrazu (zawsze można tak ustawić kamerę w stosunku do krawędzi jezdni) w algorytmie segmentacji można przyjąć, że linie podziałów macierzy maski na segmenty będą równoległe (lub prostopadłe) do krawędzi obrazu. Umożliwi to wyeliminowanie dodatkowych przekształceń geometrycznych przy pomiarach parametrów ruchu poszczególnych pojazdów, a przez to znacznie uprości znajdowanie czoła maski. Najbardziej efektywna w tym przypadku wydaje się być metoda wyszukiwania krawędzi poprzez znajdowanie miejsc z przewagą 1 bądź 0 na przekrojach pionowych i poziomych macierzy maski ruchu. Zmiana wartości maski ruchu z 0 na 1 na linii testującej maskę oznacza, że linia ta nachodzi na brzeg maski, a zmiana z 1 na 0 oznacza, że linia testująca schodzi z maski ruchu pojazdu. W ten sposób wykryte zostaną brzegi maski. Pełną segmentację macierzy maski ruchu uzyska się, gdy linia testująca przebiegnie całą macierz maski wzdłuż i wszerz. Następnym krokiem jest wyznaczenie współrzędnych obrazowych linii określających granice obszarów z maskami ruchu poszczególnych pojazdów. Te elementy analizy są potrzebne, aby pomiary wykonać dokładnie w ten sam sposób, jak w modelu I, tzn. mierząc przesunięcie środka geometrycznego maski ruchu (w tym przypadku maski ruchu określonego pojazdu). Można to wykonać w dwóch krokach: Po pierwsze, należy umiejscowić takie linie, które są styczne do maski ruchu pojazdu i równoległe do jednej z krawędzi obrazu. Po drugie, należy uśrednić współrzędne (prostopadłe do linii) dwóch sąsiadujących ze 3

sobą linii, ograniczających obszar macierzy maski ruchu o wartościach 0. Nowe współrzędne dadzą trzecią linię rozdzielającą od siebie dwie maski ruchu pojazdów w połowie odległości między nimi. Dodatkowo należy wprowadzić próg minimalnej odległości między maskami ruchu obiektów, ponieważ oszacowanie czy mamy do czynienia z dwoma pojazdami czy np. z pojazdem z przyczepą może powodować trudność. Z drugiej jednak strony można uznać, że przyczepa jest też pojazdem, a przyporządkowywanie par pojazd-przyczepa można wykonać w dalszych krokach analizy na podstawie stałej, niewielkiej odległości między nimi w kierunku ruchu. Jednakże, jak wynika z rozważań w rozdziale 3, środek geometryczny maski ruchu nie jest jedynym punktem nie zmieniającym swego położenia w stosunku do innych punktów obrazu pojazdu. Takim punktem może być zarówno początek jak i koniec maski ruchu obiektu, przy założeniu, że maski te były wyliczane dla takich samych czasów międzyklatkowych i pokrywają się częściowo jak na rys. 7 a) i 7 b). Stwierdzenie tego faktu pozwala na wyeliminowanie obliczania współrzędnych pozycji linii jednej z krawędzi maski i linii podziału na obszary. Niezbędny jest inny algorytm, w którym śledzonym punktem będzie początek lub koniec maski ruchu pojazdu (patrz rozdz. 4.4.2). Niezależne pomiary przesunięcia początków i końców masek ruchu dodatkowo pozwolą na wyznaczenie zmiany prędkości pojazdu w czasie międzyklatkowym, czyli przyspieszenia. a) ob t ob t+1 b) ob t ob t+1 c) ob t ob t+1 Rys. 7. Położenie obiektów na kolejnych kadrach (maski ruchu tych obiektów) i przy różnych prędkościach (v a <v b <v c ) 4

Następnym problemem jest wyliczenie maksymalnej i minimalnej prędkości jaką można mierzyć tą metodą. Pomiar prędkości pojazdu odbywa się na podstawie dwóch masek ruchu wyliczonych z trzech klatek sekwencji wejściowej. Maksymalną i minimalną prędkość jaką można mierzyć tą metodą wylicza się jak w modelu I (patrz rozdział 4.3), z tym, że zamiast szerokości obrazu w podstawiamy długość obszaru, w którym znajduje się analizowana maska ruchu pojazdu. Obszar zawierający jedną maskę ruchu ma szerokość pasa ruchu i długość od końca poprzedniej maski ruchu lub krawędzi obrazu do początku następnej maski ruchu lub krawędzi obrazu. Wynika z tego, że nie można jednoznacznie określić długości obszaru z maską ruchu, a co za tym idzie, nie można jednoznacznie oszacować maksymalnej prędkości jaką system może zarejestrować. Maksymalna i minimalna prędkość jest zależna od częstotliwości akwizycji obrazu. Jeżeli zwiększymy częstość akwizycji obrazu to pomiary mogą być wykonywane dla większej prędkości pojazdu przy tej samej długości obszaru analizowanego. Jednak, jak wynika ze wzoru (18), zwiększenie częstotliwości pobierania kadrów wpływa negatywnie na minimalną wartość prędkości jaką system może zmierzyć. Zwiększenie częstości rejestracji klatek przez kamerę pozwala na wyeliminowanie problemu maksymalnej prędkości, lecz częstości tej nie można zwiększać nadmiernie, ponieważ powoduje to zwiększanie bezwzględnego błędu metody. Można by wprowadzić zależną od prędkości pojazdów częstość pobierania obrazów do analizy (akwizycji obrazów przez program), przy stałej, dużej częstość rejestracji (przez kamerę) klatek. Tak jak w opisanym modelu I (podrozdział 4.1), można - na podstawie wymaganych: maksymalnej i minimalnej mierzonej prędkości, a także wymiarów drogi i pojazdów na niej poruszających się, wyznaczyć parametry ustawienia kamery w stosunku do monitorowanego odcinka drogi, jak również maksymalną, wymaganą szybkość rejestracji klatek. Może się okazać, że wymusi to użycie specjalnej kamery, która będzie miała regulowaną częstotliwość rejestracji obrazów lub kamery o bardzo dużej częstotliwości rejestracji, a szybkością akwizycji będzie sterował algorytm pomiarowy. Wszystko to przy wymienionym na początku założeniu. Zwiększenie częstości rejestracji klatek przez kamerę powoduje także to, że zachodzi połączenie maski ruchu w jeden obszar gdy prędkość pojazdu jest duża. W wyniku tego eliminuje się powstawanie (niedopuszczalnych w założeniach) dwuczęściowych masek ruchu obiektu (rys. 7 c). Kolejnym warunkiem poprawnej segmentacji maski ruchu i pomiarów parametrów tego ruchu jest wyeliminowanie tych masek, których plamy przecinają krawędź klatek (tzn. eliminowane są wszystkie obszary z takimi maskami ruchu pojazdów). Przez to spełniony 5

zostanie warunek, że pojazd musi być widoczny w całości na trzech kolejnych klatkach sekwencji wejściowej. Ten warunek musi być spełniony, gdy mamy do czynienia z metodą opartą na wyznaczaniu środka geometrycznego maski ruchu pojazdu (rys. 8 a). W przypadku, gdy lokalizujemy położenie maski na podstawie jej końca lub początku, na wszystkich trzech klatkach musi być widać tylko tyle pojazdu aby jednoznacznie zidentyfikować końce lub początki jego masek ruchu. Na rys. 9 a) widać, jak brak części maski ruchu powoduje błędne wyznaczenie wektora prędkości na podstawie środków geometrycznych masek ruchu. Brak części maski ruchu powoduje przesunięcie jej środka geometrycznego. Wykorzystanie metody szacowania wektora prędkości na podstawie początku lub końca kolejnych masek ruchu pojazdu umożliwia rezygnację z kontroli pełności tych masek, ponieważ nie ma potrzeby lokalizacji środków geometrycznych. Początek lub koniec maski ruchu pojazdu można zidentyfikować bez obrazu całej maski. Aczkolwiek należy się upewnić czy wyznaczany początek lub koniec nie leży na samej krawędzi obrazu. Z masek ruchu na rys. 9 a) nie można wyznaczyć wektora prędkości na podstawie końca masek, ponieważ błąd byłby jeszcze większy niż w przypadku wyznaczania tego wektora ze środków geometrycznych tych masek 1. a) 1 Oddzielny problem: to czy w trzech kolejnych kadrach będziemy mieć dla każdego z pasów ruchu- dwie całe maski ruchu (nie dotykające krawędzi macierzy maski), aby pomiary mogły się odbyć i były miarodajne. Może się bowiem okazać, że dla każdego z pasów ruchu pomiary trzeba będzie pozyskiwać oddzielnie (w ramach innej trójki kadrów). 6

b) Rys. 8 Ilustracja przedstawia wektory przesunięcia maski ruchu na podstawie początku, końca i środka geometrycznego, gdy maska ruchu pojazdu mieści się na obrazie: a) Różnice przy pomiarach prędkości. b) r r r Porównanie wyznaczonych wektorów prędkości ( v = v = v ) s p k Definiując minimalną odległość masek ruchu sąsiadujących ze sobą pojazdów w poziomie l w i pionie l h (w oparciu np. o przepisy bezpieczeństwa ruchu na drodze) proponuję w oparciu o te odległości, utworzyć okno maski ruchu G o wymiarach l w x l h. Przesuwając zdefiniowane powyżej okno przez całą macierz maski ruchu wyliczamy wartość funkcji f G będąca liczbą pozycji macierzy maski z wartością 1 : f G = i + l a w a h i= i a j + l + 1 j = j + 1 a m( i, j), (20) gdzie: - i a jest to przesuniecie okna względem macierzy maski ruchu w poziomie, - j a jest to przesuniecie okna względem macierzy maski ruchu w pionie. Następnie szukamy takich miejsc w macierzy, gdzie różnica wartości powyższej funkcji f G i progu powierzchni S d będzie zmieniała znak (przechodziła prze zero). W ten sposób wykryte zostaną wszystkie początki i końce maski ruchu pojazdu. Kierunek zmiany znaku pozwoli na zidentyfikowanie, czy jest to początek czy koniec maski ruchu. Wykorzystanie okna umożliwia uproszczenie algorytmu w ten sposób, że eliminuje konieczność zapamiętywania współrzędnych linii stycznych do maski ruchu pojazdu. 7

a) b) Rys. 9 Ilustracja przedstawia wektory przesunięcia maski ruchu na podstawie początku, końca i środka geometrycznego, gdy maska ruchu pojazdu nie mieści się na obrazie: a) Różnice przy pomiarach prędkości b) r r r Porównanie wyznaczonych wektorów prędkości ( v v v ) s p k Na rys. 10 przedstawiony został sposób wyznaczania początków i końców masek ruchu. 8

a) pas mr 1 mr 2 w p h mr 3 mr 4 mr pas pas mr 6 b) w pas 1 pas 2 pas 3 Rys. 10 Sposób wykrywania początków i końców masek ruchu. a) - macierz masek ruchu pojazdów na tle drogi; b) przebiegi funkcji wykrywania masek obiektów wzdłuż pasów ruchu (m ri maski ruchu pojazdów) Na rys. 11 pokazany został wpływ wielkości progu powierzchni S g na moment wykrywania ruchu. Gdy S g ma wartość równą połowie powierzchni okna G, wykrywanie początku i końca maski ruchu jest poprawne. W innym przypadku miejsca wykrywania początku i końca przemieszczają się w przeciwnych kierunkach. Problem ten można rozwiązać poprzez użycie do wykrywanie początku maski ruchu progu S g, a do wykrywanie końca maski progu, który jest różnicą powierzchni okna G i progu S g, albo na odwrót. 9

a) b) c) Rys. 11 Ilustracja przesunięcia wykrytych początków masek ruchu na pasie 1 w zależności od wielkości Sg (patrz algorytm 3). a) - S g 1 = l 2 w l h 1 1 ; b) - S g < lw lh ; c) - S g > lw lh 2 2 4.4.2 Algorytmy segmentacji maski i pomiaru prędkości Poniższy algorytm pokazuje całościową analizę obrazu ruchu wielu pojazdów z pomiarem ich prędkości. Analiza ta przebiega w dwóch etapach: 1. najpierw wyliczamy dwie kolejne maski ruchu wg algorytmu 1 (opisanego w rozdziale 3), 2. następnie wyszukujemy początki masek ruchu obiektów w obliczonych maskach ruchu na drodze. W wyniku działania algorytmu otrzymujemy: 1. liczbę obiektów, których obrazy są poprawne dla analizy, 2. współrzędne początków dwóch kolejnych różnych od siebie masek ruchu obiektów (lub końców w zależności od sposobu pomiaru). Algorytm segmentacji ruchowej i pomiaru prędkości pojazdów wygląda następująco: Algorytm 3 (wyliczanie położenia masek ruchu poszczególnych obiektów) Wyliczamy dwie maski ruchu dla trzech kolejnych klatek sekwencji wejściowej M t i M t+1. 10

Dane algorytmu: 1. Mt i Mt+1 macierze masek ruch; 2. G okno testowe o wymiarach lw x lh; 3. lw, lh odpowiednio, szerokość i wysokość okna testowego G; 4. w, h odpowiednio, szerokość i wysokość obrazu; 5. wp szerokość pasa ruchu na obrazie; 6. Sg próg powierzchni (liczby jedynek) w oknie G. 7. Sd próg odchylenia od zera zmiany liczby punktów o wartości 1 Wyliczamy współrzędne końców dwóch kolejnych masek ruchu każdego obiektu i zapisujemy je w wektorach xs(n1) i ys(n1), xs(n2) i ys(n2), gdzie n indeks ruchomego obiektu, n = 0,1,..L; L liczba masek ruchu pojazdów na obrazie. 1. j := 0; n1 := 0; n2 := 0; licznik1 := 0; licznik2 := 0; 2. i := 0; PoprzedniLicznik1 := licznik; PoprzedniLicznik2 := licznik2; 3. licznik1 := 0; licznik2 := 0; 4. jh := 0; 5. ia := 0; M + ( i+ ia, j jh, t) ( + ia, j+ jh, t+ 1) 6. licznik1 := licznik1 + ; licznik2 := licznik2 + ; 7. jeżeli licznik1 - PoprzedniLicznik1 < Sd i licznik1 - PoprzedniLicznik1 >= 0 i licznik1 > Sg to xs1(n1) := i; ys1(n1) := j; n1 := n1 + 1; 8. jeżeli licznik2 PoprzedniLicznik2 < Sd i licznik2 PoprzedniLicznik2 >= 0 i licznik2 > Sg to xs2(n2) := i; ys2(n2) := j; n2 := n2 + 1; 9. ia := ia + 1; 10. jeżeli ia < lw to idź do pkt. 6; 11. jh := jh + 1; 12. jeżeli jh < lh to idź do pkt. 5; 13. i := i + 1; 14. jeżeli i < w lw to idź do pkt. 4; 15. j := j + wp; 16. jeżeli j < h -lh to idź do pkt. 2; M i Koniec 11

W wyniku otrzymujemy cztery współrzędne x s1 (n) i y s1 (n), x s2 (n) i y s2 (n) początków masek ruchu pojazdów. Zmienne n1 i n2 zawierają indeksy, których wartość jest równa liczbie wykrytych początków masek ruchu pojazdów. n1 = n2 oznacza, że algorytm wykrył tyle samo masek ruchu w obu macierzach masek. Pary współrzędnych x s1 (n) i y s1 (n), x s2 (n) i y s2 (n) o tych samych indeksach n wskazują odpowiednio początek i koniec wektora prędkości pojazdu. Implementacja tego modelu została przedstawiona w podrozdziale 4.5. ( ) 4.5 Opis przeprowadzonych badań dla modelu II Przeprowadzone zostały badania zmienności funkcji f G zarejestrowanej z rzeczywistego potoku pojazdów na drodze wielopasmowej (fot. 3). Do rejestracji i analizy f G zastosowano algorytm 3 opisany w podrozdziale 4.4.2. Strefa, w której przesuwało się okno testowe Fot. 3 Scena wykorzystana do analizy zmienności f G Ze względu na zbyt wolne działanie procedur wyliczających liczbę elementów o wartości 1 w oknie, funkcje f G zarejestrowano i później poddano analizie. Wyniki tej analizy zostały przedstawione na wykresach 5 i 6. Wykres 5 przedstawia przebiegi funkcji f G dla okna o wymiarach 15 x 1 pozycji w kolejnych macierzach masek ruchu. Z kolei wykres 6 przedstawia przebiegi tej funkcji dla okna o wymiarach 15 x 5 pozycji. Różnice między oboma wykresami są znaczne. Szczególnie widać na wykresie 5 łagodniejsze zmiany przebiegu funkcji co wskazuje na większą odporność na błędy. 12

10 8 liczba "1" w oknie 6 4 2 0 11 16 21 26 31 56 6 1 położenie okna 36 41 46 51 kolejne maski ruchu Wykres 5. Przebiegi funkcji f G dla okna o wymiarach 15 x 1 pozycji w kolejnych macierzach masek ruchu. 35 30 25 20 liczba "1" w oknie 15 10 5 0 56 6 11 16 21 26 31 36 41 46 51 1 położenie okna kolejne maski ruchu Wykres 6. Przebiegi funkcji f G dla okna o wymiarach 15 x 5 pozycji w kolejnych macierzach masek ruchu. 13

5. Uwagi praktyczne Pod żadnym pozorem nie należy upraszczać ćwiczenia i próbować wykonywać jego części w sposób łączny. Jest to najszybsza droga do pomyłki w identyfikacji wyników symulacji, co skutkuje odrzuceniem sprawozdania. Należy także pamiętać, że rejestrowane przez program obrazy są natury losowej, więc będą inne przy każdej realizacji ćwiczenia. 6. Przebieg ćwiczenia Detekcja ruchu Uruchamianie karty przechwytywania wideo Wywołanie listy zainstalowanych sterowników kart przechwytywania wideo w systemie Sterowanie funkcjami karty przechwytywania id Obsługa stref detekcji ruchu Obsługa wyników pomiarów Dowolny napis na obrazie Rys. 6.1 Okno programu detekcji ruchu w dwóch definiowalnych strefach W pierwszej części należy skonfigurować program do detekcji ruchu w jednej ze zdefiniowanych stref. Wyniki tej detekcji będą widoczne na liście lub można je zapisać w pliku typu CSV, który może być zaimportowany do arkusza kalkulacyjnego. 14

Rys. 6.2 Okno arkusza z przykładowymi wynikami detekcji ruchu Na rys. 6.2 przedstawiony został przykładowy arkusz wyników. W kolumnach są kolejno następujące informacje: Nr strefy detekcji liczone od 0; Liczba różnych pikseli wygenerowanych przez ruch; Czas zdarzenia detekcji od chwili uruchomienia programu w [ms]. W wierszach są kolejne zdarzenia. 15

Pomiar prędkości obiektów na drodze W drugiej części należy zdefiniować dwie strefy detekcji ruchu w znanej odległości na scenie tak aby pomierzyć prędkość poruszających się obiektów między strefami. 7. Wykonanie sprawozdania Nie należy umieszczać w sprawozdaniu podstaw teoretycznych, ani opisów oprogramowania pomiarowego. Sprawozdanie musi zawierać wszystkie wyniki pomiarów i obserwacji prezentowane wg kolejności ich wykonania. Każdy wynik musi być opatrzony numerem punktu instrukcji wg, którego został zarejestrowany. W sprawozdaniu muszą się znaleźć odpowiedzi na wszystkie postawione w instrukcji pytania oraz odpowiedni komentarz do uzyskanych wyników badań symulacyjnych. Zarówno opisy, jak i odpowiedzi, mają być zwięzłe, ale przedstawione pełnymi zdaniami. Wnioski powinny zawierać podsumowanie przeprowadzonych badań. Szczególny nacisk należy położyć na zaprezentowanie różnic oraz podobieństw pomiędzy wynikami pomiarów oraz obserwacji. 8. Literatura Jankowski: Elementy grafiki komputerowej, Stawowy M.: Komputerowa analiza obrazów w zastosowaniu do pomiarów parametrów ruchu pojazdów. Rozprawa Doktorska Wydział Transportu PW Warszawa 2001. 16