Niniejszy dokument opisuje minimalne wymagania i procedurę testową dla systemu automatycznego rozpoznawania tablic rejestracyjnych (ANPR ang. Automatic Number Plate Recognition) oraz systemu automatycznego rozpoznawania typu (klasyfikacja pojazdu) oraz marki i modelu. 1. Definicje 1.1. Obszar detekcji Obszar detekcji to miejsce gdzie następuje detekcja i identyfikacja pojazdu. Z założenia obszar detekcji obejmuje pełny przekrój drogi, czyli wszystkie pasy ruchu, na których zamontowano testowane urządzenia wraz z pasem awaryjnym (jeżeli występuje). System powinien być tak skonstruowany, by zapewnić detekcję wszystkich pojazdów poruszających się w danym kierunku. W lokalizacjach, w których istnieje pas awaryjny obszar detekcji zawiera także tenże pas pojazdy poruszające się częściowo lub całkowicie po pasie awaryjnym powinny być zaliczone jako pojazdy przejeżdżające po pasie wolnym chyba, że konstrukcja systemu przewiduje oddzielny odczyt dla pasa awaryjnego. Na drodze z ruchem dwukierunkowym przewiduje się, że wykrywane powinny być wszystkie pojazdy jadące wskazanym pasem ruchu, w określonym kierunku, nawet wówczas, gdy przejeżdżają po nim tylko częściowo. Zakłada się, że pojazd powinien być wykryty gdy co najmniej jedno koło z każdej osi pojazdu w całości przejedzie po wskazanym pasie ruchu (o obrębie wyznaczonym przez oznakowanie poziome). W takim układzie pomiarowym przyjmuje się, że pojazd jest poza obszarem detekcji gdy w całości wyjechał wszystkimi kołami na przeciwny pas ruchu. 1.2. Poziom detekcji Poziom detekcji d to miara określająca ilościowo (procentowo) stosunek liczby wykrytych przez badany system pojazdów do liczby wszystkich pojazdów przejeżdżających przez dany obszar detekcji, w zadanym czasie, w zadanym kierunku 1, na wskazanym pasie ruchu, z prędkością umożliwiającą skuteczny pomiar 2. Przy wyznaczaniu poziomu detekcji brane są pod uwagę dwa źródła błędów: a) εm pominięcie pojazdu przez system (liczba pojazdów pominiętych), b) εf wykrycie nieistniejącego pojazdu przez system (liczba fałszywie wykrytych pojazdów). Jeżeli N to liczba pojazdów, które faktycznie przejechały przez punkt pomiarowy to poziom detekcji d określamy ze wzoru: d=(n ε m ε f )/ N (2.1) 1 Poziom detekcji można określić dla pojazdów poruszających się w dowolnym kierunku lub w ściśle określonym, odrzucając pojazdy poruszające się np. pod prąd. 2 Zakłada się, że system wykrywa wyłącznie pojazdy w ruchu skuteczny pomiar jest możliwy wówczas, gdy pojazd porusza się z prędkością co najmniej 18km/h (5m/s) i co najwyżej 216km/h (60m/s). 1 / 8
Z założenia system powinien wykryć przejazd dowolnego pojazdu, takiego jak: a) motocykle i motorowery, b) samochody osobowe, także z przyczepami, c) samochody dostawcze, także z przyczepami, d) ciągniki i inne maszyny rolnicze, także wieloczłonowe, e) samochody ciężarowe, także z przyczepami, f) ciągniki siodłowe, samodzielne oraz z naczepą, g) autobusy, także z przyczepami, h) pojazdy specjalne, wieloosiowe do transportu ponadgabarytowego, i) pojazdy wojskowe, w tym transportery i czołgi, Podczas wyliczania poziomu detekcji nie bierze się pod uwagę pojazdów, których system może nie wykryć: a) rowerów, b) motorowerów, c) lekkich pojazdów drewnianych (np. furmanka). d) maszyn drogowych, typu walce, frezarki, itp. Podczas wyliczania wartości εf (liczby fałszywie wykrytych pojazdów) nie bierze się pod uwagę przypadków, w których fałszywe wykrycie pojazdu nastąpiło z powodu: a) fałszywie wykryty pojazd był transportowany przez inny pojazd (np. na lawecie), b) wykryty został wózek ciągnięty przez ciągnik siodłowy przystosowany do transportu drewna w postaci całych bali. Jeżeli przez pole detekcji przejedzie wiele pojazdów jednocześnie każdy z nich powinien być wykryty niezależnie. 1.3. Poziom identyfikacji rozpoznawanie tablicy rejestracyjnej W najprostszym przypadku przez identyfikację pojazdu rozumie się jego detekcję a następnie rozpoznanie numeru tablicy rejestracyjnej. Przez pojęcie poziom identyfikacji rp rozumie się wartość procentową będącą stosunkiem liczby poprawnie rozpoznanych tablic pojazdów KOK do liczby wszystkich pojazdów dających się zidentyfikować NID, które przejechały przez punkt pomiarowy (obszar detekcji), w określonym kierunku, w określonym czasie, z właściwą (określoną w punkcie 2.2) prędkością: 2 / 8
r = p K N OK ID (2.2) Liczbę pojazdów, które da się zidentyfikować w określonym szeregu pojazdów wyznacza ekspert podczas testu. Pod uwagę nie są brane pojazdy: a) motocykle, dla pomiarów od przodu, b) maszyny rolnicze bez oznakowania tablicą rejestracyjną, c) pojazdy nieposiadające tablicy rejestracyjnej, d) pojazdy z tablicą rejestracyjną nieczytelną, co do których ekspert ma wątpliwości w określeniu numeru rejestracyjnego. UWAGA! jeżeli kamera ANPR nie obejmuje całego obszaru detekcji w wyniku czego dla wykrytego przez detekcję pojazdu tablica jest niewidoczna, bądź widoczna tylko częściowo pojazd taki należy zakwalifikować jako pojazd niezidentyfikowany (bez rozpoznania tablicy) ale dający się zidentyfikować, czyli zaliczony do grupy NID. Przyjmuje się, że numer rejestracyjny to ciąg dużych liter i cyfr, nie dłuższy niż 10 znaków, bez separatorów oraz innych znaków specjalnych wszystkie znaki pisane łącznie. W celu uniknięcia niejednoznaczności numer rejestracyjny powinien być zakodowany w danych wyjściowych w kodowaniu UTF-8. W przypadku niektórych krajów wymagane jest rozpoznawanie odpowiednich znaków narodowych (np. umlaut w tablicach niemieckich). W przypadku tablic rejestracyjnych z krajów, gdzie nie stosuje się alfabetu łacińskiego dopuszcza się rozpoznawanie liter i cyfr w odpowiednim dla danego kraju alfabecie (np. cyrylica) ale także dopuszcza się konwersję znaków z alfabetu niełacińskiego na łaciński, przykładowo konwersję taką można stosować dla tablic rosyjskich, tablic krajów bliskowschodnich (pismo arabskie) czy też tablic chińskich. Na rozpoznawanie tablic nie powinny mieć wpływu: a) kolor liter i kolor tła, b) odblaskowość (w nocy tablica musi być oświetlona co najmniej światłem podczerwonym), c) ułożenie znaków (jednorzędowa, dwurzędowa). Jeżeli w obrazie poddanym analizie znajduje się więcej niż jeden pojazd to układ detekcji powinien wykryć każdy pojazd niezależnie, a układ identyfikacji powinien rozpoznać tablice rejestracyjne każdego z pojazdów z osobna. Jeżeli system rozpoznawania tablic ANPR dostarcza wyniki rozpoznawania w postaci wariantów (różnych alternatyw), to jako wynik brany jest wariant pierwszy tzn. wariant o najwyższym poziomie ufności (jeżeli producent oznaczył taki poziom), a pozostałe wyniki są odrzucane. Tablica rejestracyjna jest uznawana za rozpoznaną poprawnie, jeżeli wybrany wariant z automatycznego rozpoznawania zgadza się literalnie co do liczby znaków oraz ich wartości z wynikiem wskazanym przez eksperta przy porównaniu wszelkie znaki inne od liter i cyfr są pomijane. W porównywaniu nie są brane pod uwagę kody kraju (np. tzw. europlakietki z tablic europejskich). W porównywaniu litery są kapitalizowane. 3 / 8
1.4. Skuteczność rozpoznawania typu (klasyfikacja pojazdu) Skuteczność rozpoznawania typu (klasyfikacja pojazdu) rt to miara określająca ilościowo (procentowo) stosunek liczby prawidłowo rozpoznanych typów pojazdów TOK do liczby wszystkich pojazdów dających się rozpoznać NTID, które przejechały przez punkt pomiarowy (obszar detekcji) w określonym czasie, z właściwą (określoną w punkcie 2.2) prędkością i w kierunku zgodnym z konfiguracją systemu (system w szczególności może być przystosowany do rozpoznawania w danym obszarze detekcji typów pojazdów nadjeżdżających z jednego, określonego kierunku): T OK r t = N. TID (2.3) Liczbę pojazdów, które da się zidentyfikować w określonym szeregu pojazdów wyznacza ekspert podczas testu. Pod uwagę nie są brane pojazdy: a) rowery, b) motorowery, c) lekkie pojazdy drewniane (np. furmanka), d) maszyny drogowe typu walce, frezarki, itp., e) pojazdy, których ekspert nie jest w stanie przyporządkować do żadnej z rozpoznawanych przez system klas. System musi umożliwiać rozpoznawanie następujących klas pojazdów: a) ciężarowe (pojazdy o DMC > 12 ton oraz ciągniki siodłowe) b) autobusy c) osobowe d) pozostałe 1.5. Skuteczność rozpoznawania marki i modelu Skuteczność rozpoznawania marki i modelu rm to miara określająca ilościowo (procentowo) stosunek liczby prawidłowo rozpoznanych marek i modeli pojazdów MOK do liczby wszystkich pojazdów dających się rozpoznać NMID, które przejechały przez punkt pomiarowy (obszar detekcji) w określonym czasie, z właściwą (określoną w punkcie 2.2) prędkością i w kierunku zgodnym z konfiguracją systemu (system w szczególności może być przystosowany do rozpoznawania w danym obszarze detekcji marek i modeli pojazdów nadjeżdżających z jednego, określonego kierunku): r = m M N OK MID (2.4) 4 / 8
Liczbę pojazdów, które da się rozpoznać w określonym szeregu pojazdów wyznacza ekspert podczas testu. Pod uwagę nie są brane pojazdy: a) rowery, b) motorowery, c) motocykle, d) maszyny drogowe typu walce, frezarki, itp., e) ciągniki i inne maszyny rolnicze, f) pojazdy nie produkowane seryjnie, g) pojazdy specjalne i wojskowe, h) pojazdy, dla których przez producenta nie została określona marka i model, i) pojazdy, dla których ekspert nie jest w stanie określić marki i modelu. System nie musi umożliwiać rozpoznawania marek pojazdów w nocy. 2. Wymagania 2.1. Poziom detekcji Wymaga się aby poziom detekcji d nie był mniejszy niż 95% (co najmniej dziewięćdziesiąt pięć procent) na poziomie ufności 95%. Procedura wyznaczania poziomu detekcji jest opisany dokładnie w następnym rozdziale. 2.2. Poziom odczytu tablic rejestracyjnych pojazdu ( poziom identyfikacji jakość rozpoznawania tablic rejestracyjnych) Wymaga się, aby poziom identyfikacji rp nie był mniejszy niż 95% (co najmniej dziewięćdziesiąt pięć procent) na poziomie ufności 95%. Procedura wyznaczania poziomu identyfikacji opisana jest dokładnie w następnym rozdziale. 2.3. Skuteczność poprawności rozpoznawania typu (klasyfikacja pojazdu) pojazdu Wymaga się, aby skuteczność rozpoznawania typu (klasyfikacja pojazdu) rt nie była mniejsza niż 90% (co najmniej dziewięćdziesiąt procent) na poziomie ufności 95%. Procedura wyznaczania skuteczności rozpoznawania typu (klasyfikacja pojazdu) opisana jest dokładnie w następnym rozdziale. Poziom identyfikacji będzie weryfikowany w relacji do tablic rejestracyjnych, które jest w stanie rozpoznać człowiek. 2.4. Skuteczność rozpoznawania marki i modelu Wymaga się, aby skuteczność rozpoznawania marki i modelu rm nie była mniejsza niż 90% (co najmniej dziewięćdziesiąt procent) na poziomie ufności 95%. Procedura wyznaczania skuteczności rozpoznawania marki i modelu opisana jest dokładnie w następnym rozdziale. 5 / 8
3. Testy 3.1. Aspekty statystyczne Wynik każdego z opisanych zadań systemu, tj. automatycznej detekcji, identyfikacji, rozpoznawania typu (klasyfikacja pojazdu), rozpoznawania marki i modelu, zrealizowanych w odniesieniu do pojedynczego pojazdu, można określić jako sukces (wynik poprawny) lub porażkę (wynik niepoprawny). W zależności od zadania sukcesem jest zatem poprawne wykrycie pojazdu, poprawne odczytanie tablicy rejestracyjnej, poprawne rozpoznanie typu (klasyfikacja pojazdu), poprawne rozpoznanie marki i modelu. Wynik taki jest zmienną losową o rozkładzie zerojedynkowym o parametrze p, oznaczającym prawdopodobieństwo sukcesu. Testowane parametry (poziom detekcji, poziom identyfikacji, skuteczność rozpoznawania typu (klasyfikacja pojazdu), skuteczność rozpoznawania marki i modelu) to wyrażone procentowo prawdopodobieństwa p. W celu weryfikacji wymagań zdefiniowanych w punkcie 3 należy: a) Obliczyć oszacowanie (estymatę) p danego testowanego parametru wg równań 2.1 2.4, odpowiednio. W celu spełnienia warunków zastosowanych poniżej przybliżeń należy stosować próby o liczności N >= 1000. b) Obliczyć dolną wartość p l symetrycznego przedziału ufności (o poziomie ufności 90%) dla estymaty p : p'(1 p' ) p' l p' 1.64 N (4.1) Rzeczywista wartość p testowanego parametru jest z prawdopodobieństwem 95% wyższa od wartości p l. c) Sprawdzić, czy wartość p l jest większa od wartości progowej podanej w punkcie 3. Spełnienie tego warunku oznacza spełnienie wymagania. Przykład: Testowano poziom identyfikacji. Próba liczyła NID = 1200 pojazdów. Liczba prawidłowo zidentyfikowanych pojazdów wyniosła KOK = 1104. Estymata parametru r p = 1104/1200 = 92%. Dolna wartość przedziału ufności r ' pl 0.92 1.64 0.92 0.08 0.92 0.0128 90.72% 1200 Zatem warunek, aby poziom identyfikacji był nie mniejszy niż 90% na poziomie ufności 95% został w tym przypadku spełniony. Lecz np. gdyby estymata wyniosła r p = 91%, wtedy r pl = 89.65% i warunek nie byłby spełniony. 3.2. Warunki testu Zakłada się, że system powinien identyfikować pojazdy na oczekiwanym poziomie jakości o dowolnej porze dnia i nocy (z wyjątkiem rozpoznawania marki i modelu, gdzie dopuszczalne jest 6 / 8
działanie jedynie w dzień) w dowolnych warunkach atmosferycznych. Wyjątkiem są jednak sytuacje, gdy nastąpi jeden z czynników: a) znacząca liczba pojazdów porusza się z prędkością spoza dopuszczalnego zakresu (np. przejazd w korku), b) występuje opad śniegu, c) temperatura powietrza w otoczeniu spada poniżej 0º C, co może doprowadzić do oblodzenia tablic i redukcji ich czytelności, d) występuje silna anomalia atmosferyczna w postaci burzy z gradobiciem. Jeżeli w trakcie testu wystąpi dowolny z powyższych czynników test powinien być zawieszony i przesunięty na kolejny dogodny termin. 3.3. Próba testowa Aby uzyskać statystycznie wiarygodny wynik dla wartości testowanych (detekcja, identyfikacja, rozpoznawanie typu, rozpoznawanie marki i modelu poziom ufności 95%) przewiduje się, że rozmiar próbki testowej nie może być mniejszy niż 1200 pojazdów. Próbka ta podzielona jest na trzy podtesty: a) 500 pojazdów zarejestrowanych w dzień, przed południem (DR500), b) 500 pojazdów zarejestrowanych w dzień, po południu (DP500), c) 200 pojazdów zarejestrowanych w nocy (N200) Za dzień należy rozumieć okres od początku astronomicznego dnia (astronomiczny wschód słońca) + 1 godzina, do końca astronomicznego dnia (astronomiczny zachód słońca) 1 godzina. Za noc należy rozumieć okres 2 godzin po astronomicznym zachodzie słońca oraz do 2 godziny przed astronomicznym wschodem słońca. Sformułowanie przed południem oznacza co najmniej 1 godzinę przed astronomicznym południem natomiast sformułowanie po południu oznacza co najmniej 1 godzinę po astronomicznym południu. Wyznaczenie astronomicznego wschodu, zachodu słońca oraz południa odbywa się na podstawie informacji o lokalizacji pomiarowej i właściwych tablic astronomizcnych. Wyliczone wartości wpisywane są do protokołu testów. 3.4. Przebieg testu Test przeprowadzony zostanie w trzech etapach, oddzielnie dla próbek DP500, DR500 oraz N200. W pierwszym kroku określona zostanie pora dla wykonania testu dla każdej z próbek. Następnie o zadanym czasie zarejestrowane zostanie kolejno co najmniej tyle pojazdów ile przewidziano w każdej próbce z tym, że jeżeli podczas rejestrowania pojawi się pojazd nieidentyfikowalny (w którymkolwiek z ocenianych kryteriów) to próbka zostanie powiększona o jeden. Wszystkie pojazdy nieidentyfikowalne muszą zostać umieszczone w raporcie z przebiegu testu (w postaci zdjęcia), a ponadto dla każdego takiego przypadku koniecznym jest komentarz na jakiej podstawie uznano dany pojazd za nieidentyfikowalny. Każdy pojazd w próbce musi mieć swój unikatowy numer kolejny a wszystkie pojazdy w danej próbce muszą być ponumerowane w sposób monotoniczne rosnący. Zamawiający może użyć w celu weryfikacji poprawności detekcji i rozpoznawania zewnętrzny system referencyjny. Tuż po zebraniu danej próbki powinien nastąpić wydruk zarejestrowanych zdjęć wraz z wynikami rozpoznawania (postać papierowa + postać elektroniczna PDF) i przekazanie do komisji weryfikacyjnej, przy czym czas od momentu zakończenia rejestracji próbki do momentu 7 / 8
przekazania wydrukowanej dokumentacji nie powinien być dłuższy niż jedna godzina, pod sankcją zakwalifikowania próbki jako w całości źle rozpoznanej. Po zgromadzeniu wszystkich próbek (DR500, DP500, N200) Zamawiający dokona oceny jakości detekcji, identyfikacji i skuteczności rozpoznawania typu (klasyfikacji pojazdu) poprzez złączenie wszystkich próbek w jedną 1200-elementową próbkę. Jakość detekcji, identyfikacji i skuteczność rozpoznawania typu (klasyfikacji pojazdu) wyznaczona zostanie dla wszystkich pomiarów łącznie. W przypadku oceny skuteczności rozpoznawania marki i modelu należy wziąć próbkę 1000- elementową powstałą przez złączenie próbek DR500 i DP500. Jeżeli którykolwiek z parametrów nie osiągnie wymaganego minimum (wg procedury )) wynik testu będzie negatywny. 3.5. Test powtórny Jeżeli wynik testu pierwotnego będzie negatywny wykonawca ma prawo wystąpić do zamawiającego o jeden, dodatkowy test. Kosztami przeprowadzenia testu powtórnego będzie obarczony w całości zamawiający. Warunki testu powtórnego będą identyczne jak w przypadku testu pierwotnego. 8 / 8