Ilość receptorów występujących w narządach zmysłu człowieka:

Transkrypt

1 Modelowanie systemu wzrokowego Wykład nr 15 z kursu Biocybernetyki dla Inżynierii Biomedycznej prowadzonego przez Prof. Ryszarda Tadeusiewicza Model system wzrokowego człowieka Wzorzec dla wszelkich sztucznych systemów wizyjnych Ponad 70% wszystkich informacji ze świata zewnętrznego pozyskiwanych jest przez człowieka za pomocą narządu wzroku Ilość receptorów występujących w narządach zmysłu człowieka: - wzrok zawiera ich ok. 2,5 10 8, -węch , - dotyk 2,5 10 6, - smak , -słuch 2, WPROWADZENIE Naturalne przetwarzanie obrazu Akwizycja obrazu Każdy człowiek w czasie rzeczywistym dokonuje czynności przetwarzania i rozpoznawani obrazów. * Czynności te nasz mózg wykonuje w sposób bardzo szybki i naturalny. Przetwarzanie wstępne Segmentacja Lokalizacja obiektów PROCES ANALIZY Wyznaczenie cech * Umiejętności pozyskiwania informacji za pomocą wzroku uczymy się we wczesnym okresie niemowlęcym i doskonalimy ja przez całe życie. Wydaje się więc ona czymś naturalnym i oczywistym. * Pamięć Decyzja Prawdziwą złożoność procesu widzenia, ujawnia dopiero próba stworzenia jego sztucznego odpowiednika 1

2 Ogólna budowa Struktur narządu wzroku Budowa gałki ocznej Zmysł wzroku zapewnia zdolność układu nerwowego do odbierania bodźców świetlnych i przetwarzania ich w mózgu na wrażenia wzrokowe. * Anatomiczną postacią tego zmysłu jest narząd wzroku, który składa się z: gałki ocznej, aparatu ochronnego i ruchowego oka, połączeń nerwowych siatkówki oka ze strukturami mózgu. Schemat ukrwienia błony naczyniowej oka Mechaniczny opis gałki ocznej 2

3 Modelowanie odkształceń gałki ocznej Deformacje gałki ocznej w czasie akomodacji Choroby oka Choroby wykrywane na podstawie badania oka Schemat unerwienia oka Droga wzrokowa 3

4 System wzrokowy jest tak zorganizowany, że najdokładniej odwzorowywane są w mózgu elementy związane z centralnym fragmentem pola widzenia Pierwszym, który podał prawidłowy (w tamtych czasach w dużej mierze hipotetyczny) schemat systemu wzrokowego - był Kartezjusz Trochę o fizyce widzenia WPROWADZENIE Światło pasmo długości fali WPROWADZENIE Światło widzialne [ nm ] Radiofonia Mikrofale Ultrafiolet Promienie gamma Fale długie Telewizja Podczerwień Promienie X Światło widzialne (tzw. okno optyczne) < Długość fali > [m] Informacją, którą odbiera i analizuje wzrok, jest światło - czyli promieniowanie elektromagnetyczne o odpowiedniej długości fali. * Falami elektromagnetycznymi nazywamy fale poprzeczne, będące drganiami pól magnetycznych i elektrycznych. Mają one szeroki zakres długości ( m) i częstotliwości ( Hz) oraz mogą rozchodzić się we wszystkich ośrodkach, nie wyłączając próżni. Jak widać światło widzialne zajmuje bardzo wąska szczelinę długości spośród fal elektromagnetycznych. Fale elektromagnetyczne niosą ze sobą pewna energie, która dana jest wzorem: * E=hν Jest to Energia promieniowania elektromagnetycznego niesiona przez jeden kwant fali elektromagnetycznej o częstości ν, h stała Plancka. 4

5 Proces widzenia zapoczątkowują procesy fotochemiczne zachodzące w światłoczułych receptorach: pręcikach i czopkach Pręciki i czopki wyścielają dno gałki ocznej Zasadniczym związkiem chemicznym, który w tym uczestniczy, jest rodopsyna Widok z mikroskopu skaningowego Liczba czopków wrażliwych na różne barwy jest silnie zróżnicowana 5

6 Obraz plamki żółtej w tomografie OCT (Optical Coherence Tomography) OCT zdrowej siatkówki Obrazy siatkówki ze starczym obrzękiem Odklejenie siatkówki Rozkład gęstości czopków Kluczową rolę w rejestracji bodźców świetlnych odgrywają szczytowe części fotoreceptorów 6

7 Widoki z mikroskopu elektronowego Oko człowieka rejestruje obrazy barwne, ponieważ posiadamy trzy rodzaje receptorów (czopków), które selektywnie odbierają światło o różnej długości fali Czułość spektralna fotoreceptorów Charakterystyki wrażliwości spektralnej trzech typów czopków Modelowy obraz siatkówki oka z wyróżnionymi trzema rodzajami czopków oraz z pręcikami, które są na barwy niewrażliwe Wrażliwość czopków i pręcików na określone długości fal Wrażenie barwy zależy nie tylko od pigmentu pokrywającego powierzchnię obiektu 7

8 Obrazy barwne tworzone są jako złożenie (superpozycja) trzech (przy wyświetlaniu) oraz czterech (przy drukowaniu) barw podstawowych. Wszystkie metody wytwarzania barwnego wrażenia zmysłowego wywodzą się z teorii widzenia barw zapoczątkowanej jeszcze przez Newtona Składowymi podstawowymi przy wyświetlaniu są komponenty RGB: Red, Green, Blue Z nich tworzy się dowolne wrażenia barwne dodając składowe świetlne o wybranej długości fali, stąd taki sposób tworzenia barw nazywa się addytywnym. Składowymi podstawowymi przy drukowaniu są komponenty CMYK: Cyan, Magenta, Yellow, black Z nich tworzy się dowolne wrażenia barwne usuwając (przez pochłaniający światło pigment) z padającego światła białego składowe świetlne o wybranej długości fali, stąd taki sposób tworzenia barw nazywa się substrakcyjnym. Praktycznym zastosowaniem teorii Newtona jest koło barw Obecnie stosowany jest tak zwany CIE 1931 Chromaticity Diagram Każda barwa jest scharakteryzowa na przez 3 wielkości: odcień, nasycenie i jasność. Jeśli jedną barwę oznaczy się literą A, a drugą literą B, to mieszanina C znajduje się zawsze na odcinku AB. Kolory na okręgu są w pełni nasycone, a barwy powstałe z mieszaniny barw okręgu nie są w pełni nasycone. W środku koła znajduje się charakterystyczny punkt bieli, odpowiadający czystej barwie białej. Obszar podkowy ograniczony przez trójkąt RGB jest obszarem kolorów które można wygenerować przy użyciu 3 kolorów podstawowych RGB. Porównanie modeli barw Części podkowy które znajdują się poza tym obszarem nie da się wygenerować z tych kolorów podstawowych! RGB CMY YIQ YUV HSV HSI CIELab CIELuv 8

9 Oko człowieka schemat uproszczony WPROWADZENIE Budowa oka oko a kamera Pod względem optycznym oko można przyrównać do kamery fotograficznej z następującymi elementami: siatkówką spełniającą role warstwy światłoczułej i zmieniającej impuls EM na sygnał elektryczny. soczewką oczną i rogówką, które stanowią układ odwzorowujący obiektyw wraz ze źrenicą, która kontroluje ilość światła docierającego do siatkówki układ zmienno - ogniskowy ). Oko jest z punktu widzenia optyki raczej marną kamerą, ale połączone z mózgiem jest absolutnie najdoskonalszym analizatorem obrazu Mięśnie zewnętrzne gałki ocznej Do naprowadzania oka na właściwy przedmiot służą mięśnie okoruchowe Układ mięśni sterujących ruchem oka jest najdokładniej kontrolowanym fragmentem systemu ruchowego człowieka 9

10 Mięśnie okoruchowe i dźwigacz powieki górnej widziane od strony skroniowej Schemat mechaniczny mięśni sterujących gałką oczną Elektronystagmografia Śledzące ruchy gałek ocznych są bardzo ważne dla percepcji wzrokowej Elektronystagmografia Badanie przy pomocy kamer umieszczonych w specjalnych goglach 10

11 System pozwalający analizować ruchy gałek ocznych ( Ober 2 ) Kompletna aparatura do śledzenia ruchu oka Lewy okular Prawy okular LYO1 LYN1 LYN2 RXN1 Diody nadawcze RXO1 Detektory LYO2 RXN2 RXO2 System pomiarowy OBER2 Zasada działania systemu śledzenia ruchów oka Promieniowanie nadane (IRT) O1 N1 Promieniowanie tła (IRA) O2 Promieniowanie odebrane (IRR) N2 Para odbiorników Para nadajników Prawidłowa pozycja gogli pomiarowych względem oka Podczas pomiaru stosuje się jako wymuszenie impulsy podczerwieni, żeby uniezależnić wynik pomiaru od zmian promieniowania tła Natężenie strumienia NIRTmax NIRT NIRR NIRA0P NIRA0 NIRT Wł NIRT Wy A B tp Pomiar tła C Pomiar D NIRR0P NIRA Czas 11

12 trajektoria ruchu oka lewego i prawego podczas kalibracji Przykładowe ruchy oczu 0 Fiksacja 100 P Sakada Czas [ms] Lewe oko 400 Prawe oko W zgledna pozycja oka [deg] Wizualizacja trajektorii ruchu gałek ocznych w postaci ścieżki wzrokowej i mapy termicznej Prosta obserwacja obrazu Obserwacja bardziej złożonego obrazu 0 Lewe oko A Prawe oko Koniec poprzedniej linii 500 C B Nieudane szukanie początku następnej linii D 1000 Czas [ms] Czytanie wyraz po wyrazie E Szukanie następnej linii Wzgledna pozycja oka [deg] 12

13 Ruch oczu podczas płynnego czytania Ruch oka z nawrotami podczas czytania, sygnalizujący trudności ze zrozumieniem celowo zakłóconego tekstu Oculomotoric habits and visual tasks Eyetracking method web page scanning strategy vehicles queue counting reading skills assessment The observer equipped with eyetracker goggles is asked for the interpretation of the CSE database originated ECG traces of known features Automatic eyetrack processing SCANPATH ANALYSIS STUDENT EXAMPLE 13

14 SCANPATH ANALYSIS STUDENT EXAMPLE SCANPATH ANALYSIS EXPERT EXAMPLE Result: SCANPATH ANALYSIS EXPERT EXAMPLE STUDENT EXAMPLE Result: STUDENT EXAMPLE STUDENT EXAMPLE 14

15 STUDENT EXAMPLE STUDENT EXAMPLE STUDENT EXAMPLE STUDENT EXAMPLE STUDENT EXAMPLE STUDENT EXAMPLE 15

16 STUDENT EXAMPLE EXPERT EXAMPLE Result: EXPERT EXAMPLE EXPERT EXAMPLE EXPERT EXAMPLE EXPERT EXAMPLE 16

17 Śledzenie ruchu gałek ocznych jako sygnał diagnostyczny EXPERT EXAMPLE osoba chora osoba zdrowa młoda osoaba zdrowa starsza wzorzec Result: WPROWADZENIE Układ skupiający promienie świetlne stanowią: Oko widzenie ostre Właściwości optyczne gałki ocznej rogówka, ciecz wodnista, soczewka, ciało szkliste. Elementy te działają tak, aby na siatkówce pojawiał się ostry obraz obserwowanego przedmiotu i dawał jak najostrzejsze wrażenie wzrokowe. * Soczewka ma możliwość zmiany swojego kształtu, a co za tym idzie mocy optycznej. Pozwala to na ogniskowanie na siatkówce przedmiotów znajdujących się w różnych odległościach od oka. Zdolność tę nazywamy akomodacją. Najważniejszym składnikiem gałki ocznej jest siatkówka Siatkówka powstaje jako wypączkowany w okresie embrionalnym fragment kory mózgowej! 17

18 WPROWADZENIE Oko pasmo widzialne WPROWADZENIE Budowa oka sensory Spośród całego pasma fali elektromagnetycznych padających na oko, własności fizyko chemiczne rogówki, czopków i pręcików pozwalają odbierać tylko ich część. Odbieramy zatem tylko światło, z zakresu okna optycznego. czułość względna 1.0 Widzenie jasne przy świetle dziennym fotonowe Widzenie ciemne w nocy skotopowe Światło po przejściu przez soczewkę oczną pada siatkówkę, w której w jednej z trzech warstw, znajduje się zespół sensorów: czopków niska czułość, służą do obserwacji przy świetle dziennym, największe zagęszczenie w okolicy dołka środkowego, wyróżniamy 3 typy czopków odpowiadających za widzenie barwne RGB. pręcików wysoka czułość, przeznaczone do widzenia nocnego, które jest widzeniem peryferyjnym, występują poza dołkiem środkowym, brak czułości na barwę długość fali [nm] Wykres czułości widmowej oka. Zdjęcie z mikroskopu elektronowego pokazujące przekrój przez warstwę pręcików i czopków w siatkówce małpy Schemat ulokowania siatkówki (powiększonej) w gałce ocznej WPROWADZENIE Budowa układu wizualnego człowieka Pozostałe dwie warstwy składają się z neuronów przewodzących bodźce wzrokowe. Obraz dna oka * Na siatkówce znajduje się plamka żółta, będąca miejscem o największym skupieniu czopków. Z tego powodu cechuje ją największa wrażliwość na barwy i światło. * Nieco niżej znajduje się plamka ślepa - miejsce pozbawione komórek światłoczułych i dlatego niewrażliwe na światło. Jest miejscem zbiegu nerwów łączących komórki światłoczułe z nerwem wzrokowym. * Obszar siatkówki to około 1000 mm 2 i jest na niej skupione około 100 Milionów sensorów. 18

19 WPROWADZENIE Proces widzenia Światło wpadające do oka biegnie przez rogówkę, komorę przednią oka, soczewkę iciało szkliste. Swą podróż kończy na siatkówce, wywołując wrażenie wzrokowe, które następniezapośrednictwem nerwów łączących się w nerw wzrokowy jest przekazywane do mózgu. Widzenie wywoływane jest dzięki fotonom, które padając nasiatkówkę, a dokładniej na zawarte w niej sensory, powodując tym rozpad pigmentów światłoczułych. Następuje zmiana potencjału całej komórki, a następnie wysłanie, poprzez związane z nią włókno nerwowe, impulsu elektrycznego do mózgu. Po chwili pigment rekombinuje i komórka znowu gotowa jest do detekcji fotonu. * Siatkówka zbudowana jest z komórek receptorowych oraz komórek nerwowych, przetwarzających od razu na miejscu informacje wizyjne. Wyróżnia się cztery rodzaje komórek nerwowych o różnym przeznaczeniu Budowa siatkówki oka człowieka (historyczna rycina Raymondo y Cayala) Główne elementy oka Współczesny schemat budowy siatkówki Światło 19

20 Wśród komórek nerwowych sygnalizujących do mózgu stan komórek receptorowych oka wyróżnia się komórki wrażliwe na włączenie i na wyłączenie światła Typowy jest też efekt hamowania obocznego: neurony są pobudzane przez centrum swojego pola widzenia i hamowane przez jego otoczenie Receptory typu on Receptory typu off Bywają też efekty odwrotne: hamowania centralnego i pobudzania obocznego Powoduje to charakterystyczną zmienność reakcji oka (odpowiednio on lub off ) przy powiększaniu wielkości plamki świetlnej rzutowanej na siatkówkę Seria takich komórek może sygnalizować obecność linii o określonym nachyleniu Sąsiednie komórki nerwowe siatkówki oka mają pod opieką sąsiednie i częściowo nakładające się pola widzenia Procesy elektryczne w siatkówce psa Pola receptorowe poszczególnych neuronów wysyłających sygnały do nerwu wzrokowego (zasada hamowań obocznych) 20

21 Pole receptorowe o charakterystyce zależnej od położenia i od czasu Pole receptorowe wykrywające ruch w określonym kierunku Wyjście nerwu wzrokowego z gałki ocznej Sposoby protezowania narządu wzroku Sposoby protezowania narządu wzroku - cd Sposoby protezowania narządu wzroku cd1 21

22 Sposób pobudzenia nerwowych elementów siatkówki przez elektrody Realizacja sposobu elektrycznego drażnienia siatkówki na podstawie obrazu świetlnego Obraz całości systemu wzrokowego Uproszczona budowa drogi wzrokowej biegnącej od oka do mózgu Skrzyżowanie nerwów wzrokowych i podział pola widzenia Nieliniowe skalowanie pola widzenia 22

23 Schematyczny obraz systemu wzrokowego Ogólny schemat systemu wizyjnego Budowa i funkcjonowanie ciała kolankowatego bocznego Biegunowy układ współrzędnych na siatkówce i jego reprezentacja w korze wzrokowej byka Przestrzenna rekonstrukcja reprezentacji pola widzenia w mózgu pokazuje, jak bardzo faworyzowana jest plamka żółta (fovea) Mapa kory wzrokowej małpy 23

24 Mapa kory wzrokowej człowieka Mikroskopowa budowa kory wzrokowej wskazuje na jej dużą regularność W korze mózgowej można zidentyfikować komórki sygnalizujące określone położenie lub określony kierunek ruchu bodźca Są też w korze mózgowej komórki, które sygnalizują linię o określonym nachyleniu niezależnie od tego, w jakim rejonie pola widzenia się pojawi Mapa obszarów w korze wzrokowej wykrywających linie o różnych nachyleniach dla prawego i lewego oka Mapę taką można przedstawić w bardziej atrakcyjnej formie 24

25 Efekt reagowania przez komórki tylko na obiekt poruszający się w określonym kierunku oraz schemat takiego pola recepcyjnego Działanie pola receptorowego wrażliwego na kierunek ruchu Aktywność kory wzrokowej w trakcie normalnej percepcji bodźców wizualnych Komórki w mózgu mogą się interesować bodźcem o dowolnej wielkości, albo mogą być wrażliwe tylko na bodźce nie za małe i nie za duże Przejmowanie funkcji śledzenia bodźca od jednej grupy komórek do drugiej Można w mózgu wykryć komórki, które reagują na określoną scenę tylko wtedy, gdy jest ona widziana obuocznie 25

26 Rozmieszczenie komórek reagujących na różne właściwości bodźców wzrokowych na powierzchni kory Kolekcja jednorodnych tematycznie wzorców zebranych w polach percepcyjnych kory wzrokowej Kolekcja różnorodnych tematycznie wzorców zebranych w polach percepcyjnych kory wzrokowej Dla potrzeb budowy wiarygodnych modeli systemów biomedycznych konieczne jest zbieranie danych, więc to zastosowanie komputerów w inżynierii biomedycznej koresponduje z zastosowaniem ich do analizy i przetwarzania sygnałów biomedycznych 26