Elbląg, 27.03.2010 Temat: Sieci neuronowe oraz technologia CUDA Przygotował: Mateusz Górny VIII semestr ASiSK
Wstęp Sieci neuronowe są to specyficzne struktury danych odzwierciedlające sieć neuronów w mózgu. Oczywiście zwykle jest to uproszczony model, jednak spełnia swoje zadania. Początki sieci neuronowych sięgają końca lat pięćdziesiątych, kiedy to pojawiły się pierwsze modele neuronów i sieci. Był to pierwszy perceptron oraz model Madaline. Pierwsze emocje i zachwyty opadły, gdy kilku naukowców dowiodło ograniczenie zastosowań liniowych sieci neuronowych oraz niemożliwość nauczenia sieci wielowarstwowych. Lata osiemdziesiąte stanowiły renesans sieci. Powstało wiele nowych artchitektur, koncepcji, podsumowań badań oraz, co najważniejsze, algorytm uczenia wielowarstwowych sieci neuronowych: algorytm wstecznej propagacji błędu. Jest on stosunkowo prosty. Najpierw obliczamy, odpowiednim wzorem błąd sieci, pomiędzy wartością oczekiwaną, a wartością jaką otrzymujemy. Następnie rzutujemy ten błąd do warstwy poprzedniej i na jego podstawie poprawiamy warstwę. Więcej o tym w dalszej części. Kolejną przyczyną wzrostu popularności sieci było rosnące zainteresowanie sztuczną inteligencją i zastosowaniem w niej sztucznych neuronów. Obecnie sztuczne sieci neuronowe znajdują zastosowanie w wielu dziedzinach, często zupełnie niespodziewanych. Sztuczny neuron Sieć neuronowa składa się z warstw, które są zbudowane z neuronów. A więc najważniejszą składową jest tutaj neuron. Neuron biologiczny: 1 synapsy 2 aksom 3 ciało komórki 4 dendryty
Model sztucznego neuronu: x1 xn wejście neuronu w1 wn wagi neuronu s suma f funkcja aktywacji neuronu y wejście Neuron działa w następujący sposób. Sygnały wejściowe są pomnożone przez odpowiadające im wagi. Otrzymany wektor trafia do sumatora. Otrzymany wynik trafia do funkcji aktywacji, gdzie zostaje przetworzony. W ten oto sposób otrzymujemy wyjście. To jest najbardziej ogólny model neuronu. Jednak stosuje się przeróżne jego modyfikacje wynikające ze zmiany funkcji aktywacji. Czym jednak ona jest? Jest to funkcja, która modyfikuje otrzymaną sume w sposób najbardziej odpowiedni dla danego modelu. Np. funkcja aktywacji perceptronu na wyjściu daje 1 lub -1. Dzięki czemu otrzymujemy jednoznaczną odpowiedź. Tak jak true lub false. Funkcja aktywacji modelu Adaline na wyjściu daje 0 lub 1. Założenia są proste, sam schemat również. A więc, gdzie tu jest genialne rozwiązanie pasujące do tak wielu zastosowań? To rozwiązanie to informacja. Informacja przechowywana przez wagi neuronu. Oczywiście istnieje kilka algorytmów zmieniających odpowiednio wagi neuronu. Każdy algorytm jest indywidualnym rozwiązaniem dla danego modelu pasującym do danej funkcji aktywacji.
Czym są sieci neuronowe Sieci neuronowe są strukturą składającą się z kilku warstw, które składają się z neuronów. Wyróżniamy trzy rodzaje warstw: warstwa wejściowa zwykle służy jedynie do przekazania wejścia do warstw kolejnych; warstwa ukryta zwykle jest ich kilka. Znajdują się pomiędzy warstwą wejściową i wyjściową. Wszystkie dane z tych warstw nie powinny być widoczne. Wyjścia każdej z tych warstw (podobnie jak pozostałych) są wejściami warstwy następnej. Warstwa wyjściowa jej wejściami są wyjścia warstwy ukrytej. Służy do wyświetlenia wyjścia użytkownikowi. Jest kilka rodzajów sieci: sieci jednokierunkowe wielowarstwowe; sieci rekurencyjne; sieci samoorganizujące z konkurencją; Sieci jednokierunkowe wielowarstwowe są najprostszą strukturą. Przebieg neuronów odbywa się w jednym kierunku. Bardzo łatwo jest przewidzieć zachowanie sygnałów. Podobnie algorytmy nauki są bardzo proste. Sieci rekurencyjne inaczej zwane sieciami ze sprzężeniem zwrotnym. Jedyna różnica to występowanie tak zwanego sprzężenia zwrotnego. Polega ono na występowaniu dodatkowego wejścia w postaci wyjścia danej warstwy. W związku z tym algorytmy uczące są trochę zmodyfikowane. Jednym z nich jest zmiana wejść dopóki sieć się nie ustabilizuje. Obie powyższe sieci są sieciami z wykorzystaniem algorytmów z nauczycielem. Musimy w nim znać wyjście, by móc nauczyć sieć. W tym momencie należy wspomnieć w jaki sposób można nauczyć sieć. Pomysł jest prosty. Podajemy na wejście sieci tzw. ciąg uczący, a następnie obliczamy wyjście sieci. Jeżeli nie jest bliskie wartościom oczekiwanym obliczamy różnicę pomiędzy faktycznym wyjście, a oczekiwanym. Jeżeli wartości te różnią się o pewną liczbę delta obliczamy błąd warstwy wyjściowej. Przekazujemy następnie ten błąd do warstwy poprzedniej. I kolejnej. Aż dojdziemy do warstwy wejściowej. Ponownie obliczamy wyjście i jeżeli dalej się nie zgadza ponawiamy algorytm. W związku z tym, że błąd jest propagowany do warstw poprzednich został nazwany: algorytm propagacji wstecznej błędów. Sieci samoorganizujące z konkurencją należą do sieci z nauczaniem bez nauczyciela. Służą głównie w zadaniach grupowania danych. Mają nieskomplikowaną budowę, a do ich zrozumienia wymagana jest niewielka znajomość matematyki. Charakteryzującą je rzeczą jest stopień podobieństwa niektórych wag, przez co tworzą swego rodzaju grupy. Po stworzeniu sieci należy dobrać odpowiednio wagi. Zwykle są dobierane losowo często z przedziału (1; 0). Wartości zero i jeden przeważnie nie używa się do doboru wag. Podobnie wartość zero jest unikana w sieci. Jest ona neutralna i często nie bierze udziału w nauce i przechowaniu informacji. Jednak te sprawy są indywidualną sprawą danej sieci oraz projektanta. Dobór początkowych wartości jest bardzo ważny. Optymalny dobór wag powoduje znaczne skrócenie nauki sieci.
Czym jest technologia CUDA Od dłuższego czasu widać znaczny wzrost wydajności oraz współbieżności procesorów. Obecnie, w użytku domowym, znajdują się procesory 2 4 rdzeniowe, czyli mogące obsłużyć kolejno 2 4 wątki. Wydaje się to ogromną wartością, jednak to nic w porównaniu z kartami graficznymi, posiadającymi jednostki mogące obsłużyć 100, 200 a nawet więcej wątków. Do tej pory ta cała moc obliczeniowa była wykorzystywana wyłącznie w programach komputerowych. Kilka lat temu programistom udało się stworzyć proste programy używające części mocy karty jednak programy takie pisane były dosyć żmudnie. Jednak trzy lata temu wszystko to się zmieniło. Nvidia, 15 lutego 2007 roku, wypuściła na rynek CUDA SDK. Dzięki temu programiści uzyskali łatwy dostęp do zasobów karty w języku C. Obecnie technologia CUDA jest wspierana przez karty GeForce z serii 8, 9, 100 i 200 z minimum 256 MB lokalnej pamięci graficznej RAM. Przygotowane przez nvidia sdk pozwala programistom w łatwy sposób przenieść część żmudnych obliczeń na kartę graficzną. Dzięki czemu uzyskujemy spore przyspieszenie. W jaki sposób się to dzieje? W karcie graficznej wbudowane jest kilka jednostek, które mogą wykonywać kilku lub kilkadziesiąt operacji równolegle.
Użycie CUDA w sieciach neuronowych. Sieci neuronowe są strukturą idealnie nadającą się do współbieżnego obliczania. Każda taka sieć składa się z co najmniej kilkunastu neuronów, które obliczają wyjście niezależnie od siebie. Poza tym, w każdym neuronie potrzebna jest operacja sumowania oraz obliczenia funkcji aktywacji, a czasami jej pochodnej. Operacje te są żmudne dla procesora jednak nie dla jednostki gpu. Przekazując wektor wejść i wag możemy za pomocą CUDA dostać sumę wszystkich elementów w czasie co najmniej dwukrotnie mniejszym niż poprzez cpu. Podobnie obliczanie sinusów, cosinusów. Możemy również dokonać wszystkich obliczeń neuronu w jednym wątku. Spowoduje to kilkukrotne przyspieszenie.