MODEL NEURONOWY DO PROGNOZOWANIA POBORU WODY W SIECI WODOCI GOWEJ 1 IZABELA ROJEK Uniwersytet Kazimierza Wielkiego w Bydgoszczy

Transkrypt

1 MODEL NEURONOWY DO PROGNOZOWANIA POBORU WODY W SIECI WODOCI GOWEJ 1 IZABELA ROJEK Uniwersytet Kazimierza Wielkiego w Bydgoszczy Streszczenie W referacie przedstawiono model prognostyczny w postaci sieci neuronowej do przewidywania poboru wody w sieci wodoci gowej. Do budowy modelu prognostycznego zastosowano sie jednokierunkow wielowarstwow ze wsteczn propagacj bł du. Badania wykonano dla wybranego w zła sieci wodoci gowej obsługuj cego osiedle domków jednorodzinnych. Modele prognostyczne wykonano dla dni roboczych, soboty i niedzieli. Szczegółowo w referacie przedstawiono model dla niedzieli. Słowa kluczowe: model prognostyczny, sie neuronowa, sie wodoci gowa 1. Wprowadzenie We współczesnym wiecie firmy i ludzie zasypywani s danymi i informacjami z ró nych ródeł. Niestety te cenne dane, których zebranie i zestawienie kosztuje firmy miliony, marnuj si w bazach danych i hurtowniach danych. Problemem jest zbyt mała liczba dost pnych i wykwalifikowanych analityków, którzy potrafi przemieni te wszystkie dane w wiedz. Wnikliwa analiza tych informacji mo e okaza si pomocna w nawi zaniu relacji z klientem, pozyskaniu jego lojalno ci i skierowaniu do niego oferty dostosowanej do jego potrzeb. Dlatego wła nie potrzebna, wr cz niezb dna jest eksploracja danych (ang. data mining) [1,3]. Data Mining jest to proces poszukiwania nowych, nietrywialnych i u ytecznych wzorców w zbiorach danych. Data Mining opiera si na trzech filarach: dane, techniki i modelowanie. Nie mo na tych procesów automatyzowa. Istotna jest osoba, która inicjuje przetwarzanie danych. Potrzebna jest ingerencja u ytkownika. Techniki Data Miningu - drzewa decyzyjne, sieci neuronowe, regresja s implementowane na ró ne narz dzia zwane Enterprise Miner. Data Mining ma na celu u wiadomienie klientowi zło ono ci posiadanych przez niego danych i mo liwo efektywnego ich wykorzystania. Dla celów Data Miningu tworzone s hurtownie danych, pozyskuj ce informacje z wielu baz i zbiorów danych, cz sto o rozproszonym, wr cz globalnym charakterze. Praktyczna korzy eksploracji danych ujawnia si w dwóch dziedzinach, którymi s : prognozowanie (ang. prediction, forecasting), opis (ang. description). Prognozowanie polega na wykorzystaniu znanych w chwili obecnej warto ci interesuj cych nas zmiennych (lub pól w bazie danych) w celu przewidywania warto ci tych lub innych zmiennych w przyszło ci. Opis polega na tworzeniu czytelnej i zrozumiałej dla człowieka reprezentacji 1 Artykuł napisany w ramach realizacji projektu rozwojowego Ministerstwa Nauki i Szkolnictwa Wy szego R

2 174 POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr 10, 2007 wiedzy wydobytej z danych w postaci wykresów, wzorów, reguł, tabel. Opisy takie, w postaci modeli deskrypcyjnych, s cz sto u ywane do wspomagania procesów decyzyjnych. W referacie przedstawiono model prognostyczny w postaci sieci neuronowej do przewidywania poboru wody w w złach sieci wodoci gowej. 2. Prognozowanie jako zadanie eksploracji danych Eksploracja danych nie jest łatwym procesem. Mo na wyró ni sze podstawowych kroków, które pozwol uczyni ten proces skutecznym [1,3]. 1. Zrozumie i starannie zdefiniowa problem/zadanie, który jest przedmiotem eksploracji. Ponadto, nale y zanalizowa i zrozumie otoczenie, w którym ten problem wyst puje. 2. Wybra zbiór danych, w których przeprowadzimy eksploracj. Zbiór ten musi by znacz c próbk całego zasobu danych. Wybór dotyczy obiektów, ich atrybutów (zmiennych), przedziału czasu, zakresu geograficznego, wielko ci próbki itd. 3. Zdecydowa jak przygotowa dane do przetwarzania. Na przykład: czy chleb i ciastka tortowe nale do grupy pieczywo? Czy wiek reprezentowa jako przedział (np lat), czy jako liczb (np. 40 lat). 4. Wybra algorytm (lub ich kombinacje) eksploracji danych i wykona program realizuj cy ten algorytm na przygotowanych danych. Cz sto w sposób iteracyjny nale y wróci do kroku 3., a nawet 2. je li rezultaty nie s zadawalaj ce. 5. Zanalizowa wyniki wykonania programu i wybra te, które stanowi rezultat pracy. W tym miejscu potrzebna jest cisła współpraca analityka i specjalisty w dziedzinie, która jest poddawana badaniu. Wyniki nale y przedstawi w formie przyj tej w organizacji, gdzie proces eksploracji jest prowadzony. 6. Przedło y wyniki kierownictwu organizacji i zasugerowa sposób ich wykorzystania. Przewidywanie od innych metod eksploracji danych takich jak klasyfikacja i szacowanie ró ni si tym, e w przewidywaniu wynik dotyczy przyszło ci. Metody i techniki wykorzystywane do prognozowania obejmuj tradycyjne metody szacowania warto ci punktu i przedziału ufno ci, prost regresj liniow i korelacj oraz regresj wielokrotn, jak równie metody eksploracji danych i odkrywania wiedzy, takie jak sieci neuronowe, drzewa decyzyjne i metoda k-najbli szych s siadów. 3. Sie neuronowa jako model prognostyczny Sieci neuronowe zwracaj na wyj ciu warto ci ci głe, dlatego znakomicie nadaj si do szacowania i przewidywania. Sieci takie mog analizowa jednocze nie wiele zmiennych. Mo liwe jest stworzenie modelu, nawet gdy rozwi zanie ma du zło ono. Wadami sieci neuronowych jest trudno w ustaleniu parametrów architektury, wpadanie w minima lokalne, długi czas uczenia si sieci i brak jasnej interpretacji [2,4]. Do budowy modelu prognostycznego zastosowano sie jednokierunkow wielowarstwow ze wsteczn propagacj bł du. Przepływ sygnałów odbywa si od wej cia do wyj cia. Sieci wielowarstwowe zbudowane s z wielu warstw neuronów. Wej cie ka dego neuronu z danej warstwy ma poł czenie z wyj ciami wszystkich neuronów w warstwie poprzedniej. W modelu sieci wielowarstwowej pierwsza warstwa jest nazywana warstw wej ciow, ostatnia wyj ciow, a pozosta-

3 Izabela Rojek Model neuronowy do prognozowania poboru wody w sieci wodoci gowej 175 łe warstwami ukrytymi. Warstwa wej ciowa ma za zadanie tylko wprowadzenie informacji do sieci, nie przetwarza danych, ale podaje je do nast pnej warstwy. Warstwa ukryta jest to warstwa posiadaj ca wagi i podlega adaptacji w procesie uczenia si. W ogólnym przypadku liczba warstw ukrytych mo e by dowolna, ze wzgl du jednak na skrócenie czasu oblicze stosuje si przewa nie jedn lub dwie warstwy ukryte. Zarówno liczb tych warstw, jak i liczb neuronów w ka dej z nich najcz ciej dobiera si eksperymentalnie. Sie, w której jest zbyt mała liczba neuronów ukrytych powoduje niezdolno do zgromadzenia dostatecznej wiedzy o rozwi zywanym problemie, a zbyt bogata architektura jest z kolei przyczyn upo ledzenia tzw. generalizacji (sie zapami tuje zbyt dokładnie dane treningowe, co powoduje kłopoty z uogólnieniem ich na przypadki nie obj te procesem uczenia). Ka dy z neuronów z warstwy wej ciowej poł czony jest z neuronem z warstwy wyj ciowej tak sie nazywamy w pełni poł czon. Warstwa wyj ciowa równie ma charakter adaptacyjny, ale w przeciwie stwie do warstw ukrytych nie przekazuje ona informacji do kolejnych neuronów, ale wyprowadza je na zewn trz danej sieci. Dobór liczby neuronów w warstwie wej ciowej jest uwarunkowany wymiarem wektora danych x. Podobnie jest w warstwie wyj ciowej, w której liczba neuronów równa si wymiarowi wektora zadanego d. Problemem pozostaje dobór warstw ukrytych i liczby neuronów w ka dej warstwie. W ogólnym przypadku liczba warstw ukrytych mo e by dowolna, ze wzgl du jednak na skrócenie czasu oblicze stosuje si przewa nie jedn lub dwie warstwy ukryte. Model neuronu jest typu sigmoidalnego. Składa si on z elementu sumacyjnego, do którego dochodz sygnały wej ciowe x 1, x 2,..., x N tworz ce wektor wej ciowy x=[x 1, x 2,..., x N ] T pomno one przez przyporz dkowane im wagi w i1, w i2,..., w in tworz ce wektor wag i-tego neuronu w i =[w i1, w i2,..., w in ] T oraz warto w i0 zwan progiem. Sygnał wyj ciowy sumatora oznaczono u i (3.1.), przy czym u w x + w i = (3.1.) ij j i0 sygnał jest podawany na blok realizuj cy nieliniow funkcj aktywacji f(u i ). Funkcja ta przyjmuje posta sigmoidaln (zachowuje wtedy ci gło i proces uczenia sieci jest łatwiejszy. Posta funkcji stanowi ci głe przybli enie funkcji skokowej, przy której sygnał wyj ciowy neuronu y i przyjmuje dowolne warto ci z przedziału [0,1] dla funkcji unipolarnej. Funkcja sigmoidalna unipolarna (3.2.) to: f u ( u ) i 1 = 1+ exp ( β u ) i (3.2.) Metod uczenia sieci jednokierunkowych sigmoidalnych jest optymalizacja funkcji celu zdefiniowanej dla sieci, minimalizuj ca bł d mi dzy warto ciami danymi i aktualnie otrzymanymi na wyj ciu sieci dla wszystkich danych ucz cych. Jest to uczenie pod nadzorem. Sygnałom ucz cym towarzysz warto ci dane na wyj ciu sieci. Celem uczenia pod nadzorem jest minimalizacja odpowiednio zdefiniowanej funkcji celu, która w wyniku umo liwi dopasowanie warto ci aktualnych odpowiednich neuronów wyj ciowych (wektor y) do warto ci danych (wektor d) dla wszystkich p par ucz cych. Za funkcj celu przyjmuje si bł d redniokwadratowy. St d w praktyce dla uzyskania dobrych zdolno ci uogólniania sieci nale y ogranicza liczb neuronów ukrytych oraz liczb powi za mi dzy neuronowych, jak równie stosowa takie metody wst pnego prze-

4 176 POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr 10, 2007 tworzenia danych, które umo liwiaj zmniejszenie wymiarowo ci wektora wej ciowego sieci. Najlepsze wyniki w uczeniu sieci mo na osi gn przez odpowiedni dobór wst pnych warto ci wag sieci. W wi kszo ci zastosowa u ywa si głównie losowego doboru wag, przyjmuj c rozkład równomierny w okre lonym przedziale liczbowym [0,1] (tzw. randomizacja wag). Dla sieci zawieraj cych, co najmniej jedn warstw ukryt metoda propagacji bł du wstecz (Back Propagation BP) jest jedn z najbardziej popularnych technik uczenia sieci. Mo e by ona zastosowana do sieci o dowolnej liczbie warstw, przy czym musz by co najmniej dwie warstwy, w których s ustawiane warto ci wag. 4. Model neuronowy do prognozowania poboru wody w w le sieci wodoci gowej Badania eksperymentalne zostały przeprowadzone dla wybranego w zła sieci wodoci gowej obsługuj cego osiedle domków rodzinnych. Dla w zła wyznaczono 3 ró ne modele: dzie roboczy, sobota, niedziela. Celem u ycia metodyki eksploracji danych było uzyskanie modeli do prognozowania poboru wody [5]. W referacie pokazano metodyk tworzenia modelu do prognozowania poboru wody na przykładzie danych z niedzieli. Zrozumienie danych i przygotowanie danych Dokonano opracowania danych w formie czyszczenia i ich przekształcenia. Podzielono dane na okresy: dzie roboczy, sobota i niedziela. Uzupełniono brakuj ce warto ci. Na rys. 1. pokazano fragment pliku z danymi. ROK MIESI C DZIE GODZINA PRZEPŁYW Modelowanie sie neuronowa Rysunek 1. Fragment pliku z danymi dla w zła niedziela Zastosowano model sieci neuronowej jednokierunkowej, wielowarstwowej ze wsteczn propagacj bł du. Dane zostały podzielone na zbiór ucz cy (80% danych) i zbiór testuj cy (20% danych). Na rys. 2 pokazano fragment pliku ucz cego. Dane s pogrupowane według roku, miesi ca, dnia, godziny. Znaj c model obiektu nale y okre li jego zachowanie dla ró nych wymusze pojawiaj cych si na wej ciu tego obiektu. Interesuj ce jest okre lenie przyszłego stanu obiektu dla czasu t+n, gdzie n stanowi horyzont prognozy, t zawiera histori zmian wej cia do chwili bie- cej. W celu zbudowania ci gów czasowych, które dalej s wykorzystywane w modelu predykcyjnym zostały dodane warto ci przepływu sprzed chwili t (przepływ t-1) i po t (przepływ t+1) we we wy rok miesi c dzie godzina przepływ t-1 przepływ przepływ t Rysunek 2. Fragment pliku ucz cego

5 Izabela Rojek Model neuronowy do prognozowania poboru wody w sieci wodoci gowej 177 Zbudowane zostały ró ne modele sieci neuronowej. Przetestowano struktury z dwoma wej- ciami i jednym wyj ciem oraz warstw ukryt zawieraj c 5, 10 lub 15 neuronów. Te struktury uczono z ró nymi warunkami ko cz cymi proces uczenia, tzn. koniec uczenia nast pił po osi gni ciu liczby epok 1000, lub Porównano dla wszystkich kombinacji bł d RMS (rys. 3). 0,1 Porównanie bł du RMS dla liczby neuronów 5, 10 i 15 bł d RMS 0, E ,0783 0,0741 0, ,0843 0,0791 0, ,0856 0,0829 0,0771 liczba epok Rysunek 3. Analiza wyników bł du RMS dla 5, 10 i 15 neuronów Najbardziej dokładnym modelem okazała si sie neuronowa o strukturze , przy zako czeniu uczenia przy warto ci epok. Potwierdziły to otrzymane wyniki dla nowych warto ci wej ciowych. Ewaluacja ocena modelu neuronowego i porównanie go z wynikami innej metody Model prognostyczny wykonany został w systemie Predyktor, który jest cz ci pakietu Sphinx [5]. System Predyktor umo liwia wykonywanie prognoz dla wielu ró nych postaci modeli, przede wszystkim dla modeli ci gów czasowych i modeli pełnych (obiektów i zjawisk). Etapy procedury prognostycznej s nast puj ce: obserwacja procesu w postaci ci gu czasowego, utworzenie modelu obserwowanego ci gu, przekształcenie modelu ci gu czasowego do postaci umo liwiaj cej prognoz (budowa algorytmu predykcji). Do prognozy poboru wody w w le dla niedzieli wybrano tryb prognoz jednoseryjnych dla modeli ci gów czasowych. Pierwszy etap to przedstawienie ci gu czasowego zawieraj cego dane dotycz ce przepływu wody w w le (rys. 4).

6 178 POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr 10, 2007 Rysunek 4. Ci g czasowy zawieraj cy dane dotycz ce przepływu wody w w le Nast pnie został u yty model sieci neuronowej do prognozowania obci enia sieci (wykres NAR(2)). Czarne linie z trójk tami to warto ci rzeczywiste, a linia przerywana to prognoza wykonana przez sie neuronow (rys. 5). Rysunek 5. Prognoza przy u yciu sieci neuronowej

7 Izabela Rojek Model neuronowy do prognozowania poboru wody w sieci wodoci gowej 179 Ocena dokładno ci prognozy mo liwa jest w trybie testowania, podczas którego pewn cz wej ciowego ci gu czasowego wył czamy ze zbioru na podstawie, którego identyfikowane s parametry modelu (rys. 6). Tryb testowania wykazał dobre dopasowanie modelu dla danych historycznych, na podstawie których wykonywana jest prognoza. Rysunek 6. Ocena dokładno ci modelu podczas testowania Dodatkowo wyniki prognozy modelu sieci neuronowej porównano z wynikami prognozy metod autoregresji AR (rys. 7). Rysunek 7. Porównanie prognozy metod autoregresji i metod sieci neuronowej

8 180 POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr 10, Podsumowanie W referacie dokonano omówienia eksploracji danych, modelu prognostycznego w postaci sieci neuronowej. Przeprowadzono badania dotycz ce prognozowania poboru wody w wybranym w le sieci wodoci gowej dla niedzieli. Model ten był uczony na danych z jednego miesi ca. W celu wybrania odpowiedniego modelu sieci neuronowej dla tego jednego w zła wykonano 9 modeli sieci neuronowej, z których wybrano ten najlepszy. Kolejne badania powinny i w kierunku wykonania modeli nie tylko dla tygodnia, ale te dla czterech sezonów roku: lato, jesie, zima, wiosna lub te całego roku. Oczywi cie nale y dysponowa danymi z tych okresów czasu. Ponadto badania winny i w kierunku opracowania modeli dla innych, wybranych w złów sieci. Bibliografia 1. Hand D., Mannila H., Smith P., Eksploracja danych, WNT, Warszawa, Krawiec K., Stefanowski J., Uczenie maszynowe i sieci neuronowe, wydawnictwo Politechniki Pozna skiej, Pozna, Larose D. T., Odkrywanie wiedzy z danych. Wprowadzenie do eksploracji danych, PWN, Warszawa, Rutkowska D., Pili ski M., Rutkowski L., Sieci neuronowe, algorytmy genetyczne i logika rozmyta, WN PWN, Warszawa, SPHINX 4.0, dokumentacja zintegrowanego pakietu sztucznej inteligencji, 2005 NEURAL MODEL FOR PREDICTION OF WATER CONSUMPTION IN WATER NETWORK Summary Neural model for prediction of water consumption in water network was presented in the paper. The Multilayer Feed-Forward Neural Network was applied to create prediction model. Research was made for selected node of water network supporting an area of detached houses. Prediction models were created for weekdays, Saturday and Sunday. In the paper particularly prediction model for Sunday was presented. Keywords: prediction model, neural network, water network IZABELA ROJEK Uniwersytet Kazimierza Wielkiego Instytut Mechaniki rodowiska i Informatyki Stosowanej Warszawa, Chodkiewicza izarojek@ukw.edu.pl