Cz. Kosciely Program Maple... Program Maple do szyfrowaia i deszyfrowaia plików, zapisaych a dyskach i a ośikach wymieych Maple implemetatio of a iteractive applicatio for cryptographic protectio of files stored o hard disk ad portable memory devices Czesław Kościely 1 Treść: Opisao przykład iteraktywej aplikacji typu `workhsheet` uruchamiaej w środowisku Maple 2015.1 i realizującej zadaia bezkluczowego szyfrowaia i deszyfrowaia plików. Aplikacja jest prosta w obsłudze, poieważ użytkowik ie wprowadza żadych daych tylko używa myszy. Program posiada prosty graficzy iterfejs użytkowika i przezaczoy jest główie do kryptograficzej ochroy plików przechowywaych a dyskach i a ośikach wymieych. Aplikacja wyjątkowo skuteczie i iezawodie chroi pliki przed ieupoważioym dostępem. Słowa kluczowe: fukcja bibliotecza Maple covert/base, szyfrowaie symetrycze plików. Abstract: A example of a iteractive implemetatio Maple worksheet applicatio which performs the keyless file ecryptio or decryptio by meas of the symmetric cipher has bee preseted. The applicatio has simple graphical user iterface ad may be used maily for cryptographic protectio of files stored i disks ad i portable memory devices. The applicatio very effectively protect files agaist uauthorized access. Keywords: Maple covert/base built-i fuctio, symmetric file ecryptio 1. Wstęp W pracy [1] przedstawioo program umożliwiający ochroę załączików poczty elektroiczej przed ieupoważioym dostępem. W iiejszym artykule opisao orygialą aplikację w postaci programu Maple typu worksheet o azwie sdpdw.mw, dostępego w witryie WWSIS pod adresem http://www.wydawictwo.horyzot.eu/publikacje/ Iformatyka/, którego zadaiem jest kryptograficza ochroa plików przechowywaych a dyskach twardych i a ośikach wymieych. Aplikację zrealizowao stosując ajowszą wersję tego matematyczego arzędzia, Maple 2015.1. Orygialość prezetowaego rozwiązaia polega a zastosowaiu fukcji biblioteczej programu Maple o azwie covert/base jako przekształceia kryptograficzego. W procedurach realizujących zadaie szyfrowaia i deszyfrowaia tę fukcję biblioteczą wywołuje się z parametrem zawierającym zmieą typu posit o azwie b. Od wartości tej zmieej zależy rozmiar zaszyfrowaego pliku oraz długość Ryc. 2. Zależość stosuku ofs/ifs od zmieej b dla ifs = 36496 bajtów, ofs rozmiar pliku zaszyfrowaego w bajtach, ifs rozmiar pliku iezaszyfrowaego w bajtach. Rys. 1. Logo Maple 2015.1 tajego klucza. Jeśli b = 1, to ofs/ifs = 1 a aplikacja realizuje szyfrowaie jedyie azwy pliku, zapisując pod tą azwą plik wybray do zaszyfrowaia i usuwając z dysku lub ośika plik wejściowy. Przy b większym lub rówym 2 aplikacja szyfruje zarówo azwę jak i zawartość pliku. W przypadku gdy b = 2 a ifs = 36496 stosuek ofs/ ifs = 1,00071. Na Rys. 2. pokazao zależość tego stosuku od zmieej b w zakresie od 1 do 300 jeśli rozmiar szyfrowaego pliku wyosi 36496 bajtów. Teoretyczie b 1. Wrocławska Wyższa Szkoła Iformatyki Stosowaej, ul. Wejherowska 28, 54-239 Wrocław 2
Cz. Kosciely Program Maple... może mieć wartość dowolie dużej liczby aturalej akceptowaą przez system Maple. W tabeli 1. zamieszczoo wartość ofs/ifs dla ośmiu wartości b w zakresie od 500 do 200 000. ależy wpisać ile elemetów ma zawierać tworzoa tablica. Tabela 1. Zależość stosuku ofs/ifs od zmieej b o wartościach w zakresie od 500 do 200000 przy ifs = 36496 Procedura fe szyfruje a procedura fd deszyfruje azwę pliku, atomiast procedury af2sf i sf2af wykoują szyfrowaie/deszyfrowaie zawartości pliku. Dlatego też tajy klucz, zaistaloway w aplikacji, ma dwie składowe: k - klucz dla procedur fe i fd, i kf - klucz dla procedur af2sf i sf2af. Długość tych kluczy w bitach moża obliczyć za pomocą istrukcji >vf:=(b-1)*ops(covert(covert(f,bytes),base,128,6))!; k:=ops(covert(vf,base,2)); kf:= ops(covert((b-1)*ifs!,base,2)); Ryc. 4. Szablo ustalaia liczby wierszy i liczby kolum tablicy graficzego iterfejsu. Tablicę trzeba zwymiarować, używając szablou pokazaego a Ryc. 5. gdzie f ozacza azwę pliku wybraego do zaszyfrowaia a ifs rozmiar tego pliku w bajtach. Największe zaczeie dla kryptograficzej ochroy pliku ma klucz kf, dlatego ie warto stosować dużych wartości zmieej b, poieważ wzrost tej zmieej powoduje zarówo wzrost rozmiaru pliku zaszyfrowaego jak i iezaczy wzrost bitów klucza, zaś liczba bitów klucza kf wzrasta bardzo szybko ze wzrostem ifs. 2. Graficzy iterfejs użytkowika aplikacji Po otwarciu programu sdpdw.mw w sesji Maple zostaje wyświetloy graficzy iterfejs użytkowika pokazay a Ryc. 3. Taki iterfejs moża z łatwością skostruować przy pomocy palety `Compoets`. Należy uruchomić program Maple i ajpierw klikąć a belce arzędzi File/ New/Documet Mode i do wyświetloego szablou pokazaego a Ryc. 4 Ryc. 5. Szablo wymiarowaia rozmiarów tablicy tworzącej graficzy iterfejs. Do pierwszego wiersza tablicy moża wstawić dowoly obrazek a w drugim wierszu ależy wpisać tytuł aplikacji atomiast do trzeciego wiersza trzeba ściągąć z palety `Compoets` elemet o azwie `Combo Box`. Do czwartego wiersza z palety ściąga się elemet `Text Area` wyzaczając liczbę zaków w wierszu i liczbę wierszy: `Visible Character Width:` 60 `Visible Rows:` 12 Ryc. 3. Graficzy iterfejs użytkowika programu sdpdw.mw. Ostateczie ustala się własości elemetu `Combo Box` edytując listę zadań: 3
Cz. Kosciely Program Maple... `Pokaż azwę pliku zawartego w pliku zaszyfrowaym` `Szyfruj plik` `Deszyfruj plik` `Uwaga` `Opis aplikacji` Graficzy iterfejs użytkowika umożliwia wybraie trzech podstawowych zadań: `Szyfrowaie pliku`, `Deszyfrowaie pliku` i `Deszyfrowaie azwy pliku zawartego w pliku zaszyfrowaym`. Po wykoaiu wybraego zadaia w obszarze tekstowym iterfejsu użytkowik otrzymuje wyczerpującą iformację o wykoaym zadaiu, a plik wejściowy zostaje usuięty. Należy pamiętać, że tajy klucz jest zawarty w kodzie aplikacji i każdy użytkowik może a wiele sposobów zamotować swój własy klucz. Najprościej może o a przykład zmieić wartości zmieych b, sf i sfs. Poza tym aplikacja musi mieć prawo do zapisywaia i usuwaia przetwarzaych plików. Drugą część kodu zawiera elemet `Combo Box`. Zajdują się tam przede wszystkim istrukcje warukowe uzależioe od iterakcji użytkowika, który wybiera określoe zadaie do wykoaia. Program jest dosyć skomplikoway i po oszczędym wylistowaiu zajmuje cztery stroy istrukcji języka Maple. Mimo to aplikację mogą używać ie tylko biegli zawcy programu Maple, ale też początkujący użytkowicy tego programu. Ze względów bezpieczeństwa aplikacja powia być zapisaa a pedrajwie, który ależy skuteczie pilować. Ryc. 6. Szablo edycji listy zadań elemetu `Combo Box`. przy pomocy szablou pokazaego a Ryc. 6. 3. Kod źródłowy aplikacji Kod źródłowy aplikacji umieszczoy jest w obszarze kodu startowego i w obszarze wyboru zadań elemetu `Combo Box`. W obszarze kodu startowego są istrukcje przypisaia wartości zmieym sfs, sf i b oraz istrukcje procedur sf2ed, fr, af2sf, sf2af, fe i fd. Pierwsza procedura umożliwia wybraie pliku do szyfrowaia lub deszyfrowaia, druga pozwala usuąć iepotrzeby plik, trzecia szyfruje wybray plik, czwarta wybray plik deszyfruje, piąta szyfruje azwę pliku wybraego do zaszyfrowaia i ostatia azwę zaszyfrowaego pliku deszyfruje. Nazwą zaszyfrowaego pliku jest zaszyfrowaa azwa pliku wejściowego procedury szyfrowaia. Dzięki temu ie wiadomo co zawiera plik zaszyfroway. Strukturę algorytmów służących do szyfrowaia/deszyfrowaia moża łatwo prześledzić przeglądając kod procedur af2sf, sf2af, fe i fd. W procedurach fe i fd zastosowao fukcję biblioteczą covert/base jako przekształceie kryptograficze. Przekształceiami kryptograficzymi w procedurze af2sf są fukcja covert/base i dodawaie liczb aturalych. W procedurze sf2af zastosowao rówież fukcję covert/ base jako przekształceie kryptograficze a drugim przekształceiem kryptograficzym jest tu odejmowaie liczb aturalych. Zaszyfroway plik jest wyjątkowo skuteczie chroioy przed ieupoważioym dostępem, poieważ przestrzeń tajego klucza jest ogroma i zależy od rozmiaru pliku wejściowego. Plik zaszyfroway jest zapamiętyway w tym samym folderze co plik iezaszyfroway. 4. Przykład Do zilustrowaia działaia aplikacji wybrao dwa pliki 2 dostępe w iterecie: plik rfc4648.txt o rozmiarze 36496 bajtów i plik rfc4648.pdf, którego rozmiar wyosi 56198 bajtów. Ryc. 7. Histogram częstotliwości występowaia zaków w pliku rfc4648.txt. Ryc. 8. Histogram częstotliwości występowaia zaków w pliku rfc4648.pdf. 2. S. Josefsso, The Base 16, Base 32, ad Base 64 Data Ecodigs, http://www.o-lie.com/ettools/rfc/rfcs/rfc4648.shtml. 4
Cz. Kosciely Program Maple... Pierwszy plik zawiera tylko zaki 7-bitowe, w pliku drugim występują wszystkie zaki 8-bitowe. Są to więc dwa pliki różiące się zaczie strukturą zakową. Najpierw zaszyfrowao za pomocą prezetowaej aplikacji plik tekstowy. Po wykoaiu zadaia w polu tekstowym iterfejsu pojawia się szczegółowy opis procesu szyfrowaia. Podaa jest m. i. wielkość tajego klucza, posiadającego długość 500 456 bitów, przy pomocy którego plik został zaszyfroway. Ryc. 11. Graficzy iterfejs użytkowika po wykoaiu zadaia deszyfrowaia pliku saiyiukwrduqeafcgg. Proces szyfrowaia i deszyfrowaia drugiego pliku moża prześledzić a Ryc. od 12 do 14. Ryc. 9. Graficzy iterfejs użytkowika po wykoaiu zadaia szyfrowaia pliku rfc4648.txt. Strukturę zakową zaszyfrowaego pliku ilustruje Ryc. 10. Moża zauważyć, że histogramy częstotliwości występowaia zaków dla pliku iezaszyfrowaego i zaszyfrowaego zaczie się różią. Plik zaszyfroway zawiera dosyć rówomiery pseudolosowy ciąg zaków o wartościach bajtowych w zakresie Ryc. 12. Graficzy iterfejs użytkowika po wykoaiu zadaia szyfrowaia pliku rfc4648.pdf. Ryc. 10. Histogram częstotliwości występowaia zaków w pliku zaszyfrowaym saiyiukwrduqeafcgg. 0.. 255. Podobie po wykoaiu procesu deszyfrowaia w polu tekstowym iterfejsu moża zobaczyć jaki jest rozmiar zaszyfrowaego pliku, jaką azwę ma plik zdeszyfroway i jaka jest szybkość deszyfrowaia w bajtach/s (Ryc. 11.). Ryc. 13. Histogram częstotliwości występowaia zaków w pliku zaszyfrowaym pliku sajybumtcduudelh. 5
Cz. Kosciely Program Maple... Ryc. 14. Graficzy iterfejs użytkowika po wykoaiu zadaia deszyfrowaia pliku sajybumtcduudelh. Mimo że wejściowe pliki tekstowe mają bardzo różą strukturę, ich kryptogramy są bardzo podobe. Fakt te świadczy o dużej mocy szyfru, zastosowaego w procedurach af2sf i sf2af. 4. Podsumowaie i wioski Opisao realizację stosukowo prostych algorytmów kryptograficzych w których pozycyjy zapis liczb aturalych o dowolej wartości bazy jest przekształceiem kryptograficzym. Iaczej mówiąc, zrealizowao w środowisku Maple aplikację stosującą fukcję biblioteczą covert/base w procedurach szyfrujących i deszyfrujących, która potrafi zaszyfrować każdy plik przy zastosowaiu tajego klucza o ogromej długości, dzięki czemu plik jest praktyczie stuprocetowo chroioy przed ieupoważioym dostępem. Poza tym aplikacja jest wyjątkowo życzliwa dla użytkowika, który posługuje się tylko myszą i ie wprowadza żadych daych, poieważ taje klucze kryptograficze są zawarte w kodzie aplikacji. Takie podejście może być źródłem bardzo wielu podobych rozwiązań 3, 4, 5. W pracy ie podao kodu programu typu worksheet o azwie sdpdw.mw, aby ie zwiększać objętości artykułu. Literatura [1] C. Kościely, Realizacja szyfru bezkluczowego c80k395 do kryptograficzej ochroy załączików poczty elektroiczej w środowisku Maple, Biulety Naukowy Wrocławskiej Wyższej Szkoły Iformatyki Stosowaej. Iformatyka, 2013 3. 3. Maple Implemetatio of Trasport Ecryptio Scheme Usig the Secret Key of Legth 479 Bits, http://www.maplesoft.com/applicatios/author. aspx?mid=1638. 4. Base 64 "Keyless" File Ecryptio, http://www.maplesoft.com/aplicatios/author.aspx?mid=16738. 5. Maple `Keyless` Base b Ecryptio Scheme,_http://www.maplesoft.com/applicatios/Author.aspx?mid=16738. 6
Swietłaa Lebiediewa Dekompozycja ciągu uczącego Traiig sequece decompositio Dekompozycja ciągu uczącego Swietłaa Lebiediewa 1 Treść: Sformułowao problem dekompozycji ciągu uczącego (CU). Zdefiiowao dwa rodzaje dekompozycji CU dla scetralizowaej bazy daych (SBD). Udowodioo twierdzeia dotyczące zajętości pamięci przez CU po dekompozycji. Oszacowao złożoość obliczeiową algorytmów dekompozycji. Przedstawioo wyiki eksperymetu obliczeiowego ilustrującego zajętość pamięci w zależości od rodzaju dekompozycji, redudacji cech w drzewie i a ścieżce oraz wysokości drzewa. Słowa kluczowe: baza daych, rozpozawaie wieloetapowe, ciąg uczący, dekompozycja Abstract: The problem of decompositio of a traiig sequece (TS) is formulated. Two types of TS decompositio for a cetralized database are formulated. Theorems cocerig memory occupacy by the TS after decompositio are proved. The calculatio complexity of decompositio algorithms is estimated. The results of a calculatio experimet are preseted that illustrate memory occupacy depedig o the decompositio type, the redudacy of features i the tree, the path, ad the tree height. Keywords: database, multistage recogitio, traiig sequece, decompositio 1. The problem formulated Recogitio algorithms with learig use the traiig sequece (TS) [1, 3, 4]. The traiig sequece is a sequece of properly classified patters, the elemets of the TS beig (x k,k) pairs, where x is the vector of the values of the features of the patter, ad k is the class umber [1, 2, 4, 5]. A example is the decisio tree (DT) i Figure 1 ad the correspodig TS i Figure 2. The traiig sequece preseted i Figure 2 has the symbol * at the place of some features. This symbol meas that a give feature is irrelevat to the patter beig recogized ad ot take ito accout by the recogitio algorithm. The multistage recogitio process uses oly some elemets of the patter feature vector at various recogitio stages. For istace, recogitio algorithms oly use features C1, C2, C4, ad C5 at ode 0, ad features C3, C4, ad C8 at ode 14. Additioally, certai features do ot occur o each path at all. C1 C2 C3 C4 C5 C6 C7 C8 C9 CLASS 16 3.44 3 6.55 40.0 48 116 * 14.9 7 15 3.45 2 8.45 40.0 * * 120 * 1 14 2.4 1 8.33 38.1 * 110 * * 2 18 3.0 * 7.5 35.0 40 * * 15.0 4 15 2.7 * 6.0 20.0 35 110 112 * 8 Figure 2. A fragmet of the traiig sequece for DT No. 1a. Let us use the followig desigatios: CN the umber of elemets of feature vector C (=1, 2,..., CN); K the umber of classes; EN k the umber of TS elemets for class k; UCN k the umber of features irrelevat to class k (features ot used i the process of recogizig a patter belogig to class k). The umber of uused memory uits is expressed by the followig formula: (1) Figure 1. Decisio tree No. 1a. For the decisio tree i Figure 1, the umber of all features CN = 9, the umber of all classes K = 11. Assume that the TS elemet umber is the same for every class, e.g. 100; the, uder formula (1), the memory waste is 1900 uits, i.e. more tha 19%. The memory waste is the greater, the fewer features are used by the recogitio algorithm o the path from the root of the decisio tree to the o-termial ode that is the direct predecessor of the class. E.g., for tree No. 1b (Fig. 3), the memory waste uder the same assumptios is over 54.11%. 1. Faculty of Computer Sciece, Wroclaw School of Iformatio Techology, ul. Wejherowska 28,54-239 Wrocław, Polad, swietlaa@lebiediewa.com 7
Swietłaa Lebiediewa Dekompozycja ciągu uczącego subse quece that icludes the values of oly those features that are used alog the path from the root of the decisio tree to the ode cocered util the decisio is made. Figure 3. Decisio tree No. 1b. To coserve memory, it is proposed that the TS be decomposed. For a cetralized database (CDB), I propose two types of decompositio : decompositio of the first type ad decompositio of the secod type. I decompositio of the first type, for every ode that is the direct predecessor of a termial ode, a TS subsequece is formed that icludes the values of oly those features that are used alog the etire path from the root of the decisio tree (DT) to the ode cocered util the decisio is made to classify the patter as a member of the class available directly from the ode. I decompositio of the secod type, for every otermial ode, a traiig sequece subsequece is formed that icludes the values of oly those features that are used i the ode. It ca be see from the recogitio algorithms preseted i [5, 6] that the time of RA work at each ode cosists of the time eeded to create the data segmet ad the RA work time. A appropriate form of the TS may shorte the time eeded to create a data segmet. The purpose of decompositio is to split the TS ito subsequeces that 1. miimize memory occupacy by the TS; 2. miimize the time eeded for patter recogitio. STEP 1. STEP 2. STEP 3. Take the umbers of odes that are the di rect predecessors of the termial odes from the CLASS relatio. Create a traiig subsequece for every such ode: take rows from the TS for which CLASS NO = class reachable directly from the ode,placig theresult i the R relatio; Map the R relatio to attributes, the umbers of features used o the path from the root to the ode ad the CLASS NO). STOP Memory occupacy by a subsequece coected with ode i is expressed by the followig formula: We will desigate memory occupacy by all subsequeces of the traiig sequece obtaied as a result of ALGORI- THM 1 as MOD1. Memory occupacy by these subsequeces as expressed by formula (3): where where J - the umber of odes that are direct predecessors classes: (2) (3) 2. TS decompositio for a cetralized database Decompositio algorithms use iformatio about the TS ad the structure of the DT icluded i the SEQUENCE, CLASS, NODE, ad FEATURE relatios of the DB coceptual model. The SEQUENCE relatio cotais iformatio about the TS. The CLASS relatio describes the depedecy betwee the class umber ad the umber of the ode that is the direct predecessor of the class. For every class, its predecessor is idicated. The NODE relatio cotais iformatio about the umber of every ode, its direct successors ad predecessors. The FEATURE relatio cotais iformatio about which odes use each feature [5, 6]. ALGORITHM 1. (decompositio algorithm 1 of the TS type) Data: REC DB coceptual model SEQUEN- CE ad CLASS relatios To be foud: For every ode that is the direct predecessor of a termial ode, form a TS Decompositio of the first type leads to the most optimal form of the TS i terms of memory occupacy; every TS reductio obtaied as a result of decompositio of the first type would lead to a loss of iformatio. What may happe, however, is that the time eeded to form a TS fragmet used i a certai segmet (FRAGSEQ*) from the TS obtaied as a result of the decompositio of the first type ca be loger tha the time eeded to form a FRAG- SEQ* relatio from a udecomposed TS. The time is loger as a result of the eed to perform a larger umber of operatios. I decompositio of the secod type, for every o-termial ode, a traiig sequece subsequece is formed that icludes the values of oly those features that are used i the ode. ALGORITHM 2. (decompositio algorithm 2 of the TS type for the CDB) Data: DB coceptual model SEQUENCE, NODE, ad FEATURE relatios To be foud: For every o-termial ode, form a traiig sequece subsequece that 8
Swietłaa Lebiediewa STEP 1. STEP 2. STEP 3. icludes the values of oly those features that are used i the ode. Add a colum cotaiig TS elemet idetifiers to the SEQUENCE relatio storig the TS. Take the umbers of all o-termial odes from the NODE relatio. For every o-termial ode, form a traiig subsequece (take those row from the TS for which CLASS NO = call reachable from a give ode ; remove those attributes from the obtaied relatio that cotai feature values uused i the ode). STOP Let be the umber of rows of the TS. The TS memory complexity is give by the formula O ( 2 ). Deote the umber of all o-termial odes of the DT as N; the umber of features used by the recogitio algorithm at ode j as C j ; the umber of classes reachable from ode j as K j ; the umber of TS elemets for class k as EN k ; ad memory occupacy by the traiig sequece obtaied as a result of decompositio of the secod type as MOD2. The, the formula for FRAGSEQ* TS memory occupacy at ode j (o the assumptio that each sequece cotais a additioal colum for the value of the traiig sequece elemet idetifier) has the followig form: The formula for memory occupacy by all TSs obtaied as a result of decompositio of the secod type is as follows: (4) (5) Dekompozycja ciągu uczącego The followig coclusios follow from the memory occupacy formulas: Coclusio 1. Memory occupacy by TSs arisig from decompositio of the first type is uaffected by the redudacy of features o the path from the tree root to the class or by the legth of the path. It oly depeds o the umber of features o the path. Coclusio 2. MOD2 is uaffected by the legth of the DT feature vector. It oly depeds o the umber of features used at each ode ad o the umber of classes reachable from that ode. Coclusio 3. MOD2 depeds both o the redudacy of features o the path from the root to the class or o the legth of the path. We deote by TMO total memory cotets for the TS, ad by UCN - umber of characteristics uused (irrelevat) i the process of recogitio. Theorem 1. Memory occupacy by TSs obtaied as a result of decompositio of the first type is o greater tha memory occupacy by the TSs before the decompositio, so the followig depedecy occurs: MOD1 TMO (the iequality is sharp if UCN 0) Theorem 2. Memory occupacy by TSs obtaied as a result of decompositio of the first type is always smaller tha memory occupacy by the TSs obtaied as a result of decompositio of the secod type, so the followig depedecy occurs: MOD1 < MOD2 3. Calculatio experimet A calculatio experimet was carried out examiig memory occupacy of TSs obtaied as a result of decompositio of the first ad of the secod type for various trees, depedig o the umber of features i the tree ad o the path, the height of the tree, ad earlier-stage recogitio. The followig trees were cosidered: No. 4a (Fig. 4a), No. 4b (Fig. 4b), ad No. 4c (Fig. 4c). The umber of features: 20; the umber of classes: 10; tree height: 3; feature use o the path: 47%; TS size before decompositio: 21000. Tree No. 4a has o redudacy of features o the path. Tree No. 4b has the redudacy of two features at odes o differet paths. Tree No. 4c has the redudacy of three features at odes o differet paths. Memory occupacy by TSs obtaied as a result of decompositio of the first type ad the memory savigs after decompositio are preseted i Table 4.4a. Memory occupacy by TSs obtaied as a result of decompositio of the secod type ad the memory savigs after decompositio are preseted i Table 4.4b. A chart showig the TS memory savigs after decompositio of first ad the secod type for trees No. 4a 4c is preseted i Figure 5. Memory occupacy by TSs obtaied as a result of decompositio of the first type ad the memory savigs after decompositio are preseted i Table 4.5 a. Memory occupacy by TSs obtaied as a result of decompositio of the secod type ad the memory savigs after decompositio are preseted i Table 4.5b. A chart showig the TS memory savigs after decompositio of first ad the secod type for trees No. 5a 5c is preseted i Figure 4.16. Figure 4a. Decisio tree No. 4a. 9
Swietłaa Lebiediewa Figure 4b. Decisio tree No. 4b. Figure 4c. Decisio tree No. 4c. Dekompozycja ciągu uczącego the secod type is ot always favourable i terms of memory occupacy. Decompositio of the secod type gives the best results if there is o redudacy of features o ay path. The smaller the percetage of feature use o a path, the greater the memory savigs upo decompositio both of the first ad of the secod type. A smaller percetage of feature use o a path improves the results of decompositio both of the first ad of the secod type. Eve i the case of the redudacy of four features o a path, there are o memory wastes. The result is eve better where some of the patters are recogized i the first stage. We observe clear memory savigs for decompositio of first type. For decompositio of the secod type, memory savigs occur if there is o redudacy. I the case of the redudacy of four features o a path, TSs obtaied as a result of decompositio of the secod type require more memory tha udecomposed TSs. If some patters are recogized at the first level, there are clear memory savigs for decompositio of both the first type ad the secod type eve i the case of the redudacy of features o a path. A biary tree is a good example idicatig a tedecy for memory occupacy to be reduced i the case of a decomposed TS. Memory savigs for two-, four-, six-, ad eight-level biary trees are show i Figure 4. Table 4.4a. Memory occupacy by TSs obtaied as a result of decompositio of the first type (CDB). TREE NO. Tree No. 4a Tree No. 4b Tree No. 4c MEMORY SAVINGS 50% 50% 50% Table 4.4b. Memory occupacy by TSs obtaied as a result of decompositio of the secod type (CDB). TREE NO. Tree No. 4a Tree No. 4b Tree No. 4c MEMORY SAVINGS 26.19% 7.14% (2.38%) Figure 4. A chart showig the TS memory savigs (percetage) after decompositio of the first type ad the secod type for two-, four-, six-, ad eight-level biary trees. 4. Coclusios Figure 4.5. A chart showig the TS memory savigs after decompositio of first ad the secod type for trees No. 4a 4c. Decompositio of the first type always results i memory savigs, especially where the umber of all features i a DT is much greater tha the umber of features used o ay path (cf. tree No. 1c i Figure 3). Decompositio of The examples cited show that the greatest memory savig effect results from the use of decompositio of the first type i the case of a CDB because decompositio of the first type is ot sesitive to feature redudacies o a path or to path legths. Particularly good results are obtaied i the case of a smaller umber of features o a path relative to the umber of features i the DT. Decompositio of the secod type does ot always result i memory savigs. Decompositio of the secod type requires more memory tha decompositio of the first type. The best results are give by decompositio of the secod type i the case of o feature redudacy ad loger trees. For both decompositios, the recogitio of a certai umber of classes 10
Swietłaa Lebiediewa Dekompozycja ciągu uczącego at earlier stages has a positive effect o memory savigs. With large umbers of features ad log trees, both decompositios have a very large effect o memory savigs. Traiig sequeces obtaied as a result of decompositio of the secod type have the additioal advatage that they are idetical with fragmets of TSs used by recogitio algorithms at the ode, so if decompositio of the secod type is used, it is uecessary to create special FRAGSE- Qi relatios (i beig the ode umber) whe creatig a exteral model, which meas a cosiderably shorter processig time. Refereces [1] Bubicki, Z. Kowledge-Based Approach as a Geeralizatio of Patter Recogitio Problems ad Methods. Systems Sciece Vol. 19, No 2 (1993), pp. 5 21. [2] Fłasiński, M. Wstęp do sztuczej iteligecji. Warsaw: PWN, 2011. [3] Kurzyński, M. Algorytmy rozpozawaia wieloetapowego oraz ich zastosowaia medycze i techicze. Wrocław: Wyd. PWr., 1987. [4] Józefczyk, J. Rozpozawaie i zastosowaia biomedycze [i:] Problemy automatyki i iformatyki, Wrocław: Wyd. Ossolieum, (1998), pp. 45 58. [5] Lebiediewa, S, System iformatyczy dla wieloetapowego rozpozawaia obiektów. Biulety Naukowy WWIS. Iformatyka, 2014. [6] Lebiediewa, S. Metodologia projektowaia problemowo zorietowaych baz daych do systemów wielostopiowego podejmowaia decyzji. Wrocław: Wyd. Pwr., 1998. [7] Lebiediewa, S., Zarzycki, H., ad Dobrosielski, W. T. A ew approach to the equivalece of relatioal ad object-orieted databases, [i] Novel Developmets i Ucertaity Represetatio ad Processig, Spriger Iteratioal Publishig (2016), pp 85-93. 11
J. Owedyk, Z. Mathia, H. Zarzycki Optimizatio algorithm... Approximatio algorithm supported o miimizig the Kullback-Leibler iformatio divergece i some class of dyamical systems (October 2015) Algorytm aproksymacyjy w oparciu o iformację Kullbacka-Leiblera w pewej klasie systemów dyamiczych Ja Owedyk 1, Zdzisław Mathia 2, Hubert Zarzycki 2 Treść: W pracy przedstawioo algorytm, który umożliwia skostruowaie przybliżoych rozwiązań dla pewej klasy systemów dyamiczych opisujących ewolucję w czasie gęstości prawdopodobieństwa. Przybliżoe rozwiązaia otrzymujemy miimalizując iformację Kullbacka-Leiblera przy dodatkowych warukach. Wykazao, że pochoda iformacji Kullbacka-Leiblera dla dokładych i przybliżoych rozwiązań jest opisaa przez tą samą formułę. W kosekwecji gdy w dyamiczym systemie maleje iformacja Kullbacka-Leiblera dla dokładych rozwiązań to także maleje dla przybliżoych rozwiązań. Słowa kluczowe: Algorytm aproksymacyjy, Iformacja Kullbacka-Leiblera, Metoda miimalizacji, Rówaia Fokkera-Placka Abstract: I this work a algorithm is preseted for creatig approximate solutios i some class of dyamical systems describig the time evolutio probability desities. The approximate solutios are obtaied by miimizig Kullback- Leibler divergece uder some costrais. It is show that the derivatives of the Kullback-Leibler divergece for exact solutios ad for approximate solutios are described by the same formula. I cosequece if i a dyamical system the Kullback-Leibler divergece decreases i time for exact solutios, it also decreases for approximate solutios. Keywords: Approximatio algorithm, Kullback-Leibler divergece, Miimizatio methods, Fokker-Plack equatio I. INTRODUCTION I the early eighties of the last cetury the Kullback- Leibler divergece was used to obtai approximate solutios i dyamical systems represeted by -dimetioal Fokker-Plack equatio [4] also with time depedet drift ad diffusio coefficiets [6] ad i systems represeted by master equatios [5,7]. I this paper this approach is geeralised for some dyamical systems i that the Kullback-Leibler iformatio divergece K(P, ) = P l(p/p ) dx 0, [2,3] satisfies iequality dk/dt 0 for ay two probability desity fuctios 0 P = P(x,t), P = P (x,t) of cotiuous radom variable defied o x = (x 1 0 0,, x ), which describe time evolutio i the system. We have formulated a criterio o choosig such a dyamical system which will be called the Kullback-Leibler system. I the dyamical system a approximate solutio as a expoetial probability desity is postulated uder some costrais. The fuctios λ i (t), i=0,1,,n are the Lagrage multipliers ad their time evolutio is determied by some system of ordiary differetial equatios ad f i = f i (x), i = 1,,N are some lieary idepedet fuctios. The probability desity = (x,t) is a fixed exact solutio of the Kullback-Leibler system. This paper is orgaised as follows. I sectio 2 a defiitio of the Kullback-Leibler system is formulated ad the stability of exact solutios i this system is ivestigated. I sectio 3 the approximate solutio is obtaied for the Kullback-Leibler system by miimizig Kullback-Leibler divergece uder some coditios. I sectio 4 the stability of the approximate solutios is ivestigated. I sectio 5 the accompaied differetial evolutio equatios for λ i (t), i = 1,,N are derived ad ivestigated. Two importat properties of solutios to this accompaied differetial evolutio equatios are formulated. A optimizatio algorithm supported o miimizig the Kullback-Leibler divergece i the Kullback-Leibler systems is also formulated. N P * = exp( λ 0 (t) λ i (t) f i ) i=1 obtaied by miimizig the Kullback-Leibler divergece 1. Departmet of Iformatics, Kujawy ad Pomorze Uiversity, Bydgoszcz, Polad j.owedyk@kpsw.edu.pl 2. Departmet of Iformatics, Kujawy ad Pomorze Uiversity, Bydgoszcz, Polad 3. Faculty of Computer Sciece, Wroclaw School of Iformatio Techology, ul. Wejherowska 28,54-239 Wrocław, Polad, hzarzycki@horyzot.eu 12
J. Owedyk, Z. Mathia, H. Zarzycki Optimizatio algorithm... II. THE KULLBACK-LEIBLER SYSTEMS We take for our cosideratios some dyamical systems describig by the equatio P/ t = S t P, (2.1) where P = P(x,t) is the time depedet probability desity fuctio of the cotiuous radom variable defied o x = (x 1,, x ) E ( E is the -dimesioal Euclidea space), S t is a time depedet system operator. I the case of the Fokker-Plack equatio, S t is give by equatio (A.2) (see appedix). For esurig the ormalizatio coditio P(x,t) dx =1 it must be satisfied S t P dx = 0 (2.2) for ay probability desity fuctio P(x,t). We use the Kullback-Leibler divergece [2,3] K(P, ) = P l(p/p ) dx 0 0 (2.3) as a measure of distace betwee ay two solutios P = P(x,t), = (x,t) of equatio (2.1). I order to ivestigate time depedece of Kullback- Leibler divergece we calculate its time derivative dk/dt = (( P/ t)l(p/ ) + P (l(p/ ))/ t)dx = (( P/ t)l(p/ ) + ( P/ t) ( / t)(p/ ))dx = ((S t P)l(P/ ) (S t )(P/ ))dx. (2.4) Above we have used ormalisatio to the uity i.e. P dx = 1 ad equatios P/ t = S t P P / t = S P, 0 t 0 ( P ad satisfy (2.1) ). We will restrict ourselves to the system operator S t so that the last formula i (2.4) is egative for ay P ad P i.e. 0 ((S t P)l(P/ ) (S t )(P/ ))dx 0, ( =0 oly if P = ). (2.5) The system described by the system operator S t which satisfies iequality (2.5) will be called Kullback-Leibler system ad the system operator S t will be called Kullback-Leibler system operator. It is show i Appedix that systems described by the Fokker-Plack equatio are the Kullback-Leibler systems. From ow we will cosider oly Kullback-Leibler systems ad Kullback-Leibler system operators S t. Accordig to the iequality (2.5) it follows that dk/dt 0, ( =0 oly if P = ). (2.6) The iequality (2.6) may be treated as a geeralised H- theorem [6]. We ca see that the iequality (2.5) is a criterio of choosig dyamical systems i which the geeralised H-theorem is satisfied. Usig the above iequality oe ca ivestigate a asymptotic behaviour of solutios of the equatio (2.1). Because the Kullback-Leibler divergece K(P, ) ( see (2.3) ) is bouded from below ad (2.6) is satisfied, oe ca write lim dk/dt = 0. t If additioally from (2.7) ad (2.5) it follows that lim (P(x,t)/ (x,t)) = 1, for every x, (2.8) t the because the probability desities are ormed to the uity, the differece betwee two arbitrary solutios P = P(x,t), = (x,t) of equatio (2.1) vaishes as time goes to ifiity, i.e. lim (P(x,t) (x,t)) = 0, for every x. t (2.9) III. THE MINIMIZING KULLBACK-LEIBLER DIVERGENCE SOLUTIONS Let (x,t) be some fixed solutio of equatio (2.1). A arbitrary solutio P(x,t) of the equatio (2.1) may be writte i the form P = P(x,t) = (x,t) exp( F(x,t)), (3.1) where F = F( x,t) is some fuctio. From (3.1) ad (2.1) we obtai P/ t = ( / t) exp( F) ( F/ t) exp( F ) (3.2) ad ( F/ t) P = (S t ) exp( F) S P. t. (3.3) From (3.3) ad (3.1) we have ( F/ t) = (S t )/ (S t P)/P (3.4) ad ( F/ t) = (S t )/ (S t ( exp( F))) / ( exp( F)). (3.5) Equatio (3.5) determies time evolutio of the fuctio F = F(x,t). We assume that the datas of the system are represeted by mea values <f i > P = f i (x) P(x,t) dx, i = 1,,N (3.6) of N liearly idepedet ( together with f 0 = f 0 (x) = 1 ) fuctios f i = f i (x), i = 1,,N. Accordig to the (3.6), (2.1) ad (3.1) the evolutio equatios for the mea values are i the followig form d<f i > P /dt = f i P/ t dx = f i S t P dx = f i S t ( exp ( F)) dx, i = 1,, N, (3.7) fially d<f i > P /dt = f i S t ( exp( F)) dx, i = 1,, N. (3.8) Usig (3.3) ad (3.1) we obtai useful formulas <f i F/ t> p = f i F/ t P dx = f i (S t ) exp( F) dx f i S t ( exp( F)) dx, i = 0,1,,N. (3.9) For i = 0 we remember that f 0 = f 0 (x) = 1 the from (3.9) we have 13
J. Owedyk, Z. Mathia, H. Zarzycki Optimizatio algorithm... < F/ t> p = (S t ) exp( F) dx S (P exp t 0 ( F)) dx. (3.10) From (3.1), (2.1) ad ormalizatio coditio P(x,t) dx = 1 we have S t ( exp( F)) dx = S t P dx = P/ t dx = d( Pdx)/dt = 0, (3.11) the < F/ t> p = (S t ) exp( F) dx. (3.12) I geeral the evolutio equatios (3.8) are ot closed with respect to the mea values <f i > P = f i (x)p(x,t) dx of fuctios f i = f i (x), i = 1,,N. I order to close ad solve the system of evolutio equatios (3.8) we use the approximate expoetial probability desity P * (x,t) istead of the exact solutio P(x,t) i.e. P * (x,t) = (x,t) exp( F * (x,t)), (3.13) where F * (x,t) = λ 0 (t) + λ i (t)f i (x), i=1 (3.14) where λ i (t), i = 0,1,, N are Lagrage multipliers. The approximate expoetial probability desity P * (x,t) is obtaied by miimizig Kullback-Leibler iformatio divergece K(P(x,t), (x,t)) = P(x,t) l(p(x,t)/p (x,t))dx 0 0 (3.15) uder the costraits P(x,t) dx = 1, (3.16) ad f i (x) P(x,t) dx = <f i > P, i = 1,, N. (3.17) The method for solvig this costraied optimizatio problem is to use the Lagrage multipliers for each of the costraits ad miimize the fuctioal N J = P l(p/p )dx + λ (t)( f P dx <f > ) 0 i i i P i=0 (3.18) with respect to P. Miimizig the fuctioal (3.18) with respect to P leads to the calculatio of the derivative of N L=P l(p/ ) + λ i (t) f i P i=0 with respect to P ad settig it to the zero i.e. (3.19) N L/ P = l(p/ ) + 1 + λ i (t) f i = 0. i=0 (3.20) From (3.20) oe obtais the probability desity P mi which miimizes the fuctioal (3.18) N P mi = exp( (1+λ 0 (t)) λ i (t) f i ). i=1 (3.21) After replacig 1+λ 0 (t) by λ 0 (t), oe obtais from (3.21) the approximate expoetial probability desity P * (x,t) i.e. N P * = exp( λ 0 (t) λ i (t) f i ). i=1 (3.22) The approximate expoetial probability desity P * (x,t) will be called the miimizig Kullback-Leibler divergece solutio or short the Kullback-Leibler solutio. Isertig i (3.8) the Kullback-Leibler solutio P * (x,t) istead of P(x,t) we obtai d<f i > P* /dt = f i S t ( exp( F * )) dx, i = 1,,N, (3.23) where <f i > P* = f i (x) P * (x,t) dx, i = 1,,N. (3.24) Eqatios (3.23) determie approximate Kullback-Leibler solutios P * (x,t). I (3.23) we asume that P(x,t) ad P * (x,t) have the same mea values <f i > P ad <f i > P* for iitial time. From (3.24) we may calculate λ i (t), i = 1,,N as fuctios of the mea values <f i > P*, i= 1,,N ad λ 0 (t) is a fuctio of λ i (t), i =1,,N calculated from the ormalizatio coditio P * (x,t) dx = 1, the eqatios (3.23) costitute a closed system of o autoomous ordiary differetial equatios for <f i > P*, i= 1,,N. Let us otice that (3.23) together with (3.13), (3.14) ad (3.24) determie the differetial evolutio equatios for λ i (t), i = 1,,N further called the accompaied evolutio equatios. Now we preset formulas satisfied by the Kullback-Leibler solutio P * (x,t) which will be useful i further cosideratios. The first. From (2.2) it follows that S t P * dx = 0. (3.25) The secod. From (3.24), (3.13) ad (2.1) oe gets d<f i > P* /dt = f i ( / t)exp( F * ) dx f i exp ( F * )( F * / t) dx = f i (S t ) exp( F* )dx f i P * ( F * / t) dx, i = 1,, N. (3.26) From (3.26) ad (3.23) we fially have <f i F * / t> p* = f i (S t ) exp( F* ) dx f i S t ( exp( F * )) dx, i = 1,, N. (3.27) The third. From ( 3.27) it follows that < F * / t> p* = F * / t P * dx = (S t ) exp( F* ) dx. (3.28) Oe ca otice that formulas (3.25), (3.27), (3.28) which 14
J. Owedyk, Z. Mathia, H. Zarzycki Optimizatio algorithm... are satisfied for the Kullback-Leibler solutio P * (x, t) are also fulfiled for exact solutio P(x, t) see (2.2), (3.9), (3.12). IV. STABILITY OF THE KULLBACK-LEIBLER SOLUTIONS We will ivestigate whether for the Kullback-Leibler solutios P * (x, t) like for the exact solutios P(x, t), the geeralised H-theorem (2.6) ad property (2.9), i.e. lim(p * (x,t) (x,t))=0 are satisfied. t For our cosideratio we take the Kulback-Leibler divergece i the followig form K(P * (x,t), (x,t)) = P * (x,t) l(p* (x,t)/ (x,t)) dx 0. (4.1) We calculate its time derivative. Accordig to the (3.13), (3.14), (3.28), (3.23), (3.25) oe obtais dk/dt = (( P * / t)l(p * / ) + P * l(p * / )/ t)dx = ( P * / t) F * dx P * ( F * / t)dx = N ( P * / t) ( λ 0 (t) + λ i (t)f i (x))dx < F * / t> p* = N i=1 λ i (t)(d<f i > P* /dt) < F * / t> p* = i=1 N λ i (t) f i S t ( exp( F * ) dx (S t ) exp( F* ) i=1 dx = F * S t P * dx (S t ) exp( F* ) dx = (S t P * ) l(p * / ) dx (S t ) (P* / ) dx = ((S t P * ) l(p * / ) (S t ) (P* / )) dx. (4.2) The above formula (4.2) for approximate solutios P * (x,t) which do ot satisfy equatio (2.1) is the same as the formula (2.4) obtaied exact solutios P(x,t) of equatio (2.1). Accordig to the (2.5) the last formula i (4.2) fulfills the followig iequality ((S t P * ) l(p * / ) (S t ) (P* / )) dx 0, ( =0 oly if P * = ). (4.3) The from (4.2) ad (4.3) it follows that dk/dt 0, ( =0 oly if P * = ). (4.4) The iequality (4.4) is a geeralised H-theorem for the Kullback-Leibler solutios P * (x,t). Usig the iequality (4.4) oe ca ivestigate a asymptotic behaviour of the Kullback-Leibler solutios P * (x,t). Because the Kullback-Leibler iformatio divergece K(P *, ) is bouded from below ad (4.4) is fulfilled, oe ca write lim dk/dt = 0. t (4.5) From (4.2), (4.3) ad (4.5) it follows lim(p * (x,t)/ (x,t)) = 1. t (4.6) Because the probability desities are ormed to the uity, the accordig to (4.6) it follows that the differece betwee the two probability desities P * = P * (x,t) ad = (x,t) vaishes as time goes to ifiity, i.e lim (P * (x,t) (x,t)) = 0. t (4.7) Additioally from (4.6) ad (3.13) lim F * (x,t) = 0. t (4.8) The above cosideratios are doe uder the assumptio that the Kullback-Leibler solutios P * (x,t) exist for ay time t > t 0 ( t 0 is a iitial time). Remark: It is a importat result for the Kullback-Leibler divergece i this paper, that from (4.2) we have dk/dt= ((S t P * )l(p * / ) (S t ) (P* / ))dx ad from (2.4) dk/dt= ((S t P)l(P/ ) (S t )(P/ ))dx. We ca see that the time derivative of Kullback- Leibler divergece for approximate solutios P * (x, t) ad for exact solutios P = P(x,t) are described by the same formula. Accordig to the above, we ca coclude that the derivative of the Kullback-Leibler divergece for approximate solutios ad the derivative of the Kullback-Leibler divergece for exact solutos, fulfill the same iequalities (4.4) ad (2.6). I cosequece the approximate solutios P * (x, t) have the same asymptotic behaviour as the exact solutios P = P(x,t). V. THE ACCOMPANIED EVOLUTION EQUATIONS AND THE OPTIMIZATION ALGORITHM I order to derive the accompaied differetial evolutio equatios for λ i (t), i = 1,,N we start from the equatios (3.27) i.e. <f i F * / t> p* = f i (S t ) exp( F* ) dx f i S t ( exp ( F * )) dx, i =1,,N. (5.1) Usig (3.14) o the left side of (5.1) oe obtais <f i F * / t> P* = <f i (dλ 0 /dt + (dλ j /dt) f j )> P* = dλ 0 /dt N <f i > P* + (dλ j /dt) <f i f j > P*, j=1 i =1,,N. (5.2) For further calculatios we use formula (3.28) i.e. < F/ t> p* = (S t ) exp( F* ) dx. (5.3) Usig (3.14) o the left side of (5.3) oe obtais N j=1 15
J. Owedyk, Z. Mathia, H. Zarzycki Optimizatio algorithm... N < F/ t> p* = dλ 0 /dt+ (dλ j /dt) < f j > P*. j=1 From (5.3) ad (5.4) we have (5.4) N dλ 0 /dt = (S t ) exp( F* ) dx (dλ j /dt) <f j > P*. j=1 (5.5) Isertig i (5.2) istead of dλ 0 /dt, the formula (5.5) we obtai <f i F * / t> P* = <f i > P* (S t ) exp( F* )dx (dλ j / N dt)<f i > P* < f j > P* + (dλ j /dt) <f i f j > P* = j=1 N <f i > P* (S t ) exp( F * )dx + M ij (dλ j /dt), i = 1,,N, j=1 (5.6) where M ij = <f i f j > P* <f i > P* < f > j P* (5.7) is a completely positive defiite matrix ( matrix of correlatio of liearly idepedet fuctios f i = f i (x), i = 1,, N ). Fially from (5.1) ad (5.6) we obtai a system of o autoomous ordiary differetial equatios for λ i (t), i = 1,, N i the followig form N M ij (dλ j /dt) = ( f i S t ( exp( F * )) ( f i <f i > P* ) j=1 (S t ) exp( F* ))dx, i = 1,,N, (5.8) where N λ 0 = l( exp( λ i f i dx)). j=1 (5.9) The equatio (5.9) follows from the ormalisatio codi tio P * (x,t) dx = (x,t)exp( F * )dx = 1. A domai of the above equatios is a set of such elemets λ =(λ 1,,λ N ) for which all itegrals i (5.8) ad (5.9) exist. Oe ca check that λ =(0,,0) =0 is a statioary poit for the system (5.8) ad i this case P * (x,t) = (x,t). The system (5.8) will be called completely stable, whe its every solutio λ(t) =(λ 1 (t),,λ N (t)) may be exteded for ay time t > t 0 ( t 0 is a iitial time) ad lim λ(t) = 0. t We may formulate two importat properties of solutios of the system (5.8). Property I. If λ(t) = (λ 1 (t),,λ N (t)) is a solutio of the system (5.8) such that λ(t 0 ) (t 0 is a iitial time) ad λ(t) may be exteded ito domai for ay time t > t 0, the lim λ(t) = 0, i.e. λ(t) teds to t N j=1 the statioary solutio of the system (5.8). Let λ(t) be a solutio of (5.8) which may be exteded ito domai for ay time t > t 0. For such solutio accordig to (4.8) ad (3.14) we have N lim λ 0 (t) + lim λ (t)f (x) = 0. i i t i=1 t (5.10) Because fuctios f i (x), i = 1,, N are liearly idepedet ( together with f 0 (x) = 1 ), from (5.10) oe gets lim λ (t) = 0, for i = 0,1,, N. i t (5.11) Property II. I the case whe = E ( E is the - dimesioal Euclidea space), the the system ( 5.8) is completely stable. I the case whe E, the system(5.8) is completely stable if every vector d λ/dt, which compoets are give by (5.8) for every poit λ belogig to the boudary of the set, is directed ito. The system (5.8) has the liear approximatio i the followig form N (0) M ij (dλ j /dt) = ( f i S t ( exp( F * )) ( f i <f i > Po ) j=1 (S t ) exp( F* ))dx, i = 1,, N, (5.12) where (0) M ij = <f i f j > Po <f i > Po < f >. j Po (5.13) Equatios (5.12) costitute a system of liear, but i geeral o autoomous, ordiary differetial equatios. Oe ca otice that the fuctio V( λ,t) = K(P * (x,t), (x,t)) = P * (x,t) l(p* (x,t)/ (x,t))dx 0 (5.14) is a Liapuov fuctio for (5.8) [9]. Now we may formulate a approximatio algorithm supported o miimizig the Kullback-Leibler iformatio divergece i cotiuous systems. Approximatio algorithm cosists of the followig steps: Step 1. We check if a cotiuous system described by the system operator S t is a Kullback system i.e. if operator S t satisfy the iequality (2.5). Step 2. We choose coveiet set of fuctios f i = f i (x), i = 1,, N for our cosideratios. Step 3. We calculate itegrals o the right side of the accompaied evolutio equatios (5.8) usig equatio (5.9). Step 4. We solve the accompaied evolutio equatios (5.8), (5.9) ad obtai coefficiets λ i (t), i = 0,1,, N. Step 5. The coefficiets λ i (t), i = 0,1,, N are used i (3.13), which is the Kullback-Leibler solutio. 16
J. Owedyk, Z. Mathia, H. Zarzycki Optimizatio algorithm... VI. CONSLUSIONS We have obtaied the importat result for the Kullback- Leibler divergece, that the time derivatives of the Kullback-Leibler divergece for approximate solutios P * (x,t) ad for exact solutios P = P(x,t) have the same shape. As a result, i the Kullback-Leibler systems the iequality dk/dt 0 is satisfied for exact ad approximate solutios. I cosequece, the approximate solutios P * (x,t) have the same asymptotic behaviour as the exact solutios P = P(x,t) i.e. they ted to the same solutio. We have created a approximatio algorithm supported o miimizig the Kullback-Leibler iformatio divergece i the Kullback-Leibler systems. Practical applicatio of the proposed approach requires kowledge of the probability desity. If a Kullback system possesses a statioary solutio, this solutio may be chose as [4]. I the case whe the Kullback system possesses a time-depedet periodic solutio [6], this periodic solutio is a attractor ad may be chose as. Let us otice that the approximatio algorithm preseted i this paper ot oly gives a certai approximate scheme of solvig the Kullback system but also geeralizes the iformatio gai miimizig approach for the Fokker-Plack equatio, eve with time depedet drift ad diffusio coefficiets[6]. Problems aalogical to the oes preseted i this paper were ivestigated by the author i the case of discrete systems ad will be published i a separate paper. APPENDIX Here we will show that the system described by the Fokker-Plack Equatio (F.P.E.) is a Kullback system. We take for our cosideratio the -dimesioal F.P.E. with time-depedet drift ad diffusio coefficiets for the probability desity fuctio P(x,t) of the cotiuous radom variable x = (x 1,, x ) i the followig form[8] P/ t = (v i P)/ x i + (D ij ( P/ x j ))/ x i, i=1 i,j=1 (A.1) were v i = v i (x,t) is a drift vector ad D ij = D ij (x,t) is a symmetric ad completely positive defiite diffusio matrix[1,7]. The system operator S t i the case of F.P.E. will be deoted FPE as S t ad is defied below S t FPE P = (v i P)/ x i + (D ij ( P/ x j ))/ x i. i=1 i,j=1 (A.2) We will check that the formula (2.4) is satisfied for the system operator S t FPE i.e. ((S t FPE P)l(P/ ) (S t FPE )(P/ ))dx 0, ( =0 oly if P = ). (A.3) Substitutig (A.2) o the left side of (A.3) oe obtais (l(p/ )( (v i P)/ x i + (D ij ( P/ x j ))/ x i ) (P/ i=1 i,j=1 )( (v i )/ x i + (D ij ( / x j ))/ x i ))dx = l(p/ ) (v i P)/ x i dx + l(p/ i=1 i,j=1 ) (D ij ( P/ x j ))/ x i dx + (P/ ) (v i )/ x i dx i=1 (P/ ) (D ij ( / x j ))/ x i dx = (l(p/ i,j=1 ))/ x i (v i P)dx (l(p/ ))/ x i (D ij ( P/ x j ))dx i,j=1 (P/ )/ x i (v i )dx + (P/ i=1 i,j=1 )/ x i (D ij ( / x j ))dx = ( /P) (P/ )/ x i (v i P)dx i=1 (l(p/ ))/ x i (D ij ( ((P/ ) )/ x j ))dx (P/ i,j=1 i=1 )/ x i (v i )dx + (P/ )/ x i (D ij ( / x j ))dx = (l(p/ i,j=1 i,j=1 ))/ x i (D ij ( (P/ )/ x j +(P/ ) / x j )dx + (P/ )/ x i (D ij ( / x j ))dx = ( /P) (P/ i,j=1 i,j=1 )/ x i (D ij ( (P/ )/ x j +(P/ ) / x j )dx + (P/ )/ x i (D ij ( / x j ))dx = ( /P) (P/ i,j=1 i,j=1 )/ x i D ij ( (P/ )/ x j ( /P) P dx i=1 (P/ )/ x i D ij / x j )dx + (P/ i,j=1 i,j=1 )/ x i (D ij ( / x j ))dx = l(p/ )/ x i D ij l(p/ )/ x j P dx. i,j=1 (A.4) Let us otice, i coectio with the above calculatios i (A.4), that adjoit maipulatio associated with spatial operatios o probability desity fuctio P(x,t) is possible oly if P(x,t) is rapidly decreasig for x (the atural boudary coditio accordig to Graham [1]). Because D ij is a completely positive defiite matrix, the last formula i (A.4) satisfies the followig iequality l(p/ )/ x i D ij l(p/ )/ x j P dx 0, ( =0 i,j=1 17
J. Owedyk, Z. Mathia, H. Zarzycki Optimizatio algorithm... oly if P = ). (A.5) From (A.5), (A.4) it follows that iequality (A.3) is fulfilled for the system operator S t FPE, so it is the Kullback system operator. Hece our earlier geeral cosideratios coected to the Kullback systems may be applied for the systems described by F.P.E.. REFERENCES [1] R. Graham, Spriger Tract i Moder Physics, Spriger-Verlag, Berli, vol. 66, 1973. [2] S. Kullback, R.Leibler, O iformatio ad sufficiecy, A. Math. Stat., vol. 22, pp 79-86, 1951. [3] S. Kullback, Iformatio theory ad statistic, Wiley, New York,1959. [4] J. Owedyk, Ivestigatio of stability of iformatio gai solutios of a Fokker-Plack equatio, Acta Phys. Polo., Vol. A63, o. 3, pp (317-327), 1983. [5] J. Owedyk, Stability of a statioary distributio of a Master Equatio with respect to iformatio gai solutios, Z. Phys. B, vol. 54, pp (183-186), 1984. [6] J. Owedyk, O the Fokker-Plak equatio with timedepedet drift diffusio coefficiets ad its expoetial solutios, Z. Phys. B, vol. 59, pp (69-74),1985. [7] J. Owedyk, O the master equatio with time-depedet trasitio probabilities, Phys. Lett., vol 109, pp (152-154), issue 20 may 1985. [8] H. Riske, The Fokker-Plack equatio, Spriger- Verlag, Berli, 1996. [9] J. la Salle,S. Lefschetz, Stability by Liapuov s direct method, New York, Lodo, Academic Press,1961. 18
M. Kwiatkowska, Ł. Świerczewski Wieloskalowe symulacje... Wielkoskalowe symulacje biologiczych sieci euroowych charakteryzujących się wewętrzą topologią wielowymiarowych torusów z wykorzystaiem PGENESIS Large-scale simulatios of biological eural etworks characterized by iteral topology of multi-dimesioal torus usig PGENESIS Wprowadzeie GENESIS (the GEeral NEural SImulatio System) [1][2] jest platformą ogólego przezaczeia, która została opracowaa w celu wspieraia biologiczie realistyczych symulacji układów erwowych, od skomplikowaych modeli pojedyczych euroów do symulacji dużych sieci. GENESIS implemetuje język wysokiego poziomu, który pozwala łatwo rozszerzyć możliwości symulatora, wymieiać, modyfikować i wykorzystywać modele lub ich elemety składowe. Istieje także rówoległa wersja GENESIS Parallel GE- NESIS (PGENESIS) [3][4]. Umożliwia oa zrówolegleie obliczeń i uruchomieie ich a klastrach komputerowych. Wspieray jest zarówo stadard PVM [5][6], jak i owszy MPI [7]. W tej pracy wykorzystao MPI w wersji 1.4.1p1. GENESIS i PGENESIS było kompilowae kompilatorem GCC [8] 4.8.1. Do realizacji obliczeń wykorzystao klaster komputerowy Moika Kwiatkowska 1 i Łukasz Świerczewski 2 Treść: Praca obejmuje implemetacje oraz testy wydajości i skalowaia biologiczych sieci euroowych charakteryzujących się wewętrzą topologią wielowymiarowych torusów. Do obliczeń wykorzystao rówoległą wersję symulatora GENESIS - PGENESIS. Symulacje przeprowadzoo w środowisku rówoległym a superkomputerze (klaster wydajościowy o architekturze x86_64) HP BladeSystem/Actia, Hydra dostępym w Iterdyscypliarym Cetrum Modelowaia Matematyczego i Komputerowego Uiwersytetu Warszawskiego. Testy objęły procesory AMD Optero 2435, AMD Optero 6174, AMD Optero 6272 oraz Itel Xeo X5660. Uwzględioo także aspekt wykorzystaia iterfejsów sieciowych Ifiibad QDR, Ifiibad DDR oraz 10Gb Etheret w komuikacji międzywęzłowej. Dodatkowo wykoao aalizę uzyskaego zysku wydajości dzięki zastosowaiu wersji PGENESIS skompilowaej pod kątem wybraego procesora. W pracy skupioo się jedyie a części dotyczącej pomiarów wydajości ie podjęto jakichkolwiek prób aaliz aktywości modelowaych biologiczych sieci euroowych. Słowa kluczowe: PGENESIS, biologicze sieci euroowe, topologia torus Abstract: This paper icludes implemetatio ad performace tests ad also scalig of biological eural etworks characterized by iteral topology of multi-dimesioal toruses. For calculatios there was used a parallel versio of the GENESIS - PGENESIS simulator. Simulatios were performed i a supercomputer's parallel eviromet, (a performace cluster with x86_64 architecture) HP BladeSystem/Actia, Hydra available at the Iterdiscipliary Cetre for Mathematical ad Computatioal Modelig, Warsaw Uiversity. Tests icluded AMD Optero 2435, AMD Optero 6174, AMD Optero 6272 ad Itel Xeo X5660 prosessors. There was also take ito accout the aspect of the use of etwork iterfaces such like Ifiibad QDR, DDR Ifiibad ad 10Gb Etheret i iterstitial commuicatio. I additio, there was performed a aalysis o the resultig performace gaied by usig the PGENESIS versio compiled for the selected processor. I this paper author focused oly o the sectio of performace measuremet - there were't take ay attempts of activity aalysis of the modeled biological eural etworks. Keywords: PGENESIS, biological eural etworks, torus topology 6272 1. Uiwersytet Marii Curie-Skłodowskiej w Lubliie, Wydział Matematyki, Fizyki i Iformatyki. 2. Państwowa Wyższa Szkołą Iformatyki i Przedsiębiorczości w Łomży, Istytut Automatyki i Robotyki. o architekturze x86_64 HP BladeSystem/Actia, Hydra zaistaloway w Iterdyscypliarym Cetrum Modelowaia Matematyczego i Komputerowego Uiwersytetu Warszawskiego. W klastrze tym dostępe są cztery rodzaje węzłów. Dokładą ich specyfikację wraz z ilością zestawioo w Tab. 1. 19 Tab. 1. Dostępe zasoby sprzętowe a superkomputerze Hydra zai stalowaym w ICM, UW. Rodzaj procesora AMD Optero 2435 Itel Xeo X5660 AMD Optero 6174 AMD Optero Taktowaie procesora Liczba procesorów x liczba rdzei 2,6 GHz 2 x 6 2,8GHz 2 x 6 2,2 GHz 4 x 12 2,2 GHz 4 x 16 RAM 32 GB 24 GB 256 GB 512 GB Typ połączeia międzywęzłowego Ifiibad DDR + 1Gb Etheret Ifiibad QDR + 1Gb Etheret Liczba węzłów 96 120 10Gb Etheret 30 10Gb Etheret 16
M. Kwiatkowska, Ł. Świerczewski Wieloskalowe symulacje... Jak przedstawioo w powyższej tabeli w systemie dostępych jest w sumie 262 węzłów obliczeiowych. Największa ich grupa (120 węzłów) posiada po dwa sześciordzeiowe procesory Itel Xeo X5660. Połączoe są oe w komuikacji międzywęzłowej szybkim iterfejsem Ifiibad [9][10] QDR oraz 1Gb Etheret, co daje sumaryczą teoretyczą przepustowość a poziomie 33 Gbit/s. Węzły te posiadają stosukowo mało pamięci operacyjej RAM jedyie 24 GB a węzeł. Drugą pod względem liczebości (96 węzłów) grupą są jedostki wyposażoe w procesory AMD Optero 2435. Posiadają oe więcej pamięci operacyjej RAM (32 GB), jedak charakteryzują się iższą częstotliwością taktowaia oraz są połączoe zaczie woliejszą siecią Ifiibad typu DDR o przepustowości 16 Gbit/s. Węzłów tych także jest dość dużo aż 96. Ostatie dwa typy węzłów obliczeiowych staowią rozwiązaia oparte o procesory AMD Optero 6174 oraz AMD Optero 6272. Posiadają oe bardzo dużą ilość pamięci RAM (odpowiedio 256 i 512 GB) jedak są połączoe jedyie wolą siecią Etheret o przepustowości 10 Gbit/s. Kluczową kwestią w przypadku porówywaia systemu połączeń węzłów może okazać się ie tylko maksymala przepustowość ale także opóźieia. W przypadku urządzeń działających w stadardzie Etheret 10 Gbit/s te mogą wyosić powyżej 40 mikrosekud dla Ifiibad DDR czas te wyosi 2 mikrosekudy, a przy Ifiibad QDR spotkamy się z opóźieiem w graicach jedyie jedej mikrosekudy. Na potrzeby iiejszej pracy zaimplemetowao sieci bazujące a topologiach wielowymiarowych torusów. Przykładowe topologie tego typu dla torusów 1D, 2D i 3D przedstawioo a Ryc. 1. Ryc. 1. Topologie torus 1D, 2D oraz 3D. Źródło: http://wiki.expertiza. csu.edu/. Jak widać a Ryc. 1. topologia torusów charakteryzuje się tym, że każdy z elemetów w tej strukturze posiada odpowiedią ilość sąsiadów. Nawet węzły skraje w tym przypadku są połączoe z przeciwległymi sąsiadami. W PGENESIS zrealizowao strukturę sieci w astępujący sposób: a każdym węźle jest alokowaa siatka o rozmiarze 32x32 euroów (razem 1024 euroów), w ramach węzła realizowae jest 30% połączeia pełego (314572 połączeń), strukturę połączeń międzywęzłowych określa topologia torusa o określoej liczbie wymiarów, w tym przypadku od węzła do węzła realizowae jest 20% połączeia pełego (209715 połączeń). Porówaie charakterystyk ajwiększych symulacji jakie moża wykoać a jedej partycji procesorów Itel Xeo X5660 a klastrze Hydra przedstawioo w Tab. 2. Tab. 2. Największe symulacje jakie moża zrealizować a jedej partycji systemu Hydra złożoej z 120 węzłów posiadających po dwa sześciordzeiowe procesory Itel Xeo X5660 (razem 1440 rdzei). Typ torusa Jak widać w tabeli teoretyczie ajwiększą ilość euroów w sieci moża uzyskać stosując topologię torusa 1D. Jest to spowodowae tym, że w implemetacji skryptu uwzględioo możliwość realizacji jedyie torusów idealych tz. takich gdzie każdy wymiar ma taki sam rozmiar. Dla torusa dwuwymiarowego tego typu ajwiększa struktura posiada 37x37 węzłów, co daje wykorzystaie maksymalie 1369 rdzei. Im większy wymiar tym większa utrata możliwości zaagażowaia w obliczeia określoej ilości procesorów. Zmiaę ilości połączeń między euroami przy ustaloej topologii określoego torusa oraz uwzględieiu maksymalej liczby dostępych rdzei a 1440 przedstawioo a Ryc. 2. Number of coectios Rozmiar torusa (ilość procesów) 2500000000 2000000000 1500000000 1000000000 500000000 0 1 1,5 2 2,5 3 3,5 4 4,5 5 Ryc. 2. Zmiaa ilości połączeń między euroami przy ustaloej topologii określoego torusa oraz uwzględieiu maksymalej liczby dostępych rdzei a 1440. Implemetacja Number of dimesios Całkowita ilość euroów 1D 1440 (1440) 1474560 2D 37x37 (1369) 1401856 3D 11x11x11 (1331) 1362944 4D 6x6x6x6 (1296) 1327104 5D 4x4x4x4x4 (1024) 1048576 Number of itra-odes coectios Number of betwee odes coectios Ilość połączeń wewątrzwęzłowych / pomiędzy węzłami (suma) 452984832 / 603979776 (1056964608) 430650163 / 1148400435 (1579050598) 418696396 / 1674785587 (2093481983) 407686348 / 2174327193 (2582013541) 322122547 / 2174327193 (2469606195) Prosty schemat blokowy szablou zaimplemetowaych skryptów przedstawioo a Ryc. 3. 20
M. Kwiatkowska, Ł. Świerczewski Wieloskalowe symulacje... Najbardziej zaawasowaym krokiem podczas tworzeia sieci euroowej jest operacja ozaczoa a schemacie (Ryc. 3) jako Create coectios of euros i the torus topology (coectios beetwe odes). Listigi przedstawiające realizację tej procedury w PGENESIS przedstawioo a Listigu 1 (dla torusa 2D) oraz Listigu 2 (dla torusa 3D)... Ryc. 3. Prosty schemat blokowy szablou zaimplemetowaych skryptów. if ({odes} == 2) if ({myode} == 1) pcoect_two_maps /et1 1 /et2 2 {dim} {dim} {coect_probability_beetwe_ode} make_syapse /iput /et1/cell[0]/ded/ex_chael 10 0 0 ed else for (i=1;i<odes+1;i=i+2) if ({myode} == {i}) if({{i+1}%{odes}} == 0) pcoect_two_maps /et{i} {i} /et{odes} {odes} {dim} {dim} \ {coect_probability_beetwe_ode} else pcoect_two_maps /et{i} {i} /et{{i+1}%{odes}} {{i+1}%{odes}} {dim} \ {dim} {coect_probability_beetwe_ode} ed ed ed ed if ({myode} == 1) make_syapse /iput /et1/cell[0]/ded/ex_chael 10 0 0 ed Listig 1. Struktura kod odpowiedziala za tworzeie połączeń pomiędzy siatkami euroów o strukturze torusa 1D for (i=1;i<grid_dim+1;i=i+1) for (j=1;j<grid_dim+1;j=j+1) for (k=1;k<grid_dim+1;k=k+1) if ({myode} == {((i-1)*grid_dim*grid_dim)+((j-1)*grid_dim)+k}) if ( {{i+1}%{grid_dim}} == 0) pcoect_two_maps /et{i}-{j}-{k} {((i-1)*grid_dim*grid_dim)+((j-1)*grid_dim)+k} \ /et{grid_dim}-{j}-{k} \ {((grid_dim-1)*grid_dim*grid_dim)+((j-1)*grid_dim)+k} \ {dim} {dim} {coect_probability_beetwe_ode} else pcoect_two_maps /et{i}-{j}-{k} {((i-1)*grid_dim*grid_dim)+((j-1)*grid_dim)+k} \ /et{{i+1}%{grid_dim}}-{j}-{k} \ {(({i+1}%{grid_dim}-1)*grid_dim*grid_dim)+((j-1)*grid_dim)+k} \ {dim} {dim} {coect_probability_beetwe_ode} ed ed ed ed ed Listig 2. Struktura kod odpowiedziala za tworzeie połączeń (jedyie po jedej osi) pomiędzy siatkami euroów o strukturze torusa 3D 21