Temat: Poprawo całkowita i czciowa algorytmu. Złooo obliczeiowa algorytmu. Złooo czasowa redia i pesymistycza. Rzd fukcji. I. Literatura 1. A. V. Aho, J.E. Hopcroft, J. D. Ullma - Projektowaie i aaliza algorytmów komputerowych. L. Baachowski, K. Diks, W. Rytter Algorytmy i struktury daych 3. (!)T. H. Corme, C. E. Leiserso, R. L. Rivest Wprowadzeie do algorytmów 4. (!)A. Drozdek, D. L. Simo Struktury daych w jzyku C 5. D. Harel Rzecz o istocie iformatyki. Algorytmika 6. (!)R. Neapolita, K. Naimipour, Podstawy algorytmów z przykładami w C++ 7. (!)V. V. Vazirai, Algorytmy aproksymacyje Aaliza algorytmów to dział iformatyki zajmujcy si szukaiem ajefektywiejszych, poprawych algorytmów dla daych problemów komputerowych. I. Problem komputerowy Problem komputerowy to zadaie przezaczoe do realizacji a maszyie cyfrowej z okreloym warukiem pocztkowym i kocowym. WP waruek pocztkowy formuła logicza defiiujca dae wejciowe problemu WK waruek kocowy formuła logicza defiiujca dae wyjciowe (wyiki rozwizaia problemu) uzyskae dla daych wejciowych spełiajcych WP 1
II. Poprawo całkowita i czciowa algorytmu Defiicja 1 Algorytm A jest czciowo poprawy wzgldem daego waruku WP i daego waruku WK wtedy i tylko wtedy, gdy dla dowolych daych wejciowych spełiajcych waruek WP, jeeli algorytm A zatrzymuje si, to dae wyjciowe algorytmu spełiaj waruek WK. Defiicja Algorytm A jest całkowicie poprawy wzgldem daego waruku WP i daego waruku WK wtedy i tylko wtedy, gdy dla dowolych daych wejciowych spełiajcych waruek WP algorytm A zatrzymuje si i dae wyjciowe tego algorytmu spełiaj waruek WK. Przykład 1 Formaly zapis WP i WK WP: >0 N WK: (s=1+3+5+...+ mod 0) (s=1+3+5+...+-1 mod =0) Nieformala specyfikacja WP i WK WP: liczba aturala wiksza od zera WK: s suma kolejych liczb ieparzystych ie wikszych i Algorytm (pseudokod) s=0; i=1; while (i!=+) { s=s + i; i+=; }; Powyszy algorytm jest poprawy czciowo, ale ie całkowicie. Dla parzystego ptla ie ma stopu, ale dla dowolego ieparzystego ptla koczy si po skoczoej liczbie kroków i warto kocowa zmieej s spełia WK.
III. Złooo obliczeiowa algorytmu Złooo obliczeiowa algorytmu to ilo zasobów komputerowych, potrzebych do jego wykoaia. Zasoby komputerowe to czas działaia i ilo zajmowaej pamici. złooo obliczeiowa złooo czasowa złooo pamiciowa IV. Złooo czasowa algorytmu Złooo czasowa algorytmu okrela czas realizacji algorytmu. Złooo czasowa musi by iezalea od: - szybkoci procesora, który wykouje algorytm, - wyboru jzyka programowaia, w którym wykoaa jest implemetacja algorytmu. a) Rozmiar zadaia Rozmiar zadaia (problemu) to rozmiar tych daych wejciowych, których ilo wpływa a czas wykoaia algorytmu, tz. im wiksza jest ilo tych daych, tym dłuej realizuje si algorytm. Przykład Problem A1 WP: a 0, a 1,..., a -1 - cig liczb całkowitych ( >0) WK: Cig day w WP posortoway iemalejco Rozmiar zadaia: długo cigu, który aley posortowa 3
Problem A WP: a 0, a 1,..., a - cig liczb rzeczywistych ( 0) defiiujcy współczyiki daego wielomiau W, x- daa liczba rzeczywista WK: Liczba W(x) warto wielomiau W dla argumetu x Rozmiar zadaia: - stopie wielomiau W(x) Problem A3 WP: t 1, t,..., t - cig zaków tekstu ( > 0) w 1, w,..., w m - cig zaków wzorca ( m > 0) WK: p- zmiea logicza, która przyjmuje warto 1 (prawda), gdy wzorzec wystpuje w tekcie, a 0 (fałsz), gdy wzorzec ie wystpuje w tekcie Rozmiar zadaia: długo wzorca, m długo tekstu b) operacja elemetara Operacja elemetara (iaczej operacja domiujca) to operacja charakterystycza dla daego algorytmu. To taka operacja, której łcza liczba wykoa jest proporcjoala do rozmiaru zadaia, tz. im wikszy rozmiar zadaia, tym wicej razy realizuje si operacja elemetara. Przykład 3 Problem A1 - operacj elemetar jest operacja porówywaia elemetów sortowaego cigu albo operacja przestawiaia elemetów cigu w czasie sortowaia. Problem A - operacj elemetar jest operacja arytmetycza moeia albo operacja arytmetycza dodawaia realizowaa w procesie obliczaia wartoci wielomiau dla daego x. Problem A3 operacja porówywaia zaków wzorca ze zakami tekstu w procesie sprawdzaia, czy wzorzec wystpuje w tekcie. Za jedostk złoooci czasowej przyjmuje si wykoaie jedej operacji elemetarej (domiujcej). Złooo czasowa algorytmu jest fukcj parametru (parametrów) rozmiaru zadaia. 4
c) Złooo czasowa redia i pesymistycza Nieformalie Złooo czasowa pesymistycza to ilo wykoaych operacji elemetarych dla daych ajgorszego przypadku Złooo czasowa oczekiwaa to ilo wykoaych operacji elemetarych dla daych typowego przypadku Formalie Defiicja 3 Ozaczeia D zbiór zestawów moliwych daych wejciowych rozmiaru t(d) liczba operacji elemetarych wykoaych dla daych wejciowych d pr(d) prawdopodobiestwo, e dae d s daymi wejciowymi algorytmu Pesymistycza złooo czasowa algorytmu to fukcja T ( ) = max { t( d ): d } max D Oczekiwaa (redia) złooo czasowa algorytmu to fukcja T r ( ) = pr ( d ) t( d ) d D Przykład 4 Problem wyszukiwaia ustaloej liczby w cigu ieuporzdkowaym WP: A: a 0, a 1,..., a -1 - cig liczb całkowitych ( > 0). Liczby w cigu s róe. x szukaa warto. x jest liczb całkowit. WK: zmiea logicza jest=1, gdy a i = x oraz jest=0 w przeciwym Algorytm i = 0; przypadku while (i< && a i!=x) i++; jest=i<; { 1 } i.. 5
Operacja elemetara: porówaia midzy elemetami cigu A a liczb x. Rozmiar daych: - długo cigu Złooo czasowa pesymistycza Dae ajgorszego przypadku to cig, w którym x ie wystpuje albo wystpuje w ideksie -1 T ( ) = max { t( d ): d D } max = Złooo czasowa redia Zakładamy, e prawdopodobiestwo zalezieia liczby x w cigu A jest rówe p. Prawdopodobiestwo, e x wystpuje a kadej z pozycji w cigu jest takie p samo i wyosi. T + r ( ) = pr ( d ) t( d ) = pr ( x A) t( x A) 1 i = 0 pr d D 1 ( x = a ) t( x = a ) = ( 1 p ) + ( i + 1) p 1+ p = 1 i ( 1 p) + = + ( ) V. Rzd fukcji i Przy formułowaiu ostateczych wiosków dotyczcych efektywoci czasowej (złoooci czasowej algorytmu) bierze si pod uwag ie tyle dokład fukcj kosztu, ile jej rzd (klas wzrostu fukcji). Na przykład, jeeli dwa algorytmy A i B rozwizujce te sam problem maj złooo pesymistycz wyraajc si odpowiedio wzorami: A B Tmax ( ) = + i Tmax ( ) = 3 to róica realego czasu wykoaia obydwu algorytmów jest stosukowo iewielka, awet dla duego. Na czas realizacji algorytmu zasadiczo wpływa bowiem w obydwu fukcjach fakt, e s wielomiaami stopia. i = 0 N 0,1 0,1 ++100 10 10 10 0 40 160 50 50 400 100 1000 100 1000 100000 101100 p + = 6
Defiicja 4 Powiemy, e fukcja f() jest co ajwyej takiego rzdu jak fukcja g() i zapiszemy astpujco: f()=o(g()), gdy istieje rzeczywista, dodatia stała c oraz pewa ieujema warto całkowita N, taka, e dla wszystkich N zachodzi waruek: f c g ( ) ( ) Na przykład, jeeli f()=100 a g()= +100 to wystarczy przyj c=5 i N=10, 100 5 + 100 była prawdziwa dla wszystkich N aby ierówo ( ) Defiicja 5 Powiemy, e fukcje f() i g() s tego samego rzdu i zapiszemy astpujco: f()=θ(g()), gdy f()=o(g()) oraz g()=o(f()), czyli istiej rzeczywiste, dodatie stałe c 1 i c oraz pewe ieujeme wartoci całkowite N 1 i N, takie, e dla wszystkich N 1 zachodzi waruek: g c f ( ) ( ) 1 a dla wszystkich N waruek: f ( ) c g( ) Na przykład, jeeli f()=100 a g()= +3+10 to wystarczy przyj c 1 =1 i N 1 =1, aby ierówo + 3 + 10 1 100 była prawdziwa dla wszystkich 1 oraz c =100 aby ierówo 100 100 ( + 3 + 10) była prawdziwa dla wszystkich 1 VI. Lemat o porówywaiu rzdów fukcji Lemat 1 f(), g() fukcje, których rzdy mamy porówa f ( ) E = lim g ( ) Jeli E=+, to g()=o(f()), ale ie f()=o(g()), Jeli E=c>0, to g()= Θ (f()), Jeli E=0, to f()= O (g()), ale ie g()=o(f()). 7
Przy kład 5 f ( E = ) g( ) czyli log l l 1/ l lim = lim = lim = lim = log=o( ), ale ieprawda, e =O(log). Kategorie złoooci: Θ j k ( log) Θ( ) Θ( log) Θ( ) Θ( ) Θ( ) Θ( a ) Θ( b ) Θ(! ) gdzie k > j > oraz b > a > 1. Jeeli fukcja złoooci g() aley do kategorii lecej a lewo od kategorii g = O f. zawierajcej fukcj f(), to ( ) ( ( )) VII. Porówaie czasów realizacji algorytmu wykładiczego a dwóch komputerach o róej szybkoci wykoaia operacji elemetarej Pewie algorytm ma złooo Θ( ). Załómy, ze mamy do dyspozycji dwa komputery: - woliejszy taki, który jed operacj elemetar wykouje w czasie 10-6 s, - szybszy dokładie 1000 razy szybszy, który jed operacj elemetar wykouje w czasie 10-9 s W poiszej tabelce zobrazowao wzrost realego czasu wykoaia algorytmu dla roscego rozmiaru zadaia Rozmiar zadaia - 0 50 100 00 Czas realizacji a 1,04 s 35,7 lat 14 44 4 10 5 10 woliejszym procesorze wieków Wieków 6 ( /10 ) Czas realizacji a 0,001 s 13 di 11 41 4 10 5 10 szybszym procesorze wieków Wieków 9 /10 ( ) Z powyszej tabelki wyika, e rozsdy czas wykoaia algorytmu o złoooci Θ( ) przestaje by rozsdy przy stosukowo iewielkim, bo =50. 0, 8