UNIWERSYTET IM. ADAMA MICKIEWICZA W POZNANIU Jerzy Jaworski, Zbigniew Palka, Jerzy Szyma«ski Matematyka dyskretna dla informatyków uzupeænienia Pozna«007
A Notacja asymptotyczna Badaj c du»e obiekty kombinatoryczne cz sto nie jest konieczne poznanie dokªadnej warto±ci okre±lonej wielko±ci (szczególnie gdy wzór dokªadny jest skomplikowany), a jedynie jej warto±ci przybli»onej, podanej prostym wzorem. Tego typu mo»liwo±ci daje notacja asymptotyczna, której po±wi cony jest ten rozdziaª. A.1. Asymptotyka bez notacji asymptotycznej. Przykªad A.1. Zbada zachowanie asymptotyczne liczb Fibonacciego. Pokaza,»e ( ) 1 F n = round 5 Φ n, gdzie round( ) oznacza zaokr glenie do najbli»szej liczby caªkowitej, Φ = 1+ 5, znana jest jako zªota liczba (oznaczana tak na cze± greckiego architekta i rze¹biarza Fidiasza, który w swoich dzieªach stosowaª zªoty podziaª). Twierdzenie A.1. (Stirling). Dla ka»dego n N zachodzi πn n n e n < n! < πn n n e n+ 1 1n. (A.1) Tabela A.1 pokazuje,»e przybli»enie Stirlinga jest do± dokªadne nawet dla maªych warto±ci n. Tablica A.1: Przybli»enia Stirlinga dla n 10 (bª d w %) n n! πn n n e n bª d πn n n e n+ 1 1n bª d 1 1 0,9 7,7863 1,00 0,74 1,919 4,0498,001 0,036 3 6 5,836,798 6,001 0,0100 4 4 3,506,0576 4,001 0,0043 5 10 118,019 1,6507 10,003 0,00 6 70 710,078 1,3780 70,009 0,0013 7 5 040 4 980,396 1,186 5 040,040 0,0008 8 40 30 39 90,395 1,0357 40 30,18 0,0005 9 36 880 359 536,873 0,913 36 881,378 0,0004 10 3 68 800 3 598 695,619 0,896 3 68 810,051 0,0003
A. Notacja asymptotyczna A.. Symbol o-du»e (O) Pierwszym rozpatrywanym symbolem asymptotycznym jest symbol O (czytaj o du»e). Przy pomocy tego symbolu mo»emy zapisywa asymptotyczne zachowanie si jednej funkcji w stosunku do asymptotycznego zachowania si drugiej. Denicja A.1. (Symbol O). Niech f, g : N R b d dwiema funkcjami. Mówimy,»e f(n) jest rz du co najwy»ej g(n) (przy n ) i zapisujemy f(n) = O (g(n)), wtedy i tylko wtedy, gdy c>0 f(n) c g(n). n>n 0 Przykªad A.. Niech f : N R b dzie funkcj tak,»e f(n) = n dla ka»dego n N. Sprawdzi które z nast puj cych wyra»e«s prawdziwe (a) f(n) = O (n), (b) f(n) = O (n ), (c) f(n) = O (n 3 ). Wyra»enie O (f(n)) = O (g(n)) oznacza,»e ka»da funkcja która jest O (f(n)) jest tak»e O (g(n)) (np. O (n ) = O (n 3 )). Uwaga. Zapis przy u»yciu symboli asymptotycznych (w szczególnym przypadku O) nie jest symetryczny. To znaczy, piszemy np. f(n) = O (n ), ale nie mo»emy zapisa O (n ) = f(n). Podobnie O (n ) = O (n 3 ) ale O (n 3 ) O (n ). Aby to sobie lepiej uzmysªowi mo»emy interpretowa O (f(n)) jako klas funkcji które s rz du co najwy»ej f(n). Przykªad A.3. Pokaza,»e dla dowolnych funkcji f, g : N R (a) f(n) = O (f(n)), (b) je»eli f(n) = O (g(n)), to f(n) = O (αg(n)) dla dowolnej staªej α 0, (c) f(n) + g(n) = O (max{ f(n), g(n) }), (d) je»eli istnieje lim, to f(n) = O (g(n)) wtedy i tylko wtedy, gdy lim <. Wªasno± (d) z poprzedniego przykªadu cz sto uªatwia sprawdzanie czy f(n) = O (g(n)), je»eli potramy wyliczy (oszacowa ) granic lim. Jednak nie zawsze ta granica istnieje, co pokazuje nast puj cy przykªad: Przykªad A.4. Poda przykªady takich funkcji f, g : N R,»e f(n) = O (g(n)), a lim nie istnieje. Przykªad A.5. Udowodni,»e log n = O ( n) i n O (log n). Przykªad A.6. Niech w : N R b dzie wielomianem danym przez w(n) = a k n k + a k 1 n k 1 + + a 1 n + a 0, gdzie a k 0. Pokaza,»e w(n) = O ( n k).
A.3. Symbol o-maªe (o) 3 Wyra»enia zawieraj ce symbole asymptotyczne mog by bardziej skomplikowane, na przykªad wyra»enie f(n) = g(n) + O (h(n)), rozumiemy jako f(n) g(n) = O (h(n)). Przykªad A.7. Pokaza,»e (n + 1) 3 = n 3 + O (n ). Przykªad A.8. Znale¹ bª d w nast puj cym rozumowaniu: Niech S(n) = 1++3+...+n. Poniewa», ka»dy skªadnik tej sumy jest n, wi c uogólniaj c Przykªad A.3(c) na sum n skªadników otrzymamy S(n) = O (max{1,,..., n}) = O (n). Zauwa»my,»e z Przykªadu 1.7 wynika,»e S(n) = 1 n 1 n, co w poª czeniu z Przykªadem A.(a) daje S(n) O (n). Przykªad A.9. Poda przykªad takich funkcji f, g : N R,»e f(n) O (g(n)) i g(n) O (f(n)). A.3. Symbol o-maªe (o) Notacj asymptotyczn o-maªe stosujemy, gdy jedna funkcja jest rz dowo (pomijalnie) mniejsza od drugiej. Denicja A.. (Symbol o). Niech f, g : N R b d dwiema funkcjami. Mówimy wówczas,»e f(n) jest rz du mniejszego ni» g(n) (przy n ) i zapisujemy f(n) = o(g(n)), je»eli c>0 f(n) < c g(n). n>n 0 Przykªad A.10. Pokaza,»e dla dowolnych funkcji f, g : N R (a) f(n) o(f(n)); (b) je»eli f(n) = o(g(n)), to f(n) = o(αg(n)) dla dowolnej staªej α 0; (c) je»eli f(n) = o(g(n)), to f(n) = O (g(n)); (d) je»eli istnieje lim, to f(n) = o(g(n)) wtedy i tylko wtedy, gdy lim = 0. Czasami u»ywa si równie» notacji ω zdeniowanej nast puj co: f(n) = ω(g(n)) wtedy i tylko wtedy, gdy g(n) = o(f(n)). Je»eli granica lim istnieje, to f(n) = ω(g(n)) wtedy i tylko wtedy, gdy lim =. A.4. Pozostaªe symbole asymptotyczne Przypomnijmy,»e symbol O oznacza rz du co najwy»ej. Istnieje równie» symbol asymptotyczny oznaczaj cy rz du co najmniej jest nim Ω. Denicja A.3. (Symbol Ω). Niech f, g : N R b d dwiema funkcjami. Mówimy wówczas,»e f(n) jest rz du co najmniej g(n) (przy n ) i zapisujemy f(n) = Ω(g(n)), wtedy i tylko wtedy, gdy c>0 f(n) c g(n). n>n 0
4 A. Notacja asymptotyczna Zwró my uwag,»e f(n) = Ω(g(n)) wtedy i tylko wtedy, gdy g(n) = O (f(n)). Kolejny symbol asymptotyczny Θ odpowiada sformuªowaniu jest tego samego rz du. Denicja A.4. (Symbol Θ). Niech f, g : N R b d dwiema funkcjami. Mówimy wówczas,»e f(n) jest tego samego rz du co g(n) (przy n ) i zapisujemy f(n) = Θ(g(n)), je»eli c 1,c >0 c 1 g(n) f(n) c g(n). n>n 0 Zwró my uwag,»e f(n) = Θ(g(n)) wtedy i tylko wtedy, gdy f(n) = O (g(n)) i f(n) = Ω(g(n)). Przykªad A.11. Udowodni,»e log n! = Θ(n log n), gdzie wszystkie logarytmy s o podstawie a > 1. Denicja A.5. (Symbol ). Niech f, g : N R + b d dwiema funkcjami. Mówimy wówczas,»e f(n) jest asymptotycznie równe g(n) (przy n ) i zapisujemy f(n) g(n), je»eli (1 ε)g(n) f(n) (1 + ε)g(n). ε>0 n>n 0 Przykªad A.1. Pokaza nast puj ce wªasno±ci symbolu (dla dowolnych funkcji f, g, h : N R + ): (a) f(n) f(n) (tj. relacja jest zwrotna); (b) je»eli f(n) g(n), g(n) f(n) (tj. relacja jest symetryczna); (c) je»eli f(n) g(n) i g(n) h(n), to f(n) h(n) (tj. relacja jest przechodnia); f(n) (d) je»eli istnieje lim, to f(n) f(n) g(n) wtedy i tylko wtedy, gdy lim = 1. Przykªad A.13. Pokaza,»e f(n) g(n) wtedy i tylko wtedy, gdy f(n) = g(n)(1+o(1)). Tabela A. podsumowuje wiadomo±ci o notacji asymptotycznej w przypadku, gdy granica lim istnieje oraz lim = g. Tablica A.: Zestawienie symboli asymptotycznych g = 0 g (0, 1) g = 1 g (1, ) g = f(n) = O (g(n)) tak tak tak tak nie f(n) = Ω(g(n)) nie tak tak tak tak f(n) = Θ(g(n)) nie tak tak tak nie f(n) g(n) nie nie tak nie nie f(n) = o(g(n)) tak nie nie nie nie f(n) = ω(g(n)) nie nie nie nie tak A.5. Twierdzenie o rekurencji uniwersalnej W analizie algorytmów cz sto mamy do czynienia z podziaªem problemu na mniejsze podproblemy, rozwi zywaniem ich i na podstawie uzyskanych wyników wyznaczaniem rozwi zania dla problemu oryginalnego (np. algorytmy typu dziel i rz d¹ ).
A.6. Zadania 5 Przykªad A.14. Zaªó»my,»e rozwi zanie problemu wielko±ci n wymaga rozwi zania dwóch problemów wielko±ci n i n a nast pnie poª czenia ich w caªo± kosztem an, gdzie a jest staª, a rozwi zanie problemu wymiaru 1 dokonywane jest kosztem staªym b. Wówczas koszt rozwi zania tego problemu t(n) speªnia nast puj ce równanie rekurencyjne: ( n ( n ) t(n) = t + t + an, t(1) = b. Spróbuj rozwi za to równanie. Twierdzenie A.. (O rekurencji uniwersalnej). Dla a 0, b > 0, n N oraz f : N R + niech { at( n) + f(n), dla n b, t(n) = b Θ(1), dla n = 1,,..., b 1. Wówczas je»eli f(n) = O ( n log b a ε) (ε > 0), to t(n) = Θ(n log a b ); je»eli f(n) = Θ(n log b a ), to t(n) = Θ(n log a b log n); je»eli f(n) = O ( n log a+ε) b i af( n ) cf(n) (ε > 0 i 0 < c < 1), to t(n) = Θ(f(n)). b Twierdzenie o rekurencji uniwersalnej mo»emy stosowa jedynie, je»eli algorytm dzieli zadanie na pewn liczb równych cz ±ci. W ogólnym przypadku najsilniejszym narz dziem do badania zªo»ono±ci algorytmów typu dziel i rz d¹ jest twierdzenie Akra i Bazzi: Twierdzenie A.3. (Akra-Bazzi). Dla ustalonego k N, niech a i 0, b i ( (0, 1) ) b d staªymi dla i = 1,,..., k, f : N R +, f (x) = O (x c ) (c staªe) i h i (n) = O Wówczas k a t(n) = i t(b i n + h i (n)) + f(n), dla n n 0, i=1 Θ(1), dla n = 1,,..., n 0 1. gdzie p zdeniowane jest równo±ci ( n )) t(n) = Θ (n p f(x) 1 + dx, 1 xp+1 k i=1 a i b p i = 1. n log n A.6. Zadania Zadanie A.1. Sprawd¹, które z nast puj cych wyra»enia s poprawne: (a) n+1 = O ( n ), (b) (n + 1)! = O (n!), (c) dla dowolnej funkcji f : N R, f(n) = O (n) (f(n)) = O (n ), (c) dla dowolnej funkcji f : N R, f(n) = O (n) f(n) = O ( n ).
6 A. Notacja asymptotyczna Zadanie A.. Udowodnij,»e relacja O jest przechodnia, to znaczy: je»eli f(n) = O (g(n)) i g(n) = O (h(n)), to f(n) = O (h(n)). Zadanie A.3. Niech funkcje f 1, f, g 1, g b d dodatnie (tj. f 1, f, g 1, g : N R + ) i niech oznacza jedn z operacji arytmetycznych: +,,, /. Pokaza,»e zdanie: Je»eli f 1 (n) = O (g 1 (n)) oraz f (n) = O (g (n)), to f 1 (n) f (n) = O (g 1 (n) g (n)) jest prawdziwe dla {+, } i faªszywe dla {, /}. Zadanie A.4. Uporz dkuj symbolem O (np. O ( 1 n) = O (1) = O (n) = O (n )) nast puj ce funkcje: n ln n, n1+ε, (1 + ε) n, ln n, (n + ln n) 5, gdzie 0 < ε < 1. Zadanie A.5. Pokaza,»e dla dowolnych a, b > 1, log a n = Θ(log b n). Zadanie A.6. Pokaza,»e dla dowolnego k N zachodzi(wªasno± ta zachodzi równie» dla wszystkich k rzeczywistych takich,»e k > 1) n i k = Θ(n k+1 ). i=1 Zadanie A.7. Udowodnij,»e n = o(n!) = o(n n ). Zadanie A.8. Jaki symbol asymptotyczny mo»na wstawi w miejsce X w wyra»eniu f(n) = X (g(n)), aby byªo ono prawdziwe, je»eli (a) f(n) = n i g(n) = n; (b) f(n) = n ln n i g(n) = n ln n ; (c) f(n) = (n + 1)! i g(n) = n! (d) f(n) = ( n n ) i g(n) = 4 n ; (e) f(n) = O (n) i g(n) = O ((f(n)) ). Zadanie A.9. Dla ka»dego z poni»szych zda«albo udowodnij,»e jest ono prawdziwe dla dowolnych funkcji f, g : N R, albo udowodnij,»e jest ono nieprawdziwe dla wszystkich funkcji, albo podaj przykªady funkcji dla których zdanie jest prawdziwe i przykªady funkcji dla których zdanie jest nieprawdziwe. (a) f(n) = O ((f(n) ); (b) f(n) = o(g(n)) i f(n) = Ω(g(n)); (c) f(n) O (g(n)) i g(n) O (f(n)); (d) f(n) = Ω(g(n)) i f(n) = ω(g(n)); (e) f(n) = O ( ln f(n)).
A.6. Zadania 7 Zadanie A.10. Udowodnij,»e (a) n = O (5 n ); (b) n + n = O (n); (c) n k n = O (4 n ), gdzie k N jest staª ; Zadanie A.11. Poprawi rezultat z Przykªadu A.11, dowodz c,»e ln n! n ln n. Zadanie A.1. Niech f, g : N R + b d dwiema funkcjami dodatnimi. Udowodni,»e (a) f(n) = Θ(g(n)) wtedy i tylko wtedy, gdy ln f(n) = ln g(n) + O (1); (b) je»eli f(n) = Θ(g(n)), to nie koniecznie ln f(n) = O (ln g(n)); (c) je»eli f(n) = Θ(g(n)) i g(n), to ln f(n) ln g(n). Zadanie A.13. Udowodni, korzystaj c z twierdzenia Stirlinga, nast puj cy wzór Stirlinga n! ( n ) n πn. e Zadanie A.14. Znajd¹ asymptotyczne rozwi zania równa«rekurencyjnych, wszystkie z zaªo»eniem,»e t(1) = 1: (a) t(n) = t ( n + n; (b) t(n) = t ( n + n; (c) t(n) = 3t ( n + n; (d) t(n) = t ( n 3 + t ( n + n; (e) t(n) = t ( n 3 ) + n ln n; (f) t(n) = 3t ( n 5 ) + ln n;