Matematyka dyskretna dla informatyków

Transkrypt

1 UNIWERSYTET IM. ADAMA MICKIEWICZA W POZNANIU Jerzy Jaworski, Zbigniew Palka, Jerzy Szyma«ski Matematyka dyskretna dla informatyków uzupeænienia Pozna«007

2

3 A Notacja asymptotyczna Badaj c du»e obiekty kombinatoryczne cz sto nie jest konieczne poznanie dokªadnej warto±ci okre±lonej wielko±ci (szczególnie gdy wzór dokªadny jest skomplikowany), a jedynie jej warto±ci przybli»onej, podanej prostym wzorem. Tego typu mo»liwo±ci daje notacja asymptotyczna, której po±wi cony jest ten rozdziaª. A.1. Asymptotyka bez notacji asymptotycznej. Przykªad A.1. Zbada zachowanie asymptotyczne liczb Fibonacciego. Pokaza,»e ( ) 1 F n = round 5 Φ n, gdzie round( ) oznacza zaokr glenie do najbli»szej liczby caªkowitej, Φ = 1+ 5, znana jest jako zªota liczba (oznaczana tak na cze± greckiego architekta i rze¹biarza Fidiasza, który w swoich dzieªach stosowaª zªoty podziaª). Twierdzenie A.1. (Stirling). Dla ka»dego n N zachodzi πn n n e n < n! < πn n n e n+ 1 1n. (A.1) Tabela A.1 pokazuje,»e przybli»enie Stirlinga jest do± dokªadne nawet dla maªych warto±ci n. Tablica A.1: Przybli»enia Stirlinga dla n 10 (bª d w %) n n! πn n n e n bª d πn n n e n+ 1 1n bª d 1 1 0,9 7,7863 1,00 0,74 1,919 4,0498,001 0, ,836,798 6,001 0, ,506,0576 4,001 0, ,019 1, ,003 0, ,078 1, ,009 0, ,396 1, ,040 0, ,395 1, ,18 0, ,873 0, ,378 0, ,619 0, ,051 0,0003

4 A. Notacja asymptotyczna A.. Symbol o-du»e (O) Pierwszym rozpatrywanym symbolem asymptotycznym jest symbol O (czytaj o du»e). Przy pomocy tego symbolu mo»emy zapisywa asymptotyczne zachowanie si jednej funkcji w stosunku do asymptotycznego zachowania si drugiej. Denicja A.1. (Symbol O). Niech f, g : N R b d dwiema funkcjami. Mówimy,»e f(n) jest rz du co najwy»ej g(n) (przy n ) i zapisujemy f(n) = O (g(n)), wtedy i tylko wtedy, gdy c>0 f(n) c g(n). n>n 0 Przykªad A.. Niech f : N R b dzie funkcj tak,»e f(n) = n dla ka»dego n N. Sprawdzi które z nast puj cych wyra»e«s prawdziwe (a) f(n) = O (n), (b) f(n) = O (n ), (c) f(n) = O (n 3 ). Wyra»enie O (f(n)) = O (g(n)) oznacza,»e ka»da funkcja która jest O (f(n)) jest tak»e O (g(n)) (np. O (n ) = O (n 3 )). Uwaga. Zapis przy u»yciu symboli asymptotycznych (w szczególnym przypadku O) nie jest symetryczny. To znaczy, piszemy np. f(n) = O (n ), ale nie mo»emy zapisa O (n ) = f(n). Podobnie O (n ) = O (n 3 ) ale O (n 3 ) O (n ). Aby to sobie lepiej uzmysªowi mo»emy interpretowa O (f(n)) jako klas funkcji które s rz du co najwy»ej f(n). Przykªad A.3. Pokaza,»e dla dowolnych funkcji f, g : N R (a) f(n) = O (f(n)), (b) je»eli f(n) = O (g(n)), to f(n) = O (αg(n)) dla dowolnej staªej α 0, (c) f(n) + g(n) = O (max{ f(n), g(n) }), (d) je»eli istnieje lim, to f(n) = O (g(n)) wtedy i tylko wtedy, gdy lim <. Wªasno± (d) z poprzedniego przykªadu cz sto uªatwia sprawdzanie czy f(n) = O (g(n)), je»eli potramy wyliczy (oszacowa ) granic lim. Jednak nie zawsze ta granica istnieje, co pokazuje nast puj cy przykªad: Przykªad A.4. Poda przykªady takich funkcji f, g : N R,»e f(n) = O (g(n)), a lim nie istnieje. Przykªad A.5. Udowodni,»e log n = O ( n) i n O (log n). Przykªad A.6. Niech w : N R b dzie wielomianem danym przez w(n) = a k n k + a k 1 n k a 1 n + a 0, gdzie a k 0. Pokaza,»e w(n) = O ( n k).

5 A.3. Symbol o-maªe (o) 3 Wyra»enia zawieraj ce symbole asymptotyczne mog by bardziej skomplikowane, na przykªad wyra»enie f(n) = g(n) + O (h(n)), rozumiemy jako f(n) g(n) = O (h(n)). Przykªad A.7. Pokaza,»e (n + 1) 3 = n 3 + O (n ). Przykªad A.8. Znale¹ bª d w nast puj cym rozumowaniu: Niech S(n) = n. Poniewa», ka»dy skªadnik tej sumy jest n, wi c uogólniaj c Przykªad A.3(c) na sum n skªadników otrzymamy S(n) = O (max{1,,..., n}) = O (n). Zauwa»my,»e z Przykªadu 1.7 wynika,»e S(n) = 1 n 1 n, co w poª czeniu z Przykªadem A.(a) daje S(n) O (n). Przykªad A.9. Poda przykªad takich funkcji f, g : N R,»e f(n) O (g(n)) i g(n) O (f(n)). A.3. Symbol o-maªe (o) Notacj asymptotyczn o-maªe stosujemy, gdy jedna funkcja jest rz dowo (pomijalnie) mniejsza od drugiej. Denicja A.. (Symbol o). Niech f, g : N R b d dwiema funkcjami. Mówimy wówczas,»e f(n) jest rz du mniejszego ni» g(n) (przy n ) i zapisujemy f(n) = o(g(n)), je»eli c>0 f(n) < c g(n). n>n 0 Przykªad A.10. Pokaza,»e dla dowolnych funkcji f, g : N R (a) f(n) o(f(n)); (b) je»eli f(n) = o(g(n)), to f(n) = o(αg(n)) dla dowolnej staªej α 0; (c) je»eli f(n) = o(g(n)), to f(n) = O (g(n)); (d) je»eli istnieje lim, to f(n) = o(g(n)) wtedy i tylko wtedy, gdy lim = 0. Czasami u»ywa si równie» notacji ω zdeniowanej nast puj co: f(n) = ω(g(n)) wtedy i tylko wtedy, gdy g(n) = o(f(n)). Je»eli granica lim istnieje, to f(n) = ω(g(n)) wtedy i tylko wtedy, gdy lim =. A.4. Pozostaªe symbole asymptotyczne Przypomnijmy,»e symbol O oznacza rz du co najwy»ej. Istnieje równie» symbol asymptotyczny oznaczaj cy rz du co najmniej jest nim Ω. Denicja A.3. (Symbol Ω). Niech f, g : N R b d dwiema funkcjami. Mówimy wówczas,»e f(n) jest rz du co najmniej g(n) (przy n ) i zapisujemy f(n) = Ω(g(n)), wtedy i tylko wtedy, gdy c>0 f(n) c g(n). n>n 0

6 4 A. Notacja asymptotyczna Zwró my uwag,»e f(n) = Ω(g(n)) wtedy i tylko wtedy, gdy g(n) = O (f(n)). Kolejny symbol asymptotyczny Θ odpowiada sformuªowaniu jest tego samego rz du. Denicja A.4. (Symbol Θ). Niech f, g : N R b d dwiema funkcjami. Mówimy wówczas,»e f(n) jest tego samego rz du co g(n) (przy n ) i zapisujemy f(n) = Θ(g(n)), je»eli c 1,c >0 c 1 g(n) f(n) c g(n). n>n 0 Zwró my uwag,»e f(n) = Θ(g(n)) wtedy i tylko wtedy, gdy f(n) = O (g(n)) i f(n) = Ω(g(n)). Przykªad A.11. Udowodni,»e log n! = Θ(n log n), gdzie wszystkie logarytmy s o podstawie a > 1. Denicja A.5. (Symbol ). Niech f, g : N R + b d dwiema funkcjami. Mówimy wówczas,»e f(n) jest asymptotycznie równe g(n) (przy n ) i zapisujemy f(n) g(n), je»eli (1 ε)g(n) f(n) (1 + ε)g(n). ε>0 n>n 0 Przykªad A.1. Pokaza nast puj ce wªasno±ci symbolu (dla dowolnych funkcji f, g, h : N R + ): (a) f(n) f(n) (tj. relacja jest zwrotna); (b) je»eli f(n) g(n), g(n) f(n) (tj. relacja jest symetryczna); (c) je»eli f(n) g(n) i g(n) h(n), to f(n) h(n) (tj. relacja jest przechodnia); f(n) (d) je»eli istnieje lim, to f(n) f(n) g(n) wtedy i tylko wtedy, gdy lim = 1. Przykªad A.13. Pokaza,»e f(n) g(n) wtedy i tylko wtedy, gdy f(n) = g(n)(1+o(1)). Tabela A. podsumowuje wiadomo±ci o notacji asymptotycznej w przypadku, gdy granica lim istnieje oraz lim = g. Tablica A.: Zestawienie symboli asymptotycznych g = 0 g (0, 1) g = 1 g (1, ) g = f(n) = O (g(n)) tak tak tak tak nie f(n) = Ω(g(n)) nie tak tak tak tak f(n) = Θ(g(n)) nie tak tak tak nie f(n) g(n) nie nie tak nie nie f(n) = o(g(n)) tak nie nie nie nie f(n) = ω(g(n)) nie nie nie nie tak A.5. Twierdzenie o rekurencji uniwersalnej W analizie algorytmów cz sto mamy do czynienia z podziaªem problemu na mniejsze podproblemy, rozwi zywaniem ich i na podstawie uzyskanych wyników wyznaczaniem rozwi zania dla problemu oryginalnego (np. algorytmy typu dziel i rz d¹ ).

7 A.6. Zadania 5 Przykªad A.14. Zaªó»my,»e rozwi zanie problemu wielko±ci n wymaga rozwi zania dwóch problemów wielko±ci n i n a nast pnie poª czenia ich w caªo± kosztem an, gdzie a jest staª, a rozwi zanie problemu wymiaru 1 dokonywane jest kosztem staªym b. Wówczas koszt rozwi zania tego problemu t(n) speªnia nast puj ce równanie rekurencyjne: ( n ( n ) t(n) = t + t + an, t(1) = b. Spróbuj rozwi za to równanie. Twierdzenie A.. (O rekurencji uniwersalnej). Dla a 0, b > 0, n N oraz f : N R + niech { at( n) + f(n), dla n b, t(n) = b Θ(1), dla n = 1,,..., b 1. Wówczas je»eli f(n) = O ( n log b a ε) (ε > 0), to t(n) = Θ(n log a b ); je»eli f(n) = Θ(n log b a ), to t(n) = Θ(n log a b log n); je»eli f(n) = O ( n log a+ε) b i af( n ) cf(n) (ε > 0 i 0 < c < 1), to t(n) = Θ(f(n)). b Twierdzenie o rekurencji uniwersalnej mo»emy stosowa jedynie, je»eli algorytm dzieli zadanie na pewn liczb równych cz ±ci. W ogólnym przypadku najsilniejszym narz dziem do badania zªo»ono±ci algorytmów typu dziel i rz d¹ jest twierdzenie Akra i Bazzi: Twierdzenie A.3. (Akra-Bazzi). Dla ustalonego k N, niech a i 0, b i ( (0, 1) ) b d staªymi dla i = 1,,..., k, f : N R +, f (x) = O (x c ) (c staªe) i h i (n) = O Wówczas k a t(n) = i t(b i n + h i (n)) + f(n), dla n n 0, i=1 Θ(1), dla n = 1,,..., n 0 1. gdzie p zdeniowane jest równo±ci ( n )) t(n) = Θ (n p f(x) 1 + dx, 1 xp+1 k i=1 a i b p i = 1. n log n A.6. Zadania Zadanie A.1. Sprawd¹, które z nast puj cych wyra»enia s poprawne: (a) n+1 = O ( n ), (b) (n + 1)! = O (n!), (c) dla dowolnej funkcji f : N R, f(n) = O (n) (f(n)) = O (n ), (c) dla dowolnej funkcji f : N R, f(n) = O (n) f(n) = O ( n ).

8 6 A. Notacja asymptotyczna Zadanie A.. Udowodnij,»e relacja O jest przechodnia, to znaczy: je»eli f(n) = O (g(n)) i g(n) = O (h(n)), to f(n) = O (h(n)). Zadanie A.3. Niech funkcje f 1, f, g 1, g b d dodatnie (tj. f 1, f, g 1, g : N R + ) i niech oznacza jedn z operacji arytmetycznych: +,,, /. Pokaza,»e zdanie: Je»eli f 1 (n) = O (g 1 (n)) oraz f (n) = O (g (n)), to f 1 (n) f (n) = O (g 1 (n) g (n)) jest prawdziwe dla {+, } i faªszywe dla {, /}. Zadanie A.4. Uporz dkuj symbolem O (np. O ( 1 n) = O (1) = O (n) = O (n )) nast puj ce funkcje: n ln n, n1+ε, (1 + ε) n, ln n, (n + ln n) 5, gdzie 0 < ε < 1. Zadanie A.5. Pokaza,»e dla dowolnych a, b > 1, log a n = Θ(log b n). Zadanie A.6. Pokaza,»e dla dowolnego k N zachodzi(wªasno± ta zachodzi równie» dla wszystkich k rzeczywistych takich,»e k > 1) n i k = Θ(n k+1 ). i=1 Zadanie A.7. Udowodnij,»e n = o(n!) = o(n n ). Zadanie A.8. Jaki symbol asymptotyczny mo»na wstawi w miejsce X w wyra»eniu f(n) = X (g(n)), aby byªo ono prawdziwe, je»eli (a) f(n) = n i g(n) = n; (b) f(n) = n ln n i g(n) = n ln n ; (c) f(n) = (n + 1)! i g(n) = n! (d) f(n) = ( n n ) i g(n) = 4 n ; (e) f(n) = O (n) i g(n) = O ((f(n)) ). Zadanie A.9. Dla ka»dego z poni»szych zda«albo udowodnij,»e jest ono prawdziwe dla dowolnych funkcji f, g : N R, albo udowodnij,»e jest ono nieprawdziwe dla wszystkich funkcji, albo podaj przykªady funkcji dla których zdanie jest prawdziwe i przykªady funkcji dla których zdanie jest nieprawdziwe. (a) f(n) = O ((f(n) ); (b) f(n) = o(g(n)) i f(n) = Ω(g(n)); (c) f(n) O (g(n)) i g(n) O (f(n)); (d) f(n) = Ω(g(n)) i f(n) = ω(g(n)); (e) f(n) = O ( ln f(n)).

9 A.6. Zadania 7 Zadanie A.10. Udowodnij,»e (a) n = O (5 n ); (b) n + n = O (n); (c) n k n = O (4 n ), gdzie k N jest staª ; Zadanie A.11. Poprawi rezultat z Przykªadu A.11, dowodz c,»e ln n! n ln n. Zadanie A.1. Niech f, g : N R + b d dwiema funkcjami dodatnimi. Udowodni,»e (a) f(n) = Θ(g(n)) wtedy i tylko wtedy, gdy ln f(n) = ln g(n) + O (1); (b) je»eli f(n) = Θ(g(n)), to nie koniecznie ln f(n) = O (ln g(n)); (c) je»eli f(n) = Θ(g(n)) i g(n), to ln f(n) ln g(n). Zadanie A.13. Udowodni, korzystaj c z twierdzenia Stirlinga, nast puj cy wzór Stirlinga n! ( n ) n πn. e Zadanie A.14. Znajd¹ asymptotyczne rozwi zania równa«rekurencyjnych, wszystkie z zaªo»eniem,»e t(1) = 1: (a) t(n) = t ( n + n; (b) t(n) = t ( n + n; (c) t(n) = 3t ( n + n; (d) t(n) = t ( n 3 + t ( n + n; (e) t(n) = t ( n 3 ) + n ln n; (f) t(n) = 3t ( n 5 ) + ln n;