Jak trudne jest numeryczne całkowanie (O złożoności zadań ciągłych) Uniwersytet Warszawski Wydział Matematyki, Informatyki i Mechaniki leszekp@mimuw.edu.pl Horyzonty 2014 17-03-2014 Będlewo
Zadania numeryczne - przykłady Rozwiązywanie układów równań liniowych: dla danych A R n,n, deta 0, b R n, obliczyć A 1 b Interpolacja wielomianowa: dla danych wartości f (t j ) funkcji f : R R, 0 j n, obliczyć współczynniki a 0,..., a n rozwinięcia w bazie p 0,..., p n wielomianu w = n i=0 a j p j, takiego że w(t j ) = f (t j ), 0 j n Całkowanie funkcji: dla danej funkcji f : D R obliczyć (przybliżyć) całkę D f (x) dx na podstawie wartości f (t j), 1 j n
Zadania numeryczne - schemat ogólny Chcemy aproksymować wartości S(f ) odwzorowania S : F G (zadanie) gdzie F przestrzeń liniowa (dane), G unormowana (wyniki) Schemat aproksymacji: f N(f ) ϕ ( N(f ) ) N : F Y (informacja) ϕ : Y G (algorytm) S ϕ N
Błąd algorytmu (przypadek najgorszy) Błąd algorytmu ϕ korzystającego z informacji N, na klasie E F : e wor (ϕ, N) := sup S(f ) ϕ(nf )) G f E Algorytm ϕ jest optymalny dla N gdy e wor (ϕ, N) = inf ϕ ewor (ϕ, N) Twierdzenie (Promień informacji) r wor (N) := inf ϕ ewor (ϕ, N) = sup rad ( S(E N 1 y) ) y N(E) gdzie rad(a) jest promieniem Czebyszewa zbioru A S(E N 1 y) = {S(h) : h E, Nh = y}
Optymalność algorytmów liniowych dla funkcjonałów Niech zadanie S : F R będzie funkcjonałem liniowym, a N : F R n informacją liniową Twierdzenie (Smolak 1963) Jeśli klasa E F jest wypukła i zbalansowana to dla informacji N istnieje algorytm liniowy ϕ lin, który jest optymalny, e wor (ϕ lin, N) = r wor (N) Wniosek: kwadratury numeryczne Q n (f ) = n i=1 a i f (t i ) korzystające z wartości funkcji są optymalne o ile klasa funkcji podcałkowych jest wypukła i zbalansowana
Dowód Tw. Smolaka Lemat r wor (N) = sup{ Sh : h E kern} = rad ( S(E kern) ) Dowód (lematu). Dla dowolnego y N(E) mamy rad ( S(E N 1 y) ) = 1 2 diam( S(E N 1 y) ) { ( ) ( ) } f1 f 2 f1 f 2 = sup S : f 1, f 2 E, N = 0 2 2 sup{ Sh : h E, Nh = 0} = rad(s(e kern)) Z drugiej strony, r wor (N) rad(s(e kern)).
Dowód Tw. Smolaka, c.d. Niech r := r wor (N) > 0, A = {(Nf, Sf ) : f E} R n+1 A jest wypukły i zbalansowany. Przy (upraszczających) założeniach, że jest też pochłaniający i ograniczony, funkcjonał Minkowskiego u := inf{t > 0 : u/t A} definiuje normę w R n+1. Zdefiniujmy na P = {(0, g) : g R} funkcjonał ξ 1 (0, g) = g/r Ponieważ (0, g) = g /r to ξ 1 (0, g) (0, g).
Dowód Tw. Smolaka, c.d. ξ 1 można teraz rozszerzyć (Tw. Hahna-Banacha!) do funkcjonału ξ 2 na R n+1 z zachowaniem normy, tzn. (i) ξ 2 (x) = ξ 1 (x) dla x = (0, g), g R (ii) ξ 2 (x) 1 dla x R n+1 Stąd ξ 2 (y, g) = ξ 2 (0, g) + ξ 2 (y, 0) = g r + ξ 2(y, 0) 1 Przyjmując y = Nf, g = Sf, dostajemy Sf ϕ(nf ) r. ϕ(y) = r ξ 2 (y, 0)
Adaptacja nie pomaga Informacja adaptacyjna y = N ada (f ) y 1 = f (x 1 ) y 2 = f (x 2 (y 1 )) y n = f (x n (y 1, y 2,..., y n 1 )) tzn. wybór x i zależy od wartości y 1,..., y i 1 z poprzednich kroków Dla N ada definiujemy informację nieadaptacyjną N non (f ) = [f (x 1 ), f (x 2 (0)),..., f (x n (0,..., 0))] }{{} n 1
Adaptacja nie pomaga, c.d. Twierdzenie (Bachwałow 1971) Dowód. r wor (N non ) r wor (N ada ) r wor (N ada ) = sup rad({sf : f E, N ada (f ) = y}) y N ada (E) rad({sh : h E, N ada (h) = 0}) = rad({sh : h E, N non (h) = 0}) = r wor (N non ).
Całkowanie funkcji lipschitzowskich Zadanie: f F Informacja: S d (f ) = f (x) dx, [0,1] d f E E = {f : [0, 1] d R : f F 1} ( ) = max f (x) f (y) sup f (x), sup x [0,1] d x,y [0,1] d x y N n (f ) = [f (t 1 ), f (t 2 ),..., f (t n )], t j [0, 1] d ε-złożoność zadania: n wor (ε, d) = min{n : N n r wor (N n ) ε}
Całkowanie funkcji lipschitzowskich, c.d. Twierdzenie (Sucharew 1979) Jeśli ε = 1/((2 + 2/d)m) dla pewnej m to n wor (ε, d) = ( ) 1 1 d (1 + 1/d) d = 1 + o(1) ( 1 d 2ε e 2ε) Optymalną kwadraturą jest złożona kwadratura trapezów oparta na siatce jednorodnej. Jeśli, np. ε = 0.05 ale d = 20 to n wor (ε, d) 10 20 = przekleństwo wymiaru
Podatność i przekleństwo wymiaru S d : F d G d, d = 1, 2, 3,... Definicja Zadanie S d jest podatne wielomianowo gdy istnieją C, p, q, że n wor (ε, d) C d q ε p d ε (0, 1) Definicja Zadanie S d podlega przekleństwu wymiaru gdy istnieje α > 0, że n wor (ε, d) (1 + α) d dla prawie wszystkich d Wniosek: całkowanie funkcji lipschitzowskich podlega przekleństwu wymiaru
Całkowanie funkcji r-gładkich F = F d,r = { f : [0, 1] d R : f d,r := max max α r Dα f (x) 1 x [0,1] d } Twierdzenie (Bachwałow 1959) n wor (ε, d) = c r,d ( 1 ε ) d/r Wniosek: Całkowanie funkcji r-gładkich nie jest podatne wielomianowo Czy występuje przekleństwo wymiaru? TAK! = Hinrichs, Novak, Ullrich, Woźniakowski (2013)
Algorytmy randomizacyjne (Monte Carlo) Informacja i algorytm: (N, ϕ) = {(N ω, ϕ ω )} ω - zmienna losowa Błąd algorytmu randomizacyjnego: e rand (N, ϕ) = sup E ω S d (f ) ϕ ω (N ω f ) 2 f E Przykład: (klasyczne Monte Carlo) MC n (f ) = 1 n n f (t j ) j=1 t j - niezależne zmienne losowe z rozkładu jednostajnego na [0, 1] d
Algorytmy randomizacyjne (Monte Carlo), c.d. W klasie F d,r mamy e rand (MC n ) = n 1/2 Rzeczywiście, oznaczając X = MC n (f ) mamy E(X ) = S d (f ), ( 1 E n (e rand (MC n )) 2 = E(X E(X )) 2 = E(X 2 ) E 2 (X ) n i=1 ) 2 f (t i ) = 1 ( n n 2 E f 2 (t i ) + 2 i=1 i<j = 1 n S d(f 2 ) + n 1 n (S d(f )) 2 E(X 2 ) E 2 (X ) = S d(f 2 ) (S d (f )) 2 n 1 n ) f (t i )f (t j ) [0,1] d f 2 (t) dt 1 n
Algorytmy randomizacyjne (Monte Carlo), c.d. Powyższe implikuje silną wielomianową podatność n rand (ε, d) ε 2 przy czym wykładnik 2 jest optymalny Twierdzenie (Bachwałow 1959) n rand (ε, d) = c r,d ( 1 ε ) 2/(1+2r/d) Algorytm: MC n (f ) = S d (A n f ) + MC n (f A n f ) gdzie A n f jest kawałkami wielomianową aproksymacją funkcji f
Dyskrepancja i quasi-monte Carlo Definicja (Dyskrepancja) disc(t 1,..., t n ) = sup x [0,1] d Rozpatrujemy algorytmy postaci QMC n (f ) = 1 n Vol([0, x)) 1 n 1 n [0,x) (t i ) i=1 n f (t j ) j=1 gdzie t 1,..., t n są wybrane deterministycznie, dla klasy E = {f : [0, 1] d R : f (..., 1,...) = 0, f d, 1 } f d, = d f (x) x 1... x d sup x [0,1] d
Dyskrepancja i quasi-monte Carlo, c.d. Twierdzenie (Zaremba-Koksma-Hlavka) e wor (QMC n ) = disc(t 1,..., t n ) Najlepsze konstrukcje punktów t i dają disc(t 1,..., t n ) c d ln d 1 n n Twierdzenie (Heinrich, Novak, Wasilkowski, Woźniakowski 2001) Istnieją punkty ti, takie że disc(t 1,..., t n) C d 1/2 n 1/2 To daje podatność wielomianową Dowód jest niekonstruktywny(!)
Bibliografia (IBC) 1 A. Hinrichs, E. Novak, M. Ullrich, H. Woźniakowski, The curse of dimensionality for numerical integration of smooth functions, przyjęta do Math. Comp. 2013 2 E. Novak, H. Woźniakowski, Tractability of Multivariate Problems, Vol. I, II, III, EMS Tracts in Mathematics 6 2008, 12 2010, 18 2012 3 L. Plaskota, Noisy Information and Computational Complexity, Cambridge Univ. Press, Cambridge, 1996 4 K. Ritter, Average Case Analysis of Numerical Problems, Lecture Notes in Math. 1733, Springer-Verlag, Berlin, 2000 5 J.F. Traub, G.W. Wasilkowski, H. Woźniakowski, Information-Based Complexity, Academic Press, New York, 1988