PROBLEMY NIEROZSTRZYGALNE

Transkrypt

1 PROBLEMY NIEROZSTRZYGALNE Zestaw 1: T Przykład - problem domina T Czy podanym zestawem kafelków można pokryć dowolny płaski obszar zachowując odpowiedniość kolorów na styku kafelków? (dysponujemy nieograniczoną liczbą kafelków w każdym z rodzajów, ale ich zestaw jest zadany) T Dla zestawu 1. - TAK T Dla zestawu 2. - NIE Zestaw 2:! M.Rawski Wstęp do Informatyki 1

2 PROBLEMY NIEROZSTRZYGALNE cd T Twierdzenie T Dla każdego algorytmu (zapisanego w dającym się efektywnie wykonać języku programowania), który byłby przeznaczony do rozstrzygania problemu domina, istnieje nieskończenie wiele dopuszczalnych zestawów danych wejściowych, dla których algorytm ten będzie działał w nieskończoność lub poda błędną odpowiedź. T Wniosek T Problem domina jest problemem nierozstrzygalnym M.Rawski Wstęp do Informatyki 2

3 PROBLEMY NIEROZSTRZYGALNE cd PROBLEMY NIEROZSTRZYGALNE (LUB NIEOBLICZALNE) W ogóle nie istnieją algorytmy PROBLEMY TRUDNO ROZWIĄZYWALNE Nie istnieją wielomianowe algorytmy PROBLEMY ŁATWO ROZWIĄZYWALNE Istnieją rozsądne (wielomianowe) algorytmy nieograniczoność liczby przypadków do sprawdzenia nie jest dostatecznym warunkiem nierozstrzygalności problemu! jeśli nierozstrzygalność się pojawia, to wynika z natury problemu i jest często sprzeczna z intuicją M.Rawski Wstęp do Informatyki 3

4 Problem węża domino T Czy dysponując skończonym zbiorem typów kafelków można połączyć dwa dane punkty nieskończonej siatki całkowitoliczbowej wężem domino? T Jeżeli postawimy problem węża domino na pewnym obszarze R, to: dla R ograniczonego problem jest oczywiście rozstrzygalny dla R będącego całą płaszczyzną problem jest rozstrzygalny dla R będącego półpłaszczyzną problem jest nierozstrzygalny X Y M.Rawski Wstęp do Informatyki 4

5 Problem stopu w algorytmie Mając jako dane wejściowe tekst poprawnego programu zapisanego w pewnym języku, sprawdzić(tzn. zbudować algorytm, który by sprawdzał), czy program zatrzyma się dla pewnych dopuszczalnych dla niego danych. T X N T Algorytm 1 T 1.dopóki X 1 wykonuj X X -2 T 2. zatrzymaj obliczenia T X N T Algorytm 2 T T 1. dopóki X 1 wykonuj: T 1.1.dla X parzystego X X / 2 T 1.2. dla X nieparzystego X 3* X zatrzymaj obliczenia algorytm zatrzymuje się dla X nieparzystych nie zatrzymuje się dla X parzystych dla wszystkich sprawdzanych liczb algorytm zatrzymywał się nie udowodniono, że zatrzymuje się dla dowolnej liczby naturalnej M.Rawski Wstęp do Informatyki 5

6 Problem stopu w algorytmie cd T np. dla X = 7 generuje ciąg wartości: 7, 22, 11, 34, 17, 52, 26, 13, 40, 20, 10, 5, 16, 8, 4, 2, 1 T program lub algorytm dopuszczalne dane R X czy program R zatrzymuje się dla danych X? czy istnieje taki program? TAK NIE T Problem stopu jest nierozstrzygalny. M.Rawski Wstęp do Informatyki 6

7 Odmiany problemu domina Czy podanym zestawem kafelków można pokryć obszar T zachowując odpowiedniość kolorów na styku kafelków? T = prostokąt C x N (tzw. problem ograniczony ze stałą szerokością) T = kwadrat N x N (tzw. problem ograniczony) T jest nieskończony (tzw. problem nieograniczony) T jest nieskończony i wskazany kafelek ma się powtórzyć nieskończenie wiele razy (tzw. problem okresowy) T Rodzaj problemu domina Status algorytmiczny ograniczony ze stałą szerokością łatwo rozwiązywalny ograniczony trudno rozwiązywalny nieograniczony nierozstrzygalny okresowy wysoce nierozstrzygalny M.Rawski Wstęp do Informatyki 7

8 Klasy problemów algorytmicznych Klasy problemów algorytmicznych WYSOCE NIEROZSTRZYGALNE NIEROZSTRZYGALNE TRUDNO ROZWIĄZYWALNE ŁATWO ROZWIĄZYWALNE PROBLEMY WYSOCE NIEROZSTRZYGALNE Nie można sprowadzić do tych, dla których nie istnieją algorytmy Teoria Praktyka PROBLEMY NIEROZSTRZYGALNE W ogóle nie istnieją algorytmy PROBLEMY TRUDNO ROZWIĄZYWALNE Nie istnieją rozsądne algorytmy PROBLEMY ŁATWO ROZWIĄZYWALNE Istnieją rozsądne (wielomianowe) algorytmy M.Rawski Wstęp do Informatyki 8

9 KOMPUTER PROSTY I UNIWERSALNY T Jak dalece można uprościć struktury danych? T Przykład tablicy dwuwymiarowej T Przykład drzewa * 45 * -3 * * 91 * 0 * 12 * * -15 * 11 * 17 N I F O R M A T Y K A I * * N * F * O * * R * M * A * T * * Y * K * A M.Rawski Wstęp do Informatyki 9

10 Linearyzacja struktur danych T Każdą strukturę danych da się zlinearyzować tzn. zapisać na jednowymiarowej taśmie # # # # T T Przyjmujemy najprostszy model pamięci: nieskończona jednowymiarowa taśma dopuszczalny zestaw symboli (alfabet), które mogą być zapisywane w komórkach taśmy pusta komórka oznaczana symbolem # M.Rawski Wstęp do Informatyki 10

11 KOMPUTER PROSTY I UNIWERSALNY T Jak dalece można uprościć struktury sterujące? T znajdowanie się procesora w określonym miejscu programu nazywamy jego stanem T przejście do innego miejsca (stanu) zależy od stanu aktualnego i od wartości pewnych jednostek danych stan aktualny symbole alfabetu a b c możliwe stany następne M.Rawski Wstęp do Informatyki 11

12 Maszyna Turinga pojedynczy symbol alfabetu STEROWANIE (diagram przejść pomiędzy stanami) głowica odczytująco -zapisująca Części składowe: skończony alfabet symboli (do zapisywania danych) # # # # nieskończona taśma skończony zbiór stanów, w których może znajdować się maszyna nieskończona taśma podzielona na komórki przechowujące pojedyncze symbole alfabetu krokowo poruszająca się głowica odcztująco-zapisująca diagram przejść miedzy stanami, który steruje głowicą tak, że zmiany następują po każdym jej zatrzymaniu stan początkowy i stany końcowe (elementy uzupełniające w diagramie przejść) M.Rawski Wstęp do Informatyki 12

13 Diagram przejść - graf skierowany T Podstawowe elementy diagramu przejść: stan (wierzchołek grafu) etykieta akcja przejście nazwa stanu a / b L T T T T T symbol alfabetu - wyzwalacz przejścia kierunek przesunięcia głowicy (L lub P) symbol alfabetu zapisywany w komórce maszyna jest deterministyczna tzn. z żadnego stanu nie wychodzi więcej niż jedno przejście z tym samym wyzwalaczem jeden ze stanów jest wyróżniony jako stan początkowy nazwa stanu stany, z których nie wychodzą żadne przejścia, nazywane są stanami końcowymi w stanie początkowym głowica jest ustawiona na pierwszej od lewej niepustej komórce taśmy nazwa stanu M.Rawski Wstęp do Informatyki 13

14 Wykrywanie polindromów T Przykład diagramu przejść dla maszyny Turinga ruch dla a # / # L test dla a a / # L b / b L a / # P b / b P a / a P b / b L a / a L # / # L # / # L zaznacz TAK NIE powrót b / # P b / b P a / a P # / # L a / a L b / # L ruch dla b # / # L test dla b # / # P M.Rawski Wstęp do Informatyki 14

15 Wykrywanie polindromów T Przykład działania maszyny Turinga # # a b b a # # # # # b b a # # # # # b b a # # # # # b b a # # M.Rawski Wstęp do Informatyki 15

16 TEZA CHURCHA-TURINGA T Maszyna Turinga: ma skończenie wiele stanów zapisuje po jednym symbolu na liniowej taśmie Co można zrobić za pomocą maszyny Turinga? Wszystko! Maszyna Turinga potrafi rozwiązać każdy efektywnie rozwiązywalny problem algorytmiczny! Teza CT M.Rawski Wstęp do Informatyki 16

17 Modele komputera uniwersalnego T Różne inne modele komputera uniwersalnego: rachunek lambda (Church) system produkcji dla symboli (Post) klasa funkcji rekurencyjnych (Kleen)... i wiele innych Wszystkie modele są równoważne w sensie klasy problemów algorytmicznych, które rozwiązują! M.Rawski Wstęp do Informatyki 17

18 Algorytm uniwersalny algorytm A T Konsekwencją tezy CT jest istnienie algorytmów uniwersalnych program P realizujący algorytm A napisany w uniwersalnym języku L 2 uniwersalny program U napisany w języku L 1 - symuluje wynik programu w języku L 2 na jego danych program P wykonaj program P na danych X wyniki (jeśli są) dane X można zbudować uniwersalną maszynę Turinga, która może symulować działanie dowolnej maszyny Turinga na dowolnych danych (trzeba opisać na taśmie zlinearyzowany diagram przejść, reprezentując każde przejście jako parę stanów z podaną etykietą przejścia) M.Rawski Wstęp do Informatyki 18

19 Algorytm uniwersalny T Rozwijając tezę CT można dojść do wniosku, że: T jeśli jakiś (szybki) komputer rozwiązuje pewien problem w czasie O(f(N)), to istnieje równoważna mu maszyna Turinga, która potrzebuje na rozwiązanie tego problemu nie więcej niż O(p(f(N))) czasu, dla pewnej ustalonej funkcji wielomianowej p T Zatem: klasa problemów obliczalnych (rozstrzygalnych) jest silna tj. niewrażliwa na zmianę modelu obliczeń lub języka zapisu algorytmu klasa problemów łatwo rozwiązywalnych P jest także silna (tzw. teza obliczania sekwencyjnego, czyli wykonywanego krok po kroku) klasa NP jest silna klasa problemów o wykładniczej złożoności czasowej jest silna klasa problemów o liniowej złożoności czasowej nie jest silna tzn. złożoność tych problemów może zależeć od przyjętego modelu obliczeń M.Rawski Wstęp do Informatyki 19

20 Klasy problemów P i NP - formalnie T Formalnie klasy problemów P i NP definiuje się w kategoriach obliczeń na maszynie Turinga: problemy z klasy P są rozwiązywalne przez zwykłe maszyny Turinga w czasie wielomianowym problemy z klasy NP są rozwiązywalne przez niedeterministyczne maszyny Turinga w czasie wielomianowym T Na mocy tezy CT wystarczyło by pokazać, że pewien problem NP-zupełny nie może być rozwiązany za pomocą maszyny Turinga w czasie krótszym niż wykładniczy, aby wykazać, że P NP. a / b P? a / b L przejście niedeterministyczne M.Rawski Wstęp do Informatyki 20

21 Obliczenia współbieżne rozwiązywanie problemu algorytmicznego za pomocą współpracujących ze sobą wielu procesorów wykorzystanie komputerów równoległych, składających się z wielu rozłącznych elementów przetwarzających modele obliczeń i przetwarzania informacji w środowiskach rozproszonych (sieci telekomunikacyjne, systemy rezerwacji biletów lotniczych, długoterminowe prognozy pogody wyznaczane równolegle w wielu centrach obliczeniowych) algorytm sekwencyjny algorytm równoległy X 3 Y 4 X 3 Y 4 2 kroki 1 krok X 3 Y X X 3 Y X M.Rawski Wstęp do Informatyki 21

22 Przykład sumowania zarobków w czasie logarytmicznym T Naturalny algorytm sekwencyjny o koszcie O(N): dodawanie N razy do sumy bieżącej T Algorytm równoległy o koszcie O(log N): krok 1 krok 2 krok log 2 N N/2 procesorów N/4 procesorów 1 procesor Σ Σ Σ Σ Σ Σ M.Rawski Wstęp do Informatyki 22

23 Obliczenia współbieżne T O szybkości algorytmów równoległych, oczywiście poza liczbą dostępnych procesorów, decydują także struktury danych i metody komunikacji! T W algorytmie sumowania N liczb: dla osiągnięcia redukcji z O(N) do O(log N) potrzebujemy N/2 procesorów mając do dyspozycji ustaloną liczbę procesorów poprawimy przetwarzanie tylko o stałą (np. 100 razy szybciej), ale nie o rząd wielkości uzyskanie poprawy rzędu wielkości wymaga rozszerzającej się równoległości tzn. liczba procesorów rośnie proporcjonalnie do N M.Rawski Wstęp do Informatyki 23

24 Sortowanie równoległe T Rozważmy sekwencyjny algorytm sortowania przez scalanie: T procedura sortuj-listę L; T jeśli L zawiera tylko jeden element, to jest posortowana; T w przeciwnym razie wykonaj co następuje: T podziel listę L na dwie połowy L 1 i L 2 ; T wywołaj sortuj-listę L 1 ; T wywołaj sortuj-listę L 2 ; T scal listy L 1 i L 2 w jedną posortowaną listę; T wróć do poziomu wywołania. T -złożoność czasowa O(N log N) M.Rawski Wstęp do Informatyki 24

25 Sortowanie równoległe T Rozważmy sekwencyjny algorytm sortowania przez scalanie: T procedura sortuj-listę L; T jeśli L zawiera tylko jeden element, to jest posortowana; T w przeciwnym razie wykonaj co następuje: T podziel listę L na dwie połowy L 1 i L 2 ; T wywołaj równocześnie równolegle-sortuj-listę L 1 i równoleglesortuj-listę L 2 ; T wróć do poziomu wywołania. M.Rawski Wstęp do Informatyki 25

26 Sortowanie równoległe -Analiza złożoności N/2 par scalanie w czasie 1 porównania N/4 par scalanie w czasie 3 porównań N/8 par scalanie w czasie 7 porównań para scalanie w czasie N - 1 porównań T zatem całkowita liczba porównań wyniesie: T ( N - 1 ) 2 N - liczba rzędu O(N) M.Rawski Wstęp do Informatyki 26

27 Złożoność iloczynowa T Złożoność iloczynowa: liczba procesorów czas złożoność rozmiaru algorytmu najlepsza złożoność iloczynowa nie będzie lepsza niż dolne ograniczenie sekwencyjnej złożoności problemu Rodzaj algorytmu Nazwa algorytmu Liczba procesorów (rozmiar) Czas (najgorszy przypadek) Iloczyn (rozmiar czas) sortowanie bąbelkowe 1 O(N 2 ) O(N 2 ) sekwencyjny sortowanie przez scalanie 1 O(N log N) O(N log N) równoległe sortowanie O(N) O(N) O(N 2 ) przez scalanie równoległy sieć sortująca parzystonieparzyście O(N (log N) 2 ) O((log N) 2 ) O(N (log N) 4 ) optymalna sieć sortująca O(N) O(log N) O(N log N) M.Rawski Wstęp do Informatyki 27

28 Co można, a czego nie T Co można, a czego nie można osiągnąć równoległością: T wiele problemów można rozwiązać szybciej niż sekwencyjnie T można niektóre problemy rozwiązywać szybciej nawet o rząd wielkości, jeśli da się zastosować rozszerzającą się równoległość T dla problemów nierozstrzygalnych nie da się skonstruować algorytmu równoległego - klasa problemów rozwiązywalnych jest niewrażliwa na dodanie równoległości T wszystkie problemy klasy NP mają rozwiązania równoległe znajdowane w czasie wielomianowym, ale T liczba procesorów potrzebnych do rozwiązania problemu NP-zupełnego w rozsądnym czasie rośnie wykładniczo T do końca nie wiadomo, czy problemy klasy NP są rzeczywiście trudno rozwiązywalne i trzeba szukać ratunku w równoległości T rzeczywiste komputery równoległe mają silne ograniczenia związane z przepustowością połączeń pomiędzy procesorami T nie wiadomo, czy można zastosować równoległość, nawet z niewielomianową liczbą procesorów, do rozwiązania w czasie wielomianowym problemu o udowodnionej sekwencyjnej złożoności wykładniczej M.Rawski Wstęp do Informatyki 28