Algorytm Quicksort. Agnieszka Miśkowiec i Tomasz Skucha

Transkrypt

1 Algorytm Quicksort Agnieszka Miśkowiec i Tomasz Skucha Akademia Górniczo-Hutnicza Wydział Elektroniki, Automatyki, Informatyki i Elektrotechniki Informatyka II Rok miskow/mownit skucha/mownit Streszczenie W referacie będziemy starali się opisać algorytm sortowania szybkiego: Quicksort, który jest prawdopodobnie najczęściej używanym spośród wszystkich algorytmów sortowania. Algorytm stanowił przedmiot wielu szczegółowych analiz matematycznych i jeśtesmy w stanie przedstawić fakty dotyczące jego działania. Analizy potwierdzily się w wielu testach empirycznych, a algorytm zyskał status preferowanego dla zagadnień z szerokiego spektrum zastosowań praktycznych. Dlatego też w naszym opracowaniu przyjrzymy się dokładniej sposobom jego efektywnego zaimplementowania. Omówimy rownież różne modyfikacje Quicksort a, które zwiększają wydajność omawianego algorytmu. Nie trzymając czytelnika dłużej w napięciu, rozpocznijmy więc naszą podróż w krainę algorytmu wartego większej uwagi, w krainę Quicksorta... 1 Wprowadzenie Podstawowa wersja algorytmu Quicksort została wynaleziona w 1960 roku przez C.A.R.Hoare a. Algorytm jest popularny, bo nietrudno go zaimplementowac, działa sprawnie na danych różnego typu i często zużywa mniej zasobów niż jakikolwiek inny algorytm. Zalety: działa w miejscu, czyli in situ (używa tylko niewielkiego stosu pomocniczego) do posortowania n elementów wymaga średnio czasu proporcjonalnego do n logn

2 ma wyjątkowo skromną pętlę wewnetrzą Wady: jest niestabilny zabiera okolo n 2 operacji w najgorszym przypadku jest wrażliwy (prosty niezauważony bląd w implementacji może powodować niewlaściwe działanie w przypadku niektórych danych) 2 Charakterystyka algorytmu Quicksort 2.1 Zasada działania Algorytm Quicksort jest metodą typu dziel i rządz (ang. divide and conquer). Bowiem jej dzialanie opiera się na dzieleniu tablicy na dwie części, które następnie sortowane są niezależnie. Warto zaznaczyć, iż początkowy porządek elementów w wejściowym zbiorze danych ma wplyw na to, jak będzie przebiegał podział. Należy wiedzieć, że to właśnie proces podziału jest sednem metody. Możemy go opisać nastepująco: dzielimy zbiór danych, wstawiając pewien element rozgraniczający na jego własciwe miejsce, zmieniając porządek danych w tablicy tak, aby elementy mniejsze od niego znalazly się z jego lewej strony, a większe - z prawej. Potem sortujemy rekurencyjnie lewą i prawą częsc tablicy. Ponieważ zawsze w wyniku procedury tworzącej podział przynajmniej jeden element trafia na właściwe miejsce, zatem takie rekurencyjne postępowanie w końcu doprowadzi do posortowania danych. Ogólna strategia podziału: 1. wybieramy element rozgraniczający (wyznaczający podział), ten który trafi na właściwe miejsce 2. przeglądamy tablicę od jej lewego końca, aż znajdziemy element większy niż rozgraniczający 3. przeglądamy tablicę od jej prawego końca, aż znajdziemy element mniejszy niż rozgraniczający 4. oba elementy, które zatrzymują przeglądanie tablicy, są na pewno nie na swoich miejscach w tablicy, więc je zamieniamy ze sobą

3 Postepując w ten sposób upewniamy się, że żaden element po lewej stronie lewego wskaźnika nie jest większy od elementu rozgraniczającego oraz żaden z prawej strony prawego wskaźnika nie jest mniejszy niż element rozgraniczający, tak jak to widzimy na poniższym rysunku: Na powyższym rysunku X oznacza wartość elementu rozgraniczającego, i jest lewym wskaźnikiem, a j-prawym. Najlepiej jest zatrzymać przeglądanie tablicy z lewej strony dla elementów większych lub równych elementowi rozgraniczającemu, a z prawej strony dla elementow mniejszych od niego lub mu równych. Kiedy wskaźniki i oraz j miną się, do zakończenia całego procesu dzielenia tablicy trzeba już tylko zamienić X ze skrajnycm lewym elementem prawego podzbioru (element wskazywany przez lewy wskaźnik). Wewnętrzna pętla sortowania szybkiego zwiększa wskaźnik i porównuje element tablicy z ustaloną wartością. To własnie ta prostota sprawia,że quicksort jest tak szybki: trudno o prostrzą pętlę wewnętrzną algorytmu sortowania. Zilustrujmy to prostym przykładem: W zbiorze wybieramy jeden z elementów na element środkowy Pozostałe elementy umieszczamy odpowiednio po lewej stronie wybranego elementu, jeśli są od niego mniejsze lub równe lub po prawej stronie, jeśli są od niego większe. Otrzymujemy w ten sposób dwa

4 przedzialy A i B Te same operacje wykonujemy w każdym przedziale. Odpowiada to rekurencyjnemu wywołaniu algorytmu dla każdego z nich Po przeniesieniu elementów na odpowiednie strony pozostanie tylko jednen przedzial dwuelementowy B2, który może jeszcze być nieposortowany. Pozostałe przedzialy A1, A2, B1 są jednoelementowe i nie sortujemy ich dalej Wybieramy element środkowy - liczba 8 Podział daje przedzial jednoelementowy zawierający liczbę 9. Zatem algorytm kończymy, zbiór został uporządkowany 3 Implementacje algorytmu Quicksort Poniżej przedstawiono implementację algorytmu sortowania szybkiego w języku Pascal. 3.1 Wersja rekurencyjna PROCEDURE QUICKSORT;

5 procedure sort(l,p: index); var i,j: index; x,w: object; BEGIN i:=l, j:=p; x:= a[(l+p) div 2]; repeat while (a[i].key < x.key) do i:= i+1; while (x.key < a[j].key) do j:= j-1; if i<=j then begin w:=a[i]; a[i]:=a[j]; a[j]:=w; i:= i+1; j:= j-1 end until i>j; if (l<j) then sort(l,j); if (i<p) then sort(i,p) END; begin sort(1,n) end {QUICKSORT}. 3.2 Wersja iteracyjna PROCEDURE _QUICKSORT; const m=12; var j,j,l,p: index; x,w: object; s: 0..m; stack: array[1..m] of record l,p: index end; BEGIN s:=1; stack[1].l:= 1; stack[1].p:= n; repeat {weź rządanie z wierzchołka stosu}

6 l:= stack[s].l; p:= stack[s].p; s:= s-1; repeat {dziel a[l]..a[p]} i:= l; j:= p; x:= a[(l+p) div 2]; repeat while (a[i].key < x.key) do i:= i+1; while (x.key < a[j].key) do j:= j-1; if (i<=j) then begin w:=a[i]; a[i]:=a[j]; a[j]:=w; i:= i+1; j:= j-1; end until (i>j); if (i<p) then begin {żądanie posortowania prawej części} s:= s+1; stack[s].l:= i; stack[s].p:= p; end; p:=j until (l>=p) until (s=0) END {_QUICKSORT} 4 Złożoność algorytmu Quicksort Zarówno czas działania algorytmu sortowania szybkiego jak również zapotrzebowanie na pamięć są uzależnione od postaci tablicy wejściowej. Od tego zależy, czy podziały dokonywane w algorytmie są zrównoważone, czy też nie, a to z kolei zależy od wybranego klucza podziału. W przypadku, gdy podziały są zrównoważone, algorytm

7 jest równie szybki jak np. sortowanie przez scalanie. Gdy natomiast podziały są niezrównoważone, sortowanie może przebiegać asymptotycznie tak wolno, jak sortowanie przez wstawianie. Złożoność algorytmu Quicksort możemy rozpatrywać analizując trzy możliwości: 4.1 Przypadek optymistyczny Z wersją optymistyczną mamy do czynienia, gdy za każdym razem jako klucz podziału wybrana zostaje mediana z sortowanego aktualnie fragmentu tablicy, czyli gdy każdy podział daje równe podzbiory danych. Wówczas liczba porównań niezbędnych do uporządkowania n-elementowgo fragmentu jest rzędu: T (n) = O(n log n) Jest to związane z tym, że równanie rekurencyjne opisujące czas działąnia wygląda natępująco: T (n) = 2T ( n 2 ) + O(n) i na podstawie twierdzenia o rekurencji uniwersalnej otrzymujemy rozwiązanie (1) Jednocześnie złożoność pamięciowa jest w tym przypadku rzędu: M(n) = O(log n) 4.2 Przypadek pesymistyczny Pomimo wielu zalet, wersja podstawowa omawianego algorytmu w pewnych przypadkach okazuje się być nieefektywną. Jednym z nich jest sytuacja, w której dane wejściowe są już posortowane, lub

8 gdy są uporządkowane w odwrotnej kolejności. W przypadku pesymistycznym, objawiającym się każdorazowym wyborem elementu najmniejszego, bądź największego w sortowanym fragmencie tablicy, złożność obliczeniową przyjmuje postać: T (n) = O( n2 2 ) Wynika to stąd, że liczba wymaganych porównań przeprowadzanych dla tablicy o uporządkowanych danych wejściowych wynosi: n + (n 1) + (n 2) = (n + 1)n 2 Natomiast równanie rekurencyjne wygląda następująco: n n T (n) = T (n 1) + O(n) = O(k) = O( k) = O(n 2 ) k=1 k=1 W tym przypadku otrzymujemy liniową złożoność pamięciową: M(n) = O(n) 4.3 Przypadek przeciętny Średni czas działania algorytmu jest bliski najlepszemu przypadkowi. Quicksort W wielu sytuacjach podziały przeciętnie wypadają w połowie. Dla tak równomiernego rozkładu prawdopodobieństwa wyboru elementu, względem którego dokonujemy podziału, algorytm sortowania szybkiego wymaga czasu działania: T (n) = O(2n ln n) Wzór rekurencyjny dla liczby porównań przeprowadzanych w algorytmie sortowania szybkiego dla n losowo ułożonych elementów jest postaci:

9 { n nk=1 (T (k 1) + T (n k)) dla n 2 T (n) = n 0 dla 0 n 1 Ponieważ T(0) + T(1) T(n-1) jest dokłądnie tym samym, co T(n-1) T(1) + T(0) można napisac: T (n) = n n T (n 1) n k=1 Eliminujemy sumę mnożąc obie strony przez n i odejmując powyższy wzór dla n -1: nt (n) (n 1)T (n 1) = n(n + 1) (n 1)n + 2T (n 1) co jest równe: nt (n) = (n + 1)T (n 1) + 2n Następnie dzielimy obie strony przez n(n + 1) i sprowadzamy do postaci rekurencyjnej: T (n) n + 1 = T (n 1) n + 2 n + 1 =... = T (2) 3 + n k=3 2 k + 1 Ten wynik odpowaida sumie, którą można przybliżyć całką: T (n) n n k=1 1 n k dx = 2 ln n x co po przemnożeniu obu stron przez n+1 daje w rezultacie: T (n) 2(n + 1) ln n 2n ln n Biorąc pod uwage fakt, iż 2n ln n w przybliżeniu równe jest 1, 39n log n możemy stwierdzić, że średnia liczba porównań jest około 39 procent większa w stosunku do liczby porównań dla przypadku optymistycznego.

10 5 Usprawnienia algorytmu 5.1 Mediana z trzech W pewnych szczególnych przypadkach, jak na przykład sortowanie posortowanej już tablicy, najprostsza metoda podziału, bazująca na wyborze skrajnego lewego, bądź prawego elementu jak klucza podziału, okazuje się byc wyjątkowo nieefektywną, dającą złożoność kwadratową. W celu zapobiegnięcia takiej sytuacji stosuje się zmienioną postać wyboru elementu, względem którego dokonujemy podziału, polegającą na wyborze tzw. mediany z trzech. Pomysł realizuje się poprzez wstępny wybór trzech elementów z rozpatrywanego fragmentu tablicy oraz użycie jako klucza podziału tego, którego watrość leży pomiędzy wartościami dwu pozostałych elementów. Jest to spowodowane tym, że taki element rozgraniczający podzieli zbiór danych w pobliżu środka. Użycie metody mediany z trzech drastycznie zmniejsza prawdopodobieństwo wystąpienia najgorszego przypadku, eliminuje konieczność stosowania wartowników przy podziałach, redukuje sumaryczny, średni czas działania algorytmu o około 5 %. 5.2 Sortowanie krótkich fragmentów innymi metodami Usprawnienie przy użyciu innych metod sortowania opiera się na spostrzeżeniu, że około połowa wszystkich rekurencyjnych wywołań związanych jest z fragmentami jednoelementowymi. Biorąc pod uwagę fakt, iż wybór elementu dzielącego w przypadku niewielkich fragmentów okazuje się być pracochłonną operacją, bardziej efektywne wydaje się być zastosowanie prostszych algorytmów - przykładowo metody sortowania przez wstawianie. Realizuje się to poprzez użycie metod prostych w momencie, gdy uzyskane fragmenty stają się dostatecznie krótkie, rzędu co najwyżej kilkunastu. Wówczas większość elementów tablicy znajduje się blisko właściwych miejsc, przez co użycie algorytmu sortowania przez wstawianie powoduje znacznie mniejszy koszt. Inna metodą, nieco bardziej efektywną niż stosowanie sortowania przez wstawianie w chwili napotkania małych podzbiorów, jest ignorowanie podczas podziału małych przedziałów. Po podziale otrzymuje się zbiór danych prawie posortowany, który następnie porządkujemy metodą sortowania przez wstawianie. Jak wykazano, pozwala to osiągnąć oszczędność czasu wykonania nawet

11 do 20 %. 5.3 Zmniejszenie rozmiaru stosu W przypadku, gdy sortowany fragment tablicy jest dzielony na część jednoelementową oraz część pozostałą może się zdarzyć że dla dużego rozmiaru danych program może zakończyć się błędem z powodu braku wystarczającej ilości pamięci. Aby nie dopuścić do tego rodzaju sytuacji, przed porządkowaniem elementów następuje sprawdzenie, która z części jest dłuższa, a następnie umieszcza się na stosie tę o większej długości. Dzięki temu, na każdym poziomie wywołań algorytm obsługuje fragment będący co najwyżej połową fragmentu z poprzedniego poziomu. Zapobiega to przepełnieniu stosu w przypadku dużego rozmiaru tablicy wymagającej sortowania (gdyż zamiast głębokości O(n) bedzie miał głebokość rzędu O(log n)). 5.4 QuickerSort Wariant podstawowy szybko sortuje tablicę losowych liczb, jednak w skrajnym przypadku, gdy mamy do czynienia z tablicą n identycznych elementów, calkowity czas wykonania algorytmu wynosi O(n 2 )., gdyż każdy z n-1 przebiegów podziału tablicy używa czasu rzędu O(n), aby zająć się pojedyńczym elementem. W celu uniknięcia tego problemu w momencie, gdy funkcja zatrzymuje się na elementach o jednakowych wartościach, należy zamienić je ze sobą. Jest to rozwiązanie inne niż w przypadku stosowania wersji podstawowej, gdzie po napotkaniu jednakowych elementów, przechodzimy nad nimi, nie wykonując zamiany. Mimo, iż wykonujemy więcej operacji zamiany niż potrzeba, przekształcamy przypadek z czasem kwadratowym w przypadek, w którym algorytm wykonuje nlogn porównań. Pomysł polega na podziale sortowanych danych na trzy części: jedną dla kluczy mniejszych niż element rozgraniczający, jedną dla równych oraz jedną dla większych od niego. Przedstawione powyżej metody można łączyć ze sobą, np. połączenie wyboru mediany z trzech z zastępowaniem podstawowej procedury przez stosowanie sortowania przez wstawianie może poprawić czas działania algorytmu sortowania szybkiego w stosunku do wersji podstawoej nawet do 25 procent. Ponadto można rozważać możli-

12 wość dalszych poprawek rozpatrywanego algorytmu przez usunięcie rekurencji, zastąpieniem wywołań procedur kodem typu inline itd. Aby ograniczyć stos wymagany przez algorytm korzysta się z implementacji nierekurencyjnej. Oszczędność czasu można osiągnać poprzez zakodowanie fragmentów programu w asemblerze albo języku maszynowym. 6 Wersja rekurencyjna a wersja iteracyjna 6.1 Wersja rekurencyjna W przypadku użycia wersji rekurencyjnej, każde wywołanie procedury sortowania dla jakiejkolwiek podtablicy tablicy wejściowej powoduje konieczność odłożenia na stosie zapewnianym przez system wszystkich zmiennych lokalnych oraz parametrów wywołania danej funkcji. Przez to algorytm pochłania znaczną część zasobów komputera, tym większą, im więcej zagłęnień następuje w wyniku wywołań rekurencyjnych. W zdegenerowanych przypadkach ilość zagłębień może być rzędu O(n), natomiast w przypadku losowych danych maksymalny rozmiar stosu jest proporcjonalny do log n. 6.2 Wersja iteracyjna Korzystając z iteracyjnej wersji algorytmu sortowania szybkiego, gdzie stos jest realizowany jawnie w ciele procedury sortującej, odkładane na nim zmienne stanowią jedynie zmienne tymczasowe, w których pamiętane są informacje o podzbiorach przeznaczonych do posortowania. Za każdym razem, kiedy potrzebny jest podzbiór do przetwarzania, zdejmujemy jeden element ze stosu. Dzięki temu stos zajmuje pamięć proporcjonalną do długości tablicy, co w istotny sposób uszczupla zapotrzebowanie na pamięć. Porównując obie wersje, należy stwierdzić i przy niekorzystnym ułożeniu elementów tablicy wejściowej szybszą metodą okazuje się być wersja rekurencyjna. Jest ona również bardziej intuicyjna, gdyż to wynika z samej definicji algorytmu. Zaleta wersji iteracyjnej uwidacznia się w uniezależnieniu sposobu implementacji wywołań rekurencyjnych przez dany system operacyjny.

13 7 Probabilistyczna wersja algorytmu Zazwyczaj zakłada się, iż wszelkie permutacje elementów tablicy wejściowej są jednakowo prawdopodobne. Jednak założenie takie nie zawsze jest możliwe. Zamiast przyjmować jakieś założenia można wymusić pewien rozkład, np. przed rozpoczęciem sortowania algorytm może w sposób losowy permutować elementy tablicy, żeby sprawić, aby każda permutacja była jednakowo prawdopodobna, co uniezależnia czas działania od wstępnego uporządkowania danych wejściowych. Wersja probabilistyczna posiada tę własność, iż żadne konkretne dane wejściowe nie powodują pesymistycznego działania algorytmu, natomiast najgorszy przypadek zależy od generatora liczb losowych. Aby utworzyć wersję probabilistyczną, można np. w każdym kroku algorytmu, przed podziałem tablicy, zamienić element względem którego dokonujemy podziału z losowo wybranym elementem. Dzięki temu można oczekiwać, iż w przypadku przeciętnym podział tablicy wejściowej będzie dobrze zrównoważony. 8 Zastosowanie Quicksorta do wyznaczania mediany Mediana ze zbioru n elementów zdefiniowana jest jako element mniejszy lub równy połowie n elementów oraz większy lub równy od drugiej połowy n elementów. W celu wyznaczenia mediany z zadanego zbioru liczb można wykorzystać nieco zmodyfikowany algorytm sortowania szybkiego. Oczywiście jednym ze sposobów może być całkowite posortowanie zbioru, a następnie odczytanie środkowej wartości, jednak zdecydowanie bardziej zadawalające wyniki można osiągnąć, posługując się procesem dzielenia z algorytmu sortowania szybkiego. Wyznaczanie mediany jest szczególnym przypadkiem zagadnienia znajdowania k-tego najmniejszego elementu. Dla zadanej tablicy a algorytm polega na zastosowaniu operacji podziału z metody sortowania szybkiego dla l=1, p=n, z a[k] wybranym jako wartość dzieląca. Wartości indeksów i oraz j są wówczas takie, że: dla h < i, a[h] <= a[k]

14 dla h > j, i > j a[h] >= a[k] Jeżeli wartość dzieląca a[k] okazuje się być za mała, wówczas proces podziału musi zostać powtórzony dla elementów a[i]...a[p]. Gdy wartość jest zbyt duża, operacja dzielenia musi zostać powtórzona dla przedziału a[l]...a[j]. Natomiast gdy indeks k zawarty jest pomiędzy indeksami i oraz j, wówczas element a[k] jest szukaną wielkością. Proes dzielenia tablicy powinien być kontynuowany do chwili wystąpienia ostatniego przypadku. Jeżeli przyjmiemy założenie, iż każdy podział dzieli tablicę na pół, wówczas liczba potrzebnych porównań wynosi: n + n 2 + n = 2n tzn. jest rzędu n. Analizując przypadek wyznaczania mediany w ten właśnie sposób dochodzimy do wniosku, że do jej znalezienia wymaganych jest około (2 + 2 ln 2)n porównań. 9 Porównanie wariantów algorytmu Quicksort Porównując względne czasy działania różnych wersji algorytmu szybkiego sortowania (ze względu na sposób wyboru klucza podziału) można dojść do wniosku, iż użycie implementacji, w której jako klucz podziału stosuje się medianę z trzech czy też losowy wybór elementu rozgraniczającego, daje w pewnych sytuacjach zdecydowanie lepsze rezultaty niż korzystanie z wersji podstawowej. Szczególnie jest to widoczne, gdy dane wejściowe są posortowane, czy też posortowane w odwrotnej kolejności - co powoduje, iż wszystkie podziały stają się zdegenerowane. Podobnie, testy przeprowadzane dla wariantów ulepszających algorytm wykazują, iż poprzez zastosowanie sortowania przez wstawianie odpowiednio małych fragmentów, bądź sortowania przez wstawianie zastosowanego do całej tablicy, po uprzednim ignorowaniu

15 małych framentów, pozostawionych bez uporządkowania, czas sortowania ulega skróceniu. Efektywność algorymtu wzrasta także przy zastosowaniu wariantu z podziałem sortowanych fragmentów tablicy na trzy części, co przy istnieniu zdublowanych kluczy zdecydowanie poprawia czas działania procedury sortującej.

16 Literatura 1. Robert Sedgewick: Algorytmy w C++, Wydawnictwo RM, Warszawa Thomas H.Cormen, Charles E.Leiserson, Ronald L. RivestWprowadzenie do algorytmów, Wydawnictwa Naukowo- Techniczne, Warszawa 1997, Niklaus Wirth Algorytmy + struktury danych = programy, Wydawnictwa Naukowo-Techniczne 4. Jon Bentley Perełki oprogramowania, Wydawnictwa Naukowo- Techniczne 5. L. Banachowski, K.Diks, W.Rytter Algorytmy i struktury danych, Wydawnictwa Naukowo-Techniczne, Warszawa 1996, 2001