Podstawy Informatyki Metody dostępu do danych

Transkrypt

1 Podstawy Informatyki Metody dostępu do danych

2 Plan wykładu 1 Wprowadzenie Czym zajmuje się informatyka 2 Wprowadzenie Podstawowe problemy baz danych Struktury danych 3

3 - pochodzenie słowa Wprowadzenie Czym zajmuje się informatyka pochodzi od francuskiego słowa informatique: information (informacja) i automatique (automatyczny). Pierwsze użycie słowa zarejestrowano w 1962 roku. Pierwsza definicja (Akademia Francuska, 6 kwietnia 1967r.) Nauka o racjonalnym przetwarzaniu, szczególnie przez maszynę, automatyczną, informacji traktowanej jako nośnik wiadomości i podstawa komunikowania się w dziedzinach technicznych, ekonomicznych i społecznych.

4 w Polsce Plan wykładu Wprowadzenie Czym zajmuje się informatyka (...) uświadomienie sobie istnienia odrębnej nauki obejmującej maszyny matematyczne, maszynową technikę obliczeniową i przetwarzanie informacji, określenie jej obszaru i powiązań z innymi naukami, a także potrzeba krótkiej i jasnej nazwy jest dzisiaj w Polsce nakazem społecznym. Wydaje mi się, że najodpowiedniejszą nazwą dla tej dziedziny w języku polskim jest INFORMATYKA (...) Romuald Marczyński Sympozjum Naukowe Problemy Maszyn Matematycznych Zakopane, r.

5 na świecie Wprowadzenie Czym zajmuje się informatyka Ale... Francja informatique Niemcy Informatik Polska informatyka rosyjskie słowo informatika, oznacza informację naukowo-techniczną, amerykańskie słowo informatics jest rozumiane jako information science, czyli gromadzenie, klasyfikację, przechowywanie i rozpowszechnianie zapisanej wiedzy, Odpowiednikiem słowa informatyka jest angielskie computer science.

6 Komputer - źródłosłów Wprowadzenie Czym zajmuje się informatyka Słowo komputer pochodzi od łacińskiego computare (liczyć), w XVII wieku poprzez francuskie compter zostało przejęte przez język angielski. Odpowiedniki w języku polskim: pomoc obliczeniowa, aparat matematyczny, mózg elektronowy, maszyna matematyczna, elektroniczna maszyna obliczeniowa, elektroniczna maszyna cyfrowa, maszyna cyfrowa.

7 Pojęcie informatyki współcześnie Wprowadzenie Czym zajmuje się informatyka Informatykę można rozpatrywać jako: samodzielną dyscyplinę naukową, narzędzie wykorzystywane przez inne nauki, gałąź techniki, przemysł wytwarzający sprzęt i oprogramowanie.

8 - definicja Plan wykładu Wprowadzenie Czym zajmuje się informatyka traktowana jako nauka o komputerach, to jak chirurgia nazwana nauką o nożu. [Dawid Harel] to systematyczne badanie procesów algorytmicznych, które opisują i przetwarzają informację: ich teoria, analiza, projektowanie, efektywność, implementacja i zastosowanie. Fundamentalne pytanie brzmi: co można (efektywnie) zautomatyzować? [prof. Jan Węglarz]

9 Czym zajmuje się informatyka Wprowadzenie Czym zajmuje się informatyka zajmuje się zagadnieniami związanymi z pobieraniem, przechowywaniem, przetwarzaniem, przesyłaniem informacji. [prof. Stefan Węgrzyn] Informacja : wszystko to co zmniejsza naszą niepewność, uporządkowane dane, zinterpretowane na podstawie posiadanej wiedzy. [prof. Władysław M. Turski]

10 Plan wykładu Wprowadzenie Podstawowe problemy baz danych Struktury danych 1 Wprowadzenie Czym zajmuje się informatyka 2 Wprowadzenie Podstawowe problemy baz danych Struktury danych 3

11 Plan wykładu Wprowadzenie Podstawowe problemy baz danych Struktury danych Najwcześniejsze znane użycie terminu baza danych miało miejsce w listopadzie Baza danych - uporządkowany zbiór danych przechowywany w pamięci komputera. Przetwarzanie danych realizowane jest za pomocą programu zarządzającego (system zarządzania bazą danych). Dane reprezentowane są przez rekordy danych stanowiące uporządkowany zbiór elementów dowolnego typu umieszczony w tzw. polach, które zawierają klucz rekordu oraz jego atrybuty.

12 Modele baz danych Plan wykładu Wprowadzenie Podstawowe problemy baz danych Struktury danych Pierwsze systemy zarządzania bazami danych opracowano w latach 60-tych XXw. Charles Bachman szukał bardziej efektywnego użycia nowych urządzeń umożliwiających bezpośredni dostęp do składowanych danych. Powstały wtedy pierwsze modele baz danych: hierarchiczne jednej danej przyporządkowanych jest m innych danych bazy, sieciowe n danym przyporządkowanych jest m innych danych bazy, relacyjne (F.Codd, lata 70-te) zależności między danymi opisywane są poprzez odpowiednie klucze, obiektowe (lata 90-te).

13 Podstawowe problemy baz danych Wprowadzenie Podstawowe problemy baz danych Struktury danych 1 Problem rozmieszczenia polega na podaniu takiego algorytmu A, który na podstawie klucza K i zawartego w rekordzie R i przydzieli miejsce (adres) dla tegoż rekordu w określonej strukturze S. 2 Problem odszukania rekordu R i w strukturze S polega na ustaleniu adresu tego rekordu, na podstawie klucza K i i algorytmu A. 3 Problem wyszukania występuje, gdy na podstawie atrybutów innych niż klucz należy wyszukać odpowiedni rekord 1. 1 rozwiązanie tego problemu polega na przetestowaniu pól wszystkich rekordów i porównaniu ich zawartości z wartością zadanego atrybutu

14 Struktury danych Plan wykładu Wprowadzenie Podstawowe problemy baz danych Struktury danych Podstawowe struktury danych to: struktury stałe ich rozmiar jest niezależny od zebranych w nich elementów, ustalony z góry i niezmienny w czasie wykonywania operacji na strukturze, m.in. tablice struktury dynamicznie zmienne ich rozmiar zależy od liczby zgromadzonych w nich elementów, m.in. listy, drzewa, sieci. Rekordy w takich strukturach mają jedno lub kilka dodatkowych pól, zwanych polami łącznikowymi lub wskaźnikowymi, zwykle zawierające adresy elementów połączonych z danym rekordem.

15 Tablice Plan wykładu Wprowadzenie Podstawowe problemy baz danych Struktury danych Jest strukturą jednorodną. Składa się ze składowych tego samego typu zwanego podstawowym. Jest strukturą o dostępie swobodnym (wszystkie elementy mogą być wybrane w dowolnej kolejności i są jednakowo dostępne). Tablica jednowymiarowa o rozmiarze n oznaczana jest T[n]. Pesel Nazwisko Imię Adres Kowalska Anna Gliwice Nowak Tomasz Katowice Testowy Jan Bytom Kowalska Anna Gliwice Tablicę dwuwymiarową T[m,n] przedstawiamy jako m szeregowo ustawionych tablic o rozmiarze n.

16 Listy Plan wykładu Wprowadzenie Podstawowe problemy baz danych Struktury danych Lista liniowa zbiór, w którym każdy element ma co najwyżej jednego poprzednika lub następnika. Szczególnymi przypadkami listy liniowej są: lista cykliczna nie można tu wyróżnić początkowego ani końcowego elementu, stos dopisywanie i usuwanie elementów odbywa się z jednego końca, kolejka rekordy są dopisywane z jednego końca a usuwane z drugiego (tzn. usunięty może być tylko najwcześniej wpisany element). Lista dwukierunkowa istnieje tu dodatkowe w stosunku do listy liniowej połączenie następnik-poprzednik.

17 Drzewa, sieci Plan wykładu Wprowadzenie Podstawowe problemy baz danych Struktury danych Drzewo struktura, w której element może posiadać wiele następników, lecz tylko jednego poprzednika. Drzewo binarne liczba następników wynosi zero, jeden lub dwa. Drzewo BST (ang. Binary Search Tree) drzewo binarne, w którym lewe poddrzewo każdego węzła zawiera wyłącznie elementy o kluczach mniejszych niż klucz węzła a prawe poddrzewo zawiera wyłącznie elementy o kluczach większych. Drzewo AVL (Adelsona-Velskiego oraz Landisa) zrównoważone binarne drzewo poszukiwań (BST), w którym wysokość lewego i prawego poddrzewa każdego węzła różni się co najwyżej o jeden. Sieć struktura, w której istnieją elementy o wielu poprzednikach i wielu następnikach.

18 Przykłady drzew binarnych Wprowadzenie Podstawowe problemy baz danych Struktury danych

19 Plan wykładu 1 Wprowadzenie Czym zajmuje się informatyka 2 Wprowadzenie Podstawowe problemy baz danych Struktury danych 3

20 danego kluczem

21 danego kluczem Sposób odszukania zależy od struktury. Najprostszy przypadek gdy klucz jednocześnie adresem rekordu (indeksem) metoda adresowania bezpośredniego. Niskie zapełnienie obszaru pamięci przeznaczonego na zbiór. Problemy podczas przemieszczania zbioru w pamięci i jego rozszerzania.

22 w tablicy Założenia: N-elementowy zbiór rekordów umieszczony w N-elementowej tablicy. Przy braku dodatkowej wiedzy tablicę przeszukuje się sekwencyjnie. wyszukiwanie liniowe function Szukaj(x, T[1..N]) begin for i:=1 to N do if T[i]=x return i; return brak poszukiwanego elementu ; end W pesymistycznym przypadku lub gdy tablica nie zawiera poszukiwanego elementu koszt czasowy wynosi N.

23 Średni czas odszukania Średni czas odszukania opisuje wzór: L = gdzie: N c i p i, i=1 c i liczba prób wykonanych w celu odnalezienia i-tego rekordu, p i prawdopodobieństwo odwołania do i-tego rekordu, N wielkość (pojemność) tablicy.

24 Średni czas odszukania - wyszukiwanie liniowe Założenia: prawdopodobieństwo odwołania do każdego z rekordów jest jednakowe. L = N c i p i = i=1 N i=1 i N = N + 1 = O(N) 2

25 w tablicy Wiedząc, że N-elementowa tablica jest uporządkowana rosnąco można zastosować przeszukiwanie dychotomiczne. wyszukiwanie binarne function Szukaj(x, T[1..n]) begin l:=1;r:=n; while (l<=r) do begin m:=(l+r) div 2; if (T[m]<x) then l:=m+1 else if (T[m]>x) then r:=m-1 else return m; { ponieważ T[m]=x } end; return brak poszukiwanego elementu ; end;

26 - przykład Szukany klucz: 9 (left) l = 1 (right) r = 10 (middle) m = (1 + 10) div 2 =

27 - przykład Szukany klucz: 9 (left) l = 6 (right) r = 10 (middle) m = (6 + 10) div 2 =

28 - przykład Szukany klucz: 9 (left) l = 9 (right) r = 10 (middle) m = (9 + 10) div 2 =

29 - przykład c.d. Szukany klucz: 5 liczba prób: krok 1

30 - przykład c.d. Szukany klucz: 8 liczba prób: krok krok 2

31 - przykład c.d. Szukany klucz: 6 liczba prób: krok krok krok 3

32 - przykład c.d. Szukany klucz: 7 liczba prób: krok krok krok krok 4

33 - przykład c.d. Szukany klucz: liczba prób: krok krok krok krok 4 Powstało drzewo binarne idealnie zrównoważone.

34 Średni czas odszukania - wyszukiwanie binarne w przypadku: optymistycznym wymaga 1 próby, pesymistycznym wymaga log 2 (N + 1) prób. Średni czas odszukania rekordu: N L = c i p i = O(log 2 (N)). i=1

35 Średni czas odszukania - drzewo BST Wyszukiwanie w drzewie binarnym w przypadku: optymistycznym wymaga 1 próby, pesymistycznym wymaga N prób drzewo degeneruje się do listy, np. dla posortowanych danych. Średnio liczba prób wynosi: gdzie γ jest stałą Eulera. L = 2(log 2 (N) + γ) 3, Drzewo wyważone skraca nam drogę poszukiwań średnio o 39%.

36 Funkcja mieszająca (haszująca) Funkcja mieszająca dla danego klucza wyznacza indeks w tablicy (przekształca klucz w liczbę z zadanego zakresu). Zbiór możliwych wartości kluczy jest najczęściej znacznie większy od zbioru adresów (indeksów tablicy)!

37 Funkcja mieszająca - przykłady 1 Przekształcenie klucza do postaci liczby binarnej, np. dla klucza literowego można skorzystać z kodu ASCII. 2 W przypadku klucza binarnego: wyznaczenie reszty z dzielenia wartości liczbowej klucza przez liczbę elementów tablicy N, odrzucenie najmniej znaczących bitów (lub skrajnych bitów), podzielenie klucza binarnego na kilka części i dodanie ich do siebie, podnoszenie wartości klucza do kwadratu, a następnie pobieranie do wyniku tylko wybranych bitów.

38 z użyciem funkcji mieszającej 1 Mając zadany klucz K należy obliczyć związany z nim adres (indeks). 2 Sprawdzić, czy obiekt o kluczu K jest rzeczywiście pod adresem wyznaczonym przez funkcję h(k). Kolizja występuje gdy pod danym adresem jest inny klucz niż żądany. Wyznacza się wtedy adres alternatywny za pomocą odpowiedniego algorytmu rozwiązywania kolizji.

39 Rozwiązywanie problemu kolizji - metoda łańcuchowa Dane nie są przechowywane bezpośrednio w tablicy, lecz na liście związanej z danym indeksem tablicy. Nowy element dołącza się do końca listy. Średnia złożoność wyszukiwania jest złożonością liniowego wyszukiwania elementu na liście i zależy od współczynnika wypełnienia listy 1. Ponieważ złożoność pesymistyczna wyszukiwania wynosi O(N), czasami zamiast list stosuje się drzewa. Zaletą metody łańcuchowej jest szybkość i prostota usuwania elementów z listy. 1 stosunek liczby elementów do wielkości tablicy

40 Rozwiązywanie problemu kolizji - adresowanie otwarte Lokalizacja elementu określana jest przez dodanie do wartości funkcji mieszającej h(k) wartości funkcji przyrostu p(i). i oznacza numer próby (ile razy wstawienie się nie powiodło ze względu na kolizję), Ze względu na rodzaj funkcji przyrostu wyróżnia się różne metody adresowania otwartego, np.: szukanie liniowe, dla p(i) = i, szukanie kwadratowe, dla p(i) = i 2 ; mieszanie podwójne, dla p(i) = i h (K), gdzie h jest dodatkową funkcją mieszającą od klucza K. Wadą tej metody jest problem usuwania elementu, w sytuacji gdy w tablicy znajdują się inne, o tej samej wartości funkcji mieszającej.

41 Analiza efektywności funkcji mieszającej - założenia Wystąpienie każdego z kluczy jednakowo prawdopodobne. Tablica o rozmiarze N zawiera już n rekordów. Funkcja mieszająca przydziela wszystkie miejsca w tablicy z jednakowym prawdopodobieństwem, czyli 1/N. Algorytm rozwiązywania kolizji wybiera nie przeszukane miejsca w tablicy z równym prawdopodobieństwem.

42 Analiza efektywności funkcji mieszającej Spodziewana średnia liczba prób jaką należy wykonać aby umieścić n+1 rekord w tablicy N-elementowej: Dla n = 0 otrzymujemy E 1 = 1, bo tablica była jeszcze pusta. Dla n = 1, E 2 = 1P t (1) + 2P n (1)P t (2) = N 1 N N 1 N N 1 = N+1 N. Dla n = 2, E 3 = 1P t (1) + 2P n (1)P t (2) + 3P n (1)P n (2)P t (3) = N+1 N 1 Dla n = 3, E 4 = 1P t (1) P n (1)P n (2)P n (3)P t (4) = N+1 N 2 Ogólnie E n+1 = N + 1 N n + 1 P t (j) prawdopodobieństwo, że udało się wstawić rekord w j-tym kroku pod warunkiem, że w żadnym poprzednim się nie udało, P n (j) prawdopodobieństwo, że w j-tym kroku się nie udało wstawić rekordu pod warunkiem, że w żadnym poprzednim kroku się nie udało.

43 Analiza efektywności funkcji mieszającej Spodziewana średnia liczba prób jaką należy wykonać aby umieścić n+1 rekord w tablicy N-elementowej: Dla n = 0 otrzymujemy E 1 = 1, bo tablica była jeszcze pusta. Dla n = 1, E 2 = 1P t (1) + 2P n (1)P t (2) = N 1 N N 1 N N 1 = N+1 N. Dla n = 2, E 3 = 1P t (1) + 2P n (1)P t (2) + 3P n (1)P n (2)P t (3) = N+1 N 1 Dla n = 3, E 4 = 1P t (1) P n (1)P n (2)P n (3)P t (4) = N+1 N 2 Ogólnie E n+1 = N + 1 N n + 1 P t (j) prawdopodobieństwo, że udało się wstawić rekord w j-tym kroku pod warunkiem, że w żadnym poprzednim się nie udało, P n (j) prawdopodobieństwo, że w j-tym kroku się nie udało wstawić rekordu pod warunkiem, że w żadnym poprzednim kroku się nie udało.

44 Analiza efektywności funkcji mieszającej Spodziewana średnia liczba prób jaką należy wykonać aby umieścić n+1 rekord w tablicy N-elementowej: Dla n = 0 otrzymujemy E 1 = 1, bo tablica była jeszcze pusta. Dla n = 1, E 2 = 1P t (1) + 2P n (1)P t (2) = N 1 N N 1 N N 1 = N+1 N. Dla n = 2, E 3 = 1P t (1) + 2P n (1)P t (2) + 3P n (1)P n (2)P t (3) = N+1 N 1 Dla n = 3, E 4 = 1P t (1) P n (1)P n (2)P n (3)P t (4) = N+1 N 2 Ogólnie E n+1 = N + 1 N n + 1 P t (j) prawdopodobieństwo, że udało się wstawić rekord w j-tym kroku pod warunkiem, że w żadnym poprzednim się nie udało, P n (j) prawdopodobieństwo, że w j-tym kroku się nie udało wstawić rekordu pod warunkiem, że w żadnym poprzednim kroku się nie udało.

45 Analiza efektywności funkcji mieszającej Spodziewana średnia liczba prób jaką należy wykonać aby umieścić n+1 rekord w tablicy N-elementowej: Dla n = 0 otrzymujemy E 1 = 1, bo tablica była jeszcze pusta. Dla n = 1, E 2 = 1P t (1) + 2P n (1)P t (2) = N 1 N N 1 N N 1 = N+1 N. Dla n = 2, E 3 = 1P t (1) + 2P n (1)P t (2) + 3P n (1)P n (2)P t (3) = N+1 N 1 Dla n = 3, E 4 = 1P t (1) P n (1)P n (2)P n (3)P t (4) = N+1 N 2 Ogólnie E n+1 = N + 1 N n + 1 P t (j) prawdopodobieństwo, że udało się wstawić rekord w j-tym kroku pod warunkiem, że w żadnym poprzednim się nie udało, P n (j) prawdopodobieństwo, że w j-tym kroku się nie udało wstawić rekordu pod warunkiem, że w żadnym poprzednim kroku się nie udało.

46 Analiza efektywności funkcji mieszającej Spodziewana średnia liczba prób jaką należy wykonać aby umieścić n+1 rekord w tablicy N-elementowej: Dla n = 0 otrzymujemy E 1 = 1, bo tablica była jeszcze pusta. Dla n = 1, E 2 = 1P t (1) + 2P n (1)P t (2) = N 1 N N 1 N N 1 = N+1 N. Dla n = 2, E 3 = 1P t (1) + 2P n (1)P t (2) + 3P n (1)P n (2)P t (3) = N+1 N 1 Dla n = 3, E 4 = 1P t (1) P n (1)P n (2)P n (3)P t (4) = N+1 N 2 Ogólnie E n+1 = N + 1 N n + 1 P t (j) prawdopodobieństwo, że udało się wstawić rekord w j-tym kroku pod warunkiem, że w żadnym poprzednim się nie udało, P n (j) prawdopodobieństwo, że w j-tym kroku się nie udało wstawić rekordu pod warunkiem, że w żadnym poprzednim kroku się nie udało.

47 Wykres E n+1 dla 100-elementowej tablicy

48 Analiza efektywności funkcji mieszającej Ponieważ liczba prób przy rozmieszczaniu jest taka sama jak przy odszukiwaniu, to średnia liczba prób potrzebnych do znalezienia losowego klucza w tablicy wypełnionej M elementami: gdzie L = 1 M E n+1 = 1 M α log 2(1 α), n=1 α = M N + 1 jest ilorazem liczby zajętych i dostępnych adresów współczynnikiem wypełnienia. Gdy tablica jest pusta, to α = 0, gdy pełna α = N N+1.

49 Analiza efektywności funkcji mieszającej - wnioski Ze względu na efektywność zaleca się aby pojemność tablicy mieszająca była 10% - 20% większa od przewidywanej liczby danych.

50 Wady zastosowania funkcji mieszającej Teoretycznie wyszukiwanie elementu ma złożoność czasową O(1), ale w przypadku pesymistycznym wynosi O(N). Obliczanie wartości dobrej funkcji mieszającej może być bardzo kosztowne. Zastosowanie tablicy mieszającej dla zbyt małej liczby elementów może być wolniejsze niż zastosowanie zwykłej tablicy przeszukiwanej sekwencyjnie 1. 1 ze względu na wykorzystanie pamięci podręcznej, która przyspiesza odwołania do komórek pamięci operacyjnej gdy są one zgrupowane blisko siebie