Systemy Wyszukiwania Informacji

Transkrypt

1 Systemy Wyszukiwania Informacji METODA LIST INWERSYJNYCH OPRACOWALI: Filip Kuliński

2 Adam Pokoleńczuk Sprawozdanie zawiera: Przedstawienie kartoteki wtórnej Przedstawienie kartoteki wyszukiwawczej (inwersyjne) Parametry Wyszukiwanie, te same pytania co w MLP Oszacowanie czasu wyszukiwania Modyfikacja Parametry modyfikacji Czas wyszukiwania Aktualizacja WSTĘP Metoda list inwersyjnych jest metodą, w której dla pewnej klasy pytań osiągane są bardzo krótkie czasy wyszukiwania odpowiedzi. W metodzie tej kartoteka wtórna nie różni się od kartoteki w metodzie list prostych, natomiast kartoteka wyszukiwawcza jest zakładana w specjalny sposób. Dla każdego deskryptora w systemie tworzy się listę obiektów, które posiadają w swym opisie ten deskryptor. Obiekty mają ten sam adres, jeśli posiadają identyczny opis deskryptorowy. Tworzymy listy adresów tych obiektów, które w swoim opisie zawierają deskryptor d i t x. Takie listy nazywamy listami inwersyjnymi. Utworzony zbiór list adresów obiektów stanowi kartotekę wyszukiwawczą.

3

4 Dany mamy system informacyjny S=<X,A,V,> X = {1..20} A = {Film, Reżyser, Rok produkcji, Gatunek, Produkcja, Czas trwania} V film = {Kubuś i Hefalumpy, Cannibal Holocaust, Forrest Gump, Martwica Mózgu, Lot nad Kukułczym Gniazdem, Zapach Kobiety, Łowca Jeleni, Ojciec Chrzestny, Obywatel Kane, Shrek, Dzień Świra, Requiem dla Snu, Jaja w Tropikach, Król Lew, Nagi Instynkt, Sokół Maltański, Władca Pierścieni: Dwie Wieże, Mechaniczna Pomarańcza, Wściekłe Pięści Węża, Psy} V reżyser = {Frank Nissen, Ruggero Deodato, Robert Zameckis, Peter Jackson, Milos Forman, Martin Brest, Michael Cimino, Francis Ford Coppola, Orson Welles, Andrew Adamson, Marek Kotarski, Darren Aronofsky, Ben Striller, Rob Minkoff, Paul Verhoeven, John Huston, Stanley Kubrick, Bartosz Walaszek, Władysław Pasikowski} V Rok produkcji = {1941, 1971, 1972, 1975, 1978, 1980, 1992, 1994, 2000, 2001, 2002, 2005, 2006, 2008} V gatunek = {Animacja, Horror, Dramat, Komedia, Thriller, Kryminał, Fantasy, Sensacyjny} V produkcja = {USA, Włochy, Nowa Zelandia, Francja, Polska} V Czas trwania = {krótki < 90 min <= średni < 120 min <= długi} Kartoteka wtórna: X Film Reżyser Rok produkcji Gatunek Produkcja Czas trwania 1 1 Kubuś i Hefalumpy Frank Nissen 2005 Animacja USA krótki 2 2 Cannibal Holocaust Ruggero Deodato 1980 Horror Włochy średni 3 3 Forrest Gump Robert Zameckis 1994 Dramat USA długi 4 4 Martwica Mózgu Peter Jackson 1992 Horror Nowa Zelandia średni Lot nad Kukułczym 5 5 Gniazdem Milos Forman 1975 Dramat USA długi 6 6 Zapach Kobiety Martin Brest 1992 Dramat USA długi 7 7 Łowca Jeleni Michael Cimino 1978 Dramat USA długi 8 8 Ojciec Chrzestny Francis Ford Coppola 1972 Dramat USA długi 9 9 Obywatel Kane Orson Welles 1941 Dramat USA średni Shrek Andrew Adamson 2001 Animacja USA średni Dzień Świra Marek Kotarski 2002 Dramat Polska średni Requiem dla Snu Darren Aronofsky 2000 Dramat USA średni Jaja w Tropikach Ben Striller 2008 Komedia USA średni Król Lew Rob Minkoff 1994 Animacja USA krótki Nagi Instynkt Paul Verhoeven 1992 Thriller Francja długi Sokół Maltański John Huston 1941 Kryminał USA średni Władca Pierścieni: Dwie Wieże Peter Jackson 2002 Fantasy Nowa Zelandia długi Mechaniczna Pomarańcza Stanley Kubrick 1971 Dramat USA długi Wściekłe Pięści Węża Bartosz Walaszek 2006 Komedia Polska krótki Psy Władysław Pasikowski 1992 Sensacyjny Polska średni

5 Kartoteka wyszukiwawcza: 1. (Film, Kubuś i Hefalumpy)={1} 2. (Film, Cannibal Holocaust)={2} 3. (Film, Forrest Gump)={3} 4. (Film, Martwica Mózgu)={4} 5. (Film, Lot nad Kukułczym Gniazdem)={5} 6. (Film, Zapach Kobiety)={6} 7. (Film, Łowca Jeleni)={7} 8. (Film, Ojciec Chrzestny)={8} 9. (Film, Obywatel Kane)={9} 10. (Film, Shrek)={10} 11. (Film, Dzień Świra)={11} 12. (Film, Requiem dla Snu)={12} 13. (Film, Jaja w Tropikach)={13} 14. (Film, Król Lew)={14} 15. (Film, Nagi Instynkt)={15} 16. (Film, Sokół Maltański)={16} 17. (Film, Władca Pierścieni: Dwie Wieże)={17} 18. (Film, Mechaniczna Pomarańcza)={18} 19. (Film, Wściekłe Pięści Węża)={19} 20. (Film, Psy)={20} 21. (Reżyser, Frank Nissen)={1} 22. (Reżyser, Ruggero Deodato)={2} 23. (Reżyser, Robert Zameckis)={3} 24. (Reżyser, Peter Jackson)={4,17} 25. (Reżyser, Milos Forman)={5} 26. (Reżyser, Martin Brest)={6} 27. (Reżyser, Michael Cimino)={7} 28. (Reżyser, Francis Ford Coppola)={8} 29. (Reżyser, Orson Welles)={9} 30. (Reżyser, Andrew Adamson)={10} 31. (Reżyser, Marek Kotarski)={11} 32. (Reżyser, Darren Aronofsky)={12} 33. (Reżyser, Ben Striller)={13} 34. (Reżyser, Rob Minkoff)={14} 35. (Reżyser, Paul Verhoeven)={15} 36. (Reżyser, John Huston)={16} 37. (Reżyser, Stanley Kubrick)={18} 38. (Reżyser, Bartosz Walaszek)={19} 39. (Reżyser, Władysław Pasikowski)={20} 40. (Rok produkcji, 2005)={1} 41. (Rok produkcji, 1980)={2} 42. (Rok produkcji, 1994)={3,14} 43. (Rok produkcji, 1992)={4,6,15,20} 44. (Rok produkcji, 1975)={5} 45. (Rok produkcji, 1978)={7}

6 46. (Rok produkcji, 1972)={8} 47. (Rok produkcji, 1941)={9,16} 48. (Rok produkcji, 2001)={10} 49. (Rok produkcji, 2002)={11,17} 50. (Rok produkcji, 2000)={12} 51. (Rok produkcji, 2008)={13} 52. (Rok produkcji, 1971)={18} 53. (Rok produkcji, 2006)={19} 54. (Gatunek, Animacja)={1,10,14} 55. (Gatunek, Horror)={2,4} 56. (Gatunek, Dramat)={3,5,6,7,8,9,11,12,18} 57. (Gatunek, Komedia)={13,19} 58. (Gatunek, Thriller)={15} 59. (Gatunek, Kryminał)={16} 60. (Gatunek, Fantasy)={17} 61. (Gatunek, Sensacyjny)={20} 62. (Produkcja, USA)={1,3,5,6,7,8,9,10,12,13,14,16,18} 63. (Produkcja, Włochy)={2} 64. (Produkcja, Nowa Zelandia)={4,17} 65. (Produkcja, Francja)={15} 66. (Produkcja, Polska)={11,19,20} 67. (Czas trwania, krótki)={1,14,19} 68. (Czas trwania, średni)={2,4,9,10,11,12,13,16,20} 69. (Czas trwania, długi)={3,5,6,7,8,15,17,18}

7 PYTANIA Pytanie ogólne: Podaj wszystkie dramaty. t = (Gatunek,Dramat) Wybieramy spośród list inwersyjnych tą, która zawiera deskryptor pytania t. 1. Czy t (Film, Kubuś i Hefalumpy) NIE 2. Czy t (Film, Cannibal Holocaust) NIE 3. Czy t (Film, Forrest Gump) NIE 4. Czy t (Film, Martwica Mózgu) NIE 5. Czy t (Film, Lot nad Kukułczym Gniazdem) NIE 6. Czy t (Film, Zapach Kobiety) NIE 7. Czy t (Film, Łowca Jeleni) NIE 8. Czy t (Film, Ojciec Chrzestny) NIE 9. Czy t (Film, Obywatel Kane) NIE 10. Czy t (Film, Shrek) NIE 11. Czy t (Film, Dzień Świra) NIE 12. Czy t (Film, Requiem dla Snu) NIE 13. Czy t (Film, Jaja w Tropikach) NIE 14. Czy t (Film, Król Lew) NIE 15. Czy t (Film, Nagi Instynkt) NIE 16. Czy t (Film, Sokół Maltański) NIE 17. Czy t (Film, Władca Pierścieni: Dwie Wieże) NIE 18. Czy t (Film, Mechaniczna Pomarańcza) NIE 19. Czy t (Film, Wściekłe Pięści Węża) NIE 20. Czy t (Film, Psy) NIE 21. Czy t (Reżyser, Frank Nissen) NIE 22. Czy t (Reżyser, Ruggero Deodato) NIE 23. Czy t (Reżyser, Robert Zameckis) NIE 24. Czy t (Reżyser, Peter Jackson) NIE 25. Czy t (Reżyser, Milos Forman) NIE 26. Czy t (Reżyser, Martin Brest) NIE 27. Czy t (Reżyser, Michael Cimino) NIE 28. Czy t (Reżyser, Francis Ford Coppola) NIE 29. Czy t (Reżyser, Orson Welles) NIE 30. Czy t (Reżyser, Andrew Adamson) NIE 31. Czy t (Reżyser, Marek Kotarski) NIE 32. Czy t (Reżyser, Darren Aronofsky) NIE 33. Czy t (Reżyser, Ben Striller) NIE 34. Czy t (Reżyser, Rob Minkoff) NIE 35. Czy t (Reżyser, Paul Verhoeven) NIE 36. Czy t (Reżyser, John Huston) NIE 37. Czy t (Reżyser, Stanley Kubrick) NIE 38. Czy t (Reżyser, Bartosz Walaszek) NIE

8 39. Czy t (Reżyser, Władysław Pasikowski) NIE 40. Czy t (Rok produkcji, 2005) NIE 41. Czy t (Rok produkcji, 1980) NIE 42. Czy t (Rok produkcji, 1994) NIE 43. Czy t (Rok produkcji, 1992) NIE 44. Czy t (Rok produkcji, 1975) NIE 45. Czy t (Rok produkcji, 1978) NIE 46. Czy t (Rok produkcji, 1972) NIE 47. Czy t (Rok produkcji, 1941) NIE 48. Czy t (Rok produkcji, 2001) NIE 49. Czy t (Rok produkcji, 2002) NIE 50. Czy t (Rok produkcji, 2000) NIE 51. Czy t (Rok produkcji, 2008) NIE 52. Czy t (Rok produkcji, 1971) NIE 53. Czy t (Rok produkcji, 2006) NIE 54. Czy t (Gatunek, Animacja) NIE 55. Czy t (Gatunek, Horror) NIE 56. Czy t (Gatunek, Dramat) TAK 57. Czy t (Gatunek, Komedia) NIE 58. Czy t (Gatunek, Thriller) NIE 59. Czy t (Gatunek, Kryminał) NIE 60. Czy t (Gatunek, Fantasy) NIE 61. Czy t (Gatunek, Sensacyjny) NIE 62. Czy t (Produkcja, USA) NIE 63. Czy t (Produkcja, Włochy) NIE 64. Czy t (Produkcja, Nowa Zelandia) NIE 65. Czy t (Produkcja, Francja) NIE 66. Czy t (Produkcja, Polska) NIE 67. Czy t (Czas trwania, krótki) NIE 68. Czy t (Czas trwania, średni) NIE 69. Czy t (Czas trwania, długi) NIE Generujemy listę inwersyjną: (Gatunek, Dramat)={3,5,6,7,8,9,11,12,18} Wyznaczamy znaczenie termu t: (t) = (Gatunek, Dramat) = {3,5,6,7,8,9,11,12,18} = {X 3,X 5,X 6,X 7,X 8,X 9,X 11,X 12,X 18 }

9 Pytanie szczegółowe : Podaj animacje o krótkim czasie trwania, filmy reżyserii Martina Bresta. t = (Czas trwania, krótki) * (Gatunek, Animacja) + (Reżyser, Martin Brest) Zapytanie w MLI jest w postaci sumy termów składowych. Termy składowe: t1 = (Gatunek, Animacja) * (Czas trwania, krótki) t2 = (Reżyser, Martin Brest) Generujemy listę dla deskryptora (Gatunek, Animacja): (Gatunek, Animacja)={1,10,14} Szukamy listy dla deskryptora (Czas trwania, krótki): (Czas trwania, krótki)={1,14,19} Wyznaczamy znaczenie termu t 1 : (t 1 )={1,10,14}{1,14,19}={1,14}={X 1,X 14 } Wyznaczamy znaczenie termu t 2 : (Reżyser, Martin Brest)={6} (t 2 )={6}={X 6 } Wyznaczamy znaczenie termu t: (t)={t1}{t2}={1,14}{6}={1,6,14}={x 1,X 6,X 14 }

10 Redundancja: r liczba deskryptorów N liczba obiektów 20 * * R R Zajętość pamięci: r liczba deskryptorów m di średnia zajętość pamięci potrzebna na zapamiętanie jednej listy inwersyjnej Czas wyszukiwania: gi czas generowania listy inwersyjnej dla deskryptora d i p czas generowania przecięcia list Aktualizacja: Dodanie obiektu: Aby dodać obiekt musimy do każdej listy inwersyjnej w kartotece wyszukiwawczej, która zawiera odpowiedni deksryptor dodać adres nowego obieku. Musimy więc wyszukać najpierw odpowiednie listy inwetrsyjne. W przypadku, gdy nie istnieje taki deskryptor tworzymi nową listę inwersyjną. Kolejność list inwersyjnych nie ma znaczenia. Przykład: Gran Torino Clint Eastwood 2008 Dramat USA średni (Film, Kubuś i Hefalumpy)={21} (Reżyser, Clint Eastwood)={21} (Rok produkcji, 2008)={13,21} (Gatunek, Dramat)={3,5,6,7,8,9,11,12,18,21} (Produkcja, USA)={1,3,5,6,7,8,9,10,12,13,14,16,18,21} (Czas trwania, średni)={2,4,9,10,11,12,13,16,20,21} Usunięcie obiektu:

11 Aby usunąć obiekt musimy wyszukać wszystkie listy inwersyjne w odpowiadające deskryptorom obiektu i usunąć z nich adres tego obiektu. Przykład: Chcemy usunąć następujący obiekt: Nagi Instynkt Paul Verhoeven 1992 Thriller Francja długi... (Film, Nagi Instynkt)={ } (Reżyser, Paul Verhoeven)={ } (Rok produkcji, 1992)={4,6,20} (Gatunek, Thriller)={ } (Produkcja, Francja)={ } (Czas trwania, długi)={3,5,6,7,8,17,18} Jak widzimy, część list inwersyjnych zawierała adres tylko tego jednego obiektu. W zwiążku z tym usunięcie tego obiektu tak naprawde spowoduje ostatecznie usunięcie niektórych list inwersyjnych. Zmiany w opisie obiektu: Tak jak w przypadku usuwania i dodawania obiektu musimy wyszukać odpowiednie listy inwersyjne. Jeśli zmienimy jakiś deskryptor obiektu to musimy usunąć adres obieku z jednej listy i dodać go do innej. Przykład: Chcemy zmienić tytuł filmu Requiem dla Snu Darren Aronofsky 2000 Dramat USA średni... (Film, Requiem dla Snu)={ } (Film, Requiem for a dream)={15} W tej sytuacji lista inwersyjna została pusta, a utworzyliśmy nową listę z odpowiednim adresem obiektu. Podsumowanie: Głównym założeniem metody list inwersyjnych jest skrócenie czasów wyszukiwania. Wyszukiwanie polega na wyszukaniu odpowiednich list inwersyjnych i przecięciu tych list. Pojawia się redundancja. Zakładanie kartoteki wyszukiwawczej jest czasochłonne i aktualizacja jest nieco trudniejsza niż w przypadku metody list prostych. Wyszukiwanie polega na wyszukaniu odpowiednich list inwersyjnych i przecięciu tych list.

12 Modyfikacja metody list inwersyjnych Wybraliśmy modyfikację ze zmniejszoną liczbą generowanych list. Będziemy generować listy dla niepełnego zbioru deskryptorów. Polega ona na tym, że w zbiorze deskryptorów wyodrębniamy podzbiór D D. Podzbiór ten może być zbiorem deskryptorów najczęściej występujących w pytaniach zadawanych do systemu. Przy wyszukiwaniu z użyciem tej modyfikacji możliwe są 3 opcje: Wszystkie deskryptory pytania zawierają się w zbiorze D Część deskryptorów pytania zawiera się w zbiorze D Żaden z deskryptorów pytania nie zawiera się w zbiorze D W pierwszym przypadku modyfikacja ta ma największy sens i uzyskujemy przy niej największe korzyści. Przeglądamy wtedy tylko nasz zawężony zbiór, a nie całą pierdotną kartotekę wyszukiwawczą. W drugim przypadku dokonuje się najpierw odpowiedzi przybliżonej, przeszukując zbiór D, a następnie pozostałe deskryptory pytania porównuje się z deskryptorami z poza zbioru D. Trzeci przypadek ogranicza się do przeglądu zupełnego, tak jak w metodzie list prostych na kartotece wtórnej. Kartoteka wyszukiwawcza: (zbiór D ) (Reżyser, Frank Nissen)={1} (Reżyser, Ruggero Deodato)={2} (Reżyser, Robert Zameckis)={3} (Reżyser, Peter Jackson)={4,17} (Reżyser, Milos Forman)={5} (Reżyser, Martin Brest)={6} (Reżyser, Michael Cimino)={7} (Reżyser, Francis Ford Coppola)={8} (Reżyser, Orson Welles)={9} (Reżyser, Andrew Adamson)={10} (Reżyser, Marek Kotarski)={11} (Reżyser, Darren Aronofsky)={12} (Reżyser, Ben Striller)={13} (Reżyser, Rob Minkoff)={14} (Reżyser, Paul Verhoeven)={15} (Reżyser, John Huston)={16} (Reżyser, Stanley Kubrick)={18} (Reżyser, Bartosz Walaszek)={19} (Reżyser, Władysław Pasikowski)={20} (Gatunek, Animacja)={1,10,14} (Gatunek, Horror)={2,4} (Gatunek, Dramat)={3,5,6,7,8,9,11,12,18} (Gatunek, Komedia)={13,19} (Gatunek, Thriller)={15} (Gatunek, Kryminał)={16}

13 (Gatunek, Fantasy)={17} (Gatunek, Sensacyjny)={20} (Czas trwania, krótki)={1,14,19} (Czas trwania, średni)={2,4,9,10,11,12,13,16,20} (Czas trwania, długi)={3,5,6,7,8,15,17,18} WYSZUKIWANIE: Podaj wszystkie dramaty. t = (Gatunek, Dramat) Czy t (Reżyser, Frank Nissen)={1} NIE Czy t (Reżyser, Ruggero Deodato)={2} NIE Czy t (Reżyser, Robert Zameckis)={3} NIE Czy t (Reżyser, Peter Jackson)={4,17} NIE Czy t (Reżyser, Milos Forman)={5} NIE Czy t (Reżyser, Martin Brest)={6} NIE Czy t (Reżyser, Michael Cimino)={7} NIE Czy t (Reżyser, Francis Ford Coppola)={8} NIE Czy t (Reżyser, Orson Welles)={9} NIE Czy t (Reżyser, Andrew Adamson)={10} NIE Czy t (Reżyser, Marek Kotarski)={11} NIE Czy t (Reżyser, Darren Aronofsky)={12} NIE Czy t (Reżyser, Ben Striller)={13} NIE Czy t (Reżyser, Rob Minkoff)={14} NIE Czy t (Reżyser, Paul Verhoeven)={15} NIE Czy t (Reżyser, John Huston)={16} NIE Czy t (Reżyser, Stanley Kubrick)={18} NIE Czy t (Reżyser, Bartosz Walaszek)={19} NIE Czy t (Reżyser, Władysław Pasikowski)={20} NIE Czy t (Gatunek, Animacja)={1,10,14} NIE Czy t (Gatunek, Horror)={2,4} NIE Czy t (Gatunek, Dramat)={3,5,6,7,8,9,11,12,18} TAK Czy t (Gatunek, Komedia)={13,19} NIE Czy t (Gatunek, Thriller)={15} NIE Czy t (Gatunek, Kryminał)={16} NIE Czy t (Gatunek, Fantasy)={17} NIE Czy t (Gatunek, Sensacyjny)={20} NIE Czy t (Czas trwania, krótki)={1,14,19} NIE Czy t (Czas trwania, średni)={2,4,9,10,11,12,13,16,20} NIE Czy t (Czas trwania, długi)={3,5,6,7,8,15,17,18} NIE (t) = (Gatunek, Dramat) = {3,5,6,7,8,9,11,12,18} = {X 3,X 5,X 6,X 7,X 8,X 9,X 11,X 12,X 18 } Podaj animacje o krótkim czasie trwania lub filmy w reżyserii Martina Bresta.

14 t = (Czas trwania, krótki) * (Gatunek, Animacja) + (Reżyser, Martin Brest) t 1 = (Czas trwania, krótki) * (Gatunek, Animacja) t 2 = (Reżyser, Martin Brest) (Gatunek, Animacja)={1,10,14} (Czas trwania, krótki)={1,14,19} (t 1 )={1,10,14}{1,14,19}={1,14}={X 1,X 14 } (Reżyser, Martin Brest)={6} (t 2 )={6}={X6} Wyznaczamy znaczenie termu t: (t)= {t 1 }{t 2 }={1,14}{6}={1,6,14}={X 1,X 6,X 14 } Czas wyszukiwania: czas przeglądu zupełnego przybliżonej odpowiedzi W przypadku,gdy wszystkie deskryptory pytania zawierają się w zbiorze D nie mamy przeglądu zupełnego. W ten sposób ograniczamy się do przeglądu zmniejszonej liczby list inwersyjnych i tym samym przyspieszamy czas wyszukiwania. Zajętość pamięci: Liczy się ją tak jak w metodzie klasycznej. Redundancja: Zmniejszenie redundancji wynikające ze zmniejszenia liczby deskryptorów. Aktualizacja: Aktualizacje najlepiej przeprowadzić tak jak w metodzie klasycznej. Podsumowanie: Wybrana modyfikacja MLI w określonym przypadku zmniejsza czas wyszukiwania i zmniejsza redundancję. Nie daje jednak dobrych efektów, gdy zdarzy się przypadek zadawania pytań z deskryptorami z poza zbioru D. Najlepiej, gdy taki przypadek nei wystąpi. Należy mądrze dobrać zbiór D, aby uniknąć takich sytuacji i uzyskać maksymalną efektywność tej modyfikacji.