Definicja Głębokiego Internetu

Wielkość: px

Rozpocząć pokaz od strony:

Download "Definicja Głębokiego Internetu"

Jolanta Jastrzębska
8 lat temu
Przeglądów:

1 Anna Zych

2 Plan prezentacji Wstęp Definicja Głębokiego Internetu Dlaczego niewidzialne dla wyszukiwarek? Co zawiera Głęboki Internet Strategie wyszukiwawcze Narzędzia wyszukiwawcze Przyszłość Niewidzialnego Internetu

Co zawiera Głęboki Internet Strategie wyszukiwawcze

3 Wprowadzenie Wyszukiwarki indeksują niewielką część zasobów Internetu Często zdarza się, że odnajdujemy to, czego potrzebujemy, ale równie często otrzymujemy ogromną ilość informacji zupełnie zbędnych Powodem tego jest, iż: ogromna część zasobów Internetu jest niewidzialna dla wyszukiwarek Niewidzialny Internet

otrzymujemy ogromną ilość informacji zupełnie zbędnych Powodem tego jest, iż:

4 Definicja Głębokiego Internetu Termin użyty po raz pierwszy w 1994 (Dr. Jill Ellsworth) na określenie stron WWW nie indeksowanych przez wyszukiwarki. Inne określenie to Ukryty Internet, a w języku angielskim Invisible Net, Invisible Web lub Deep Web.

5 Dlaczego wyszukiwarki nie wyszukują tych stron WWW? Pająki wyszukiwarek internetowych podążają po hiperłączach z jednego dokumentu HTML do drugiego indeksując w ten sposób zasoby. Techniczne i nietechniczne kwestie uniemożliwiające wyszukiwarkom indeksowanie Ukrytego Internetu: Pająki/roboty nie indeksują informacji zgromadzonych w bazach danych Koszty powstrzymują wyszukiwarki przed przeszukiwaniem częściej lub głębiej Niektóre zasoby są nietekstowe problem dla wyszukiwarek

6 Cztery formy niewidzialności Nieprzezroczysty Internet Pliki które mogą być, ale nie są uwzględniane przez indeksy wyszukiwarek z powodu: Głębokości indeksowania Częstotliwości indeksowania Niepodłączone URL

7 Cztery formy niewidzialności Prywatny Internet Strony WWW, które technicznie mogłyby być zaindeksowane, ale zostały wykluczone przez Webmasterów Chronione hasłem, zawierające Robots.txt, lub noindex znacznik meta

8 Cztery formy niewidzialności Internet o ograniczonym dostępie Strony dostępne dla zarejestrowanych użytkowników Strony dostępne za opłatą

9 Cztery formy niewidzialności Prawdziwie niewidoczny Internet Nie mogą być indeksowane z przyczyn technicznych: Pająki nie mogą zaindeksować formatów plików Dynamicznie generowane strony Dane zgromadzone w relacyjnych bazach danych

technicznych: Pająki nie mogą zaindeksować formatów

10 Zasoby Głębokiego Internetu 99% informacji znajdujących się w Internecie nie indeksowane przez wyszukiwarki ogromna część Ukrytego Internetu to dokumenty recenzowane lub takie, które zostały przygotowane pod kontrolą merytoryczną, literacką, językową i bibliograficzną Głównymi dostarczycielami tych zasobów: twórcy i sprzedawcy baz danych i innych serwisów, biblioteki, wydawcy komercyjni, uczelnie, instytucje i stowarzyszenia naukowe

merytoryczną, literacką, językową i bibliograficzną Głównymi dostarczycielami tych zasobów: twórcy i

11 Porównanie Ukrytego i Powierzchniowego Internetu Powierzchniowy Internet Ukryty Internet Miliony stron WWW Ponad 200,000 baz danych 1 billion dokumentów 550 bilionów dokumentów 19 terabajtów 7,750 terabajtów Rezultaty zawierają reklamy Rezultaty nie zawierają reklam Zawartośd nierecenzowana Zawartośd recenzowana przez ekspertów

bilionów dokumentów 19 terabajtów 7,750 terabajtów Rezultaty zawierają reklamy

12 Struktura tematyczna Deep Web Nauki humanistyczne 13,5% Wiadomości, media 12,2% Informatyka 6,9% Sztuki piękne 6,6% Biznes 5,9% Zdrowie 5,5% Ludzie 4,9% Edukacja 4,3% Praca 4,1% Nauki ścisłe 4% Styl życia 4% Prawo, polityka 3,9% Informacje ze sfery rządowej 3,9% Rekreacja i sport 3,5% Podróże 3,4% Zakupy 3,2% Technika 3,1% Rolnictwo 2,7%.

4,3% Praca 4,1% Nauki ścisłe 4% Styl życia 4% Prawo, polityka 3,9% Informacje ze

13 Badania BrightPlanet Typy informacji w Głębokim Internecie według BrightPlanet: Tematyczne bazy danych = 54% Strony wewnętrzne = 13% Publikacje = 11% Zakupy / Aukcje= 5% Ogłoszenia tematyczne = 5% Portale = 3% Katalogi bibliotek = 2% Yellow & White Pages = 2% Kalkulatory = 2% Praca = 1% Czaty= 1% Ogółem wyszukiwanie= 1%

Aukcje= 5% Ogłoszenia tematyczne = 5% Portale = 3% Katalogi bibliotek = 2%

14 Strategie wyszukiwawcze ON THE WEB -powszechnie wykorzystywana, korzystanie z jednej popularnej wyszukiwarki internetowej i prostych zapytań. Dobre do wyszukiwania popularnych serwisów WWW, przeszukiwania słowników i encyklopedii, dokumentów HTML - dają miliony odpowiedzi. VIA THE WEB - korzystanie z różnych narzędzi wyszukiwawczych, dostosowanych do potrzeb i oczekiwań użytkowników. Poszukiwania wielowarstwowe, wieloetapowe.

Dobre do wyszukiwania popularnych serwisów WWW, przeszukiwania słowników i encyklopedii, dokumentów HTML -

15 Narzędzia wyszukiwawcze Wyszukiwarki dedykowane, Narzędzia tematyczne, Serwisy typu Subject Gateways, Serwisy poświęcone zasobom Ukrytego Internetu, Wyszukiwarki i katalogi naukowe, Specjalistyczne wyszukiwarki baz danych Wyszukiwarki głębokiego Internetu

zasobom Ukrytego Internetu, Wyszukiwarki i katalogi naukowe,

16 Wyszukiwarki dedykowane Służą do poszukiwań sprecyzowanych typów zasobów (np. plików graficznych, video). Wyszukiwarki grafiki:

17 Wyszukiwarki dedykowane (Wyszukiwarki wiadomości) infoo.pl news.search.yahoo.com news.google.com

18 Wyszukiwarki dedykowane (Wyszukiwarki video) o/default video.google.com video.aol.com/ video.search.yahoo.com

19 Narzędzia tematyczne Wykorzystywane do poszukiwań sprecyzowanych typów informacji Wyszukiwarki specjalne - np. norm, aktów prawnych

20 Narzędzia tematyczne (Katalogi prasowe) katalog.czasopism.pl

21 Narzędzia tematyczne (Bazy informacji branżowej)

22 Serwisy typu Subject Gateways Serwisy online i strony WWW będące dziedzinowymi katalogami źródeł internetowych. Zasoby są selekcjonowane, oceniane, opisywane i katalogowane przez bibliotekarzy lub ekspertów z danej dziedziny. Najczęściej źródła obejmują dziedziny związane z obszarami zainteresowań akademickich.

23 Subject Gateways lii.org Obszerniejszy wykaz dostępny jest na stronie: ebib.oss.wroc.pl/2004/ 57/wykaz.php

24 Serwisy poświęcone zasobom Ukrytego Internetu DIRECT SEARCH Serwis autorstwa Gary ego Price a - bibliotekarza amerykańskiego zajmującego się porządkowaniem informacji w Internecie, wyszukiwaniem jej oraz zjawiskiem Ukrytego Internetu. stale rosnący zbiór odsyłaczy do serwisów i narzędzi wyszukiwawczych Na stronie interfejs wyszukiwawczy oraz ogromny zbiór zasobów elektronicznych.

25 Serwisy poświęcone zasobom Ukrytego Internetu (Direct Search)

26 Serwisy poświęcone zasobom Ukrytego Internetu CompletePlanet - Serwis indeksuje ponad 70,000 baz danych oraz specjalistycznych wyszukiwarek internetowych

27 Serwisy poświęcone zasobom Ukrytego Internetu deepwebresearch.blogspot.com/ zbiór odnośników do artykułów, narzędzi i źródeł informacji o głębokim Internecie.

28 Wyszukiwarki i katalogi naukowe scholar.google.com

29 Wyszukiwarki i katalogi naukowe bubl.ac.uk

30 Wyszukiwarki i katalogi naukowe citeseer.ist.psu.edu

31 Copernic Agent Zaawansowane narzędzie wyszukiwawcze dostęp do ponad 1000 źródeł informacji w Internecie. oferuje różne możliwości zarządzania wynikami. Automatyczne śledzenie zmian w sieci.

32 Specjalistyczne wyszukiwarki baz danych katalog tematyczny wyszukiwarek specjalistycznych i baz danych.

33 Specjalistyczne wyszukiwarki baz danych Bezpłatny serwis przeszukujący jednocześnie 30 baz danych i innych serwisów z zakresu inżynierii, matematyki i informatyki.

34 Wyszukiwarki głębokiego Internetu Multiwyszukiwarka zasobów głębokich i płytkich. Wyszukuje w Open Directory Project, kilku ogólnych wyszukiwarkach i ponad milionie portali tematycznych.

35 Wyszukiwarki głębokiego Internetu turbo10.com Multiwyszukiwarka przeszukująca standardowo indeksy: about.com, ask.com, dmoz.org, mirago.co.uk, search.msn.com, webfinder.com, wisenut.com, yahoo.com, yell.com. Możliwość dodania dowolnej wyszukiwarki (w tym deep web) z listy ok. 800, w tym Scirus i innych opcja Edit My Collections.

36 Przyszłośd Głębokiego Internetu Czy tradycyjne wyszukiwarki będą indeksowały zasoby Głębokiego Internetu? Tak i Nie Tak, widzimy już pewne osiągnięcia w technologiach wyszukiwarek i wyszukiwaniu: Indeksowanie nowych formatów plików (PDF, Word, Excel i pliki multimedialne) Możliwość przeszukiwania baz danych i interakcje z formularzami wyszukiwawczymi Indeksowanie w czasie rzeczywistym Nie, Głęboki Internet będzie istniał zawsze, bo informacje rozrastają się zbyt szybko i wyszukiwarki nie nadążają za tym rozwojem.

37 Bibliografia: Hofmokl J., Tarkowski A.: Wyszukiwarki i ich rola w kształtowaniu Internetu Pamuła-Cieślak N.: Zjawisko Ukrytego Internetu rola bibliotek w upowszechnianiu jego zasobów Derfert-Wolf L.: Odkrywanie niewidzialnych zasobów sieci BERGMAN M. E.: The Deep Web: Surfacing Hidden Value Gruchawka S. R.: Using the Deep Web: A How-To Guide for IT Professionals

Podobne dokumenty

Odkrywanie niewidzialnych zasobów sieci

Odkrywanie niewidzialnych zasobów sieci Lidia Derfert-Wolf Biblioteka Główna Uniwersytetu Technologiczno-Przyrodniczego w Bydgoszczy II seminarium z cyklu INFOBROKER: Wyszukiwanie i przetwarzanie cyfrowych