Sieci komputerowe. Wykład 12: Sieci peer-to-peer. Marcin Bieńkowski. Instytut Informatyki Uniwersytet Wrocławski

Transkrypt

1 Sieci komputerowe Wykład 12: Sieci peer-to-peer Marcin Bieńkowski Instytut Informatyki Uniwersytet Wrocławski Sieci komputerowe (II UWr) Wykład 12 1 / 36

2 Wprowadzenie Do tej pory mówiliśmy o architekturze klient/serwer. Wiele zastosowań: WWW, FTP,... Obrazek z prezentacji Sieci komputerowe (II UWr) Wykład 12 2 / 36

3 Wprowadzenie Model klient/serwer Ograniczenia modelu klient/serwer Kiepska skalowalność Awaria pojedynczego punktu (serwera) powoduje awarię całości Wymaga zarzadzania i administracji Niewykorzystane zasoby klientów Sieci komputerowe (II UWr) Wykład 12 3 / 36

4 Wprowadzenie Sieci peer-to-peer (P2P) Wszystkie komputery sa jednocześnie klientami i serwerami Każdy komputer może nawiazywać połaczenia z innymi (bez pośrednictwa znanego serwera) Brak centralnego miejsca z danymi Każdy wierzchołek jest autonomiczny (brak administracji) Sieci komputerowe (II UWr) Wykład 12 4 / 36

5 Sieci peer-to-peer Wprowadzenie Po co? Współdzielenie zasobów Rozproszone obliczenia Sieci komputerowe (II UWr) Wykład 12 5 / 36

6 Wprowadzenie Zalety sieci peer-to-peer Efektywne wykorzystanie zasobów (dyskowych i obliczeniowych) Skalowalność Niezawodność (trzeba zniszczyć dużo komputerów, żeby zniszczyć strukturę sieci). Zazwyczaj: replikowanie danych/obliczeń, równoważenie obciażenia. Sieci komputerowe (II UWr) Wykład 12 6 / 36

7 Popularne systemy P2P Popularne systemy P2P Sieci komputerowe (II UWr) Wykład 12 7 / 36

8 Popularne systemy P2P Współdzielenie plików......czyli najbardziej popularne zastosowanie P2P. Jak to działa: Użytkownik A podłacza się do sieci i zaznacza część plików jako udostępniane. Użytkownik B podłacza się do sieci, wyszukuje pliki i pobiera je bezpośrednio od użytkownika A. (Pojawiaja się oczywiście kwestie praw autorskich.) Sieci komputerowe (II UWr) Wykład 12 8 / 36

9 Napster Popularne systemy P2P Pierwszy system P2P. 1 Użytkownik A łaczy się z centralnym serwerem i umieszcza na nim listę swoich plików. 2 Użytkownik B wysyła zapytanie o MP3 do serwera. 3 Serwer odpowiada adresem IP komputera (np. użytkownika A) 4 B łaczy się z A i pobiera plik Obrazek ze strony Sieci komputerowe (II UWr) Wykład 12 9 / 36

10 Napster Popularne systemy P2P Z obecnego punktu widzenia Napster to nie jest prawdziwe P2P. Centralny serwer Zapewnia spójność i poprawność odpowiedzi na zapytania Waskie gardło w skalowalności Podatny na ataki typu DoS Wyłaczenie powoduje zamknięcie całej sieci (kwestie prawne, zamknięty w lipcu 2001) Sieci komputerowe (II UWr) Wykład / 36

11 Napster Popularne systemy P2P Z obecnego punktu widzenia Napster to nie jest prawdziwe P2P. Centralny serwer Zapewnia spójność i poprawność odpowiedzi na zapytania Waskie gardło w skalowalności Podatny na ataki typu DoS Wyłaczenie powoduje zamknięcie całej sieci (kwestie prawne, zamknięty w lipcu 2001) Sieci komputerowe (II UWr) Wykład / 36

12 Popularne systemy P2P Rozproszone obliczenia Podobna strukturę co Napster (centralny serwer) maja obecnie powszechne obliczenia rozproszone. distributed.net (łamanie zaszyfrowanych wiadomości)... Sieci komputerowe (II UWr) Wykład / 36

13 Gnutella Popularne systemy P2P Pierwsze zdecentralizowane P2P: Współdzielenie dowolnych plików (nie tylko MP3) Sieć nakładkowa (overlay network) logiczna sieć oparta o sieć bazowa (Internet) bezpośrednie połaczenia w sieci nakładkowej zazwyczaj nie sa bezpośrednie w sieci bazowej dobrze, jeśli struktura sieci nakładkowej odzwierciedla strukturę sieci bazowej Sieci komputerowe (II UWr) Wykład / 36

14 Gnutella Popularne systemy P2P Pierwsze zdecentralizowane P2P: Współdzielenie dowolnych plików (nie tylko MP3) Sieć nakładkowa (overlay network) logiczna sieć oparta o sieć bazowa (Internet) bezpośrednie połaczenia w sieci nakładkowej zazwyczaj nie sa bezpośrednie w sieci bazowej dobrze, jeśli struktura sieci nakładkowej odzwierciedla strukturę sieci bazowej Sieci komputerowe (II UWr) Wykład / 36

15 Gnutella, cd. Popularne systemy P2P Wyszukiwanie Podłaczamy się do sieci do jakiegoś komputera Wyszukiwanie = zalewanie sieci (nakładkowej) zapytaniem z TTL 6. Sieci komputerowe (II UWr) Wykład / 36

16 Gnutella, cd. Popularne systemy P2P Zalety: Wady: Brak pojedynczego wrażliwego punktu Nie bardzo działaja ataki DoS Nie można zapewnić poprawności opowiedzi (daleko leżace pliki nie sa znajdowane). Wyszukiwanie rozproszone, ale nie skalowalne! Sieci komputerowe (II UWr) Wykład / 36

17 Popularne systemy P2P Kazaa (Fasttrack) Połaczenie pomysłów z Napstera i Gnutelli Niektóre wierzchołki (o dobrym łaczu czy dużym dysku) zostaja superwierchołkami. Superwierzchołki sa jak serwer Napstera dla pewnej lokalnej części sieci: przechowuja listy plików wierzchołków w okolicy. Superwierzchołki okresowo łacz a się ze soba i wymieniaja listy plików. Sieci komputerowe (II UWr) Wykład / 36

18 Caching Caching czyli dygresja o serwerach proxy Sieci komputerowe (II UWr) Wykład / 36

19 Caching Zamiast łaczyć się bezpośrednio z serwerem WWW, przegladarka może łaczyć się z tzw. serwerem proxy. Po co? Ograniczanie ruchu do/z zewnętrznych stron WWW przechowywanie zawartości stron w pamięci proxy. Kontrolowanie dostępu do zasobów WWW. Sieci komputerowe (II UWr) Wykład / 36

20 Serwer proxy Caching Działanie: Oczekuje na porcie Jeśli w pamięci podręcznej (cache) nie ma żadanej strony lub jest nieaktualna, to: proxy łaczy się z zadana strona, zapamiętuje odpowiedź w pamięci podręcznej (cache). Proxy zwraca odpowiedź klientowi. Sieci komputerowe (II UWr) Wykład / 36

21 Serwer proxy Caching Działanie: Oczekuje na porcie Jeśli w pamięci podręcznej (cache) nie ma żadanej strony lub jest nieaktualna, to: proxy łaczy się z zadana strona, zapamiętuje odpowiedź w pamięci podręcznej (cache). Proxy zwraca odpowiedź klientowi. Sieci komputerowe (II UWr) Wykład / 36

22 Caching Aktualność pamięci podręcznej Jak serwer proxy decyduje, czy strona w cache jest nadal aktualna: Serwer WWW ustawia pole Expires: w nagłówku odpowiedzi po tej dacie serwer proxy wyrzuca stronę z cache Serwer WWW może ustawić pole Pragma: no-cache lub/i Cache-Control: no-cache strona w ogóle nie będzie zapamiętywana na serwerze proxy Klient WWW może ustawić powyższe pole zawartość cache serwera zostanie pominięta W pozostałych przypadkach heurystyki oparte np. na polu Last-modified: Sieci komputerowe (II UWr) Wykład / 36

23 Caching Anonimowe serwery proxy Zwykły serwer proxy dodaje do naszego żadania HTTP dodatkowe pola w nagłówku, m.in. X-Forwarded-For: (nasz adres IP) Via: (adres IP proxy) Istnieja tzw. anonimowe serwery proxy, które nie dodaja tych nagłówków. Sieci komputerowe (II UWr) Wykład / 36

24 BitTorrent Caching Serwery proxy moga też działać w trybie przyspieszania HTTP Rozkładanie obciażenia (obliczeniowego i łacza) między wiele komputerów Droga inwestycja stosowana przez duże serwisy, typu CNN czy Microsoft. Jeśli nas nie stać na to rozwiazanie Rozpowszechniamy darmowa, duża i popularna aplikację, np. Open Office. Pomysł: udostępnić plik tylko paru poczatkowym użytkownikom, reszta niech ściaga od nich. Sieci komputerowe (II UWr) Wykład / 36

25 BitTorrent Caching Serwery proxy moga też działać w trybie przyspieszania HTTP Rozkładanie obciażenia (obliczeniowego i łacza) między wiele komputerów Droga inwestycja stosowana przez duże serwisy, typu CNN czy Microsoft. Jeśli nas nie stać na to rozwiazanie Rozpowszechniamy darmowa, duża i popularna aplikację, np. Open Office. Pomysł: udostępnić plik tylko paru poczatkowym użytkownikom, reszta niech ściaga od nich. Sieci komputerowe (II UWr) Wykład / 36

26 Caching BitTorrent, idea działania Udostępnianie pliku X Zwiazujemy z plikiem X plik.torrent i umieszczamy go na naszej stronie. Plik jest dzielony na kawałki rzędu 64KB 4MB. Plik.torrent zawiera informacje takie jak adres IP trackera oraz funkcje skrótu SHA-1 wszystkich kawałków. Pobieranie pliku X Pobieramy z jakiegoś (zewnętrznego) serwisu plik.torrent Łaczymy się z zadanym trackerem. Tracker wie, kto z podłaczonych do niego użytkowników ma zadane kawałki plików Po pobraniu możemy zostać i nadal udostępniać, zwiększajac szanse innych. obrazek Sieci komputerowe (II UWr) Wykład / 36

27 Caching BitTorrent, idea działania Udostępnianie pliku X Zwiazujemy z plikiem X plik.torrent i umieszczamy go na naszej stronie. Plik jest dzielony na kawałki rzędu 64KB 4MB. Plik.torrent zawiera informacje takie jak adres IP trackera oraz funkcje skrótu SHA-1 wszystkich kawałków. Pobieranie pliku X Pobieramy z jakiegoś (zewnętrznego) serwisu plik.torrent Łaczymy się z zadanym trackerem. Tracker wie, kto z podłaczonych do niego użytkowników ma zadane kawałki plików Po pobraniu możemy zostać i nadal udostępniać, zwiększajac szanse innych. obrazek Sieci komputerowe (II UWr) Wykład / 36

28 Sieci ustrukturyzowane Dlaczego sieci ustrukturyzowane? Jeden z głównych problemów w sieciach P2P: wyszukiwanie W sieciach bez struktury: zalewanie / centralny serwer Działa zawodnie / obciaża sieć Zajmuje ok % wszystkich wymienianych danych Sieci komputerowe (II UWr) Wykład / 36

29 Sieci ustrukturyzowane P2P ze struktura: Chord Sieci komputerowe (II UWr) Wykład / 36

30 DHT Sieci ustrukturyzowane Wróćmy do Napstera Serwer główny przechowuje tablicę haszujac a H: (plik adres IP komputera który ma plik) H chcemy teraz przechowywać na wszystkich komputerach DHT = Distributed Hash Table, rozproszona tablica haszujaca. Pomysły: Każdy komputer ma H bez sensu Każdy komputer ma (mniej więcej 1/n) równy kawałek H Dlaczego złe jest rozwiazanie pierwszy komputer 1/n wpisów, drugi komputer kolejne 1/n wpisów, itd.? Dlaczego funkcja (NAZWA PLIKU mod n) jest zła? Sieci komputerowe (II UWr) Wykład / 36

34 Sieci ustrukturyzowane DHT, kolejny pomysł Wpisy z H na odcinku Komputery opiekuja się kawałkami tego odcinka Jak poradzić sobie z sytuacja, że wszystkie przechowywane pliki sa na literę A? Bierzemy funkcję skrótu (np SHA-1) i liczymy ja dla nazwy pliku. Wynik to losowa liczba [0, ], wpis umieszczamy w tym miejscu odcinka. Nowy komputer dzielimy istniejacy odcinek Wada: komputery wychodzace grupami z systemu! Pomysł: pozycje komputerów losujemy. Ale system musi być deterministyczny! Sieci komputerowe (II UWr) Wykład / 36

38 Chord Sieci ustrukturyzowane Chord (MIT, Berkeley, 2001) Założenie: każdy przechowywany obiekt ma unikatowa nazwę znana potencjalnym zainteresowanym. Obiekt X przechowywany jest na komputerze K (X). Chcemy przechować pary (X, K (X)) na wielu komputerach. Dla każdego obiektu i dla każdego adresu IP komputera liczymy (tę sama) funkcję skrótu h zwracajac a liczbę z [0, 2 m 1] (Dla SHA-1, m = 160) Sieci komputerowe (II UWr) Wykład / 36

39 Chord, cd. Sieci ustrukturyzowane Na poczatku komputery leża na okręgu (mod 2 m ); każdy komputer zna IP swojego poprzednika i następnika. Obrazek ze strony marius/p2p-course/lectures/11/talk.html Sieci komputerowe (II UWr) Wykład / 36

40 Sieci ustrukturyzowane Chord, dodawanie pliku Komputer A chce udostępnić swój plik o nazwie abc A przechowuje plik abc. Para (h(abc), IP komputera A) zostaje przechowana na komputerze, który na okręgu jest następny za h(abc). Sieci komputerowe (II UWr) Wykład / 36

41 Sieci ustrukturyzowane Chord, wyszukiwanie pliku Wyszukiwanie pliku wyglada tak samo jak dodawanie Obrazek ze strony marius/p2p-course/lectures/11/talk.html Sieci komputerowe (II UWr) Wykład / 36

42 Chord, uwagi Sieci ustrukturyzowane Równomierne rozmieszczenie W wartości oczekiwanej każdy komputer jest odpowiedzialny za l = 2 m /n okręgu. Z dużym ppb. każdy komputer jest odpowiedzialny za odcinek o długości pomiędzy l 1 n a l log n Z drugiej strony w każdym przedziale o długości l leży średnio 1 wierzchołek, z dużym ppb. nie więcej niż O(log n) Sieci komputerowe (II UWr) Wykład / 36

43 Chord, uwagi Sieci ustrukturyzowane Równomierne rozmieszczenie W wartości oczekiwanej każdy komputer jest odpowiedzialny za l = 2 m /n okręgu. Z dużym ppb. każdy komputer jest odpowiedzialny za odcinek o długości pomiędzy l 1 n a l log n Z drugiej strony w każdym przedziale o długości l leży średnio 1 wierzchołek, z dużym ppb. nie więcej niż O(log n) Sieci komputerowe (II UWr) Wykład / 36

44 Sieci ustrukturyzowane Chord: wskaźniki Obecnie wyszukiwanie elementu zajmuje czas Ω(n). Pomysł: Dodajmy dodatkowe wskaźniki Obrazek ze strony marius/p2p-course/lectures/11/talk.html Sieci komputerowe (II UWr) Wykład / 36

45 Sieci ustrukturyzowane Chord: wskaźniki Obecnie wyszukiwanie elementu zajmuje czas Ω(n). Pomysł: Dodajmy dodatkowe wskaźniki Obrazek ze strony marius/p2p-course/lectures/11/talk.html Sieci komputerowe (II UWr) Wykład / 36

46 Sieci ustrukturyzowane Chord: wskaźniki, cd. Ćwiczenie Jak wykorzystujac takie dodatkowe wskaźniki przyspieszyć czas wyszukiwania pliku do O(log n)? Uwaga: wstawianie i usuwanie wpisu o pliku redukuje się do wyszukania tego pliku i skontaktowania się z odpowiedzialnym komputerem. Sieci komputerowe (II UWr) Wykład / 36

47 Sieci ustrukturyzowane Chord: nowy wierzchołek Nowy wierzchołek A 1 Zakładamy, że A zna jakiś wierzchołek B z sieci. 2 A oblicza h(a); za pomoca B znajduje poprzednika = C 1 i następnika = C 2. 3 C 1 ustawia jako następnika A, C 2 ustawia jako poprzednika A. 4 C 1 i A aktualizuja swoja tablicę wskaźników (szczegóły na ćwiczeniach). 5 A kopiuje od C 2 odpowiednie klucze. 6 Trzeba jeszcze uaktualnić wskaźniki innych! Sieci komputerowe (II UWr) Wykład / 36

48 Sieci ustrukturyzowane Chord: nowy wierzchołek Nowy wierzchołek A 1 Zakładamy, że A zna jakiś wierzchołek B z sieci. 2 A oblicza h(a); za pomoca B znajduje poprzednika = C 1 i następnika = C 2. 3 C 1 ustawia jako następnika A, C 2 ustawia jako poprzednika A. 4 C 1 i A aktualizuja swoja tablicę wskaźników (szczegóły na ćwiczeniach). 5 A kopiuje od C 2 odpowiednie klucze. 6 Trzeba jeszcze uaktualnić wskaźniki innych! Sieci komputerowe (II UWr) Wykład / 36

49 Sieci ustrukturyzowane Chord: usuwanie wierzchołka Wierzchołek powiadamia sieć, że chce odejść Procedura podobna do przypadku nowego wierzchołka. Wierzchołek oddaje swojemu następnikowi pamiętane przez siebie klucze. Wierzchołek wychodzi z sieci bez zapowiedzi Informacje o części plików gubione. Łagodzenie skutków: replikacja danych. Sieci komputerowe (II UWr) Wykład / 36

50 Sieci ustrukturyzowane Uwagi końcowe DHT Nie tylko akademicka zabawka! Podobne (ideowo) do Chorda rozwiazanie to np. Kademlia wykorzystywana w BitTorrencie (umożliwia działanie sieci bez trackera) Sieci komputerowe (II UWr) Wykład / 36