Sieci komputerowe Wykład 12: Sieci peer-to-peer Marcin Bieńkowski Instytut Informatyki Uniwersytet Wrocławski Sieci komputerowe (II UWr) Wykład 12 1 / 36
Wprowadzenie Do tej pory mówiliśmy o architekturze klient/serwer. Wiele zastosowań: WWW, FTP,... Obrazek z prezentacji http://project-iris.net/talks/dht-toronto-03.ppt Sieci komputerowe (II UWr) Wykład 12 2 / 36
Wprowadzenie Model klient/serwer Ograniczenia modelu klient/serwer Kiepska skalowalność Awaria pojedynczego punktu (serwera) powoduje awarię całości Wymaga zarzadzania i administracji Niewykorzystane zasoby klientów Sieci komputerowe (II UWr) Wykład 12 3 / 36
Wprowadzenie Sieci peer-to-peer (P2P) Wszystkie komputery sa jednocześnie klientami i serwerami Każdy komputer może nawiazywać połaczenia z innymi (bez pośrednictwa znanego serwera) Brak centralnego miejsca z danymi Każdy wierzchołek jest autonomiczny (brak administracji) Sieci komputerowe (II UWr) Wykład 12 4 / 36
Sieci peer-to-peer Wprowadzenie Po co? Współdzielenie zasobów Rozproszone obliczenia Sieci komputerowe (II UWr) Wykład 12 5 / 36
Wprowadzenie Zalety sieci peer-to-peer Efektywne wykorzystanie zasobów (dyskowych i obliczeniowych) Skalowalność Niezawodność (trzeba zniszczyć dużo komputerów, żeby zniszczyć strukturę sieci). Zazwyczaj: replikowanie danych/obliczeń, równoważenie obciażenia. Sieci komputerowe (II UWr) Wykład 12 6 / 36
Popularne systemy P2P Popularne systemy P2P Sieci komputerowe (II UWr) Wykład 12 7 / 36
Popularne systemy P2P Współdzielenie plików......czyli najbardziej popularne zastosowanie P2P. Jak to działa: Użytkownik A podłacza się do sieci i zaznacza część plików jako udostępniane. Użytkownik B podłacza się do sieci, wyszukuje pliki i pobiera je bezpośrednio od użytkownika A. (Pojawiaja się oczywiście kwestie praw autorskich.) Sieci komputerowe (II UWr) Wykład 12 8 / 36
Napster Popularne systemy P2P Pierwszy system P2P. 1 Użytkownik A łaczy się z centralnym serwerem i umieszcza na nim listę swoich plików. 2 Użytkownik B wysyła zapytanie o MP3 do serwera. 3 Serwer odpowiada adresem IP komputera (np. użytkownika A) 4 B łaczy się z A i pobiera plik Obrazek ze strony http://computer.howstuffworks.com/file-sharing.htm Sieci komputerowe (II UWr) Wykład 12 9 / 36
Napster Popularne systemy P2P Z obecnego punktu widzenia Napster to nie jest prawdziwe P2P. Centralny serwer Zapewnia spójność i poprawność odpowiedzi na zapytania Waskie gardło w skalowalności Podatny na ataki typu DoS Wyłaczenie powoduje zamknięcie całej sieci (kwestie prawne, zamknięty w lipcu 2001) Sieci komputerowe (II UWr) Wykład 12 10 / 36
Napster Popularne systemy P2P Z obecnego punktu widzenia Napster to nie jest prawdziwe P2P. Centralny serwer Zapewnia spójność i poprawność odpowiedzi na zapytania Waskie gardło w skalowalności Podatny na ataki typu DoS Wyłaczenie powoduje zamknięcie całej sieci (kwestie prawne, zamknięty w lipcu 2001) Sieci komputerowe (II UWr) Wykład 12 10 / 36
Popularne systemy P2P Rozproszone obliczenia Podobna strukturę co Napster (centralny serwer) maja obecnie powszechne obliczenia rozproszone. SETI@home folding@home aisd@home distributed.net (łamanie zaszyfrowanych wiadomości)... Sieci komputerowe (II UWr) Wykład 12 11 / 36
Gnutella Popularne systemy P2P Pierwsze zdecentralizowane P2P: Współdzielenie dowolnych plików (nie tylko MP3) Sieć nakładkowa (overlay network) logiczna sieć oparta o sieć bazowa (Internet) bezpośrednie połaczenia w sieci nakładkowej zazwyczaj nie sa bezpośrednie w sieci bazowej dobrze, jeśli struktura sieci nakładkowej odzwierciedla strukturę sieci bazowej Sieci komputerowe (II UWr) Wykład 12 12 / 36
Gnutella Popularne systemy P2P Pierwsze zdecentralizowane P2P: Współdzielenie dowolnych plików (nie tylko MP3) Sieć nakładkowa (overlay network) logiczna sieć oparta o sieć bazowa (Internet) bezpośrednie połaczenia w sieci nakładkowej zazwyczaj nie sa bezpośrednie w sieci bazowej dobrze, jeśli struktura sieci nakładkowej odzwierciedla strukturę sieci bazowej Sieci komputerowe (II UWr) Wykład 12 12 / 36
Gnutella, cd. Popularne systemy P2P Wyszukiwanie Podłaczamy się do sieci do jakiegoś komputera Wyszukiwanie = zalewanie sieci (nakładkowej) zapytaniem z TTL 6. Sieci komputerowe (II UWr) Wykład 12 13 / 36
Gnutella, cd. Popularne systemy P2P Zalety: Wady: Brak pojedynczego wrażliwego punktu Nie bardzo działaja ataki DoS Nie można zapewnić poprawności opowiedzi (daleko leżace pliki nie sa znajdowane). Wyszukiwanie rozproszone, ale nie skalowalne! Sieci komputerowe (II UWr) Wykład 12 14 / 36
Popularne systemy P2P Kazaa (Fasttrack) Połaczenie pomysłów z Napstera i Gnutelli Niektóre wierzchołki (o dobrym łaczu czy dużym dysku) zostaja superwierchołkami. Superwierzchołki sa jak serwer Napstera dla pewnej lokalnej części sieci: przechowuja listy plików wierzchołków w okolicy. Superwierzchołki okresowo łacz a się ze soba i wymieniaja listy plików. Sieci komputerowe (II UWr) Wykład 12 15 / 36
Caching Caching czyli dygresja o serwerach proxy Sieci komputerowe (II UWr) Wykład 12 16 / 36
Caching Zamiast łaczyć się bezpośrednio z serwerem WWW, przegladarka może łaczyć się z tzw. serwerem proxy. Po co? Ograniczanie ruchu do/z zewnętrznych stron WWW przechowywanie zawartości stron w pamięci proxy. Kontrolowanie dostępu do zasobów WWW. Sieci komputerowe (II UWr) Wykład 12 17 / 36
Serwer proxy Caching Działanie: Oczekuje na porcie 8080. Jeśli w pamięci podręcznej (cache) nie ma żadanej strony lub jest nieaktualna, to: proxy łaczy się z zadana strona, zapamiętuje odpowiedź w pamięci podręcznej (cache). Proxy zwraca odpowiedź klientowi. Sieci komputerowe (II UWr) Wykład 12 18 / 36
Serwer proxy Caching Działanie: Oczekuje na porcie 8080. Jeśli w pamięci podręcznej (cache) nie ma żadanej strony lub jest nieaktualna, to: proxy łaczy się z zadana strona, zapamiętuje odpowiedź w pamięci podręcznej (cache). Proxy zwraca odpowiedź klientowi. Sieci komputerowe (II UWr) Wykład 12 18 / 36
Caching Aktualność pamięci podręcznej Jak serwer proxy decyduje, czy strona w cache jest nadal aktualna: Serwer WWW ustawia pole Expires: w nagłówku odpowiedzi po tej dacie serwer proxy wyrzuca stronę z cache Serwer WWW może ustawić pole Pragma: no-cache lub/i Cache-Control: no-cache strona w ogóle nie będzie zapamiętywana na serwerze proxy Klient WWW może ustawić powyższe pole zawartość cache serwera zostanie pominięta W pozostałych przypadkach heurystyki oparte np. na polu Last-modified: Sieci komputerowe (II UWr) Wykład 12 19 / 36
Caching Anonimowe serwery proxy Zwykły serwer proxy dodaje do naszego żadania HTTP dodatkowe pola w nagłówku, m.in. X-Forwarded-For: (nasz adres IP) Via: (adres IP proxy) Istnieja tzw. anonimowe serwery proxy, które nie dodaja tych nagłówków. Sieci komputerowe (II UWr) Wykład 12 20 / 36
BitTorrent Caching Serwery proxy moga też działać w trybie przyspieszania HTTP Rozkładanie obciażenia (obliczeniowego i łacza) między wiele komputerów Droga inwestycja stosowana przez duże serwisy, typu CNN czy Microsoft. Jeśli nas nie stać na to rozwiazanie Rozpowszechniamy darmowa, duża i popularna aplikację, np. Open Office. Pomysł: udostępnić plik tylko paru poczatkowym użytkownikom, reszta niech ściaga od nich. Sieci komputerowe (II UWr) Wykład 12 21 / 36
BitTorrent Caching Serwery proxy moga też działać w trybie przyspieszania HTTP Rozkładanie obciażenia (obliczeniowego i łacza) między wiele komputerów Droga inwestycja stosowana przez duże serwisy, typu CNN czy Microsoft. Jeśli nas nie stać na to rozwiazanie Rozpowszechniamy darmowa, duża i popularna aplikację, np. Open Office. Pomysł: udostępnić plik tylko paru poczatkowym użytkownikom, reszta niech ściaga od nich. Sieci komputerowe (II UWr) Wykład 12 21 / 36
Caching BitTorrent, idea działania Udostępnianie pliku X Zwiazujemy z plikiem X plik.torrent i umieszczamy go na naszej stronie. Plik jest dzielony na kawałki rzędu 64KB 4MB. Plik.torrent zawiera informacje takie jak adres IP trackera oraz funkcje skrótu SHA-1 wszystkich kawałków. Pobieranie pliku X Pobieramy z jakiegoś (zewnętrznego) serwisu plik.torrent Łaczymy się z zadanym trackerem. Tracker wie, kto z podłaczonych do niego użytkowników ma zadane kawałki plików Po pobraniu możemy zostać i nadal udostępniać, zwiększajac szanse innych. obrazek Sieci komputerowe (II UWr) Wykład 12 22 / 36
Caching BitTorrent, idea działania Udostępnianie pliku X Zwiazujemy z plikiem X plik.torrent i umieszczamy go na naszej stronie. Plik jest dzielony na kawałki rzędu 64KB 4MB. Plik.torrent zawiera informacje takie jak adres IP trackera oraz funkcje skrótu SHA-1 wszystkich kawałków. Pobieranie pliku X Pobieramy z jakiegoś (zewnętrznego) serwisu plik.torrent Łaczymy się z zadanym trackerem. Tracker wie, kto z podłaczonych do niego użytkowników ma zadane kawałki plików Po pobraniu możemy zostać i nadal udostępniać, zwiększajac szanse innych. obrazek Sieci komputerowe (II UWr) Wykład 12 22 / 36
Sieci ustrukturyzowane Dlaczego sieci ustrukturyzowane? Jeden z głównych problemów w sieciach P2P: wyszukiwanie W sieciach bez struktury: zalewanie / centralny serwer Działa zawodnie / obciaża sieć Zajmuje ok. 30-50% wszystkich wymienianych danych Sieci komputerowe (II UWr) Wykład 12 23 / 36
Sieci ustrukturyzowane P2P ze struktura: Chord Sieci komputerowe (II UWr) Wykład 12 24 / 36
DHT Sieci ustrukturyzowane Wróćmy do Napstera Serwer główny przechowuje tablicę haszujac a H: (plik adres IP komputera który ma plik) H chcemy teraz przechowywać na wszystkich komputerach DHT = Distributed Hash Table, rozproszona tablica haszujaca. Pomysły: Każdy komputer ma H bez sensu Każdy komputer ma (mniej więcej 1/n) równy kawałek H Dlaczego złe jest rozwiazanie pierwszy komputer 1/n wpisów, drugi komputer kolejne 1/n wpisów, itd.? Dlaczego funkcja (NAZWA PLIKU mod n) jest zła? Sieci komputerowe (II UWr) Wykład 12 25 / 36
DHT Sieci ustrukturyzowane Wróćmy do Napstera Serwer główny przechowuje tablicę haszujac a H: (plik adres IP komputera który ma plik) H chcemy teraz przechowywać na wszystkich komputerach DHT = Distributed Hash Table, rozproszona tablica haszujaca. Pomysły: Każdy komputer ma H bez sensu Każdy komputer ma (mniej więcej 1/n) równy kawałek H Dlaczego złe jest rozwiazanie pierwszy komputer 1/n wpisów, drugi komputer kolejne 1/n wpisów, itd.? Dlaczego funkcja (NAZWA PLIKU mod n) jest zła? Sieci komputerowe (II UWr) Wykład 12 25 / 36
DHT Sieci ustrukturyzowane Wróćmy do Napstera Serwer główny przechowuje tablicę haszujac a H: (plik adres IP komputera który ma plik) H chcemy teraz przechowywać na wszystkich komputerach DHT = Distributed Hash Table, rozproszona tablica haszujaca. Pomysły: Każdy komputer ma H bez sensu Każdy komputer ma (mniej więcej 1/n) równy kawałek H Dlaczego złe jest rozwiazanie pierwszy komputer 1/n wpisów, drugi komputer kolejne 1/n wpisów, itd.? Dlaczego funkcja (NAZWA PLIKU mod n) jest zła? Sieci komputerowe (II UWr) Wykład 12 25 / 36
DHT Sieci ustrukturyzowane Wróćmy do Napstera Serwer główny przechowuje tablicę haszujac a H: (plik adres IP komputera który ma plik) H chcemy teraz przechowywać na wszystkich komputerach DHT = Distributed Hash Table, rozproszona tablica haszujaca. Pomysły: Każdy komputer ma H bez sensu Każdy komputer ma (mniej więcej 1/n) równy kawałek H Dlaczego złe jest rozwiazanie pierwszy komputer 1/n wpisów, drugi komputer kolejne 1/n wpisów, itd.? Dlaczego funkcja (NAZWA PLIKU mod n) jest zła? Sieci komputerowe (II UWr) Wykład 12 25 / 36
Sieci ustrukturyzowane DHT, kolejny pomysł Wpisy z H na odcinku Komputery opiekuja się kawałkami tego odcinka Jak poradzić sobie z sytuacja, że wszystkie przechowywane pliki sa na literę A? Bierzemy funkcję skrótu (np SHA-1) i liczymy ja dla nazwy pliku. Wynik to losowa liczba [0, 2 160 1], wpis umieszczamy w tym miejscu odcinka. Nowy komputer dzielimy istniejacy odcinek Wada: komputery wychodzace grupami z systemu! Pomysł: pozycje komputerów losujemy. Ale system musi być deterministyczny! Sieci komputerowe (II UWr) Wykład 12 26 / 36
Sieci ustrukturyzowane DHT, kolejny pomysł Wpisy z H na odcinku Komputery opiekuja się kawałkami tego odcinka Jak poradzić sobie z sytuacja, że wszystkie przechowywane pliki sa na literę A? Bierzemy funkcję skrótu (np SHA-1) i liczymy ja dla nazwy pliku. Wynik to losowa liczba [0, 2 160 1], wpis umieszczamy w tym miejscu odcinka. Nowy komputer dzielimy istniejacy odcinek Wada: komputery wychodzace grupami z systemu! Pomysł: pozycje komputerów losujemy. Ale system musi być deterministyczny! Sieci komputerowe (II UWr) Wykład 12 26 / 36
Sieci ustrukturyzowane DHT, kolejny pomysł Wpisy z H na odcinku Komputery opiekuja się kawałkami tego odcinka Jak poradzić sobie z sytuacja, że wszystkie przechowywane pliki sa na literę A? Bierzemy funkcję skrótu (np SHA-1) i liczymy ja dla nazwy pliku. Wynik to losowa liczba [0, 2 160 1], wpis umieszczamy w tym miejscu odcinka. Nowy komputer dzielimy istniejacy odcinek Wada: komputery wychodzace grupami z systemu! Pomysł: pozycje komputerów losujemy. Ale system musi być deterministyczny! Sieci komputerowe (II UWr) Wykład 12 26 / 36
Sieci ustrukturyzowane DHT, kolejny pomysł Wpisy z H na odcinku Komputery opiekuja się kawałkami tego odcinka Jak poradzić sobie z sytuacja, że wszystkie przechowywane pliki sa na literę A? Bierzemy funkcję skrótu (np SHA-1) i liczymy ja dla nazwy pliku. Wynik to losowa liczba [0, 2 160 1], wpis umieszczamy w tym miejscu odcinka. Nowy komputer dzielimy istniejacy odcinek Wada: komputery wychodzace grupami z systemu! Pomysł: pozycje komputerów losujemy. Ale system musi być deterministyczny! Sieci komputerowe (II UWr) Wykład 12 26 / 36
Chord Sieci ustrukturyzowane Chord (MIT, Berkeley, 2001) Założenie: każdy przechowywany obiekt ma unikatowa nazwę znana potencjalnym zainteresowanym. Obiekt X przechowywany jest na komputerze K (X). Chcemy przechować pary (X, K (X)) na wielu komputerach. Dla każdego obiektu i dla każdego adresu IP komputera liczymy (tę sama) funkcję skrótu h zwracajac a liczbę z [0, 2 m 1] (Dla SHA-1, m = 160) Sieci komputerowe (II UWr) Wykład 12 27 / 36
Chord, cd. Sieci ustrukturyzowane Na poczatku komputery leża na okręgu (mod 2 m ); każdy komputer zna IP swojego poprzednika i następnika. Obrazek ze strony http://www.daimi.au.dk/ marius/p2p-course/lectures/11/talk.html Sieci komputerowe (II UWr) Wykład 12 28 / 36
Sieci ustrukturyzowane Chord, dodawanie pliku Komputer A chce udostępnić swój plik o nazwie abc A przechowuje plik abc. Para (h(abc), IP komputera A) zostaje przechowana na komputerze, który na okręgu jest następny za h(abc). Sieci komputerowe (II UWr) Wykład 12 29 / 36
Sieci ustrukturyzowane Chord, wyszukiwanie pliku Wyszukiwanie pliku wyglada tak samo jak dodawanie Obrazek ze strony http://www.daimi.au.dk/ marius/p2p-course/lectures/11/talk.html Sieci komputerowe (II UWr) Wykład 12 30 / 36
Chord, uwagi Sieci ustrukturyzowane Równomierne rozmieszczenie W wartości oczekiwanej każdy komputer jest odpowiedzialny za l = 2 m /n okręgu. Z dużym ppb. każdy komputer jest odpowiedzialny za odcinek o długości pomiędzy l 1 n a l log n Z drugiej strony w każdym przedziale o długości l leży średnio 1 wierzchołek, z dużym ppb. nie więcej niż O(log n) Sieci komputerowe (II UWr) Wykład 12 31 / 36
Chord, uwagi Sieci ustrukturyzowane Równomierne rozmieszczenie W wartości oczekiwanej każdy komputer jest odpowiedzialny za l = 2 m /n okręgu. Z dużym ppb. każdy komputer jest odpowiedzialny za odcinek o długości pomiędzy l 1 n a l log n Z drugiej strony w każdym przedziale o długości l leży średnio 1 wierzchołek, z dużym ppb. nie więcej niż O(log n) Sieci komputerowe (II UWr) Wykład 12 31 / 36
Sieci ustrukturyzowane Chord: wskaźniki Obecnie wyszukiwanie elementu zajmuje czas Ω(n). Pomysł: Dodajmy dodatkowe wskaźniki Obrazek ze strony http://www.daimi.au.dk/ marius/p2p-course/lectures/11/talk.html Sieci komputerowe (II UWr) Wykład 12 32 / 36
Sieci ustrukturyzowane Chord: wskaźniki Obecnie wyszukiwanie elementu zajmuje czas Ω(n). Pomysł: Dodajmy dodatkowe wskaźniki Obrazek ze strony http://www.daimi.au.dk/ marius/p2p-course/lectures/11/talk.html Sieci komputerowe (II UWr) Wykład 12 32 / 36
Sieci ustrukturyzowane Chord: wskaźniki, cd. Ćwiczenie Jak wykorzystujac takie dodatkowe wskaźniki przyspieszyć czas wyszukiwania pliku do O(log n)? Uwaga: wstawianie i usuwanie wpisu o pliku redukuje się do wyszukania tego pliku i skontaktowania się z odpowiedzialnym komputerem. Sieci komputerowe (II UWr) Wykład 12 33 / 36
Sieci ustrukturyzowane Chord: nowy wierzchołek Nowy wierzchołek A 1 Zakładamy, że A zna jakiś wierzchołek B z sieci. 2 A oblicza h(a); za pomoca B znajduje poprzednika = C 1 i następnika = C 2. 3 C 1 ustawia jako następnika A, C 2 ustawia jako poprzednika A. 4 C 1 i A aktualizuja swoja tablicę wskaźników (szczegóły na ćwiczeniach). 5 A kopiuje od C 2 odpowiednie klucze. 6 Trzeba jeszcze uaktualnić wskaźniki innych! Sieci komputerowe (II UWr) Wykład 12 34 / 36
Sieci ustrukturyzowane Chord: nowy wierzchołek Nowy wierzchołek A 1 Zakładamy, że A zna jakiś wierzchołek B z sieci. 2 A oblicza h(a); za pomoca B znajduje poprzednika = C 1 i następnika = C 2. 3 C 1 ustawia jako następnika A, C 2 ustawia jako poprzednika A. 4 C 1 i A aktualizuja swoja tablicę wskaźników (szczegóły na ćwiczeniach). 5 A kopiuje od C 2 odpowiednie klucze. 6 Trzeba jeszcze uaktualnić wskaźniki innych! Sieci komputerowe (II UWr) Wykład 12 34 / 36
Sieci ustrukturyzowane Chord: usuwanie wierzchołka Wierzchołek powiadamia sieć, że chce odejść Procedura podobna do przypadku nowego wierzchołka. Wierzchołek oddaje swojemu następnikowi pamiętane przez siebie klucze. Wierzchołek wychodzi z sieci bez zapowiedzi Informacje o części plików gubione. Łagodzenie skutków: replikacja danych. Sieci komputerowe (II UWr) Wykład 12 35 / 36
Sieci ustrukturyzowane Uwagi końcowe DHT Nie tylko akademicka zabawka! Podobne (ideowo) do Chorda rozwiazanie to np. Kademlia wykorzystywana w BitTorrencie (umożliwia działanie sieci bez trackera) Sieci komputerowe (II UWr) Wykład 12 36 / 36