POLITECHNIKA KRAKOWSKA - WIEiK - KATEDRA AUTOMATYKI Technologie Informacyjne www.pk.edu.pl/~zk/ti_hp.html Wykładowca: dr inż. Zbigniew Kokosiński zk@pk.edu.pl
Wykład 2: Od sieci komputerowych do gridów obliczeniowych Sieci LAN, MAN, WAN, Internet... Topologie sieci. Modelowanie sieci i problemy grafowe Dostęp do zasobów sieci. Standardy sieci komputerowych. Przesyłanie pakietów. Protokoły sieciowe. Model warstwowy sieci komputerowej ISO/OSI Superkomputery w ACK Cyfronet. Lista Top500 Usługi internetowe. Model klient-serwer. Usługi sieciowe. Gridy obliczeniowe
Sieci LAN, MAN, WAN, Internet... LAN (sieć lokalna) dzielenie zasobów (dysków sieciowych, drukarek itp.), dostęp do serwera ze stacji roboczych/terminali poprzez logowanie się (prawa dostępu!) MAN ( sieć metropolitalna) połączenie wielu sieci lokalnych w jednej aglomeracji, mieście. WAN (sieć rozległa) - łączy ze sobą sieci LAN odległe geograficznie, komutacja przy pomocy routerów i przełączników. Internet sieć ogólnoświatowa oparta na infrastrukturze telekomunikacyjnej z jednorodną przestrzenią adresową opartą na protokole IP. Intranet - sieć rozległa, zbudowana w oparciu o technologię internetową, ale zawierająca pewne ograniczenia w dostępie z zewnątrz (np. sieć korporacyjna, uczelniana itp. Ekstranet - sieć będąca połączeniem kilku sieci typu intranet (np. sieci współpracujących ze sobą firm)
Topologie sieci komputerowych magistralowa gwiaździsta pierścieniowa drzewiasta
Topologia magistralowa (Bus) Magistrala służy do transmisji danych i łączy komputery sieci. Dane z komputera źródłowego dochodzą do wszytskich koputerów przyłączonych do magistrali, ale odbierane są tylko przez ten, dla którego są przeznaczone (w czasie transmisji magistrala jest zajęta dla innych zadań). Topologia magistrali jest jedną z najbardziej popularnych konfiguracji sieci komputerowych.
Topologia magistralowa (Bus) Zalety: małe zużycie kabla prosta I tania instalacja bardzo prosta rozbudowa sieci łatwe łączenie segmentów sieci w jeden system (bez zmian oprogramowania komunikacyjnego) każdy komputer jest podłączony tylko do jednego kabla pojedyncze uszkodzenie (przerwa w kablu lub awaria komputera) nie powoduje unieruchomienia całej sieci Wady: konkurencja o dostęp do magistrali utrudniona diagnostyka błędów z powodu braku centralnego systemu zarządzającego siecią rozproszenie zadań zarządzających siecią może niekorzystnie wpłynąć na szybkość przetwarzania w sieci zbytnia bliskość komputerów powoduje zakłócenia sygnałów
Topologia gwiazdy (Star) Sieć zawiera jeden centralny węzeł (serwer), do którego zostają przyłączone pozostałe elementy składowe sieci za pomocą huba. Chroni to sieć przed awariami, gdyż awaria jednego łącza nie powoduje unieruchomienia całej sieci. Stosowana jest do łączenia komputerów w jednej instytucji, budynku. Większość zasobów sieci znajduje się w komputerze centralnym przetwarzającym i zarządzającym siecią. Pozostałe komputery zwane terminalami są stacjami przygotowania danych lub mają niewielkie możliwości obliczeniowe. Wszystkie informacje są przekazywane przez centralny komputer. Topologia ta może być określona jako drzewo z jednym poziomem połączeń. Okablowanie: popularna skrętka (UTP, światłowód).
Topologia gwiazdy (Star) Zalety : łatwa konserwacja i lokalizacja uszkodzeń prosta rekonfiguracja proste i szybkie oprogramowanie użytkowe sieci centralne sterowanie i centralna programowa diagnostyka sieci możliwe wysokie szybkości transmisji pod warunkiem posiadania szybkiego serwera Wady : duża liczba kabli wszystkie maszyny wymagają podłączenia wprost do serwera ograniczona możliwość rozbudowy sieci zależność działania sieci od sprawności serwera ograniczenie odległości komputera od huba w przypadku awarii huba przestaje działać cała sieć
Topologia pierścienia (Ring) Topologia pierścieniowa ma węzły sieci połączone w okrąg. Każdy węzeł sieci bierze bezpośredni udział w procesie transmisji informacji i jest połączony z dwoma sąsiadami. Funkcjonowanie sieci nie zostaje przerwane nawet w razie awarii głównego komputera, gdyż jego zadanie może przejąć inna stacja. Dzięki układom obejściowym (ang. by-pass) można wyłączyć z sieci dowolną stację i tym sposobem uniknąć awarii sieci. Węzły połączone w pierścień przekazują komunikaty sterujące (tokeny) do następnego; węzeł aktualnie mający token może wysyłać komunikat. Informacja wędruje w jednym kierunku i po przejściu wszystkich węzłów wraca do miejsca nadania. Interfejs sieciowy każdego komputera musi odbierać dane od jednego sąsiada i przesyłać je do następnego. Podczas przechodzenia przez kolejne węzły sygnał w każdym z nich jest wzmacniany.
Topologia pierścienia (Ring) Zalety : małe zużycie kabla możliwość zastosowania łącz optoelektronicznych, które wymagają bezpośredniego nadawania i odbierania transmitowanych sygnałów możliwe wysokie osiągi, ponieważ każdy kabel łączy dwa konkretne komputery Wady : awaria pojedynczego kabla lub komputera powoduje przerwanie pracy całej sieci jeśli nie jest zainstalowany dodatkowy sprzęt złożona diagnostyka sieci (możliwe usprawnienie przez wyposażenie każdego węzła w procedury samotestowania) trudna lokalizacja uszkodzenia trudna rekonfiguracja sieci wymagane specjalne procedury transmisyjne dołączenie nowych stacji jest utrudnione, jeśli w pierścieniu jest już wiele komputerów
Topologia drzewa (Tree) Jest to forma okablowania przypominająca kształtem rozgałęzione drzewo. Gałęzie drzewa dzielą się na podgałęzie, które z kolei znowu się dzielą. W każdym punkcie podziału komputer rozsyła sygnały. Topologia ta jest bardzo elastyczna i może w niektórych systemach transportu sieciowego umożliwić praktycznie dowolne konfiguracje. Zalety: łatwa rozbudowa sieci komputerowej przez dodawanie rozgałęźników łatwa rekonfiguracja sieci sieć zwykle może przetrwać uszkodzenie komputera lub kabla Wady: duża liczba kabli utrudnione znajdywanie błędów
Modelowanie sieci i problemy grafowe Teoria grafów: sieć modelowana jest jako graf G(V, E), gdzie : V- zbiór wierzchołków (węzłów) grafu; E zbiór krawędzi grafu. Parametry sieci: liczba węzłów i krawędzi, średnica sieci Problemy grafowe: najkrótsza ścieżka pomiędzy dwoma wierzchołkami grafu minimalne drzewa rozpinające przepływy w sieciach
Dostęp do zasobów sieci Prawa dostępu do plików i katalogów: w systemach Unix/Linux dostęp jest limitowany przez właściciela (read, write, execute) - rwx typ właścipliku ciel rwx rwx 1 tusk grupa właściciela inni liczba nazwa użytkow- łączników właścinicy do pliku ciela po 10 May 1 8:00 urm grupa właściciela rozmiar pliku data i czas ost. modyfikacji pliku nazwa pliku Uprawnienia administratora: rejestracja użytkowników i grup użytkowników, sprawdzanie stanu zabezpieczeń, kontrola wykorzystania zasobów przez użytkownika, archiwizacja, rekonfigurowanie i strojenie systemu, instalowanie i konfiguracja oprogramowania narzędziowego i aplikacyjnego Model klient-serwer: paradygmat w którym proces serwera oferuje usługę używaną przez proces klienta. Procesy klient i serwer są zwykle wykonywane w różnych miejscach sieci (konieczność logowania).
Organizacje standaryzacyjne IEEE (USA) - grupa IEEE 802 zajmuje się standardami dotyczącymi sieci komputerowych ITU (Międzynarodowa Unia Telekomunikacyjna) ISO (Międzynarodowa Organizacja Standaryzacyjna) ATM Forum - opracowuje standardy dotyczące ATM (Asynchronous Transfer Mode)
Wybrane standardy sieciowe IEEE 802 802.1 802.3 802.4 802.5 802.10 802.11 802.15 802.16 architektury sieci LAN Ethernet Token Bus Token Ring sieci wirtualne i bezpieczeństwo sieci bezprzewodowe sieci PAN (Personal Area Network) szerokopasmowe sieci bezprzewodowe
Transmisja w sieciach komputerowych Unicast - transmisja pojedyncza jeden do jeden Multicast - transmisja grupowa jeden do wyselekcjonowanej grupy Broadcast transmisja rozgłoszeniowa jeden do wszystkich
Technika komutacji pakietów Technika komutacji pakietów polega na dzieleniu danych użytkownika na mniejsze jednostki o stałej długości, zwane pakietami, które następnie są przesyłane w sieci Każda część informacji (danych użytkownika) jest uzupełniana o nagłówek (część informacyjną) o stałej długości Nagłówek zawiera różne informacje zależne od organizacji sieci, np. adres źródłowy, adres docelowy, identyfikator numeracji, numer kolejności
Komutacja pakietów DANE UŻYTKOWNIKA pakiet nagłówek część informacyjna pakietu
Komutacja pakietów Pakiety przesyłane od użytkownika źródłowego do docelowego transmitowane są kolejno między węzłami Przed dalszym nadaniem pakiet musi być odebrany w całości Po odebraniu pakiet jest umieszczany w pamięci węzła, zwanej buforem Węzeł analizując informacje w nagłówku podejmuje decyzje, o dalszej drodze pakietu Pakiety są przesyłane w sieci jedną z dwóch metod: połączeniową lub bezpołączeniową Komutacja pakietów stosowana jest w sieciach TCP/IP
Sposoby przesyłania informacji w sieciach komputerowych Metoda połączeniowa. Przed przesłaniem pakietów pomiedzy dwoma użytkownikami zestawiany jest połączenie wirtualne tymczasowe (SVC - Switched Virtual Circuit) lub stałe (ang. PVC - Permanent Virtual Circuit) Metoda bezpołączeniowa (metoda datagramów). Każdy pakiet jest traktowany jako niezależna jednostka, zwana datagramem i przemieszcza się w sieci samodzielnie
Popularne protokoły sieciowe TCP/IP. Para protokołów stosowanych w sieciach WAN i LAN. Decyduje o trasie przesyłania pakietu z jednego komputera w sieci do drugiego. FTP/SFTP. Protokół transferu plików. Obecnie występuje najczęsciej w wersji SFTP (bezpiecznej). HTTP. Protokół transferu dokumentów hypertekstowych. Telnet. Protokół komunikacyjnego zapewniający zdalny dostęp z terminala do serwera tylko w trybie znakowym. Wymaga posiadania na serwerze konta typu shell. SSH. Rodzina nowoczesnych protokołów terminalowych i do transferu plików. Dane są zaszyfrowane.
Model warstwowy sieci komputerowej ISO/OSI Wzorcowy Model Połączeń dla Systemów Otwartych (Open Systems Interconnection Reference Model) został stworzony jako miedzynarodowy standard. Model opisuje 7 warstw sieci z określeniem zasad na jakich one działają. Model gwarantuje bezproblemową komunikację i przesyłanie danych w sieciach komputerowych, opartych na różniących się od siebie topologiach, a ponadto zapewnia kompatybilność sprzętu stosowanego do budowy sieci. Model w sposób znaczny upraszcza rozumienie działania sieci, dokonuje podziału infrastruktury sieci na prostsze i efektywniejsze w pracy elementy i umożliwia dokonywanie zmian w obrębie jednej warstwy, nie ingerując w strukturę pozostałych warstw.
Model warstwowy sieci komputerowej ISO/OSI Najwyższe trzy warstwy, określa się ogólnie warstwami aplikacji, z tego względu, że są najbliżej związane z użytkownikiem i wykonywanymi przez niego czynnościami związanymi z ruchem sieciowym i generowanym przez komputer przepływem danych. Natomiast w czterech niższych warstwach, odbywa się transport danych i związane z nim procesy; określenie sposobu przesyłu, adresowanie, jak i sam transport. Zasada działania jest taka, że równorzędne warstwy, muszą się ze sobą komunikować po obu stronach transmisji.
Opis warstw modelu ISO/OSI VII warstwa - aplikacji Najwyższą - siódmą warstwą jest warstwa aplikacji. Jest ona najbliższa użytkownikowi i dostarcza aplikacjom dostęp do sieciowych usług komunikacji, jak np. udostępnione zasoby innych użytkowników. Warstwa ta, ze względu na swe położenie w hierarchii, dostarcza usług dla aplikacji, które nie wchodzą w skład modelu (inaczej niż w przypadku pozostałych warstw, które świadczą usługi dla warstw wyżej położonych. Do zadań obsługiwanych przez tą warstwę zalicza się między innymi: obsługę poczty elektronicznej czy przesyłanie plików. VI warstwa - prezentacji W tej warstwie następuje tłumaczenia formatów danych, dla potrzeb różnych form sieci. Wysyłane przez nadawcę dane, zostają przekształcone z formatu na którym operuje komputer, do podstawowej reprezentacji, jaka jest wykorzystywana w przesyle sieciowym. Po stronie odbiorcy czynności są odwracane, w sposób analogiczny i do potrzeb odbiorcy. Typowym dla tej warstwy jest także szyfrowanie, deszyfrowanie oraz kompresja transmitowanych danych. V warstwa - sesji W tej warstwie odbywa się sterowanie usługami odpowiedzialnymi za komunikację. Przede wszystkim jest to otwieranie i zamykanie sesji między łączącymi się komputerami. Warstwa pełni też rolę nadzorcy ustanowionych połączeń, uzgadnia rodzaj czy sposób połączeń pomiędzy obiema stronami.
Opis warstw modelu ISO/OSI IV warstwa - transportu Warstwa odpowiada za poprawne połączenie i transmisję danych. Dane przychodzące z warstwy sieciowej, są tutaj dzielone na małe części (segmentowanie), a następnie numerowane. U odbiorcy warstwa odpowiada za zgromadzenie wszystkich segmentów, które tworzą jedną wiadomość lub jeden plik, i ułożenie ich z powrotem w całość. Warstwa także jest odpowiedzialna za kontrolę przychodzących segmentów, i w przypadku niezgodności czy przekłamań, zapewnia ponowną transmisje segmentów zawierających błędy. III warstwa - sieciowa Warstwa, w której posegmentowany plik zostaje opatrzony nagłówkiem sieci, i dokładnym adresem celu i źródła. Tak opatrzone segmenty tworzą pakiety. Następnie warstwa wyznacza trasę pakietów (możliwie najlepszą) aby pakiety dotarły najszybciej do celu. Taka trasa może być wyznaczana na dwa sposoby. Pierwszy przy pomocy stałych tras routingu, opisanych w sieci, lub też dynamicznie, na podstawie bieżącego ruchu. Przy drugim rozwiązaniu, jest możliwość ominięcia tras, po której odbywa się największy ruch pakietów.
Opis warstw modelu ISO/OSI II warstwa - łącza danych Warstwa łącza danych odpowiada za odbiór i zamianę strumienia bitów pochodzących z urządzeń transmisyjnych (sieci, kart sieciowych), w taki sposób, aby nie zawierały one błędów. Warstwa ta interpretuje dane jako grupy bitów, zwane ramkami. Warstwa łącza danych tworzy i określa granice ramki. Ramka tworzona jest przez dołączenie do jej początku i końca grupy specjalnych bitów. Kolejnym zadaniem warstwy jest eliminacja zakłóceń, powstałych w trakcie transmisji informacji po kanale łączności. Ramki, które zostały przekazane niepoprawnie, są przesyłane ponownie. Dodatkowo, warstwa synchronizuje przekazywane dane, i zapewnia komunikację dwukierunkową. I warstwa - fizyczna Warstwa typowo sprzętowa. Jest odpowiedzialna za fizyczny transport danych, wykorzystując media sieciowe. Dla tej warstwy określone zostały techniczne wymagana co do medium transmisji oraz reszty sprzętu. Opisane także zostały parametry interfejsów, elektryczne, mechaniczne - czyli cała standaryzacja urządzeń aby zapewnić dogodne warunki przesyłu danych.
Superkomputery w ACK Cyfronet I # Klaster IBM BladeCenter HS21 - mars # SGI Altix 3700 - baribal # SGI Altix 4700 - panda # HP Integrity Superdome - jowisz # Sun Fire 6800 - saturn, puma - zainstalowany w ramach klastra komputerów SUN do projektu PROGRESS (projekt realizowany wspólnie przez PCSS, CYFRONET, Politechnikę Łódzką i Sun Microsystems)
Superkomputery w ACK Cyfronet II # SGI Onyx 300 - cezar - zainstalowany w ramach projektu SgiGrid, współrealizowanego przez ACK CYFRONET AGH, PCSS, WCSS, TASK, PŁ-CK, IMGW, ATM i SGI. # Klaster komputerów PC RackSaver - zeus - instalacja "testbedowa" (do uruchamiania i testowania aplikacji gridowych) w ramach międzynarodowych projektów gridowych. # Klaster serwerów HP Integrity rx2600 - ares - instalacja w ramach europejskiego projektu EGEE (Enabling Grids for E-science in Europe), którego glównym celem jest udostępnienie gridów obliczeniowych nauce i przemysłowi w Europie # Klaster serwerów HP Integrity rx2600 - clx - instalacja w ramach projektu CLUSTERIX zajmującego się budową Krajowego Klastra Linuxowego
Klaster obliczeniowy IBM BladeCenter HS21 * nazwa komputera: mars.cyfronet.krakow.pl * system operacyjny: Linux RedHat konfiguracja: o 112 procesorów: 56 węzłów po 2 procesory Intel Xeon Dual Core 2.66 GHz 8 GB pamięci + dysk 36.4 GB o pamięć operacyjna: 448 GB o pamięć dyskowa: 2 TB + 3 TB * moc obliczeniowa: 1192 Gflops * oprogramowanie: o kompilatory: + Intel Fortran Compiler (ifort) + Intel C++ Compiler (icc) + GNU Fortran (f77) i GNU c++ (gcc) + PGI CDK (Cluster DK Software) Parallel Fortran, C and C++ Compilers & Tools for Building and Programming a Linux Cluster o Open PBS (Portable Batch System) o ABAQUS o ANSYS o GAMESS o GAUSSIAN 03 o FLUENT o MSC/NASTRAN o MSC/PATRAN o OPERA o TURBOMOLE
Superkomputery i maszyny równoległe Lista top 500: www.top500.org (aktualizacja co 6 miesięcy) benchmark: LinPack (autor Jack Dongarra) lider: BlueGene/L - eserver Blue Gene Solution IBM, 212 992 procesorów, wydajność maksymalna 478 200 Gflops dominująca architektura: klastry i sieci Gigabit Ethernet (lub Infiniband) dygresja: pojedynki szachowe
Top500: top 10 sites November 2007 1 DOE/NNSA/LLNL United States BlueGene/L - eserver Blue Gene Solution IBM 2 Forschungszentrum Juelich (FZJ) Germany JUGENE - Blue Gene/P Solution IBM 3 SGI/New Mexico Computing Applications Center (NMCAC) United States SGI Altix ICE 8200, Xeon quad core 3.0 GHz SGI 4 Computational Research Laboratories, TATA SONS India EKA - Cluster Platform 3000 BL460c, Xeon 53xx 3GHz, Infiniband HP 5 Government Agency Sweden Cluster Platform 3000 BL460c, Xeon 53xx 2.66GHz, Infiniband HP 6 NNSA/Sandia National Laboratories United States Red Storm - Sandia/ Cray Red Storm, Opteron 2.4 GHz dual core Cray Inc. 7 Oak Ridge National Laboratory United States Jaguar - Cray XT4/XT3 Cray Inc. 8 IBM Thomas J. Watson Research Center United States BGW - eserver Blue Gene Solution IBM 9 NERSC/LBNL United States Franklin - Cray XT4, 2.6 GHz Cray Inc. 10 Stony Brook/BNL, New York Center for Computational Sciences United States New York Blue - eserver Blue Gene Solution IBM
Top500: wydajność 11/2007
Top500: projektowana wydajność 11/2007
Top500: sieci połączeniowe - systemy
Top500: sieci połączeniowe - wydajność
Usługi internetowe WWW poczta elektroniczna FTP, P2P transfer plików Usenet grupy dyskusyjne IRC rozmowy tekstowe w czasie rzeczywistym komunikatory internetowe (Gadu-Gadu, ICQ, Skype, Tlen) telefonia internetowa (VoIP) telekonferencje bankowość elektroniczna aukcje internetowe radio i telewizja internetowa
Przetwarzanie rozproszone typu klient-serwer różnorodne zasoby w różnych lokalizacjach wiele procesów obliczeniowych dedykowanych do tych zasobów heterogeniczność sprzętu dominujący paradygmat obliczeń - ma duże znaczenie komercyjne Przykład Serwer zarządza bazą danych Oferowana usługa: dostęp do bazy danych Klient uzyskuje dostęp do konkretnego zapisu w bazie danych
Przetwarzanie rozproszone typu klient-serwer Paradygmat klient-serwer opisuje asymetryczną relację pomiedzy dwoma procesami przebiegającymi zwykle w różnych miejscach: proces serwer - zarządza pewnymi zasobami w miejscu A - oferuje usługi dostępne dla innych procesów - po uruchomieniu działa w długim okresie czasu - oczekuje pasywnie na prośbę klienta - wykonuje zadania odpowiadając na zgłoszenia klientów proces klient - potrzebuje danej usługi aby wykonać swoją pracę w miejscu B - wysyła prośbę do serwera dotyczącą wykonania zadania z zakresu jego usług - otrzymuje z serwera wynik tego zadania
Przetwarzanie sieciowe Web service (usługa sieciowa) - komponent programowy niezależny od platformy i implementacji, dostarczający określonej funkcjonalności Usługa sieciowa może być: - zdefiniowana za pomocą języka opisu usług - standaryzowanym językiem, bazującym na XML jest WSDL (ang. Web Services Description Language) - opublikowana i wyszukana w rejestrze usług za pomocą standardowego mechanizmu (np. rejestry UDDI) - wywołana zdalnie przez zdefiniowany interfejs - częścią innych usług sieciowych lub być ich kompozycją. Na bazie usług sieciowych można konstruować rozproszone systemy i aplikacje. Aplikacje komunikują się z usługami sieciowymi z wykorzystaniem internetowych protokołów i formatów danych. Protokołem najczęściej stosowanym jest SOAP, zatwierdzony przez organizację W3C.
Gridy obliczeniowe Grid rozproszona infrastruktura obliczeniowa dla zaawansowanych obliczeń naukowo-technicznych Cele skoordynowane dzielenie zasobów dla rozwiazywania problemów w dynamicznych organizacjach wirtualnych, (VO) zrzeszających wiele instytucji VO konsorcja przemysłowe zabiegające o nowe kontrakty, zespoły zarządzania kryzysowego oraz systemy baz danych i systemy symulacyjne planowane do wykorzystania w sytuacjach awaryjnych, międzynarodowe zespoły współpracujących ze sobą fizyków wysokich energii Rozliczenie kosztów na zasadach rynkowych