Architektura systemów informatycznych. Systemy plików

Transkrypt

1 Architektura systemów informatycznych Systemy plików

2 Czym jest plik? o plik jest zbiorem powiązanych ze sobą informacji, zdefiniowanych przez jego twórcę o w plikach przechowuje się programy oraz dane (dane mogą być liczbowe, tekstowe, alfanumeryczne) o format plików może być dowolny lub ściśle określony o zawartość plików można traktować jako ciąg bitów, bajtów, wierszy lub rekordów

3 Zarządzanie plikami Zadania systemu operacyjnego o tworzy logicznie jednolity obraz magazynowania informacji o definiuje pliki, czyli jednostki logiczne przechowywania informacji, niezależne od fizycznych własności użytych urządzeń pamięci o umożliwia tworzenie i usuwanie plików o dostarcza elementarnych operacji do manipulowania plikami o odwzorowuje pliki na obszary pamięci pomocniczej o odwzorowuje pliki na urządzenia fizyczne o składuje pliki na trwałych nośnikach pamięci

4 Rodzaje plików o zwykłe pliki (ASCII lub binarne) o katalogi o dowiązania symboliczne o urządzenia blokowe (modelujące dyski) o urządzenia znakowe (modelujące terminale, drukarki, adaptery sieciowe, modemy, itp.) o potoki nazwane (named pipes, łącza nazwane, kolejki FIFO ) specjalne pliki łączące procesy o gniazda (porty)

5 Nazwy plików bezwzględne ścieżka nazwy pliku zaczyna się w korzeniu struktury plików np. /etc/sysc/config/hwconfig względne ścieżka nazwy pliku zaczyna się w bieżącym (roboczym) katalogu np.../spool/mail

6 Pojęcie systemu plików o o System plików metoda przechowywania plików, zarządzania plikami, informacjami o tych plikach, tak by dostęp do plików i danych w nich zgromadzonych był łatwy dla użytkownika systemu. Systemy plików stosuje się dla różnych nośników danych, takich jak dyski, dyskietki, a także w strumieniach danych, sieciach komputerowych, pamięciach.

7 Typy blokowych systemów plików o o dyskowe systemy plików o o o o o systemy plików odmian Uniksa, (System V, BSD) systemy plików Linuksa (minix, ext2, ext3, ReiserFS) systemy plików Microsoftu: FAT (MSDOS), VFAT (W98), NTFS (Windows) system plików ISO9660 dla płyt CD-ROM (dawniej High Sierra File System) inne, np. HPFS (IBM OS/2), HFS (Apple Macintosh) sieciowe systemy plików o NFS, Coda AFS, SMB (Microsoft Windows i IBM OS/2 LAN Manager), NCP (Novell NetWare Core Protocol )

8 Budowa fizyczna twardego dysku Wewnątrz obudowy dysku mieści się od jednego do kilku aluminowych lub szklanych talerzy pokrytych materiałem magnetycznym. W czasie dziłania dysku talerze kręcą się z pewną ustaloną prędkością (np. 3600, 5400, 7200obrotów na minutę RPM) Po obu stronach każdego z nich znajdują się ścieżki podzielone na sektory zawierające standardowo 512 do 4096 bajtów. Liczba sektorów na ścieżce zależy od odległości danej scieżki od środka dysku: im dalej w kierunku zewnętrznej krawędzi, tym więcej sektorów na ścieżce. ŚCIEŻKA 0 ŚCIEŻKA1023 Fizyczny dysk twardy SEKTOR Partycja główna (C:) Dysk logiczny (D:) Dysk logiczny (E:)

9 Budowa dysku Zapisane na dysku informacje odczytywane są przez głowice umieszczone na ruchomym ramieniu. Te ścieżki, które można odczytać bez potrzeby przemieszczenia ramienia z głowicami, tworzą jeden cylinder. Cylindry, głowice i sektory zostały ponumerowane, aby łatwo odwoływać się do konkretnego miejsca (standard C/H/S; cylindry i głowice numerowane są od 0, sektory od 1).

10 Struktura fizyczna dysku Napędy dyskowe nagrywają dane, kiedy głowica przesyła serię impulsów elektrycznych do talerza; przekładane są one na zapis magnetyczny na powierzchni Komenda: sudo fdisk -l

11 Struktura danych blokowych System plików jest odpowiedzialny za zorganizowanie plików w logiczne hierarchiczne struktury składające się z katalogów, plików, dowiązań symbolicznych itp. Pliki, itd. są przechowywane w blokach na urządzeniu fizycznym. Uniksowy/Linuksowy system plików traktuje to urządzenie jako liniowy zbiór bloków. Dla systemu plików fizyczny układ bloków na dysku jest bez znaczenia. Zadaniem kontrolera urządzenia blokowego jest powiązanie numeru bloku z numerem cylindra, głowicy, sektora. Partycja systemu plików Ext2 podzielona jest na bloki o rozmiarze 1024, 2048 lub 4096 bajtów (na niektórych architekturach do 8192 b). Blok 0 Blok 1 Blok 2 Blok 3 Blok n struktura fizyczna - cylinder\głowica\sektor

12 Metody rejestrowania plików w systemach plików o o o Mapa bitowa wolnej przestrzeni Tablica alokacji plików Pliki w formie list bloków

13 Mapa bitowa wolnej przestrzeni Do opisania wolnych bloków na dysku można wykorzystać strukturę nazywaną mapą bitową wolnej przestrzeni Pewien obszar na dysku jest zarezerwowany na mapę bitową opisującą wolne bloki Do opisu wolności jednego bloku używany jest jeden bit, czyli jeżeli system operacyjny stosuje bloki 4096 bajtowe to jeden blok z mapą może obsłużyć (8*4096) innych bloków W przypadku dysku 120 GB z blokami 4096 mapa bitowa zajmie prawie 4MB Metoda zastosowana systemach plików ext2 Wektor bitowy Kolejne 4096 bajtowe bloki dysków

14 Tablica alokacji plików Tablica alokacji plików (ang. File allocation table - FAT) tablica powiązanych ze sobą wskaźników, gdzie każdemu sektorowi (blokowi) dysku odpowiada jeden wskaźnik W katalogu głównym znajduje się obszar ze wskaźnikami do plików i wolnego miejsca, które wskazuje następne wolny obszar na dysku Plik1: 64 Plik2: 66 Plik3:69.. Wolny blok:68 Nr bloku wskaźnik

15 Pliki w formie list bloków Opis pliku w katalogu może zawierać indeksy 8 lub 16 bloków o wielkości 4096 bajtów (dla plików do 32 lub 64 kb) Część bloków na dysków przechowuje 32-bitowe wskaźniki do każdego z wolnych bloków na dysku Każdy blok o wielkości 4096 może przechować 1024 wskaźniki W miarę zapełniania dysku bloki z wskaźnikami są zwalniane. Rozwiązanie stosowane w NTFS i ext3 Plik1: 61, 62 Plik2: 63, 64 Wolne bloki: 65,66, 67,68, 71,72 Plik3: 69, Kolejne 4096 bajtowe bloki dysków

16 Organizacja danych Systemy operacyjne łączą bloki w klastry. Klaster składa się z kilku bloków (w nowszych systemach może to być 8 lub więcej bloków). Dyskowy system plików część pamięci wykorzystuje na tzw. sektor rozruchowy (boot sector), który nie stanowi zasadniczej części systemu plików i jest używany do rozruchu systemu. Systemy plików przechowują listy wszystkich klastrów (oraz informacje do których plików one należą) w tzw. tablicach alokacji. Przykład alokacji w linuksowym systemie plików ext2: Blok rozr. (boot sector) grupa bloków 0 grupa bloków 1 grupa bloków 2 grupa bloków 3 grupa bloków n

17 Struktura danych blokowych o o pierwszy sektor dysku (Master Boot Record) zawiera kod programu do ładowania systemu operacyjnego oraz tabele partycji tabela partycji (4 pozycje po 16 bajtów każda): o do 4 partycji typu podstawowego (primary) o partycja rozszerzona (extended) typu 5,F lub 85, tj. adres pierwszego sektora partycji logicznej, który zawiera tabele partycji i adres kolejnej partycji logicznej

18 Implementacje systemów plików przydział ciągły łatwa lokalizacja pliku, b.dobra wydajność, fragmentacja, trudność w przydziale wolnego obszaru dla plików o zmiennej długości (sekwencyjny) połączona lista łatwa lokalizacja pliku, brak fragmentacji, mała wydajność odczytu, wielkość pliku nie jest potęgą 2 połączona lista z indeksem (FAT, File Allocation Table) wielkość pliku potęgą 2, dobra wydajność czytania, jeśli FAT w RAM-e, duże dyski wymagają dużo RAM-u (około 37 MB dla dysku 10 GB) i-węzły (ext2, ext3, ext4)

19 Pliki w systemie Unix/Linux o o o każdy plik jest elementem jakiegoś katalogu katalog jest specjalnym rodzajem pliku, który zawiera listę nazw plików wraz z odpowiadającymi im numerami i-węzłów (i-nodes) i-wezeł jest to struktura danych zawierająca wszystkie dane o pliku (katalogu): numer bloku na dysku, nazwę właściciela pliku, prawa dostępu i czas ostatniego dostępu (każdy i-węzeł to około 256B danych)

20 System plików ext2 Drugi Rozszerzony System Plików ( Second Extended File System, w skrócie Ext2 ) pojawił się w pierwszej wersji alfa w styczniu 1993r. Autorem systemu był Rémy Card z Universite Pierre et Marie Curie (Paryż). System powstał jako rozszerzenie systemu Extfs, który z kolei miał na celu zastąpienie Minixa - pierwszego systemu plików w Linuxie. W chwili obecnej Ext2 jest najpowszechniej używanym systemem plików w Linuxie. Do niedawna Ext2 był podstawowym systemem plików dla wielu dystrybucji Linuxa.

21 Cechy systemu Ext2 Wspiera wszystkie elementy systemu plików Unix (dowiązania symboliczne, pliki specjalne, prawa dostępu...) Wysoka wydajność dzięki przeciwdziałaniu fragmentacji (poprzez przydzielanie bliskich bloków oraz prealokację). Wydajny mechanizm dowiązań symbolicznych Stabilny i dobrze przetestowany (sam system plików, jak również program naprawiający e2fsck) Dobrze zdefiniowany sposób dodawania rozszerzeń Niezależny od tworzącego systemu operacyjnego (wszystkie pola wielobajtowe zapisane w standardzie little-endian) Maksymalny rozmiar partycji to 4TB, a pojedynczego pliku 2GB. Maksymalna długość nazwy pliku: 255 znaków. Obsługa "dziurawych" plików (nieużywane bloki nie zostają przydzielone). Automatyczne sprawdzanie systemu po awarii oraz co określony czas

22 Struktura systemów plików ext2/ext3 Elementy systemu plików: blok startowy grupa bloków: superblok deskryptory grupy mapa bitowa bloków danych mapa bitowa i-węzłów tablica i-węzłów bloki danych

23 Superblok Superblok to struktura danych opisująca globalne parametry systemu plików. Przy montowaniu jądro wczytuje superblok związany z danym systemem plików do pamięci operacyjnej, a zapisuje go na dysku po każdym wywołaniu funkcji systemowej sync oraz przy demontowaniu systemu plików. Zawartość superbloku: tune2fs -l /dev/sda4

24 Elementy grupy bloków Mapa bitowa bloków: zajmuje pojedynczy blok, w którym każdy bit odpowiada jednemu blokowi grupy. Bit ustawiony oznacza, że odpowiedni blok jest zajęty Mapa bitowa i-węzłów: opisuje zajętość i-węzłów w tej grupie Tablica i-węzłów: bloki, w ramach których przydzielane są metryczki plików (i-węzły). Liczba i-węzłów w ramach grupy ustalana jest statycznie podczas tworzenia systemu plików

25 i-węzły Tak jak bloki dla danych, tak i-węzły są podstawą budowy meta-danych w systemie Ext2. Każdy plik (katalogi traktujemy jak specjalny rodzaj plików) w systemie jest jednoznacznie identyfikowany przez i-węzeł. I-węzły są trzymane w tablicy i-węzłów w grupie bloków. Dzięki mapie zajętości i-węzłów możemy śledzić, które i-węzły są wolne, a które zajęte w obrębie grupy bloków. Niektóre pola i-węzła zwykłego pliku dyskowego ext2/ext3 (128 B): i mode prawa dostępu do pliku oraz typ pliku i uid, i gid właściciel pliku czas stworzenia, modyfikacji, dostępu oraz usunięcia pliku i size rozmiar pliku w bajtach i blocks liczba zajętych węzłów; nie musi wynikać z i_size, ponieważ system potrafi sobie radzić z dziurami w plikach; Uwaga: i_blocks odnosi się do bloków 512 bajtowych i block tablica używana do zlokalizowania danych i flags flagi decydujące o zachowaniu się systemu przy dostępie do pliku określonego przez ten węzeł

26 i-węzły

27 Pliki zwykłe, dowiązania twarde, symboliczne informacja o pliku: stat /etc/passwd dowiązanie twarde: ln plik stary_plik nowy_plik dowiązanie symboliczne: ln -s plik stary_plik nowy_plik

28 Dołączanie systemu plików do struktury katalogów Przed użyciem systemu plików trzeba wykonać dwie podstawowe operacje: zarejestrowanie wykonywanie albo w chwili startu systemu, albo w czasie ładowania modułu, implementującego system plików; po zarejestrowaniu systemu plików jego funkcje staja się dostępne dla jądra zamontowanie dzięki odpowiednim funkcjom system plików może być zamontowany w drzewie katalogów systemu Komenda: mount -t typ_systemu_plików nazwa_urządzenia katalog Np. mount -t ext3 /dev/sda2 /home

29 Systemy plików z kroniką Dziennikowe systemy plików (JFS, Journaling File System): ext3, ReiserFS, xfs, NTFS. Zalety systemu plików ext3: dostępność integralność danych ext3 zapewnia mocniejsza integralność danych w razie awarii systemu szybkość pomimo pisania niektórych danych dwa razy, ext3 zapewnia zwiększoną przepustowość, gdyż optymalizuje ruch głowic łatwość przejścia z ext2 na ext3

30 Główne cechy systemu EXT3 Trzeci Rozszerzony System Plików wywodzi się bezpośrednio z Ext2. Został stworzony przez Stephen'a Tweedie z firmy RedHat. Wersja alfa pojawiła się w 1999 roku. Podstawową różnicą w stosunku do poprzednika jest mechanizm księgowania (journaling), który wprowadzono w celu skrócenia czasu wstawania systemu po awarii. Dodatkowo, wprowadzono na stałe kilka usprawnień, które były wcześniej dostępne jako łaty dla systemu Ext2. Nowe pola w Superbloku związane z obsługą księgowania: s journal inum numer i-węzła pliku księgującego s journal dev urządzenie, na którym znajduje się ten plik s last orphan początek listy z i-węzłami do usunięcia

31 Spójność systemu plików Dane systemu plików są zmieniane w pamięci, a dopiero później zmiany zapisywane są na dysku. W razie awarii system plików pozostaje w stanie niespójnym. Naprawianie systemów plików: fsck nazwa urządzenia fsck /dev/sda3 Sprawdzanie spójności systemu plików w ext2 jest czynnością bardzo czasochłonną.

32 Spójność systemu plików Jak fsck sprawdza spójność bloków? 1. dla każdego bloku tworzony jest: licznik plików (liczba plików, które odwołują się do danego bloku) licznik wolnych bloków (liczba wolnych bloków o numerze danego bloku) 2. przeglądana jest lista i-węzłów i zwiększane są liczniki bloków związanych z danym i-węzłem 3. przeglądana jest lista wolnych bloków i zwiększany jest licznik wolnych bloków

33 Spójność systemu plików Jak fsck sprawdza spójność plików? 1. dla każdego pliku (i-węzła) tworzony jest licznik 2. przeglądana jest lista plików (poczynając od korzenia systemu plików) 3. po napotkaniu pliku zwiększany jest licznik jego i-węzła 4. dla każdego i-węzła porównywany jest stan jego licznika z liczbą dowiązań zapisana w i-węzle Jeśli system jest spójny to liczba dowiązań jest równa stanowi licznika.

34 Wirtualny system plików Wirtualny system plików (ang. Virtual File System lub Virtual Filesystem Switch, VFS) - abstrakcyjna powłoka leżąca ponad rzeczywistym systemem plików, której zadaniem jest umożliwienie programom użytkownika korzystania z niego w jednakowy sposób, niezależnie od tego jaki system plików jest rzeczywiście wykorzystywany. VFS dostarcza jednolity interfejs wspólny dla wszystkich systemów plików obsługiwanych przez jądro systemu operacyjnego. System operacyjny Linux potrafi obsłużyć kilkanaście różnych systemów plików dzięki zastosowaniu tzw. wirtualnego systemu plików (VFS, Virtual File System, Virtual Filesystem Switch).

35 Wirtualny system plików VFS wprowadza wspólny model plików, który umożliwia reprezentowanie wszystkich możliwych systemów plików. W tym modelu katalog jest uważany za zwykły plik zawierający listę plików i innych katalogów. Część nieuniksowych dyskowych systemów operacyjnych używa tablicy alokacji plików (FAT, Fat Allocation Table), która przechowuje pozycje każdego pliku w drzewie katalogów.

36 Wirtualny system plików VFS stanowi warstwę interfejsu pomiędzy systemem operacyjnym i różnymi systemami plików. VFS korzysta ze wspólnego modelu plików. Wspólny model plików składa się z obiektów następujących typów: obiekt superbloku przechowuje informacje dotyczące zamontowanego systemu plików (w przypadku dyskowego systemu plików jest to blok kontrolny systemu plików) obiekt i-węzła przechowuje informacje o danym pliku (w przypadku dyskowego systemu plików jest to blok kontrolny pliku) obiekt pliku przechowuje informacje o powiązaniu miedzy otwartym plikiem a procesem (informacja istnieje tylko w pamięci jądra) obiekt pozycji katalogu przechowuje informacje o powiązaniu pozycji katalogu z odpowiednim plikiem

37 Wirtualny system plików (cd)

38 Struktura systemu plików NTFS Wolumin stawnowi całość. Wszystko jest plikiem MFT, Boot, itd. MasterFileTable jest relacyjną bazą danych, w której wierszami są pliki, a kolumnami atrybuty. Wszystko w pliku jest atrybutem łącznie z zawartością. Atrybuty to strumienie danych (ciągi bajtów). Wszystkie pliki mają swoje rekordy w MFT MFT też ma rekord w MFT.

39 Porównanie systemów plików NTFS i ext3

40 Struktura katalogów w ext* / Katalog główny (nazywany również root z angielskiego korzeń), gdzie znajdują się wszystkie katalogi i pliki systemu Linux oznaczony jest symbolem / (slash). /bin pliki binarne (wykonywalne) podstawowych narzędzi systemowych, które są niezbędne do pracy w trybie wieloużytkownikowym. /boot pliki odpowiedzialne za bootowanie (uruchamianie) systemu oraz jądro systemu /cdrom zazwyczaj jest to katalog dowiązany do katalogu media lub mnt (w zależności od dystrybucji) /dev pliki odpowiedzialne za obsługiwanie urządzeń jak np. cdrom. Pliki w tym katalogu odpowiadają za komunikację system urządzenia komputera. /etc globalne pliki konfiguracyjne, ustawienia systemowe /home jest miejscem, w którym tworzy się katalog domowy użytkownika lub użytkowników (/home/nazwa_użytkownika), a w nim dodatkowo podkatalogi jak: dokumenty, muzyka, obrazy. Możemy tworzyć również swoje własne według potrzeb. /lib skompilowane biblioteki niezbędne do uruchamiania systemu a także moduły jądra systemu

41 /lost+found - pliki odnalezione podczas wykonywania testów dysku /media miejsce montowania (podłączania) nośników wymiennych jak pendrive, dyskietka, karty pamięci, czy napędy cdrom /mnt miejsce montowani dysków systemów plików (w niektórych dystrybucjach np. Ubuntu, dyski montowane są w katalogu /media) /opt Katalog do instalowania dodatkowego oprogramowania nie wchodzącego w skład systemu (wykorzystywany głównie w dystrybucji SUSE). Obecnie, w niektórych dystrybucjach służy on do instalacji oprogramowania trzeciego jak np. oracle'a. Folder ten wychodzi z użycia na rzecz /usr/local /proc - wirtualny system plików. Tworzy się podczas uruchamiania systemu. Zawiera w sobie pliki z informacjami o procesach /root katalog superużytkownika root mówiąc w skrócie, jest to konto administracyjne. Bez niego nie możemy używać np. narzędzia sudo czy dokonywać żadnych zmian w systemie wymagających hasła administratora np. aktualizacji systemu. /sbin pliki wykonywalne poleceń, dostępne tylko dla administratora (root) /srv - katalog dla serwerów /sys interfejs zmiany parametrów jądra (od jądra w wersji 2.6) /tmp pliki tymczasowe (również te, zapisujące się na dysku przy przeglądaniu Internetu) /usr narzędzia i aplikacje (programy) zainstalowane na komputerze dostępne dla zwykłego użytkownika oraz administratora. /var zawiera w sobie logi systemowe, pliki pocztowe czy kolejki drukarki.