Wybór systemu plików Klucz do wydajności systemu Ziemowit Buczyński Solutions Architect zbuczynski@suse.com
Systemy plików Bliżej dżungli niż parku... btrfs HPFS samba HFS FAT32 XFS ext3 WebDAV WinFS NFS FAT SYSV ext2 HFSX reiserfs UFS NCP minix JFS VFAT NTFS ext4 CIFS YAFFS 2
Systemy plików Próba uporządkowania podejście pierwsze 1960 1970 1980 1990 2000 2010 3
Systemy plików Próba uporządkowania podejście drugie DOS Android Windows Sieciowe ios CD/DVD Unix/Linux Inne 4
Systemy plików Próba uporządkowania podejście drugie DOS FAT, FAT16 Windows ios FAT32, extfat, NTFS, WinFS AppleDOS, MFS, HFS* Unix/Linux SYSV, UFS, minix, ext*, ZFS, JFS, XFS, filecorefs, reiser*, btrfs Android VFAT, ext4, f2fs, YAFFS Sieciowe NFS, SMB, CIFS, NCP, WebDAV CD/DVD Inne ISO9660 (+Joliet, +Rockridge), UDF HPFS, BeFS, PFS 5
Linux kernel-supported Próba uporządkowania trzecie przybliżenie Amiga Fast File System Arla Aufs Btrfs Captive NTFS CDfs Chiron FS Ext2 Ext3 Ext3cow Ext4 Extended file system (ext) File Allocation Table (msdos, vfat, umsdos) Filesystem in Userspace (FUSE) Fusion-io NVMFS High Performance File System (HPFS) JFS Linux Userland Filesystem (LUFS) MINIX file system Next3 NILFS NTFS-3G OpenAFS OpenZFS RAM drive Reiser4 ReiserFS Romfs RozoFS SpadFS StegFS Tmpfs Tux3 UnionFS XFS Xiafs ZFS 6
Linux distributed Próba uporządkowania trzecie przybliżenie Andrew File System CephFS Coda CRFS CXFS EXOFS BeeGFS Gfarm file system GFS2 GlusterFS Google File System InterMezzo Lustre Moose File System ObjectiveFS OCFS2 OrangeFS Parallel Virtual File System QFS Red Hat Storage Server Swift XtreemFS IBM General Parallel File System 7
Linux flash & pseudo Próba uporządkowania trzecie przybliżenie F2FS JFFS JFFS2 LogFS UBIFS YAFFS Configfs Device file Kernfs (Linux) OverlayFS Procfs Specfs Sysfs 8
Popularne, linuksowe systemy plików Próba uporządkowania podejście czwarte ext, ext2*, ext3*, ext4 XFS* btrfs* f2fs reiserfs* NTFS JFS * oficjalnie wspierane w SLE 9
Trochę faktów
Porównanie część 1 Ograniczenia Długość nazwy pliku Dozwolone znaki Max. długość ścieżki Max. wielkość pliku Max. wielkość wolumenu FAT32 HPFS NTFS HFS Plus 8.3 (255 UTF-16 charact ers with LFN) Dowolny Unicode poza NUL Nie zdefinio wana 255 bajtów Dowolny poza NUL Nie zdefinio wana 255 znaków Dowolny poza NUL, / 255 znaków UTF-16 Any valid Unicode 32,767 Nieogra niczona ext2 ext3 ext4 Reiser FS 255 bajtów Dowolny poza NUL Nie zdefinio wana 4 GiB 2 GiB 16 EiB <8 EiB 16 GiB do 2 TiB 512 MiB do 8 TiB 2 TiB 16 EiB <8 EiB 2 TiB do 32 TiB 255 bajtów Dowolny bajt poza NUL Nie zdefinio wana 16 GiB do 2 TiB 2 TiB do 32 TiB 255 bajtów Dowolny bajt poza NUL Nie zdefinio wana 16 GiB do 16 TiB 4,032 bajtów/2 55 znaków Dowolny bajt poza NUL Nie zdefinio wana 8 TiB (v3.6), 4 GiB (v3.5) Reiser 4 3,976 bajtów Dowolny bajt poza NUL, / Nie zdefinio wana 8 TiB na x86 OCFS 2 255 bajtów Dowolny bajt poza NUL Nie zdefinio wana XFS JFS Btrfs 255 bajtów Dowolny bajt poza NUL Nie zdefinio wana 255 bajtów Dowolny Unicode poza NUL Nie zdefinio wana 255 bajtów Dowolny bajt poza NUL, / Nie zdefinio wana 4 PiB 8 EiB 4 PiB 16 EiB 1 EiB 16 TiB? 4 PiB 8 EiB 32 PiB 16 EiB 11
Porównanie część 2 Atrybuty FAT32 HPFS NTFS HFS Plus ext2 ext3 ext4 Reiser FS Reiser 4 OCFS 2 XFS JFS Btrfs Stores file owner POSIX file permissions Creation timestamps Last access/read timestamps Last metadata change timestamps Last archive timestamps Access control lists Security/ MAC labels Extended attributes/ Alternate data streams/ forks Nie Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Nie Nie Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Nie Nie Tak Nie Nie Nie Nie Tak? Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Nie Nie Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Nie Nie Nie Tak Nie Nie Nie Nie Nie Nie Nie Nie Nie Nie Nie Tak Tak Tak Tak Tak Tak Nie Nie Tak Tak Tak Nie? Tak? Tak Tak Tak Tak Nie Nie Tak Tak Tak Nie Tak Tak Tak Tak Tak Tak Tak Nie Nie Tak Tak Tak Checksum/ ECC Nie Nie Nie Nie Nie Nie Tak, ekspery mental nie Nie Nie Nie Nie Nie Tak 12
Porównanie część 3 Funkcjonalność FAT32 HPFS NTFS HFS Plus ext2 ext3 ext4 Reiser FS Reiser 4 OCFS 2 XFS JFS Btrfs Hard links Nie Nie Tak Częścio wo Tak Tak Tak Tak Tak Tak Tak Tak Tak Symbolic links Nie Nie Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Block journaling Nie Nie Nie Nie Nie Tak Tak Tak Tak Tak Nie Nie N/A (CoW) Metadata-only journaling Nie Nie Tak Tak Nie Tak Tak Tak Nie Tak Tak Tak N/A (CoW) Case-sensitive Nie Nie Tak Częścio wo Tak Tak Tak Tak Tak Tak Tak Tak Tak Casepreserving Częścio wo Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak Tak File Change Log Nie Nie Tak Tak Nie Nie Nie Nie Nie Nie Tak Nie Snap shots Internal snapshotting / branching Nie? Częścio wo Nie Nie Nie Nie Nie? Nie Nie? Tak XIP Nie Nie? Nie Tak Tak Tak?? Nie??? Filesystemlevel encryption Nie Nie Tak Nie Nie Nie Tak, ekspery mental nie Nie Tak Nie Nie Nie Nie 13
Porównanie część 4 Wykorzystanie przestrzeni FAT32 HPFS NTFS HFS Plus ext2 ext3 ext4 Reiser FS Reiser 4 OCFS 2 XFS JFS Btrfs Tail packing Nie Nie Nie Nie Nie Nie Nie Tak Tak Nie Nie Nie Tak Transparent compression Nie Nie Tak Nie Nie Nie Nie Nie Tak Nie Nie tylko w JFS1 na AIX Tak Block suballocation Nie Nie Częścio wo Nie Nie Nie Nie Tak Tak Nie Nie Tak Tak Allocate-onflush Nie Nie Nie Nie Nie Nie Tak Nie Tak Nie Tak Nie Tak Extents Nie Tak Tak Tak Nie Nie Tak Nie Tak Tak Tak Tak Tak Variable file block size Nie Nie Nie Nie Nie Nie Nie Nie Nie Nie Nie Nie Nie Sparse files Nie Nie Tak Nie Tak Tak Tak Tak Tak Tak Tak Tak Tak Online extend Nie Nie Tak Tak Nie Nie Tak Tak? Tak Tak Nie Tak Offline extend Nie Nie Tak Tak Nie Nie Tak Tak? Nie Nie Nie Tak Online shrink Nie Nie Tak Tak Nie Nie Nie Nie? Nie Nie Nie Tak Offline shrink Nie Nie Tak Tak Nie Nie Tak Nie? Nie Nie Nie Tak Defragment Nie Nie Tak Nie Nie Nie Nie Nie? Nie Nie Tak Tak 14
Wydajność
Szybki test Odczyt Małe pliki 25000 plików śr. 8KiB każdy (190MiB) btrfs ext3 XFS 5,048 s 11,094 s 18,541 s Średnie pliki 1 plik 190MiB 1,727 s 1,630 s 1,878 s Duże pliki Duże pliki 1 plik 2023MiB w przeliczeniu na kawałki 190 MiB 11,024 s 14,741 s 8,112 s 1,035 s 1,384 s 0,762 s 16
Szybki test Zapis Małe pliki 25000 plików śr. 8KiB każdy (190MiB) btrfs ext3 XFS 13,427 s 26,680 s 30,268 s Średnie pliki 1 plik 190MiB 1,147 s 1,596 s 1,656 s Duże pliki Duże pliki 1 plik 2023MiB w przeliczeniu na kawałki 190 MiB 12,504 s 39,178 s 10,782 s 1,174 s 3,679 s 1,013 s 17
Użyteczne narzędzia
top (htop) zawsze Twoim przyjacielem jest top 00:45:36 up 4:44, 8 users, load average: 0.09, 0.10, 0.19 Tasks: 302 total, 2 running, 300 sleeping, 0 stopped, 0 zombie %Cpu(s): 0.7 us, 0.2 sy, 0.0 ni, 99.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st KiB Mem: 16346888 total, 12080988 used, 4265900 free, 856 buffers KiB Swap: 2096124 total, 0 used, 2096124 free, 10309288 cached PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 2843 ziemek 20 0 3150900 990.6m 97604 S 2.661 6.205 29:53.26 firefox 10450 ziemek 20 0 6823320 281008 86836 S 1.330 1.719 2:57.22 soffice.bin 2524 ziemek 20 0 495664 35628 22192 S 0.998 0.218 3:41.78 superkaramba 11 root 20 0 0 0 0 S 0.333 0.000 0:02.88 rcuop/0 1581 root 20 0 595656 193312 168532 S 0.333 1.183 5:24.38 Xorg 2338 ziemek 20 0 1601100 46796 26644 S 0.333 0.286 0:05.66 kded4 2424 ziemek 20 0 2786912 57340 34668 S 0.333 0.351 1:16.63 kwin 2431 ziemek 20 0 3174680 144920 49188 S 0.333 0.887 1:24.32 plasma desktop 11917 ziemek 20 0 563676 46136 23968 S 0.333 0.282 0:32.77 konsole 31297 ziemek 20 0 15452 1728 1128 R 0.333 0.011 0:00.01 top 1 root 20 0 48332 4132 2264 S 0.000 0.025 0:00.82 systemd 2 root 20 0 0 0 0 S 0.000 0.000 0:00.01 kthreadd 3 root 20 0 0 0 0 S 0.000 0.000 0:00.05 ksoftirqd/0 5 root 0 20 0 0 0 S 0.000 0.000 0:00.00 kworker/0:0h 19
vmstat szybki podgląd do automatycznego przetwarzania host1# vmstat S M 1 procs memory swap io system cpu r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 0 4134 0 10083 0 0 38 73 77 129 2 1 97 1 0 0 0 0 4124 0 10089 0 0 0 8 818 2272 6 1 93 0 0 0 0 0 4120 0 10089 0 0 0 0 612 3334 2 0 97 0 0 1 0 0 4098 0 10089 0 0 0 0 377 1043 2 0 98 0 0 0 1 0 4101 0 10089 0 0 0 0 386 1137 2 0 97 1 0 0 0 0 4099 0 10089 0 0 0 8 358 960 2 0 98 1 0 1 0 0 4108 0 10089 0 0 0 0 344 1144 1 0 98 0 0 1 0 0 4107 0 10089 0 0 0 0 247 783 1 0 99 0 0 0 0 0 4106 0 10089 0 0 0 0 268 867 1 0 99 0 0 3 0 0 4096 0 10089 0 0 0 0 325 1001 1 0 98 0 0 0 0 0 4096 0 10089 0 0 0 60 318 987 1 0 99 0 0 0 0 0 4097 0 10089 0 0 0 4708 286 1018 1 0 99 0 0 0 0 0 4092 0 10089 0 0 0 0 293 923 1 0 99 0 0 0 0 0 4093 0 10089 0 0 0 0 295 1034 1 0 99 0 0 20
hdparm ustalamy punkt wyjścia host1# hdparm Tt /dev/sda5 /dev/sda5: Timing cached reads: 24986 MB in 2.00 seconds = 12505.13 MB/sec Timing buffered disk reads: 264 MB in 3.00 seconds = 87.96 MB/sec host2# hdparm Tt /dev/sda3 /dev/sda3: Timing cached reads: 11144 MB in 2.00 seconds = 5575.76 MB/sec Timing buffered disk reads: 1290 MB in 3.03 seconds = 425.34 MB/sec Żeby wyniki miały sens należy powtórzyć pomiar 2-3 razy przy nieobciążonym systemie 21
lsof co/kto nam grzebie w plikach host1# lsof COMMAND PID TID USER FD TYPE DEVICE SIZE/OFF NODE NAME systemd 1 root cwd DIR 0,19 246 256 / systemd 1 root rtd DIR 0,19 246 256 / systemd 1 root txt REG 0,19 1072512 1344333 /usr/lib/systemd/syst systemd 1 root mem REG 0,19 56721 1396701 /lib64/libnss_files 2 systemd 1 root mem REG 0,19 56575 1396705 /lib64/libnss_nis 2.1 systemd 1 root mem REG 0,19 108060 1396693 /lib64/libnsl 2.18.so systemd 1 root mem REG 0,19 38420 1396695 /lib64/libnss_compatsystemd 1 root mem REG 0,19 88216 1464 /lib64/libz.so.1.2.8 systemd 1 root mem REG 0,19 154112 19168 /usr/lib64/liblzma.so systemd 1 root mem REG 0,19 444408 1339937 /usr/lib64/libpcre.so systemd 1 root mem REG 0,19 18904 1396689 /lib64/libdl 2.18.so systemd 1 root mem REG 0,19 2003811 1396683 /lib64/libc 2.18.so NetworkMa 1140 root mem REG 0,19 31112 18705 /usr/lib64/libffi.so. NetworkMa 1140 root mem REG 0,19 98114 1396713 /lib64/libresolv 2.18 NetworkMa 1140 root mem REG 0,19 138720 1403 /lib64/libselinux.so. NetworkMa 1140 root mem REG 0,19 88216 1464 /lib64/libz.so.1.2.8 NetworkMa 1140 root mem REG 0,19 731480 20421 /usr/lib64/libsqlite3 NetworkMa 1140 root mem REG 0,19 1479688 1041279 /usr/lib64/libxml2.so NetworkMa 1140 root mem REG 0,19 42594 1396715 /lib64/librt 2.18.so NetworkMa 1140 root mem REG 0,19 71736 1339902 /usr/lib64/libudev.so ntpd 1413 ntp cwd DIR 0,19 36 46075 /var/lib/ntp ntpd 1413 ntp rtd DIR 0,19 36 46075 /var/lib/ntp ntpd 1413 ntp txt REG 0,19 758336 1339851 /usr/sbin/ntpd ntpd 1413 ntp mem REG 0,19 88216 1464 /lib64/libz.so.1.2.8 ntpd 1413 ntp mem REG 0,19 18904 1396689 /lib64/libdl 2.18.so ntpd 1413 ntp mem REG 0,19 2003811 1396683 /lib64/libc 2.18.so ntpd 1413 ntp mem REG 0,19 18976 1404 /lib64/libcap.so.2.22 22
iostat przyjrzyjmy się trochę bliżej host1# iostat p sda Linux 3.11.10 29 desktop (badawi.pentacom.pl) 09/22/2015 _x86_64_ (8 CPU) avg cpu: %user %nice %system %iowait %steal %idle 1.70 0.02 0.55 1.09 0.00 96.65 Device: tps kb_read/s kb_wrtn/s kb_read kb_wrtn sda 32.61 291.73 580.05 5793268 11518800 sda1 0.02 0.29 0.00 5840 0 sda2 0.02 0.11 0.00 2096 0 sda3 0.02 0.08 0.00 1684 0 sda4 17.81 102.92 142.82 2043796 2836132 sda5 14.13 73.63 426.11 1462184 8461808 sda6 0.48 114.66 11.12 2276960 220860 host1# iostat d 2 Linux 3.11.10 29 desktop (badawi.pentacom.pl) 09/22/2015 _x86_64_ (8 CPU) Device: tps kb_read/s kb_wrtn/s kb_read kb_wrtn sda 32.49 290.31 578.50 5793268 11544388 sda 0.00 0.00 0.00 0 0 sda 0.00 0.00 0.00 0 0 sda 4.50 0.00 1136.00 0 2272 sda 0.00 0.00 0.00 0 0 23
iotop przyjrzyjmy się trochę bliżej host1# iotop Total DISK READ : 0.00 B/s Total DISK WRITE : 937.32 K/s Actual DISK READ: 0.00 B/s Actual DISK WRITE: 1110.93 K/s TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND 296 be/4 root 0.00 B/s 485.78 K/s 0.00 % 1.47 % [btrfs transacti] 5484 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.10 % [kworker/0:1] 2945 be/4 ziemek 0.00 B/s 448.35 K/s 0.00 % 0.00 % firefox [DOM Worker] 27986 be/4 root 0.00 B/s 3.19 K/s 0.00 % 0.00 % [btrfs endio wri] 1 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % init showopts 2 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kthreadd] 3 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [ksoftirqd/0] 5 be/0 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/0:0h] 7 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [migration/0] 8 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcuc/0] 9 rt/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcub/0] 10 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcu_preempt] 11 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcuop/0] 12 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcuop/1] 13 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcuop/2] 14 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcuop/3] 15 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [rcuop/4] 24
...z kronikarskiego obowiązku ;-) Sentinel Nagios nmon I wiele, wiele innych... 25
Czas decyzji
Strategia wyboru Cel Dostępne narzędzia Stabilność Wsparcie 27
Zapraszamy na nasze strony: www.susetech.pl www.suse.pl Dziękuję. 28
29
Corporate Headquarters Maxfeldstrasse 5 90409 Nuremberg Germany +49 911 740 53 0 (Worldwide) www.suse.com Join us on: www.opensuse.org 30
Unpublished Work of SUSE LLC. All Rights Reserved. This work is an unpublished work and contains confidential, proprietary and trade secret information of SUSE LLC. Access to this work is restricted to SUSE employees who have a need to know to perform tasks within the scope of their assignments. No part of this work may be practiced, performed, copied, distributed, revised, modified, translated, abridged, condensed, expanded, collected, or adapted without the prior written consent of SUSE. Any use or exploitation of this work without authorization could subject the perpetrator to criminal and civil liability. General Disclaimer This document is not to be construed as a promise by any participating company to develop, deliver, or market a product. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. SUSE makes no representations or warranties with respect to the contents of this document, and specifically disclaims any express or implied warranties of merchantability or fitness for any particular purpose. The development, release, and timing of features or functionality described for SUSE products remains at the sole discretion of SUSE. Further, SUSE reserves the right to revise this document and to make changes to its content, at any time, without obligation to notify any person or entity of such revisions or changes. All SUSE marks referenced in this presentation are trademarks or registered trademarks of Novell, Inc. in the United States and other countries. All third-party trademarks are the property of their respective owners.