kontener aplikacyjny nie tylko dla programistów Łukasz Piątkowski Koło Naukowe SKiSR

Transkrypt

1 kontener aplikacyjny nie tylko dla programistów Łukasz Piątkowski Instytut Informatyki Politechnika Poznańska Koło Naukowe SKiSR Łukasz Piątkowski koło SKiSR / 32

2 Plan 1 Czym jest docker? 2 Docker bliżej Jak to działa? Dla programisty Dla administratora Szerszy punkt widzenia 3 Podsumowanie Łukasz Piątkowski koło SKiSR / 32

3 Plan 1 Czym jest docker? 2 Docker bliżej Jak to działa? Dla programisty Dla administratora Szerszy punkt widzenia 3 Podsumowanie Łukasz Piątkowski koło SKiSR / 32

4 Kontenery a maszyny wirtualne maszyny wirtualne wirtualizacja sprzętu (degradacja wydajności) własny kernel pełna maszyna kontenery chroot na sterydach wspólny kernel własne zasoby pamięci, dysku, I/O Łukasz Piątkowski koło SKiSR / 32

5 Kontenery a maszyny wirtualne Łukasz Piątkowski koło SKiSR / 32

6 Kontenery LXC (LinuX Containers) obecne standardowo w jądrze Linuxa od wersji 38 wykorzystują przestrzenie nazw jądra przestrzenie pid, net, ipc, mnt, ups mogą mieć własny program init mogą mieć własnego użytkownika root widoczne z poziomu przestrzeni nazw rodzica mogą wykorzystywać mechanizm cgroups pseudo system plików pozwala przypisywać procesy do grup a grupom ustalać limity zasobów systemowych pamięć, CPU, block I/O, CPU pinning niezależne od LXC Łukasz Piątkowski koło SKiSR / 32

7 Kontenery LXC (LinuX Containers) obecne standardowo w jądrze Linuxa od wersji 38 wykorzystują przestrzenie nazw jądra przestrzenie pid, net, ipc, mnt, ups mogą mieć własny program init mogą mieć własnego użytkownika root widoczne z poziomu przestrzeni nazw rodzica mogą wykorzystywać mechanizm cgroups pseudo system plików pozwala przypisywać procesy do grup a grupom ustalać limity zasobów systemowych pamięć, CPU, block I/O, CPU pinning niezależne od LXC Łukasz Piątkowski koło SKiSR / 32

8 Gdzie jest docker? LXC + cgroups = rozwiązanie! a właściwie nie do końca libcontainer format przechowywania, dystrybucja, izolacja wykonania libchan protokół komunikacyjny oparty o wymianę wiadomości libswarm orkiestracja tworzenie aplikacji składających się z usług Łukasz Piątkowski koło SKiSR / 32

9 Gdzie jest docker? LXC + cgroups = rozwiązanie! a właściwie nie do końca libcontainer format przechowywania, dystrybucja, izolacja wykonania libchan protokół komunikacyjny oparty o wymianę wiadomości libswarm orkiestracja tworzenie aplikacji składających się z usług Łukasz Piątkowski koło SKiSR / 32

10 Gdzie jest docker? docker to zarządca kontenerów aplikacyjnych opisuje wspólny standard dostarczania i uruchamiania kontenerów kontenery nie muszą mieć procesu init, można uruchomić bezpośrednio proces aplikacji uruchamiający kontener nie musi nic o tej aplikacji wiedzieć niezależnie od użytej dystrybucji niezależnie od wykorzystywanych bibliotek niezależnie od środowisk uruchomieniowych kontener na aplikację/usługę ekosystem: np Docker Hub i znacznie więcej Łukasz Piątkowski koło SKiSR / 32

11 Docker kontener aplikacyjny Transport towarów do 1960 r Łukasz Piątkowski koło SKiSR / 32

12 Docker kontener aplikacyjny Transport towarów po 1960 r Łukasz Piątkowski koło SKiSR / 32

13 Docker kontener aplikacyjny Dostarczanie aplikacji Łukasz Piątkowski koło SKiSR / 32

14 Docker kontener aplikacyjny Docker kontener na aplikacje Łukasz Piątkowski koło SKiSR / 32

15 Plan 1 Czym jest docker? 2 Docker bliżej Jak to działa? Dla programisty Dla administratora Szerszy punkt widzenia 3 Podsumowanie Łukasz Piątkowski koło SKiSR / 32

16 Plan 1 Czym jest docker? 2 Docker bliżej Jak to działa? Dla programisty Dla administratora Szerszy punkt widzenia 3 Podsumowanie Łukasz Piątkowski koło SKiSR / 32

17 Wnętrzności libcontainer / LXC / cgroups AUFS czym jest: co daje: unifikujący system plików (ang union FS) pozwala trzymać pewien bazowy stan tylko do odczytu i nakładać na niego indywidualne modyfikacje w momencie ich pojawienia się (ang copy-on-write) możliwość używania bazowych obrazów błyskawiczne tworzenie instancji kontenerów efektywne rozsyłanie obrazów kontenerów Łukasz Piątkowski koło SKiSR / 32

18 Wnętrzności libcontainer / LXC / cgroups AUFS czym jest: co daje: unifikujący system plików (ang union FS) pozwala trzymać pewien bazowy stan tylko do odczytu i nakładać na niego indywidualne modyfikacje w momencie ich pojawienia się (ang copy-on-write) możliwość używania bazowych obrazów błyskawiczne tworzenie instancji kontenerów efektywne rozsyłanie obrazów kontenerów Łukasz Piątkowski koło SKiSR / 32

19 Funkcjonalność zarządzanie obrazami i kontenerami zdalne repozytorium możliwość pobierania i wysyłania obrazów # docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE # docker search ubuntu NAME DESCRIPTION STARS OFFICIAL TRUSTED ubuntu General use Ubuntu base image Tags availa 91 stackbrew/ubuntu Barebone ubuntu images 32 # docker pull ubuntu Pulling repository ubuntu 5ac751e8d623: Downloading [======> 9cc9ea5ea540: Pulling dependent layers 9f676bd305a4: Pulling dependent layers 9cd978db300e: Pulling dependent layers eb601b8965b8: Pulling dependent layers ea3c5a: Download complete 321f7f4200f4: Download complete ] 2272 MB/5808 MB 17s Łukasz Piątkowski koło SKiSR / 32

20 Funkcjonalność # docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE ubuntu f676bd305a4 10 days ago 178 MB ubuntu saucy 9f676bd305a4 10 days ago 178 MB ubuntu raring eb601b8965b8 10 days ago 1665 MB ubuntu 1304 eb601b8965b8 10 days ago 1665 MB ubuntu ac751e8d days ago 161 MB ubuntu quantal 5ac751e8d days ago 161 MB ubuntu cc9ea5ea days ago 1808 MB ubuntu lucid 9cc9ea5ea days ago 1808 MB ubuntu cd978db300e 10 days ago 2044 MB ubuntu latest 9cd978db300e 10 days ago 2044 MB ubuntu precise 9cd978db300e 10 days ago 2044 MB # docker run -i -t ubuntu:saucy /bin/bash root@f0da55a552c5:/# cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=1310 DISTRIB_CODENAME=saucy DISTRIB_DESCRIPTION="Ubuntu 1310" root@f0da55a552c5:/# ip a sh dev eth0 35: eth0: <BROADCAST,UP,LOWER_UP > mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 62:8b:40:69:db:6c brd ff:ff:ff:ff:ff:ff inet /16 scope global eth0 valid_lft forever preferred_lft forever inet6 fe80::608b:40ff:fe69:db6c/64 scope link valid_lft forever preferred_lft forever Łukasz Piątkowski koło SKiSR / 32

21 Plan 1 Czym jest docker? 2 Docker bliżej Jak to działa? Dla programisty Dla administratora Szerszy punkt widzenia 3 Podsumowanie Łukasz Piątkowski koło SKiSR / 32

22 Dla programisty dockerfile instrukcja budowania kontenera # Ubuntu 1310 with mono FROM ubuntu:1310 MAINTAINER Lukasz Piatkowski # make sure the package repository is up to date RUN apt-get update ADD build_monosh /tmp/build_monosh RUN chmod 755 /tmp/build_monosh RUN cd /tmp && /build_monosh użycie # docker build -t ubuntu_mono:13:10_323 # docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE return_cat ubuntu_mono:13:10_323 b4af129c days ago 8016 MB # docker push ubuntu_mono:13:10_323 Łukasz Piątkowski koło SKiSR / 32

23 Workflow Łukasz Piątkowski koło SKiSR / 32

24 Dla programisty prosta integracja z systemami automatycznego budowania plugin dla Jenkins prosta integracja z wszystkim innym funkcjonalność dostępna przez REST API zbuduj raz, uruchom wszędzie 1 proste continuous deployment ujednolicenie środowiska programisty, budowania/testów i uruchomienia na serwerze koniec mniej problemów typu u mnie działa 1 o ile jest Linuxem z jądrem >= 38 Łukasz Piątkowski koło SKiSR / 32

25 Dla programisty prosta integracja z systemami automatycznego budowania plugin dla Jenkins prosta integracja z wszystkim innym funkcjonalność dostępna przez REST API zbuduj raz, uruchom wszędzie 1 proste continuous deployment ujednolicenie środowiska programisty, budowania/testów i uruchomienia na serwerze koniec mniej problemów typu u mnie działa 1 o ile jest Linuxem z jądrem >= 38 Łukasz Piątkowski koło SKiSR / 32

26 Plan 1 Czym jest docker? 2 Docker bliżej Jak to działa? Dla programisty Dla administratora Szerszy punkt widzenia 3 Podsumowanie Łukasz Piątkowski koło SKiSR / 32

27 Dla administratora brak zależności aplikacji na dystrybucję, paczki, biblioteki, izolacja kontenerów kontrola nad zasobami lepsza wydajność lepsze wykorzystanie zasobów Łukasz Piątkowski koło SKiSR / 32

28 Obsługa administracyjna zarządzanie obrazami kontenerów (repozytorium) dostarczenie sieci (software bridge L2) # ip link show 1: lo: <LOOPBACK,UP,LOWER_UP > mtu qdisc noqueue state UNKNOWN mode DEFAULT link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 3: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP > mtu 1500 qdisc noqueue state UP mode DEFAULT link/ether fe:71:07:5d:14:52 brd ff:ff:ff:ff:ff:ff 5: vethbbeyi8: <BROADCAST,MULTICAST,UP,LOWER_UP > mtu 1500 qdisc pfifo_fast master docker0 state UP mode DEFAULT qlen 1000 link/ether fe:71:07:5d:14:52 brd ff:ff:ff:ff:ff:ff # brctl show bridge name bridge id STP enabled interfaces docker0 8000fe71075d1452 no vethbbeyi8 port forwarding (L3) mapowanie katalogów gospodarza na katalogi gościa # docker run -t -d -p 9666:9666 -p 8666:8666 -v \ /srv/docker -mydaemon -logs:/srv/mydaemon/logs/:rw \ mydaemon: _ Łukasz Piątkowski koło SKiSR / 32

29 Połączenia między kontenerami # docker pull ubuntu # docker run -i -t --name ssh --expose 22 ubuntu:1404 /bin/bash root@8bad59172a7a:/# apt-get update && apt-get install openssh -server exit root@8bad59172a7a:/# docker start ssh # docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 4fd5cf8a6c7e ubuntu:1404 /bin/bash 2 minutes ago Up 7 seconds 22/tcp ssh # docker run -i -t --name client --link ssh:srv ubuntu:1404 /bin/bash root@bd47c5e7e9a3:/# env SRV_PORT=tcp:// :22 HOSTNAME=bd47c5e7e9a3 SRV_NAME=/client/srv SRV_PORT_22_TCP_PORT=22 SRV_PORT_22_TCP_PROTO=tcp SRV_PORT_22_TCP_ADDR = SRV_PORT_22_TCP=tcp:// :22 root@bd47c5e7e9a3:/# grep srv /etc/hosts srv root@bd47c5e7e9a3:/# exit # docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 4fd5cf8a6c7e ubuntu:1404 /bin/bash 2 minutes ago Up 7 seconds 22/tcp client/srv,ssh bd47c5e7e9a3 ubuntu:1404 /bin/bash 8 minutes ago Exited (0) client Łukasz Piątkowski koło SKiSR / 32

30 Plan 1 Czym jest docker? 2 Docker bliżej Jak to działa? Dla programisty Dla administratora Szerszy punkt widzenia 3 Podsumowanie Łukasz Piątkowski koło SKiSR / 32

31 Fig orkiestracja opis usług i ich powiązań ldap: image: ldap -stable:my_app ports: - "389:389" volumes: - /srv/docker -ldap -staging/db:/var/lib/ldap websrv: image: web_service:my_app ports: - "443:8666" volumes: - /var/log/myapp -staging -logs/:/opt/log/ links: - ldap:ldap environment: - INSTANCE_NAME=staging command: /opt/bin/make_me_rich uruchomienie aplikacji: fig up Łukasz Piątkowski koło SKiSR / 32

32 Platformy cloud AWS: Amazon EC2 Container Service GCP: Kubernetes i Google Container Engine Microsoft zapowiedział wsparcie dla Dockera w systemach windows (nie, serio) trwa integracja z OpenStack Łukasz Piątkowski koło SKiSR / 32

33 W większej skali docker rozwijany jest w stronę systemów cloud Panamax prywatny hosting dockera z web GUI Shipyard mini wwwdotcloudcom docker + zarządzanie maszynami + hipache + panel WWW pipework, weave SDN dla dockera wspiera Open vswitch OpenStack od IceHouse Heat ma wsparcie dla Dockera planowana integracja z Nova CoreOS mini dystrybucja dla klastrów aplikacyjnych automatyczne atomowe aktualizacje systemd + docker + etcd (rozproszona baza Key Value dla wsparcia konfiguracji) Project Atomic dystrybucja wspierana przez Red Hat Łukasz Piątkowski koło SKiSR / 32

34 Plan 1 Czym jest docker? 2 Docker bliżej Jak to działa? Dla programisty Dla administratora Szerszy punkt widzenia 3 Podsumowanie Łukasz Piątkowski koło SKiSR / 32

35 Podsumowanie Ciekawa opcja na pogodzenie świata programistów i administratorów tak naprawdę system dostarczania aplikacji, który ma szansę zmienić sposób, w jaki aplikacje są tworzone i uruchamiane Prosty dla programisty, prosty dla administratora Ciekawe projekty i możliwości na horyzoncie Otwarte kwestie środowisk rozproszonych: wykonywanie (ECP, Kubernetes), przechowywanie i sieci Łukasz Piątkowski koło SKiSR / 32

36 Linki Łukasz Piątkowski koło SKiSR / 32

37 Dziękuję za uwagę