Unison narzędzie do synchronizacji danych. Wstęp

Transkrypt

1 Unison narzędzie do synchronizacji danych kmiernik, rjt; ver. 1.2 Pomimo rosnącej popularności przetwarzania w chmurze oraz sieciowego przechowywania danych zagadnienie synchronizacji plików nadal pozostaje aktualne z punktu widzenia przeciętnego użytkownika. Przede wszystkim wiąże się ono z dokonywaniem kopii zapasowych plików, ale również, w związku z rosnącą dostępnością i liczbą komputerów, wiąże się też z problemem pracy na wielu urządzeniach. Wstęp Z pewnością niejeden użytkownik ma podobny problem co ja: obecnie pracuję z desktopem w pracy (komputer A), posiadam domowy notebook (B) oraz netbook (C). Łącznie na tych trzech komputerach zawarty jest komplet moich plików. Cześć dokumentów jest związana tylko z pracą, są one przechowywane na maszynie A, przy czym pewne pliki (np. z prezentacjami) chciałbym mieć również na netbooku C. Inny katalog zawiera prywatne dokumenty i zapisany jest na B, dla nich chciałbym posiadać kopię danych ze względów bezpieczeństwa. Wreszcie na wszystkich trzech komputerach chciałbym mieć moją aktualną kolekcję muzyczną. Sieciowe przechowywanie danych i dostęp do nich nie wchodzi w rachubę, przede wszystkim w związku z brakiem zewnętrznego dostępu do komputera A, jak również z częstymi podróżami i potrzebą dostępu do danych z poziomu komputera C, również w momentach braku dostępu do sieci. Dlatego rozwiązaniem, które przyjąłem, jest przechowywanie plików na zewnętrznym dysku podłączanym poprzez port USB. Urządzenia tego typu są obecnie tanie, bardzo poręczne i oferują pojemności, które w zupełności mi wystarczają. Dzięki temu mogę zawsze posiadać kopię zapasową danych oraz pracować z najnowszymi wersjami plików. Jednak synchronizacja trzech komputerów, z których każdy zawiera tylko część całości danych, może nastręczać pewnych trudności. Klasycznym narzędziem do synchronizacji plików w systemach z rodziny *nix, jest rsync. Przez pewien czas używałem tego programu oraz graficznej nakładki grsync, jednak nie zawsze było to wygodne, a w kilku wypadkach synchronizacja przebiegła nie do końca po mojej myśli. Zapewne zagorzali zwolennicy rynca, którzy w pełni opanowali składnię i wszelkie opcje nie popełniliby moich błędów, ale ja postanowiłem poszukać innego, bezpieczniejszego rozwiązania. Niemniej, trzeba uczciwie powiedzieć, że rsync znakomicie sprawdza się w roli programu do wykonywania kopii zapasowych, gdzie wystarcza synchronizacja jednostronna (tj. kiedy jeden zestaw danych stanowi źródło, a drugi cel, który jest doprowadzany do stanu źródła). Unison jest programem open source, który działa zarówno na systemach linuksowych, BSD jak i na windowsowych. W odróżnieniu od rsynca potrafi dokonać synchronizacji dwustronnej, wybierając najnowsze wersje plików, a w razie potrzeby zgłosić użytkownikowi konflikt, gdy zmiany zostały dokonane w obydwu kopiach. Unison może być używany zarówno do synchronizacji lokalnej (pomiędzy dyskami na pojedynczej maszynie) jak i do synchronizacji poprzez sieć. Program działa w linii poleceń, ale posiada również dość zgrabną nakładkę graficzną. Pod maską programu znajduje się wydajny algorytm, który nie przesyła całych plików, a jedynie dokonane w nich zmiany. W większości dystrybucji Linuksa można znaleźć gotowe paczki z unisonem. Przed instalacją warto sprawdzić czy graficzna nakładka, o ile jej potrzebujemy, nie jest dostarczana osobno. Dla przykładu w dystrybucjach debianowych znajdują się paczki unison oraz unison-gtk, w Fedorze, Arch Linuksie i OpenSuse jest tylko jedna paczka unison. W razie potrzeby dostępne są też źródła programu na jego oficjalnej stronie. Wprawdzie do ich kompilacji potrzebny jest kompilator Objective Caml, ale wbrew pozorom sam proces nie jest problemem, przynajmniej w

2 przypadku wersji konsolowej. Najbardziej aktualna stabilna wersja programu w momencie pisania artykułu to Unison obecnie nie jest rozwijany, twórcy jednak od czasu do czasu wprowadzają wciąż poprawki biorące pod uwagę zgłaszane błędy. Pierwsze kroki Podstawowa składnia unisona to podanie dwóch ścieżek (względnych lub bezwzględnych) do katalogów poddawanych synchronizacji. Stwórzmy przykładowe dwa katalogi (AA oraz BB), które spróbujemy zsynchronizować. Jeżeli jesteśmy w katalogu nadrzędnym do AA i BB to wydamy polecenie: $ unison AA BB Podczas pierwszej synchronizacji program wyświetli długi tekst informujący między innymi o tym, iż nie znalazł zapisu stanów powyższych katalogów i że pierwsza synchronizacja może potrwać długo. Jest to słuszna uwaga przy większej ilości danych, trzeba naprawdę uzbroić się w cierpliwość, a najlepiej obejrzeć w czasie synchronizacji jakiś film. Pozostała cześć wiadomości dotyczy wyjątkowości pierwszej synchronizacji, która zostanie przeprowadzona poprzez połączenie zawartości katalagów. Tekst informacyjny powinien pojawiać się tylko przy pierwszej synchronizacji danych katalogów, jeżeli pojawi się przy ponownej, powinniśmy zajrzeć do dokumentacji programu i poszukać rozwiązania problemu. Załóżmy, że po pierwszej synchronizacji powyższych katalogów, które były pierwotnie puste, w pierwszym z nich pojawił się plik a.txt i katalog 01, a w drugim b.txt. Ponowna synchronizacja da poniższy rezultat $ unison AA BB Contacting server... Connected [.../AA -> //.../BB] Looking for changes Reconciling changes AA BB new dir ----> 01 [f] new file ----> a.txt [f] <---- new file b.txt [f] Proceed with propagating updates? [] Wynik działania jest dość intuicyjny w odbiorze program znalazł nowy plik i katalog w AA oraz nowy plik w BB. Litera [f] w nawiasie kwadratowym oznacza podążanie (follow) za sugerowaną akcją unisona. Naciśnięcie litery f lub klawisza Enter zatwierdza zatem prezentowaną propozycję zmian. Jeżeli z jakiś powodów chcemy zmienić kierunek propagacji, to dokonujemy tego klawiszami > oraz <, w zależności od pożądanego kierunku. Inne przydatne opcje to klawisz /, powodujący pominięcie danej akcji, oraz x, wyświetlający szczegółowe informacje na temat plików. Więcej dostępnych opcji możemy zobaczyć wpisując znak?. Po zatwierdzeniu wszystkich propozycji program jeszcze raz upewnia się, że chcemy wykonać synchronizację (Proceed with propagating updates? []). Litery y lub g oznaczają zgodę, n powrót do wyboru kierunków propagacji, q wyjście z programu bez wprowadzania zmian. W przypadku kilku plików zatwierdzanie każdej zmiany nie jest problemem, kłopoty zaczynają się przy większych ilościach. Z pomocą przychodzi uruchomienie programu z opcją -auto, która automatycznie zatwierdza domyślne zmiany i zatrzymuje się dopiero na pytaniu o zgodę na kopiowanie. Gdyby któraś z akcji była błędna, klawisz n, pozwoli nam dokonać korekty. Załóżmy teraz, że w obydwu katalogach dokonaliśmy zmian w pliku b.txt, przy synchronizacji

3 zostanie zgłoszone to jako konflikt changed <-?-> changed b.txt [] Jak widać, nie teraz mamy możliwości wykonania domyślnej akcji i musimy podjąć decyzję co do kierunku propagacji. W przypadku plików tekstowych możemy też podjąć próbę połączenia zmian dokonanych w plikach, jest to jednak bardziej zaawansowane zagadnienie i nie będę go tu omawiał. Jeżeli została użyta opcja -auto, program również zatrzyma się na konfliktowym przypadku do czasu podjęcia decyzji. Nakładka graficzna Jeżeli uruchomimy wersję graficzną, program zacznie od prośby o wybór profilu (o których więcej napiszę później). Za pierwszym razem nie mamy żadnego, więc tworzymy nowy przyciskiem Create New Profile, nadajemy mu nazwę np. Test. Wybieramy nowo stworzony profil i odpowiadamy na pytania o katalog lokalny oraz katalog docelowy (lokalny lub sieciowy). Zakładając, że nadal posługujemy się katalogami AA oraz BB oczywiście wybieramy wersję lokalną. Graficzna postać programu działa analogicznie do tekstowej i jest równie intuicyjna. Zielone strzałki prezentują nam proponowane kierunki zmian. W pasku przycisków mamy do dyspozycji klawisz Go zatwierdzający kopiowanie, strzałki służące do zmian kierunków propagacji i przycisk Skip nakazujący pominięcie kopiowania dla danego pliku. Przycisk Merge oznacza próbę połączenia zmian za pomocą zewnętrznego programu (domyślnie merge). Rys 1. Graficzny interfejs unisona Menu Actions oraz Igore zawierają wiele pożytecznych i bardziej skomplikowanych opcji (które są również dostępne w wersji tekstowej). Eksplorację tych możliwości pozostawię jednak czytelnikowi do momentu, gdy bardziej oswoi się już z programem. Tymczasem, przy okazji pojawienia się profili, przejdziemy do omówienia tej części programu i powrócimy do tekstowej wersji interfejsu. Profile To, co do tej pory zostało opisane w artykule, zasadniczo wystarcza do podjęcia pracy z unisonem.

4 Jednak jego prawdziwą siłą jest możliwość zdefiniowania pewnych akcji i umieszczenia ich w tak zwanych profilach. Profil definiuje synchronizowane katalogi, używane opcje oraz reguły synchronizacji. W przypadku regularnej synchronizacji tych samych katalogów lub dysków wpisywanie, lub wyklikiwanie źródeł oraz opcji byłoby co najmniej nużące i niebezpieczne. A tak, mamy zapewniony automatyczny proces, który zawsze postępuję w ten sam, zdefiniowany z góry, sposób. Najłatwiej zrozumieć działanie profili na konkretnym przykładzie. Wróćmy zatem do historii z moimi komputerami opisanej we wstępie, pełna struktura danych wygląda następująco: Dokumenty Muzyka [ABC] Praca Prezentacje [AC] Projekty [A] Prywatne [B] W nawiasach kwadratowych podane są komputery, na których znajdują się kopie plików z danego katalogu. Katalog Dokumenty znajduje się w katalogu home użytkownika. Zacznijmy tworzenie profili od komputera A. Jeżeli uruchomiliśmy już choć raz unisona, to w katalogu domowym użytkownika powinien pojawić się katalog.unison. Jeżeli uruchamialiśmy wersję graficzną programu, to musieliśmy stworzyć nowy profil, w katalogu znajdziemy wtedy plik Test.prf. Jego wnętrze wygląda nieskomplikowanie. root = /home/user/aa root = /home/user/bb Jak widać, zdefiniowane są tu katalogi, które podlegają synchronizacji. Jeżeli zatem mamy zamiar synchronizować katalog Dokumenty z analogicznym katalogiem na zewnętrznym dysku, powinniśmy stworzyć nowy plik profilu np. Dysk.prf i umieścić w nim ścieżki do katalogów. root = /home/user/dokumenty root = /media/usbdisk/dokumenty Katalog /media/usbdisk/ to oczywiście ścieżka dostępu do dysku. Powyższy profil w takiej postaci zsynchronizuje jednak całą zawartość katalogu Dokumenty, a to nie jest dokładnie to, o co nam chodzi. Z pomocą przychodzi opcja path określająca dokładnie które katalogi podlegają synchronizacji. path = Muzyka path = Praca/Prezentacje path = Praca/Projekty Teraz unison zsynchronizuje jedynie katalogi, które zostały mu wskazane. Zanim przystąpimy jednak do kopiowania, spróbujmy wykorzystać nieco więcej możliwości oferowanych przez program. W katalogu Projekty znajdują się oprócz istotnych plików różnego rodzaju śmieci pozostałe po edycji plików lub kompilacji programów. Jeżeli jest ich dużo i często podlegają modyfikacjom, możemy zaoszczędzić trochę czasu, pomijając je podczas kopiowania. W tym celu posłużymy się opcją ignore, która nakaże unisonowi ominąć pewne pliki. ignore = Name *~ ignore = Name.*~ ignore = Name *.o ignore = Path */tmp Słowo kluczowe Name oznacza, że ignorowane są wszelkie pliki (i katalogi) pasujące do następującego wyrażenia regularnego. Path oznacza zignorowanie wpisanej dalej ścieżki i jak

5 widać także akceptuje wyrażenia regularne. Istnieje także trzecia wersja polecenia ignore = Regex regex, gdzie można użyć bardziej skomplikowanych posixowych wyrażeń regularnych. Kolejna interesująca możliwość to trzymanie przez unisona kopii nadpisywanych plików. Katalog Projekty zawiera naprawdę istotne dane, więc włączmy dla niego tę opcję. backuplocation = central backupdir = /home/user/backup backup = Path Praca/Projekty/* Składnia polecenia backup jest identyczna jak ignore, z tą oczywiście różnicą, że definiuje pliki lub ścieżki, dla których powstaną kopie zapasowe. Umiejscowienie kopii jest sterowane przez zmienną backuplocation. Wartością domyślną jest central, która oznacza, że kopie są przechowywane w katalogu zdefiniowanym zmienną backupdir. Z kolei wartość backuplocation = local oznacza, że kopie są trzymane w oryginalnych katalogach. W tym przypadku mamy możliwość decydowania o nadawanych nazwach kopii przez zmienną backupprefix. Domyślnie pliki będą nazywane.bak.numer.filename, gdzie numer to kolejna wersja kopii (0,1,2, ). Przydatną opcją w przypadku użycia zewnętrznego dysku jest mountpoint. Wymaga ona podania katalogu względnego (w stosunku do root unisona). W naszym przykładzie użyjemy mountpoint = która informuje unisona, że ze zdefiniowaną ścieżką względną (w powyższym przykładzie odpowiadającą katalogowi root, czyli /media/usbdisk/dokumenty oraz /home/user/dokumenty) skojarzony jest zewnętrzny nośnik. Różnica w działaniu unisona po zastosowaniu opcji mountpoint polega na tym, że w przypadku braku katalogu w punkcie montowania przerwie on działanie. W przypadku gdy nie użyjemy tej opcji unison uzna, że pliki zostały skasowane i podejmie próbę działania, która w przypadku różnych dodatkowych automatycznych ustawień może się skończyć nawet wyczyszczeniem wszystkich danych. Należy tu zwrócić uwagę na sytuację, gdy katalogiem root unisona na dysku jest sam dysk (np. /media/usbdisk). W tym przypadku mountpoint użyty jak wyżej nie zadziała zgodnie z oczekiwaniem, bo katalog /media/usbdisk istnieje nawet jeżeli dysk nie jest zamontowany. Profil dla komputera A jest skończony. Teraz, poprzez drobne zmiany w opisanym przykładzie, łatwo dostosować profil do synchronizacji wykonywanych na komputerach B i C. Na komputerze B interesować nas będą katalogi: path = Muzyka path = Prywatne Natomiast na komputerze C path = Muzyka path = Praca/Prezentacje Oczywiście w zależności od komputera zmienimy nieco także opcje ignore oraz backup. Po zapisaniu profilu wywołanie: unison nazwa_profilu automatycznie uruchamia stworzony profil (przy czym nazwa profilu jest podawana bez rozszerzenia.prf). Jeżeli nadamy mu nazwę default, to będzie on domyślnie wywoływany przy uruchomieniu programu bez podania nazwy profilu. Każdy stworzony profil pojawi się także przy uruchamianiu wersji graficznej programu. Wersję

6 graficzną można uruchomić także od razu przechodząc do odpowiedniego profilu (np. unisongtk Test). Niektóre z opisanych opcji można też dodać do profilu poleceniami wybieranymi z menu lub odpowiednimi klawiszami w wersji tekstowej. Powodują one dopisanie odpowiednich linii do pliku profilu. Opisane powyżej opcje nie wyczerpują oczywiście wszystkich możliwości programu, co więcej stanowią raczej dość podstawowy zestaw. Pełny przegląd zawiera podręcznik użytkownika 1, do którego odsyłam w przypadku bardziej skomplikowanych synchronizacji. Synchronizacja sieciowa Dla zwolenników sieciowego dostępu do danych unison oferuje możliwość synchronizacji na odległość poprzez protokół ssh. Aby uskutecznić zdalną synchronizację, przynajmniej jeden z komputerów musi służyć za serwer ssh. Obydwa komputery muszą mieć zainstalowaną tę samą wersję unisona z dokładnością do numeru dodatkowego wersji (minor) tj zadziała z , ale nie z 2.27.x. Dalszy sposób działania jest analogiczny do synchronizacji lokalnej, z tym, że jako jeden z katalogów podajemy adres komputera wraz ze ścieżką do synchronizowanych danych. unison /home/user/dokumenty ssh://user@host_name/dokumenty Nazwa komputera jest oczywiście niezbędna, nazwa użytkownika jest potrzebna, o ile jest inna niż na bieżącym komputerze. Kolejny przykład jest nieco bardziej rozbudowany. unison /home/user/dokumenty ssh://user@host_name:3222//home/bck/backup Widać na nim jak sobie poradzić z sytuacji, gdy ścieżka znajduje się poza katalogiem domowym użytkownika (względem którego umiejscawiane są ścieżki względne). Dodatkowo, jeżeli nasz serwer używa innego portu niż domyślny 22, to jego wartość wpisujemy, jak w przykładzie, po dwukropku. W przypadku tworzenia pliku profilu wyrażenie zawierające adres komputera i ścieżkę trzeba wpisać w jedną ze zmiennych root. root = ssh://user@host_name/dokumenty/ Poza tymi kosmetycznymi zmianami działanie i obsługa unisona pozostaje ta sama. Podsumowanie Unison to bardzo ciekawe i przydatne narzędzie synchronizacyjne. Dzięki konsolowej wersji sprawdza się w każdej sytuacji, podczas gdy wersja graficzna pozwala bezboleśnie używać programu także początkującym użytkownikom Linuksa. Przyjazna obsługa synchronizacji dwustronnej pozwala cieszyć się z bezpiecznej możliwości pracy na wielu komputerach i posiadania kopii zapasowych danych. Z konieczności artykuł opisuje jedynie podstawowe możliwości programu. Wiele tematów nie zostało w ogóle poruszonych (jak choćby opcje pozwalające na automatyzację rozstrzygania konfliktów), a inne wspomniane jedynie mimochodem (łączenie plików). Jednocześnie mam nadzieję, że unison okaże się być pożytecznym narzędziem, a prezentowany przykład, po niewielkich zmianach, może stanowić bazę, na której zainteresowane osoby zbudują swoje własne profile. Więcej informacji na temat możliwości programu można znaleźć na jego oficjalnej stronie 2, gdzie dostępny jest podręcznik użytkownika. Jest on również dostępny lokalnie poprzez wywołanie unisona:

7 unison -doc topics Wpisanie w miejscu topics tytułu interesującego nas działu wyświetli szczegółowe informacje na temat konkretnego zagadnienia. Zadania 1. Sprawdź zachowanie programu Unison w przypadku: pojawienia się nowego pliku (usunięcia istniejącego) w jednym z katalogów, pojawienia się identycznego pliku (usunięcia pliku) w obu katalogach, pojawienia się nowych różnych plików (lub różnych modyfikacji plików) w obu katalogach. 2. Sprawdź zawartość katalogu ~/.unison. 3. Zaproponuj schemat synchronizacji 3 katalogów.