Quality of Service (QoS)

Transkrypt

1 Quality of Service (QoS) Definicja QoS jest związana z technicznym podejściem do zapewnienia parametrów transmisji danych. Użytkownik korzystający z usługi czy dostawca zapewniający tę usługę mają pewne oczekiwania. W przypadku użytkownika jest najważniejsze uzyskanie jak najlepszej jakości danych usług. W przypadku dostawcy, musi on zapewnić możliwość techniczną realizacji usługi mając na uwadze koszty. W związku z tym QoS dzielimy na trzy kategorie: Perceived QoS postrzegana jakość usługi, Assessed QoS oceniana jakość usługi, Intrinsic QoS wrodzona jakość usługi. Postrzegana jakość usługi i oceniana, dotyczy wrażeń podczas korzystania z niej przez użytkownika. Te dwie kategorie głównie są związane z polityką marketingową dostawcy usługi. Oceniana jakość usługi to głównie opinie innych użytkowników, które również mają na celu poniesienia jakości usług, jeśli opinie nie są dla dostawcy korzystne na forum. Wrodzona jakość usługi związana jest z parametrami technicznymi, parametrami łącza transmisyjnego i z zastosowanymi protokołami, które mają na celu zapewnić jakość usługi. Intrinsic QoS (wrodzona jakość usługi) posiada następujące właściwości: przepustowość, opóźnienie, fluktuacje opóźnienia, straty pakietów. Do zapewnienia parametrów transmisji niezbędne są pomiary wartości, aby je osiągnąć potrzebna jest metryka pomiarowa. Metryki pomiarowe muszą być ściśle określone, a ich pomiar powinien gwarantować powtarzalność pomiarów w identycznych warunkach sieciowych. Metryki pomiarowe są określone m.in. przez organizacje IETF (ang. Internet Engineering Task Force) oraz ITU-T (ang. International Telecomunication Union). ITU zajmuje się tworzeniem standardów wysokiej jakości, które obejmują wszystkie dziedziny telekomunikacji. Powstał w 1993 roku. Do ITU-T należą największe polskie firmy m.in. Polkomtel S.A, NASK, Orange (Telekomunikacja Polska). Metody pomiarów metryk QoS Klasyfikując metody pomiarowe można podzielić je na metody aktywne i metody pasywne. Ze względu na zarządzanie pomiarami i uzyskiwaniu wyników, można wyróżnić narzędzia, które działają w trybach: Off-line pomiary w planowanych eksperymentach, On-line pomiary w działającej sieci. Strona 1 z 12

2 Powyższe kryteria są od siebie niezależne i metody pomiaru aktywnego lub pasywnego mogą być wykorzystywane przez narzędzia pracujące w trybie off-line i on-line. Metoda aktywna pomiaru Metoda aktywnego pomiaru pozwala uzyskać wartości metryk QoS, jeśli wyślemy specjalne pakiety pomiarowe w ramach monitorowanego strumienia ruchu. W metodzie aktywnej pakiet pomiarowy jest przesyłany tą samą drogą, co pakiety użytkownika. Wartości metryk zmierzonych dla ruchu pomiarowego jest przybliżeniem dla wartości metryk dla pakietów użytkowników. Stosując metodę aktywną wprowadza się dodatkowy ruch na pewnym mierzonym odcinku, jednak łatwa implementacja i zarządzanie pomiarami sprawia, że jest to najczęściej stosowana metoda w narzędziach i systemach pomiaru parametrów QoS. Metoda pasywna pomiaru W tej metodzie rejestruje się pakiety i odpowiadające im znaczniki czasowe w dwóch punktach pomiaru. Zebrane pomiary z dwóch punktów poddaje się analizie. Porównanie znaczników czasowych dla pakietu umożliwia nam na ustalenie czasu przesłania pakietu między dwoma punktami. Metoda pasywna wymaga synchronizacji zegarów w punktach pomiarowych. Różnica między tymi metodami jest taka, że metoda pasywna nie wprowadza dodatkowego ruchu w sieci. Dzięki tej metodzie można w bezpośredni sposób wykonać pomiar jakości przekazu uzyskiwanej przez pakiety użytkowników, ale jest ona trudna w zaimplementowaniu i dodatkowo wymaga rejestracji całego ruchu sieciowego w danych punktach pomiarowych. Przetworzenie wyników uzyskanych z pomiarów jest skomplikowane. Metoda off-line pomiaru W metodzie off-line wyniki pomiarów są zbierane i przechowywane w bazie danych. Przetwarzanie wyników następuje po ukończeniu pomiarów. Głównie tę metodę wykorzystuje się podczas testów nowych mechanizmów i urządzeń zapewniających parametry QoS w sieciach laboratoryjnych. Metoda on-line pomiaru W metodzie on-line wykorzystywany jest mechanizm przesuwającego się okna pomiarowego. Gromadzenie wyników z punktów pomiarowych odbywa się określonych odstępach czasu, nie przerywając procesu pomiarowego. Metoda ta pozwala na monitorowanie na bieżąco sieci, otrzymywane są także informacje o aktualnym stanie sieci i jakości przekazu pakietów. Architektury sieciowe z gwarancją parametrów QoS. Jednym z najważniejszych problemów podczas tworzenia sieci wielousługowych jest stworzenie infrastruktury takiej, która umożliwia efektywne przekazywanie informacji dla różnych klas usług. Klasy różnią się od siebie między innymi rodzajem generowanego ruchu oraz wymaganiami dotyczące jakości przekazu pakietów. W poniższej tabeli (tabela 1) przedstawiono przykładowe wymagania QoS dla wybranych usług transmisji audio, wideo i danych: Strona 2 z 12

3 Tabela 1 Typ usługi Aplikacja Podstawowe parametry i wartości Opóźnienie w jedną stronę [ms] Audio Konwersacja <150 (maksymalnie 400) Wiadomości głosowe Usługi strumieniowe <1000 (odtwarzanie) <2000 (nagrywanie) Wideo Wideofon <150 (maksymalnie 400) Usługi strumieniowe Fluktuacja opóźnienia [ms] Utrata informacji [%] <1 <3 <1 <3 <10000 <<1 <1 Brak ograniczeń <1 <10000 Brak ograniczeń <1 Dane Gry interaktywne <200 Brak ograniczeń 0 Telnet <200 Brak ograniczeń 0 (dostęp do Pref. <2000 Brak ograniczeń 0 serwera) Akceptów. <4000 (między serwerami) Do kilkunastu minut Brak ograniczeń 0 Faks <30000/stronę Brak ograniczeń <0.001 Podstawowym parametrem jest przepustowość łącza, zaś w przypadku usług realizowanych w czasie rzeczywistym istotne jest również opóźnienie i jego zmienność. W przypadku transmisji danych najistotniejszym parametrem jest utrata informacji, zatem niezbędne jest zastosowanie niezawodnych systemów zapewniających korekcję w przypadku pojawienia się błędów i retransmisję w przypadku utraty części informacji. W związku z tymi wymaganiami, konieczne stało się opracowanie mechanizmów oraz architektury sieciowej, które pozwalają zagwarantować parametry jakości transmisji danych QoS. Architektura usług zintegrowanych Organizacja IETF opracowała w 1994 roku model usług zintegrowanych IntServ (ang. Integrated Services) (rysunek1). Celem stworzenia projektu było zagwarantowanie jakości usług dla sekwencji pakietów pochodzące z jednego źródła i jednego odbiorcy. W ruterach i innych urządzeniach sieciowych muszą występować mechanizmy sterowania jakością usług, te urządzenia muszą rozpoznawać i obsługiwać protokoły związane z rezerwacją Strona 3 z 12

4 zasobów, dodatkowo aplikacja musi mieć zdolność do określania i przekazywania do sieci wymagań dla jakości usługi. Rysunek 1 W modelu IntServ określamy trzy typy usług zarządzania ruchem sieciowym: Guaranteed Quality of Service gwarantowana jakość usługi. Usługa gwarantowana może być stosowana do obsługi aplikacji wymagających ograniczonego czasu dostarczenia. Dla tego typu aplikacji, dane dostarczane do aplikacji po przekroczeniu predefiniowanej jednostki czasu są bezwartościowe. Dlatego też usługa gwarantowana przeznaczona jest do utrzymania określonej wartości opóźnienia w dostarczaniu pakietów end-to-end (od końca do końca) dla strumienia. Jest to osiągane dzięki sterowaniu opóźnieniami kolejkowania w elementach sieciowych wzdłuż ścieżki strumienia danych. Usługa gwarantowana nie wprowadza jednak ograniczeń w jitterze (czyli czasie pomiędzy kolejnymi przychodzącymi pakietami). Controlled-load Service usługa zapewnia pewną jakość usługi. Może być stosowana dla aplikacji adaptacyjnych, które tolerują pewne opóźnienia, ale są wrażliwe na stany przeciążenia ruchem. Tego typu aplikacje działają efektywnie wtedy, gdy sieć jest lekko obciążona, natomiast wydajność maleje drastycznie w stanie mocnego obciążenia sieci. Dlatego też controlled-load service został zaprojektowany do wprowadzenia w przybliżeniu takiej samej usługi jak usługa best-effort w lekko obciążonej sieci, bez względu na aktualny stan sieci. Usługa ta jest opisywana jakościowo jako ta, gdzie brak jest określonych wartości opóźnienia i strat. Best Effort usługa bez zapewnienia parametrów transmisji. W tej usłudze, transmisja odbywa się w możliwie najwyższej przepustowości nie gwarantując parametrów przesyłu danych. Best Effort jest standardowym sposobem obsługiwania pakietów w sieci Internet Admission Control (AC) kontrola dostępu jest niezbędna, aby strumienie miały zagwarantowaną jakość usługi bez negatywnego wpływu na już obsługiwane strumienie. Wywoływana jest przez komunikaty protokołu rezerwacji podczas każdego zgłoszenia nowego strumienia. O wyniku kontroli decyduje udział zasobów w obsłudze bieżących strumieni i obciążeniu sieci. W architekturze IntServ wymagana jest rezerwacja zasobów, w związku z tym należy zastosować protokół sygnalizacyjny dla zestawienia połączenia w sieci. W tym celu został opracowany Strona 4 z 12

5 protokół Resource Reservation Protocol (RSVP) Przykładowy przepływ wiadomości sygnalizacyjnych w protokole RSVP przedstawia rysunek 2: Rysunek 2 Strona nadawcza żąda rezerwacji zasobów, wysyłając wiadomość typu PATH. Każdy kolejny ruter, który odbiera pakiet PATH, zapamiętuje adres poprzedniego rutera, a w jego miejsce wpisuje swój adres i przesyła pakiet dalej do następnego rutera na ścieżce. Jeśli pakiet dotrze do odbiorcy, to z otrzymanych danych tworzony jest pakiet RESV żądanie rezerwacji. Jeśli na trasie pakietu PATH występuje łącze, które swoimi parametrami nie spełnia oczekiwań, wyszukiwana jest inna trasa, a jeśli taka nie występuje, wysyłany jest komunikat zwrotny i operacja zostaje anulowana. Żądanie rezerwacji składa się z dwóch obiektów, FlowSpec i FilterSpec zwanych Flow Descriptor deskryptor przepływu. FlowSpec specyfikuje żądania QoS, natomiast FilterSpec definiuje zbiór pakietów zachowujących się według FlowSpec. Obiekt FlowSpec składa się z klasy usługi, Rspec specyfikacji rezerwacji określającej QoS oraz Tspec opisującej przepływ danych. Pola w deskryptorze przepływu mają następujące zadania: FilterSpec identyfikacja pakietów należących do pewnego przepływu. FlowSpec: o Tspec algorytm kształtowania przepływu ruchu o Rspec parametry QoS na przykład: pasmo opóźnienia. Router po przyjęciu komunikatu RESV wykorzystuje obiekt FilterSec, aby ustawić parametry klasyfikatora, FolowSpec ustawia parametry w mechanizmie warstwy łącza danych, dalej kieruje pakiet do sąsiedniego rutera, którego adres miał zapisany podczas transmisji pakietu PATH. Rezerwacja zostanie pomyślnie ustawiona, kiedy RESV dotrze do nadawcy pakietu PATH. Po wykonaniu takiej operacji aplikacja ze stacji nadawczej może zacząć transmisję danych. IntServ zapewnia gwarancję jakości parametrów dla połączenia typu point-to-point (punkt-punkt). Na niekorzyść architektury IntServ przemawia to, że każde urządzenie sieciowe w takim połączeniu musi przechować w buforze dane o rezerwacji. Zmniejsza to skalowalność i jednocześnie zwiększa koszty implementacji takiego modelu. Architektura usług zróżnicowanych (DiffServ) Strona 5 z 12

6 W architekturze IntServ pojawił się problem skalowalności, DiffServ [26] pozwala ominąć ten problem. Zakłada ona, że w sieci definiujemy odpowiednie zestawy usług sieciowych, ale jedynie na podstawie mechanizmów priorytetyzowania strumieni w ruterach. Rysunek 3. Usługi zróżnicowane Wyłącznie w ruterach brzegowych odbywa się klasyfikacja usług sieciowych, za pomocą informacji zawartych w polu Traffic Class 8 bitowego nagłówka pakietu IP. 6 najstarszych bitów tego pola zawiera Differentiated Service Code Point (DSCP). Dodatkowo możliwe jest, podobnie jak w RSVP, klasyfikowanie przepływów z dużo większą łatwością używając pola Flow Label w nagłówku IP. Ruter w domenie odczytuje to pole i w pierwszej kolejności obsłuży dany przepływ. Pole to również pozwala na zastosowanie metod QoS dla pakietów IPsec, które do tej pory nie miały możliwości obsługi, bo posiadały szyfrowany nagłówek. Na chwilę obecną korzystanie z pola Flow Label jest ograniczone, sprzęt wykorzystywany w sieciach nie posiada możliwości obsługi tego pola. Strona 6 z 12

7 Rysunek 4. Architektura DiffServ W architekturze DiffServ zdefiniowano sposób wykorzystania pola DSCP i reguły przekazywania pakietów w ruterze za pomocą Per Hop Behaviours (PHB). W architekturze tej zdefiniowano sposób wykorzystania pola DSCP i określono zestaw reguł przekazywania pakietów w ruterze tzw. PHB (ang. Per Hop Behaviours). Według RFC4594 istnieją podstawowe zasady przekazywania pakietów PHB, które w najprostszym przypadku mogą reprezentować dwa poziomy obsługi pakietów: Expedited Forwarding (EF) przyśpieszone przekazywanie określony jest w pojedynczej wartości pola DSCP i wykorzystywany jest do zapewnienia jakości obsługi związanej z parametrami opóźnień. Na wejściu do sieci monitorowany jest ruch; pakiety, które nie spełniają warunków zdefiniowanym w profilu ruchowym strumienia lub grupy strumieni, są usuwane z sieci. Assured Forwarding (AF) zapewnione przekazywanie określa cztery klasy i trzy poziomy odrzucania pakietów wewnątrz każdej z klas, (co daje w sumie 12 wartości pola DSCP). Jeśli ruch danego strumienia lub strumieni nie spełnia warunków utworzonych w profilu ruchowym dla danej klasy, to może on być przesłany, jako ruch należący do niższej klasy lub odrzucony. Best Effort (BE) - usługa bez zapewnienia parametrów transmisji i przy najwyższej przepustowości. Zasady PHB w architekturze DiffServ mogą być zaimplementowane za pomocą algorytmu kolejkowania i zarządzania kolejkami. Dodatkowo możemy wyróżnić elementy funkcjonalne w ruterach, które można stosować w zależności od miejsca w sieci, w której ruter się znajduje, umiejscowienia brzegowego lub szkieletowego oraz przyjętej reguły dla obsługi poszczególnych klas ruchu. Strona 7 z 12

8 Zestawienie usług dla architektury DiffServ (tabela 2): Tabela 2 Klasa PHB Assured Forwarding (AF) Expedited Forwarding (EF) Opcje Zalecane wartości w polu DSCP Kontrola ruchu Ruch niespełniający kontraktu SLA 4 klasy priorytetów, każda z 3 podklasami usuwania pakietów Usługa łączy dzierżawionych Best Effort (BE) Brak AF1 AF2 AF3 AF Niski Średni Wysoki Statyczne SLA, kontrola, klasyfikacja, oznaczanie według algorytmów RIO/WRED Dynamiczne SLA, kontrola, klasyfikacja, oznaczanie według algorytmu WFQ Kolejka FIFO Oznacz, jako Best Effort Usuń Prześlij dalej Pakiety mogą zostać przydzielone do odpowiedniej klasy usług względem kryteriów: adresu IP, źródła lub celu, numeru portu TCP/UDP, interfejsu, adresu MAC. Sieciowe urządzenia posiadające zaawansowane opcje umożliwiają również klasyfikację pakietów na podstawie warstwy aplikacji, w której rozpoznawany jest rodzaj aplikacji. Niezbędnym elementem funkcjonalnym w sieciach DiffServ jest Bandwidth Broker (broker pasma), który steruje domeną DiffServ i umożliwia świadczenie usług z ustalonym QoS przy maksymalnym wykorzystaniu zasobów sieci. Zadaniami brokera są: Measurement Based Admission Control, zapobieganie nadmiernej ilości ruchu i zabezpieczenie przed osłabieniem już obsługiwanych strumieni, spójna konfiguracja ruterów brzegowych i rdzeniowych w jednej domenie, która polega na przesyłaniu parametrów koniecznych do realizacji PHB, taryfikowanie, jeśli na przykład operator inaczej taryfikuje usługi różnych klas QoS, utrzymanie, polega na zbieraniu statystyki o ruchu sieciowym bądź informacji o błędnym działaniu sieci, dzięki, której możemy rekonfigurować sieć lub optymalnie rozbudować infrastrukturę operatorską, komunikacja z domenami sąsiednimi w celu przekierowania strumienia zagregowanego dla danej klasy w kierunku domeny, w której klientem jest odbiorca, Strona 8 z 12

9 Spójne konfigurowanie ruterów w domenie, polegające na przesłaniu wag w algorytmie WFQ dla urządzeń, jak również prawdopodobieństwa odrzucenia pakietów dla mechanizmu RED. Zasadniczą różnicą między dwoma architekturami IntServ i DiffServ [1] jest to, że IntServ jest wykorzystywane do połączenia point-to-point na podstawie danych pojedynczego przepływu. DiffServ dostarcza znacznie większą skalowalność poprzez agregację przepływów i zróżnicowanie klas. W DiffServ nie są zapewnione statycznie parametry transmisji, co wiąże się z jak najlepszym wykorzystaniem zasobów. Poniższa tabela 3 przedstawia różnice między dwoma architekturami, IntServ i DiffServ: Tabela 3 IntServ Wymagania QoS są sprecyzowane Możliwość reagowania na chwilowe zmiany topologii przez konieczność odświeżania rezerwacji, informowanie o odrzuceniu pakietów (RSVP) Ilość przechowywanych i przetwarzanych informacji proporcjonalna do liczby strumieni Brak odpowiednika ścieżki wirtualnej utrudnienie przyjmowania zgłoszeń i zarządzanie strumieniami IP Wszystkie węzły mają taką samą budowę QoS określone bezpośrednio dla odpowiednich usług Duże opóźnienia przy tworzeniu rezerwacji end-toend DiffServ Pewna nieprzewidywalność poziomu QoS, Niewielka ilość klas ruchu o różnym priorytecie Brak możliwości sterowania ruchem na poziomie strumieni Ilość przechowywanych informacji proporcjonalna do liczby klas ruchu (PHB) Możliwość tworzenia ścieżek wirtualnych Proste routery brzegowe (klasyfikacja wg DSCP) a funkcje obsługi pakietów tylko na brzegach sieci Stosunkowo niewielki zestaw PHB określonych jakościowo Brak rezerwacji Możliwe jest łączenie architektury IntServ i DiffServ w sieciach WAN. W takiej sytuacji architektura DiffServ może spełniać zadanie sieci szkieletowej, a IntServ w takim przypadku będzie siecią dostępową, tak jak to widać na poniższym rysunku 5: Strona 9 z 12

10 Rysunek 5. Połączenie architektury IntServ i DiffServ Metody gwarantowania parametrów transmisji w sieciach IP. W Internecie domyślnie stosuje się metodę best-effort, czyli każdy pakiet obsługuje się w najlepszy możliwy sposób nie stosując priorytetów. Pakiety kolejkują się zgodnie z zasadą FIFO (First In Firs Out). Stosując FIFO może dojść do zatorów, w związku z tym jakość obsługi pakietu jest na niskim poziomie. Stosując QoS można użyć jeden z dwóch rodzajów sterowania ruchem: sterowanie przepływem, przeciwdziałanie przeciążeniom. Sterowanie przepływem i przeciwdziałanie przeciążeniom są stosowane, jako wzajemnie się uzupełniające. Sterowanie przepływem ma na celu dopasowanie szybkości nadawania pakietów do możliwości ich obsługi. Drugi rodzaj sterowania, przeciwdziałanie przeciążeniom, ma na celu zabezpieczenie sieci przed nadmiernym ruchem, który mógłby spowodować degradacje jakości usług. Gwarantowanie parametrów jakości transmisji można podzielić również na klasowe i bezklasowe. W podejściu klasowym ruch jest klasyfikowany i dzielony na klasy, które mają określoną przepustowość. Dodatkowo w modelu klasowym można wykorzystać metody bezklasowe. W podejściu bezklasowym klasyfikowanie pakietów nie występuje, mechanizmy występujące w tej metodzie są mniej złożone i łatwiejsze w implementacji. Strona 10 z 12

11 Priority Queueing jako jedno z rozwiązań problemu opóźnień w technologii VoIP Rysunek 6. Schemat Priority Queueig PQ, czyli Priority Queueing (kolejki z priorytetami) używa czterech kolejek i klasyfikowania ruchu do jednej z nich. Kolejki te nazywają się od posiadającej największy priorytet high, przez medium, normal do low. Cechą charakterystyczną PQ jest fakt, że dopóki jakiekolwiek pakiety znajdują się w kolejce o wyższym priorytecie, ruter nie wyśle pakietów oczekujących w kolejkach o priorytecie niższym. Łatwo doprowadzić w ten sposób do "umierania" transmisji, klasyfikowanych do kolejek o niższych priorytetach. Aby dodać priorytety odpowiednim protokołom w skonfigurowanych ruterach w sieci prywatnej (VPN) należy: R1: access-list 100 deny tcp any any eq ftp access-list 100 deny tcp any eq ftp-data any access-list 100 permit tcp priority-list 10 protocol ip high udp 53! R2: access-list 100 deny tcp any any eq ftp access-list 100 deny tcp any eq ftp-data any access-list 100 permit tcp priority-list 10 protocol ip high udp 53! Dzięki takiemu ustaleniu priorytetu przesyłanie danych protokołu UDP ma w sieci najwyższy priorytet i dane są przesyłane w pierwszej kolejności. Przekłada się to na wydajność sieci. Przesyłane dane, które nie zawierają się w liście priorytetu, są kolejkowane dopóki najwyższy priorytet przesyła dane, co może być również szkodliwe dla sieci. Pakiety, które mają niższy priorytet są kolejkowane i Strona 11 z 12

12 dopóki przesyłane są dane o najwyższym priorytecie pozostałe czekają, w rezultacie mogą one wymierać i może nastąpić utrata przesyłanych danych. Kolejnym rozwiązaniem jest CQ, czyli Custom Queueing (kolejkowanie konfigurowalne) jest mechanizmem podobnym do PQ, ale możemy po pierwsze używać do 16 kolejek, a po drugie opróżniane one są na zasadzie round-robin: najpierw X bajtów z kolejki pierwszej, później Y bajtów z kolejki drugiej i tak dla wszystkich kolejek i od początku. Taka konstrukcja zapobiega wymieraniu potoków mniej uprzywilejowanych. Najlepszym rozwiązaniem priorytetyzacji jest algorytm CBWFQ, czyli Class-Based WFQ (WFQ oparte o klasy). Jest potężnym mechanizmem, umożliwiającym łączenie wielu różnych innych mechanizmów w jedną całość na interfejsie rutera. Aby wykorzystać CBWFQ, należy najpierw wskazać, czyli inaczej sklasyfikować ruch, który będzie traktowany w różny sposób - innymi słowy, podzielić go na klasy. Cisco IOS daje wiele metod klasyfikacji - możemy wskazywać ogólnie protokoły (np. IP, EIGRP, ESP), dowolny ruch pasujący do jakiegoś rodzaju ACLek (np. tylko ruch do konkretnego hosta w porcie 80 tcp itp.), a także z wykorzystaniem mechanizmu NBAR, zagłębiać się w konstrukcję pakietu i np. wykrywać sieci P2P. Artykuł opracował: Paweł Jaroszewicz, Support Online Sp. z o.o. Support Online Sp. z o.o. świadczy szeroki zakres usług IT dla firm oraz instytucji: kompleksowa obsługa informatyczna, częściowe wsparcie IT, projekty informatyczne, helpdesk IT, system kopii zapasowych plików SBBS, telefonia VoIP, audyty informatyczne i wiele innych. Jeśli jesteście Państwo zainteresowani współpracą w tym zakresie lub innymi usługami informatycznymi zapraszamy do kontaktu. Support Online Sp. z o.o. tel support@so.com.pl Źródło: 1. Opracowanie własne Strona 12 z 12