Od ostatniego naszego testu wydajnościowego minął rok. W tym czasie producenci wydawali kolejne wersje swoich programów poprawiając w nich to i owo.

Transkrypt

1 T E S TWY DAJ NOŚ CI OWY014 PAKI E T ÓW I NT E RNE TS E CURI T Y S PI ST RE Ś CI WPROWADZ E NI E 1 Z AS ADYT E S T OWANI A ME T ODOL OGI A 3 WY NI KI 7 PODS UMOWANI E 3 PRZ Y Z NANECE RT Y F I KAT Y 6 Dokumentt enzawi er at estpaki et ów I nt er netsecur i t y014podkąt emwydaj ności owym Dat apr zepr owadzonegot est u: wr zesi eń-paździ er ni k013

2 CO TESTOWALIŚMY Od ostatniego naszego testu wydajnościowego minął rok W tym czasie producenci wydawali kolejne wersje swoich programów poprawiając w nich to i owo Wydajność programu jest brana pod uwagę przez użytkowników domowych jak i korporacyjnych, dlatego też jest jedną z najważniejszych jego cech Każdy użytkownik chce mieć na pokładzie swojej maszyny program, który będzie niezauważalnie lekki dla zasobów komputera Innym najpopularniejszym kryterium testu jest szybkość skanowania programów antywirusowych Jednak należy pamiętać, że skanowanie powinno być przede wszystkim skuteczne Należy wziąć też pod uwagę, że większość programów może wykorzystywać tzw inteligentne skanowanie, czyli w momencie kiedy użytkownik nie korzysta z komputera, jest przydzielanych do operacji skanowania więcej zasobów, aby mogło być ono szybciej ukończone (wysoki priorytet) Zdarzają się sytuacje, że program antywirusowy nadmiernie eksploatuje zasoby dysku twardego wykonując bardzo dużo operacji odczytu / zapisu Podobnie jest z procesorem i pamięcią RAM Jest to tym bardziej ważne, że wpływa to na komfort pracy i rozrywki użytkownika Nie bez znaczenia jest także prędkość reakcji interfejsu programu na wydawane polecenia przez użytkownika Zdarzają się sytuacje, że programy działają topornie, chociaż mają do dyspozycji szybki procesor i dużą ilość pamięci RAM Na pewno wielu użytkowników zauważyło, że programy antywirusowe potrafią zwolnić takie operacje jak archiwizacja i dearchiwizacja danych czy kopiowanie plików Jest to spowodowane skanowaniem plików w czasie rzeczywistym podczas w/w operacji W końcu program jest od tego, aby nie dopuścić do infekcji podczas przenoszenia / kopiowania plików, ale też nie może nadmiernie zwalniać tych operacji Teoretycznie, im mniej procesów potomnych na program tym lepiej A jak się to ma w rzeczywistości? Z tym jest różnie Programy, które mają kilka procesów potomnych są ciężkie, a są też programy z kilkunastoma procesami potomnymi, które są bardzo lekkie 1

3 PODCZAS WYKONYWANIA TESTÓW ZMIERZONO PARAMETRY: 1 Prędkość uruchamiania GUI (głównego okienka programu): Do tego celu wykorzystaliśmy program APPTimer Operacja była automatycznie powtarzana 5x, po czym wyciągaliśmy średnią Zużycie RAM, CPU i HDD podczas spoczynku: Aby zmierzyć użycie pamięci ram, procesora oraz % (procent) odczytu/zapisu danych w danym czasie (monitorowaliśmy procent czasu, przez który dysk jest zajęty operacjami odczytu/zapisu im mniej tym lepiej), użyliśmy do tego celu monitora wydajności wbudowanego w system Windows Cała operacja trwała 5 minut po 3 minutowym odstępnie czasu od uruchomienia komputera Monitor wydajności zbierał dane co 5 sekund przez 5 minut, po czym braliśmy pod uwagę średnie wyniki a skrajne wartości (minimalne i maksymalne) odrzucaliśmy 3 Zużycie RAM, CPU i HDD podczas skanowania: Identycznie jak w punkcie, z tą różnicą, że monitor wydajności był uruchamiany w momencie rozpoczęcia skanowania a procedura zbierania danych trwała do zakończenia skanowania 4 Czas skanowania: Wykonując punkt 3, czas skanowania był podawany przez monitor wydajności po zakończeniu operacji 5 Czas archiwizacji: Aby zmierzyć czas archiwizacji, korzystaliśmy z programu WinRAR 6 Czas dearchiwizacji Aby zmierzyć czas dearchiwizacji, korzystaliśmy z programu WinRAR 7 Czas kopiowania partycja d:\ -> partycja c:\ Aby zmierzyć czas kopiowania, korzystaliśmy z programu ExtremeCopy Należy wziąć pod uwagę, że czas kopiowania/przenoszenia danych w tej samej partycji jest zdecydowanie szybszy 8 Ilość procesów potomnych programy antywirusowego: Aby stwierdzić ile procesów potomnych uruchomił program antywirusowy, skorzystaliśmy z programu Emsisoft HiJackFree 9 Waga programu: Waga programu była zapisana na podstawie informacji wywołanych przez PPM / właściwości (rozmiar na dysku) 10 Przepustowość skanowania: Jest to szybkość skanowania wyrażona w [ MB/s ] Im więcej, tym lepiej skanowanie zostanie szybciej zakończone

4 JAK TESTOWALIŚMY Aby odwzorować rzeczywistość, przygotowaliśmy specjalny obraz systemu Windows 7 Professional X64 + SP1 z krytycznymi aktualizacjami na dzień 3 września 013 Po tym dniu Windows Update został wyłączony, aby nie wpływał na wynik testów Wszystkie inne ustawienia były domyślne Komputer wykorzystany do testu był o parametrach: CPU: Athlon II X 40,8GHz RAM: x4gb DDR MHz HDD: Seagate 500 GB SATA II 700 RPM 3MB Cache METODOLOGIA TESTÓW 1 Przywrócenie systemu z początkowej kopii za pomocą Keriver 1-Click Restore Free Instalacja programu antywirusowego z domyślnymi ustawieniami 3 Aktualizacja bazy sygnatur oraz plików programu 4 Restart systemu 5 Sprawdzenie użycia CPU, HDD oraz RAM podczas spoczynku po 3 minutach bezczynności: uruchomienie reguły monitora wydajności - proces trwał 5 minut 6 Skanowanie folderu TYLKO z czystymi plikami o pojemności MB W tym samym czasie następuje sprawdzenie użycia pamięci RAM, HDD i CPU podczas skanowania poprzez uruchomienie reguły monitora wydajności - proces trwa do zakończenia skanowania 7 Obliczenie przepustowości skanowania 8 Zapisanie czasu skanowania 9 Archiwizacja 1,18 GB plików 10 Wypakowanie pliku utworzonego w pkt9 11 Zmierzenie czasu kopiowania pliku o wadze 1 GB pomiędzy rożnymi partycjami 1 Sprawdzenie ilości procesów 13 Sprawdzenie wagi programu Testujemy wszystkie produkty na jednym komputerze, na przywracanym obrazie systemu W ten sposób nie jest pomijana kwestia buforowania dostępu do plików przez system plików, przez co kolejny program antywirusowy może działać szybciej niż pierwszy W niektórych programach antywirusowych stworzono mechanizmy, dzięki którym wypadają lepiej w testach Specjalny sterownik sprawdza, czy plik został już przeskanowany i nie jest ponownie sprawdzany Z tego powodu uruchomienie (bez przywrócenia czystego systemu, nawet po restarcie) skanowania onaccess lub on-demand powoduje, że drugi test przebiega bardzo szybko Przeprowadzane testy w ten sposób nie są miarodajne, ponieważ najważniejsze w tym teście jest spowolnienie systemu podczas skanowania na czystych plikach Tak naprawdę, potencjalne zainfekowane pliki stanowią 3

5 jedynie znikomą część wszystkich plików na dysku, które są sprawdzane przez program antywirusowy a skanowanie setek czy tysięcy zagrożeń może być długie, ważne by było skuteczne Czas skanowania w dużej mierze zależy także od priorytetu procesu lub zastosowania odpowiedniej technologii, które polega na tym, że jeśli użytkownik podczas skanowania komputera korzysta z jego zasobów, priorytet procesu jest automatycznie ograniczony, aby nie spowalniać pracy komputera TESTOWANE WERSJE PROGRAMÓW Nazwa Wersja (1373) DrWeb Security Space Ikarus antivirus ( )

6 Rodzaje skanowanych plików MB Legenda: np vmdk;1719;11% vmdk - rozszerzenie pliku łączna waga plików vmdk 11% - waga plików z całości tj MB vmdk; 1719; 11% iso; 1403; 9% inne; 6756; 45% bin; 848; 6% pdf; 760; 5% exe; 670; 4% 7z; 563; 4% doc; 7; 0% rar; 416; 3% msi; 10; 1% tga; 130; 1% zip; 135; 1% pdxa; 148; 1% wav; 150; 1% mp3; 177; 1% bmp; 340; % vmdk iso bin pdf exe 7z jpg; 36; % rar jpg dds bmp mp3 wav pdxa zip tga msi doc inne dds; 349; % 5

7 KILKA WAŻNYCH ZASAD Zasada równości W testach porównawczych, wszystkie programy powinny być poddawane testom na tej samej maszynie System operacyjny oraz zainstalowane oprogramowanie powinny być takie same Tworzenie obrazów systemu/partycji jest dobrym sposobem na odwzorowanie identycznych warunków testowania Automatyczna aktualizacja systemu powinna być wyłączona w większości przypadków Proces aktualizacji może wpływać na badania i wynikające z tego zmiany w systemie mogą prowadzić do znaczących różnic Odpowiednia metodologia Wszystkie pomiary wydajności powinny być testowane na "czystych" plikach Testowanie szybkości skanowania zainfekowanych próbek może być interesujące, a nawet bardzo specyficzne, ale takie przypadki są niezwykle rzadkie a większość użytkowników nie posiada setek czy tysięcy zainfekowanych plików na swoim dysku Ustawienia programu powinny odzwierciedlać najbardziej powszechną konfiguracją w świecie rzeczywistym W większości przypadków rozwiązaniem najbardziej odpowiednim są ustawienia domyślne Aktualizacje Produkty powinny być w pełni zaktualizowane przed rozpoczęciem testów wydajności (zalecenia AMTSO), jako że niektóre produkty mogą początkowo zainstalować się z nieaktualnymi plikami programu, co może wpłynąć na wyniki testu Dlatego AVLab dołoży wszelkich starań, aby odwzorować rzeczywistość Testerzy powinni również zdawać sobie sprawę z potencjalnego wpływu planowanych aktualizacji w testach wydajności, dlatego wszystkie aktualizacje są wyłączone na czas testu KOMENTARZ DO PONIŻSZYCH WYNIKÓW Pamięć RAM, CPU oraz HDD zarówno w spoczynku jak i podczas skanowania nie jest wynikiem z osobna dla programu antywirusowego, ale ilość ta pokazuje użycie zasobów przez cały system łącznie z zainstalowanymi programami oraz samym programem antywirusowym Dostępny jest również wykres z wynikami zużycia pamięci RAM przez sam program antywirusowy Zużycie RAM-u przez system bez AV zostało zmierzone 3 razy po czym wyciągnięto średni wynik: ( )/3 = 1087 MB 6

8 Nazwa Wersja GUI [s] RAM [MB] SPOCZYNEK SKANOWANIE Skanowanie Archiw Dearch Kopiowanie Ilość Waga po Przepustowość CPU HDD RAM CPU HDD [s] [%] [%] [MB] [%] [%] [min,s] [s] [s] procesów instalacji [MB] [MB/s] , ,1 0, ,1 1, , , , ,5 0, , 48, , , , ,4 13 6,4 6,5 04 4, ,7 73, , ,8 1, ,9 1,8 0 5, , , , 0, ,9 36, , , , ,4 0, ,8 30,7 39 4, , , ,3 0, ,6 41,1 47 4, , ,08 171,9 1, ,8 36,7 80 4, , , ,1 1, ,9 11, , , , , ,3 3, , , , , ,6 7,6 60 4, ,4 58, , ,9 7, , ,8 9,6 DrWeb Security Space 8 8 0, ,1 0, ,9 9, , , , ,5 0, ,1 40, 190 4, , , ,8, ,1 9, , , , ,5 0, ,4 1, , , , , ,1 46, , ,7 8075(1373) 0, , , , , ,3 0, ,6 7,6 80 4, , , ,4, ,6 39,7 40 4, , , , ,7 14, , , , 160 4, 0, ,5 46, , , ,6 1, ,9 69 4, , , , ,9, , ,6 10, ,5 1089,1 3, ,6 6, , , ,6 1195,6 3, ,3 8, , ,0 Ikarus antivirus , ,9 14,5 0 4, , , ,5 3, , , , ,46 14,3 3, ,6 43, , , , ,4 0, ,1 39, , ,7 1 0, , ,7 19, , , ,1 1415, ,3 40, 354 * * * 135 4, ,1 18 0,4 1, ,7 34, , , 18750, , ,6 41,9 05 4, , , ,4 7, 05 4, ,5 81, , ,1 18, , ,9 7

9 Prędkość uruchamiania GUI [s] mniej = lepiej DrWeb Security Space 8 Ikarus antivirus 0,04 0,05 0,06 0,07 0,07 0,07 0,08 0,08 0,09 0,09 0,09 0,09 0,1 0,11 0,11 0,1 0,1 0,13 0,18 0,19 0,1 0, 0,4 0,5 0,6 4 0,43 0,46 0,47 0,9 1,1,1,33,51,63 0 0,5 1 1,5,5 3 GUI [s] 8

10 Pamięć RAM (tylko AV) [MB] DrWeb Security Space 8 Ikarus antivirus Ilość MB 9

11 Pamięć RAM w spoczynku: system + AV [MB] mniej = lepiej DrWeb Security Space 8 Ikarus antivirus RAM [MB] 10

12 Procesor w spoczynku: system + AV [%] mniej = lepiej Ikarus antivirus DrWeb Security Space 8 0, 0,4 0,4 0,4 0,5 0,5 0,6 0,8 1 1,1 1,1 1,1 1,1 1,3 1,3 1,4 1,4 1,6 1,7,1,3,6,7,9 4, 4,8 5,5 6 10, CPU [%] 11

13 HDD w spoczynku system + AV [%] mniej = lepiej DrWeb Security Space 8 Ikarus antivirus 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0, 0, 0, 0, 0,4 0,5 0,6 0,7 0,8 1,1 1,3 1,7 1,7 1,8,5,6,7 3,1 3,1 3,1 3,5 0 0,5 1 1,5,5 3 3,5 4 HDD [%] 1

14 Pamięć RAM podczas skanowania: system + AV [MB] mniej = lepiej Ikarus antivirus DrWeb Security Space RAM [MB] 13

15 CPU podczas skanowania: system + AV [%] mniej = lepiej Ikarus antivirus DrWeb Security Space 8 6,4 9, ,9 40,4 43,1 43,3 43,6 44,7 44,9 45,9 46,6 46,7 47,3 47, ,8 49,1 51,6 5,6 5,9 53,9 58, 58,4 63,1 63,3 65,6 66,1 68,5 69,1 71,7 77,8 80,6 80,9 89, CPU [%] 14

16 HDD podczas skanowania: system + AV [%] mniej = lepiej DrWeb Security Space 8 Ikarus antivirus,7 6,5 7,5 7,6 7,6 9,4 9, ,3 1,1 14,5 14,7 16,9 18,1 19,7 1,1 1,8 6,7 7, 8,5 30,7 3,1 34,6 36,6 36,7 39,6 39,7 40, 40, 41,1 41,9 43,4 44,1 46,15 46,35 48, HDD skanowanie 15

17 Czas skanowania MB danych [s] mniej = lepiej Ikarus antivirus DrWeb Security Space [s] 16

18 Przepustowość skanowania [MB/s] więcej = lepiej Ikarus antivirus DrWeb Security Space 8 16,7 11,5 104,7 103, 94, 91,9 91,4 81,9 81,9 81,9 79,3 77,7 75,7 74,6 73,9 73,5 73,5 68,5 63,1 58,0 56,0 48,0 47,7 4,6 36,9 35,9 9,6 8,0 8,0 18,7 18,4 17,6 10,6 9,5 188,4 30,7 0,0 50,0 100,0 150,0 00,0 50,0 300,0 350,0 Przepustowość skanowania 17

19 Archiwizacja 1,18 GB plików [min,s] mniej = lepiej Ikarus antivirus DrWeb Security Space 8 0 4,6 4,6 4,7 4,7 4,8 4,8 4,8 4,9 4,9 4,9 4,9 4,3 4,3 4,3 4,3 4,33 4,33 4,33 4,33 4,34 4,34 4,34 4,35 4,35 4,35 4,36 4,36 4,38 4,39 4,41 4,44 4,44 4,56 5,06 5, Archiwizacja FileMedic kilkukrotnie zawieszał proces explorerexe, w efekcie czego test nie mógł zostać przeprowadzony 18

20 Dearchiwizacja 1,18 GB plików [s] mniej = lepiej Ikarus antivirus DrWeb Security Space Dearchiwizacja FileMedic kilkukrotnie zawieszał proces explorerexe, w efekcie czego test nie mógł zostać przeprowadzony 19

21 Czas kopiowania 1GB danych d:\ -> c:\ [s] mniej = lepiej Ikarus antivirus DrWeb Security Space Czas kopiowania FileMedic kilkukrotnie zawieszał proces explorerexe, w efekcie czego test nie mógł zostać przeprowadzony 0

22 Ilość procesów Ikarus antivirus DrWeb Security Space Ilość procesów 1

23 Rozmiar po instalacji [MB] mniej = lepiej DrWeb Security Space 8 Ikarus antivirus 0,7 13,4 6,8 37, Waga

24 WNIOSKI Z TESTU Jak widać na powyższych wykresach, trudno jest jednoznacznie wskazać tego jedynego zwycięzcę testu Niektóre programy antywirusowe przodują np w minimalnym zapotrzebowaniu na zasoby tj apetyt na procesor, pamięć ram jest wręcz znikomy, ale podczas skanowania ich zapotrzebowanie gwałtownie wzrasta Celem testu nie było wskazanie obligatoryjnego zwycięzcy, ale uświadomienie użytkownikom, że najlżejszy antywirus praktycznie nie istnieje Jednakże tendencję do wyłamania się z tego stwierdzenia wykazują programy oparte o cloud computing, jak Webroot i co nie było specjalnym zaskoczeniem patrząc na końcowe wyniki W erze komputerów, gdzie pamięć RAM dla użytkowników domowych jest liczona w GB, niezauważalne jest odczucie podczas pracy z zainstalowanym antywirusem, który to będzie potrzebował 100 czy 150 MB pamięci do prawidłowego działania W tym przypadku nie bez znaczenia są operacje odczytu i zapisu danych Im więcej tych danych, tym bardziej spowolniony zostanie cały system, bowiem o ile dyski SATA wyparły dyski ATA, o tyle tyski SSD nadal nie są dostępne dla każdego Wielu użytkowników zauważyło, że niektóre programy antywirusowe uruchamiają się z opóźnieniem Różnica pomiędzy 0,04s () a 1s (FileMedic) jest dla ludzkiego oka prawie niezauważalna Nawet w przypadku sekund nie jest to aż takie duże opóźnienie Prędkość uruchamiania GUI nie powinna być wyznacznikiem wyboru programy antywirusowego Warto mieć to na uwadze Użycie pamięci RAM podczas skanowania oraz sam czas skanowania są ważne, ale nie najważniejsze Obecnie większość programów antywirusowych jest wyposażona w tzw inteligentne skanowanie, czyli kiedy użytkownik nie korzysta z komputera, priorytetowi skanowania jest automatycznie przyznawana większa ilość zasobów do ukończenie tego procesu Więc niech nie dziwi nikogo fakt, że program X lub Y wraz s systemem podczas skanowania potrzebował nawet 1,6 GB pamięci RAM Oczywiście im mniej tym lepiej Na sam koniec zalecamy użytkownikom, aby przed wydawaniem osądów na temat programy X czy Y zainstalowali jego wersję trial i sami przekonali się jak naprawdę dany program zadziała na jego konfiguracji sprzętowej Należy pamiętać, że wyniki programów na różnych konfiguracjach mogą być inne niż przedstawione w tym teście Test wydajnościowy jest chyba jedynym testem, którego odwzorować jest bardzo trudno, lub nawet jest to niemożliwe 3

25 KOŃCOWA PUNKTACJA Poniżej przedstawiono tabelę w jaki sposób przyznawano punkty programom za uzyskane wyniki W tabeli nie oceniano przepustowości skanowania, ponieważ jest ono ściśle związane z czasem skanowania Pominięto także ilość procesów RAM w spoczynku [MB] RAM skanowanie [MB] CPU w spoczynku [%] pkt pkt 0-5pkt pkt pkt,1-4 4pkt pkt pkt 4,1-6 3pkt pkt pkt 6,1-8 pkt pkt pkt 10,1-1 1pkt 1501-więcej 0pkt 1951-więcej 0pkt 1,1-więcej 0pkt CPU skanowanie [%] HDD w spoczynku [%] HDD skanowanie [%] pkt 0-1 5pkt pkt pkt 1,1-4pkt pkt pkt,1-3 3pkt pkt pkt 3,1-4 pkt pkt pkt 4,1-5 1pkt pkt 76-więcej 0pkt 5,1-więcej 0pkt 51-więcej 0pkt GUI [s] Czas skanowania [s] Czas kopiowania [s] 0-0,5 5pkt pkt pkt 0,6-1 4pkt pkt pkt 1,1-1,5 3pkt pkt pkt 1,6- pkt pkt pkt,1-,5 1pkt pkt pkt,6-więcej 0pkt 301-więcej 0pkt 61-więcej 0pkt Archiwizacja [min] Dearchiwizacja [s] RAZEM 0-4,30 5pkt pkt pkt 4,31-4,40 4pkt pkt pkt 4,41-4,50 3pkt pkt pkt 4,51-5,00 pkt pkt pkt 5,01-5,10 1pkt pkt pkt 5,11-więcej 0pkt 51-więcej 0pkt 501-więcej 0pkt 4

26 RAM w spoczynku [MB] RAM skanowanie [MB] CPU w spoczynku [%] CPU skanowanie [%] HDD w spoczynku [%] HDD skanowanie [%] GUI [s] Czas skanowania [s] Czas kopiowania [s] Archiwizacja [min] Dearchiwizacja [s] Nazwa Webroot SecureAnywhere Antivirus Ikarus antivirus DrWeb Security Space ZoneAlarm Antivirus + Firewall Free * 0* 0* 0 * Nie ukończył testu RAZEM 5

27 PRZYZNANE CERTYFIKATY OD AVLAB 8 8 Ikarus antivirus DrWeb Security Space 8 6