Test programów antywirusowych dla systemu Linux

Jak wiadomo wirusy rozprzestrzeniają się najszybciej przez pocztę elektroniczną. Najprostszą metodą obrony jest skanowanie całej poczty przychodzącej i wychodzącej programem antywirusowym na serwerze obsługującym pocztę. Niestety jako że nie ma rzeczy doskonałych, stałem przed wyborem który program antywirusowy będzie mi służył najlepiej. Oczywiście każdy producent zachwala swój produkt. Należy więc zastanowić się który produkt rzeczywiście działa dobrze.

Postanowiłem przetestować kilka dostępnych programów pod kątem wirusów wychwyconych na serwerze pocztowym w IFM przez program Clam Antivirus. Okazuje się że w różnych okresach bazy tego programu wyłapały mi kilka plików które w świeżej wersji bazy nie są rozpoznawane jako zawirusowane! Ale powoli...

Programy którymi się zająłem:

Clam Antivirus wersja 0.88 (clamscan)
MKS wersja 1.9.6 (mks32)
BitDefender wersja 7.1 (bdc -mail)
F-Prot wersja 3.16 (f-prot)
Kaspersky wersja 5.5.3 (kavscanner -mn -xn)
H+BEDV wersja 2.1.5-39 (antivir --scan-in-mbox -s --allfiles -z)

Do rzeczy: próba polegała na przeskanowaniu 12340 zawirusowanych wiadomości e-mail o łącznym rozmiarze 595.62 MB. Wirusy z okresu 13.09.2005 - 15.02.2006.Niektóre programy poradziły sobie dobrze, inne kiepsko. Jednakże należy zwrócić uwagę na fakt, iż część "wirusów" wykrytych przez Clam Antivirus nie jest typowymi wirusami czy trojanami, a np. stronami wykorzystującymi technikę "phishingu".

Program	Ilość wykrytych	% wykrytych	Czas (s)	% czas w stosunku do najszybszego
Clam AV	12321	99.85	184	112
MKS	9843	79.76	595	361
BitDefender	9175	74.35	500	303
F-Prot	10093	81.79	165	100
Kaspersky	11806	95.67	561	340
H+BEDV	10521	85.26	701	425
Najwięcej wykrytych Najszybszy

Komentarz: wyraźnie żaden program poza ClamAV nie kładzie nacisku na "wirusy" typu "phishing". Być może rzeczywiście tego typu e-maile powinny być odrzucane przez system anty-spamowy, jednakże miłą i przydatną rzeczą jest wykrywanie tego typu niebezpieczeństw o krok wcześniej - przy sprawdzaniu w poszukiwaniu wirusów.
Wystarczy jednak przymknąć oko na wszystkie znaleziska typu "HTML.Phishing" i okazuje się że różnice pomiędzy programami ClamAV, F-Prot, H+BEDV i Kaspersky są niewielkie (wszystkie wykryły powyżej 99% wirusów). Od stawki odstają znacząco tylko MKS (97%) i BitDefender (91%).
Patrząc na szybkość działania, dwa programy - F-Prot i ClamAV - wykazały się dużą szybkością. F-Prot skanował wiadomości ze średnią szybkością ok. 3.61 MB/sek., tj. 74.8 wiadomości na sekundę. Pozostałe programy wypadły znacznie gorzej, z czasem wykonywania od 3 do 4 razy dłużej.

Program	Ilość wykrytych	% wykrytych	Czas (s)	% czas w stosunku do najszybszego
Clam AV	37084	99.99	842	169
MKS	35184	94.87	3066	617
BitDefender	35070	94.56	1840	370
F-Prot	35243	95.03	497	100
Kaspersky	35845	96.65	2283	459
H+BEDV	35263	95.08	2144	431
Najwięcej wykrytych Najszybszy

Komentarz: wyraźnie żaden program poza ClamAV i tym razem nie poradził sobie z "wirusami" typu "phishing".
Wystarczy jednak ponownie przymknąć oko na wszystkie znaleziska typu "HTML.Phishing" i okazuje się że tym razem wszystkie programy wypadły znakomicie. Nieznacznie od stawki odbiegają ponownie MKS (99.8%) i BitDefender (99.5%) w stosunku do wyniku 99.98% pozostałych programów.
Patrząc na szybkość działania, ponownie dwa programy - F-Prot i ClamAV - wykazały się dużą szybkością. F-Prot skanował wiadomości ze średnią szybkością ok. 2.05 MB/sek., tj. 74.6 wiadomości na sekundę. Konkurencja ponownie potrzebowała więcej czasu - od 3.7 do 6! razy więcej.

Program	Ilość wykrytych	% wykrytych	Czas (s)	% czas w stosunku do najszybszego
Clam AV	50785	100	1077	154
MKS	50423	99.29	4545	651
BitDefender	50398	99.24	2683	384
F-Prot	50444	99.33	698	100
Kaspersky	50466	99.37	3099	444
H+BEDV	50449	99.34	2705	388
Najwięcej wykrytych Najszybszy

Komentarz: również w tym teście żaden program poza ClamAV nie kładzie nacisku na "wirusy" typu "phishing".
I ponownie przymykamy oko na wszystkie znaleziska typu "HTML.Phishing". Tym razem wynik jest zaskakująco pozytywny. Programy ClamAV, H+BEDV i Kaspersky są bezbłędne! Nieznacznie od stawki odstaje F-Prot (nie wykrył 3 wirusów na 50447. Troszkę gorzej wypadły ponownie MKS (27 na 50447) i BitDefender (49 na 50447), tym razem jednak procentowo jest to poniżej 0.1% nie wykrytych wirusów.
Patrząc na szybkość działania, ponownie górują dwa programy - F-Prot i ClamAV. F-Prot skanował wiadomości ze średnią szybkością ok. 0.022 MB/sek., tj. 72.8 wiadomości na sekundę.

Wyników trochę już jest. Można się więc pokusić o jakieś podsumowanie.
Jeśli chodzi o szybkość działania bezwględnie liderem jest program F-Prot. Sumując uzyskane czasy uzyskujemy informację, że przeskanowanie 100212 wiadomości zajęłoby ok. 1360 sekund.

F-Prot - 1.00x
ClamAV - 1.55x
BitDefender - 3.69x
H+BEDV - 4.08x
Kaspersky - 4.37x
MKS - 6.03x

Oczywiście szybkość nie jest tak znacząca jak skuteczność. Ogólna ocena skuteczności wykrywania wirusów:

ClamAV - 99.978%
Kaspersky - 97.909%
H+BEDV - 96.029%
F-Prot - 95.577%
MKS - 95.248%
BitDefender - 94.443%

Po pominięciu sprawdzania "phishingu" pozostały 95802 wiadomości testowe. Wykrywalność przedstawia się następująco:

ClamAV - 99.977%
Kaspersky - 99.976%
H+BEDV - 99.966%
F-Prot - 99.954%
MKS - 99.570%
BitDefender - 98.780%

Widać iż ClamAV i Kaspersky są niemalże bezbłędne. Pięć spośród sześciu testowanych programów ma błąd poniżej 0.5%. Jedynie program BitDefender pokazał się z nienajlepszej strony - błąd powyżej 1.2%.

Ocena autora: Każda ocena jest w mniejszym lub większym stopniu subiektywna. Nie ukrywam że staram się podać ocenę jak najbardziej obiektywną. Po przeprowadzonych testach ośmielam się uznać iż ClamAV jest programem najlepszym - ma najlepszą wykrywalność i nie jest dużo wolniejszy (jedynie o połowę) od najszybszego testowanego programu. Nie potrafię obiektywnie przyznać lokat od 2 do 4. Mogę jedynie powiedzieć że na lokatach tych na pewno znalazłaby się trójka programów, które wymienię w kolejności alfabetycznej. F-Prot, H+BEDV, Kaspersky. Piąta lokata należy się programowi MKS. Na szóste miejsce zdecydowanie zasłużył program BitDefender.

Podziękowania i żale (na pewno nie daremne) proszę kierować na adres e-mail autora: Pawel.Lesniak@ifmpan.poznan.pl. Jeżeli ocena jest nieobiektywna, lub autorzy/sprzedawcy danego programu uważają że test jest nieobiektywny - proszę o przesłanie wyjaśnienia dlaczego uzyskane wyniki są nieobiektywne i informacji czy treść e-mail'a może znaleźć się na tej stronie.
Czekam również na wskazówki jakie opcje programu pozwolą na uzyskanie lepszych wyników. Być może użycie konkretnych wersji baz czy konkretnych wersji programów może przyczynić się do polepszenia wyników - proszę również o takie informacje i oczywiście w miarę możliwości przesłanie wersji programu umożliwiającej mi nieodpłatnie wykonanie testu pod systemem Linux na posiadanych przeze mnie próbkach.

Porównanie programów antywirusowych dla systemu Linux

Autor: Paweł Leśniak

Instytut Fizyki Molekularnej PAN, Poznań