백신(안티바이러스) 제품의 성능이나 기능을 평가하는 기준이 되는 것이 바로 공신력있는 평가 기관에서 시행하는 인증 시험을 통과하는지 여부입니다.
이러한 평가기관이 전세계적으로 서너개 정도 존재하고 있으며, 가장 대표적인 기관이 VB100, ICSA Labs, AV-Comparatives 등이 있습니다.
하여튼, 평가 기관 중의 하나인 ICSA Labs에서는 맥 OS에서 동작하는 안티바이러스 제품군에서 최초로 ESET NOD32가 인증을 통과했다는 소식을 전해 드립니다.
일반적으로 리눅스나 맥 OS에서는 바이러스가 감염되지 않는다는 것이 정설로 알려지고 있지만, 실제로 감염되는 사례가 종종 발견되고 있습니다. 또한, 가정에서도 보통 1대 이상의 컴퓨터를 사용하기 때문에 공유 폴더나 USB 메모리를 통해 바이러스가 감염될 가능성이 높습니다.
인증을 통과한 제품은 ESET NOD32 Antivirus Business Edition for Mac OS X로 실시간 감시 기능까지 제공하고 있습니다.
AV-Comparatives는 VirusBTN과 더불어 전세계적으로 어느정도 권위를 인정받는 안티바이러스 평가 기관 중의 하나입니다.
이들 기관에서는 매달 운영체제 별로 또는 특정한 기능을 중심으로 테스트를 진행하고 그 결과를 웹사이트에 공개하고 있습니다.
이번 달에는 AV-Comparatives에서 비교적 관심을 가질만한 부분을 평가했는데 바로 안티바이러스의 체감 성능입니다. 즉, 백신(안티바이러스)를 설치하고 나서 컴퓨터의 속도가 많이 느려졌는지를 수치화하는 것으로 사용자가 백신을 선택하는 기준 중에 가장 중요한 부분 중의 하나가 아닐까 싶습니다.
이번 평가에 선정된 제품들은 다음과 같습니다. 특이한 사항은 드디어 Kaspersky 2011 버전이 추가되었다는 것입니다. 기존 VirusBTN에서는 2011 버전이 채택되지 않았습니다. 좀~ 더 발빠른 행보가 아닐까 싶습니다. 그외 다른 제품도 마찬가집니다. 2011 버전이 많이 테스트된 것을 보니, 대세는!!!
avast! Internet Security 5.0
AVG Internet Security 9.0
BitDefender Internet Security 2010
eScan Internet Security Suite 10
ESET Smart Security 4.2
F-Secure Internet Security 2011
G DATA Internet Security 2011
Kaspersky Internet Security 2011
Kingsoft Internet Security 2010
Norman Security Suite Pro 8
Panda Internet Security 2011
PC Tools Internet Security 2011
Symantec Norton Internet Security 2011
Trend Micro Internet Security Pro 2010
성능을 평가하는 방법은 바로 파일을 조작(처리)하는 방법으로 수치화하는 것이 대부분의 기술적인 방법입니다. 사용된 방법은 다음과 같습니다.
파일 복사(File copying) 압축 및 해제(Archiving / Unarchiving) 인코딩/다른 방식으로 인코딩(Encoding / Transcoding)
프로그램 설치/제거(Installing / Uninstalling applications)
프로그램 실행(Launching applications)
파일 다운로드(Downloading files) Worldbench Testing Suite (XP)
주: 사용자가 많이 겪는 부분은 진하게 표시했습니다. 좀더 고려해서 봐야 할 부분이기도 합니다.
흥미로운 부분은 바로 WorldBench Testing Suite가 추가되었다는 것입니다. WorldBench는 PC의 성능을 측정하는 프로그램 중의 하나로 꽤 괜찮은 평가를 받고 있습니다.
백신 제품의 성능에 대해 세부적으로 설명하기 보다는 최종적인 결과를 선보이고 마무리하고자 합니다.
기존의 테스트 결과와는 아주 딴판입니다.
보통 진단율 테스트에서는 G-DATA라든지 Kaspersky와 같은 제품이 1등~을 먹었습니다만, 이번 테스트에는 다들 힘들게 살아(!) 가고 있습니다.
국내에서 소프트웨어 회사로 열심히 삽질하는 여러 회사들이 채택하여 이용하는 비트디펜더도 조금은 안타깝습니다. 이로 국내 몇천만명이 바로 시간적인 손해를 보게 됩니다. 다 합치면 몇십만 광년(!)은 되겠죠!!!
즉, 보안을 강화하기 위해서는 사용자에 대한 불편함이 나타나기 마련입니다. 중도!의 길을 걷는 것이 얼마나 어려운지 여기서도 충분히 공감할 수 있을 것입니다.
VB100에서는 매달 하나의 주제를 선정하여 보안 제품의 비교 평가 결과를 발표합니다. 이번 달에는 윈도우 XP 운영체제에서 수행되었으며, ITW(In The Wild, 전세계적으로 적어도 2 군데 이상의 지정학적 위치에서 실제로 발견된 악성 프로그램)에 대해 진단하였습니다.
총 60개의 제품이 선정되어 이 중 40개의 제품이 테스트를 통과했습니다. 이번에는 의외로 카스퍼스키가 한 개의 ITW를 놓치는 바람에 떨어지는 결과를 보이고 있습니다. 다른 유명한 보안 제품은 대부분 안전하게 통과했습니다.
다양한 안티바이러스 제품을 가지고 수많은 악성 프로그램의 진단율 등 테스트를 진행하는 기관 가운데에는 AV-Comparatives가 유명합니다만, 그 외에도 여러 독립적인 기관이 활동하고 있습니다.
AV-Comparatives에서는 주로 진단율에 대해 다루지만, ICSA 연구소에서는 인증(Certified)라는 개념으로 발표합니다.
지난 22일에 마이크로소프트가 윈도우 7 이라는 새로운 운영체제를 발표한 바가 있습니다. 한편, 이 운영체제를 기반으로하는 안티바이러스 제품들의 평가가 ICSA Labs에서 진행되어 발표되었습니다.
아쉬운점은 우리가 익히 알고 있는 국내의 안티바이러스 제품이나 외국의 유명 제품은 빠져 있다는 것입니다. 하지만, 마이크로소프트가 새로 출시한 MSE(Microsoft Security Essentials) 제품에 대해서도 일부 성능에 대해 판가름할 수 있다는 것에 조금이나마 만족할 수 있을 것으로 생각됩니다.
이번 윈도우 7 테스트에서 사용된 안티바이러스 제품은 다음과 같습니다.
ESET NOD32 Antivirus 4 - 윈도우 7 64비트
Microsoft FCS(Forefront Client Security) - 윈도우 7 64비트
Microsoft Security Essentials - 윈도우 7 32비트/64비트
Microsoft Security Suite - 윈도우 7 32비트
PC Tools Spyware Doctor - 윈도우 7 32비트
Webroot Antivirus with SpySweeper - 윈도우 7 32비트/64비트
WebRoot Internet Security Essentials - 윈도우 7 32비트/64비트
인증에 필요한 조건을 들자만 가장 중요한 부분이 "In The Wild" 바이러스를 모두 진단하여 제거할 수 있느냐 여부 입니다. "In The Wild"는 전세계적으로 2군데 이상의 지역에서 발견된 바이러스를 의미하며, 대부분의 안티바이러스 평가 기관에서 중요하게 생각하는 부분입니다. 또하나 중요한 부분이 감염이 되기 전에 감염을 시도하는 과정을 완벽하게 차단할 수 있어야 한다는 점입니다. 이는 '실시간 감시'가 시스템 전체에 완벽하게 동작하는지를 의미합니다.
만약 어제 컴퓨터를 검사하고, 특정한 파일등의 프로그램을 다운로드하지 않고 웹서핑 등의 작업만 수행한 상태에서 오늘 검사를 할 때에 바이러스가 나타난다면 이는 실시간 감시에 무언가 문제가 있을 가능성이 높다는 것을 의미합니다.
ICSA 연구소에서 실시한 윈도우 7에서 동작하는 안티바이러스 제품 중에서 인증을 통과한 제품은 다음과 같습니다.
ESET NOD32 Antivirus 4 - 윈도우 7 64비트
Microsoft FCS(Forefront Client Security) - 윈도우 7 64비트
Microsoft Security Essentials - 윈도우 7 32비트/64비트
Webroot Antivirus with SpySweeper - 윈도우 7 32비트/64비트
WebRoot Internet Security Essentials - 윈도우 7 32비트/64비트
잠시 다른 얘기를 언급해 보자면, 최근의 국내외 안티바이러스 제품의 주요한 특징 중에서로 사용자가 선택할 수 있는 항목을 검토해 보면,
64비트 운영 체제의 지원
윈도우 7 지원
으로 나눌 수 있습니다. 국내의 제품은 아쉽게도 아직까지 64비트 운영체제 지원이나 윈도우 7 인증에 대응이 미흡한 실정입니다. 보다 빠른 대응이 아쉽습니다.
# 평가를 통과한 제품 Agnitum Outpost BitDefender AntiVirus Bullguard Bullguard CA eTrust ESET NOD32 F-Secure Anti-Virus 2008 GDATA Anti-virus Grisoft AVG McAfee VirusScan Microsoft Forefront MWTI eScan PCTools Anti-Virus Quick Heal Quick Heal Symantec Endpoint Protection VirusBuster VirusBuster
# 평가를 통과하지 못한 제품 AEC Trustport Antivirus Alwil avast! Avira AntiVir CA Antivirus Doctor Web Dr. Web Fortinet Forticlient Frisk F-PROT Ikarus Virus Utilities Iolo Antivirus Kaspersky Anti-Virus Kingsoft AntiVirus Norman Virus Control PCTools Spyware Doctor Redstone Redprotect Rising Antivirus Sophos Anti-Virus Trend Micro OfficeScan
참고로, 위의 결과가 바이러스를 잘 잡는다 못 잡는다의 핵심적인 기준이 될 수는 없다는 점을 주의하시기 바랍니다.
안티 바이러스, 즉 컴퓨터에 감염되는 바이러스를 진단하여 치료해 주는 프로그램을 말합니다. 요즘에는 바이러스뿐만 아니라 웜, 악성 코드 등 다양한 위협적인 요소들도 포함합니다.
안티 바이러스 제품에는 국내에서만 봐도 V3(안랩), 바이로봇(하우리) 등이 있으며 외국까지 언급한다면 실로 수십여 가지 이상의 제품들이 개발되어 판매되고 있습니다. 바이러스토탈(http://www.virustotal.com)과 같이 바이러스 여부를 진단해 주는 사이트에서도 대략 2-30가지의 안티 바이러스 제품이 사용됩니다.
컴퓨터 사용자가 어떤 기준을 가지고 안티 바이러스 제품을 구매(또는 무료제품이면 사용)하는 것일까요? 오늘은 이 부분에 대해서 한번 썰을 풀어 볼까 합니다.
예를 들어, 컴퓨터 부품 중의 그래픽 카드를 예로 들어 보면, 칩셋에 따라 다양한 제품이 출시됩니다. 컴퓨터 잡지 또는 컴퓨터 관련 웹 사이트에서는 이러한 제품을 수집하여 테스트 전용 프로그램이라든지, 실제 게임과 같은 프로그램을 실행하여 가급적 객관적으로 수치화하여 제공합니다.
책을 읽는 독자나 웹 사이트를 방문하는 사람은 이러한 수치를 바탕으로 자기가 사용할 수 있는 여력이 되는, 자기가 원하는 성능을 가진 제품을 구매하는데 어느 정도 기준점을 제시해 주게 됩니다.
안티 바이러스 쪽은 어떨까요?
국내에서는 아직 안티 바이러스 제품의 진단 및 치료에 대해 어느정도 공신력을 가진 기관(또는 웹사이트)가 아직 없습니다. 외국에는 서너 개의 공신력있는 기관이 있으며, 일부 사이트는 사이비(!) 논란에 시달리곤 합니다. 아래는 어느정도 알려져 있는 사이트들입니다(주: 기관이나 사이트를 같은 개념으로 표기함).
안티 바이러스 제품간의 테스트를 진행할 때에, 자주 지적되는 부분을 정리해 보면 다음과 같습니다.
첫 째, 바이러스 샘플의 채택 여부입니다. VB100에서는 전세계에서 지역적으로 구분하여 적어도 2번 이상 감염이 확인된 샘플에 대해서만 다룹니다. 이는 어찌 보면 가장 합당한 방법일 수 있습니다. 왜냐 하면, 아무리 샘플이 많다 하더라도 실제로 감염이 나타난 '실전에서 나타난 샘플'보다 나은 것은 없기 때문입니다.
하지만 일부 기관에서는 시만텍 등과 같은 안티 바이러스 벤더에게서 바이러스 샘플을 제공받아 테스트를 진행하는 경우가 있습니다. 이러한 경우에는 '약간의 공정성을 의심할 수 밖에 없는' 테스트라고 할 수 있습니다.
둘 째, 테스트를 진행하는 악성 프로그램에 대한 명확한 정의가 불분명합니다. 정의라기 보다는 어떤 영역(바이러스, 웜, 악성 코드, 봇, 루트킷 등등)에 악성 프로그램(malware)를 분류해야 하는지에 대한 논란입니다.
과거에는 바이러스면 바이러스, 웜이면 웜 이렇게 자기만의 명확한 활동 분야(!)가 있었고 이를 통해 안티 바이러스 개발 업체는 손쉽게 분류할 수 있었습니다. 하지만, 지금은 다양한 감염 경로를 가지고 있고, 다양한 전파 경로를 가진 악성 프로그램이 많습니다.
예를 들어, 감염시에는 악성 코드를 통해 감염되지만 감염된 이후에는 다른 컴퓨터에 네트워크 또는 이메일을 통해 감염시킨다고 가정해 본다면 이는 악성 코드라고 분류해야 할지 아니면 파일 바이러스라고 분류해야 할지 어중간합니다.
셋 째, 진단하는 방식에 대한 논란입니다. 일반적으로 하드 디스크에 있는 바이러스를 검사할 때에는 '수동 검사(On-demand Scan)'라고 합니다. 그리고 메모리에 상주하고 있으면서 실시간으로 바이러스가 감염될 경우 이를 진단하여 처리하는 방식을 '실시간 감시 - Resident/Realtime Scan)이라고 합니다.
일반적으로 안티 바이러스 제품은 수동 검사뿐만 아니라 실시간 감시 기능을 제공합니다. 물론 일부 무료로 제공되는 제품은 실시간 감시 기능이 빠져 있는 경우도 있습니다.
사용자들의 컴퓨터 환경에서는 수동 검사도 하지만 대부분 실시간 검사 기능을 켜둡니다. 어떤 바이러스는 실시간 검사시에 제대로 잡아내고 수동 검사시에는 검출되지 않는 경우가 있습니다. 이럴 때에는 어느 한 부분 검사가 실패(FAIL)로 나오게 됩니다. 하지만, 사용자 입장에서는 진단하여 처리하였으니 안티 바이러스 벤더들은 성공(SUCCESS)라고 주장하기도 합니다.
이러한 연유로 인해 안티바이러스 제작사들은 불만을 표출하게 되었으며 이에 대한 자세한 내용은 아래 링크를 참고하세요.
보안 벤더(일반적으로 안티 바이러스 제품들을 제작하는 보안 소프트웨어 제작 회사)는 최근 안티 바이러스 평가 방법에 대해 의문을 제기했다고 합니다.
안티 바이러스 제품의 평가를 예를 들어 보면, 전세계적으로 3 개의 권위가 있는 평가 기관이 있으며 보통 년간 정기적인 평가 결과를 공개합니다. 그리고, 일부 사이비(!) 웹 사이트에서도 다양한 검사 테스트를 진행하여 이를 공개합니다.
인터넷 상에서 돌아 다니면서 우리를 위협하는 모든 악성 프로그램(바이러스, 웜, 트로이 목마 등등)을 모두 진단 치료할 수 있는 단 하나의 백신을 선택하라고 한다면? 아마도 바이러스 평가 기관에서 테스트한 내역을 들어 본 사람이면 단연코 카스퍼스키! 라고 말할 수 있을 것입니다. 하지만, 카스퍼스키가 모든 악성 프로그램을 잡아 내지는 못합니다. 테스트에 사용된 바이러스는 이미 알려져 있는 바이러스이기 때문입니다.
보안 벤더들은, 최근의 위협 형태를 보면 바이러스 이외에 다양한 부분에 대한 공격이 이루어지고 있으며 보안 소프트웨어에서는 한가지 방안이 아닌 다양한 방법을 통해 이러한 위협에 대응하고 있어 안티 바이러스 평가 방식이 변경되어야 옳다고 주장합니다.
아이슬랜드에서 열린 International Antivirus Testing Workshop에서 Symantec, F-Secure, Panda Software의 관계자들이 모여 제품을 좀더 공정하게 테스트할 수 있는 새로운 테스트 계획을 준비중이라고 합니다. 보안 벤더들은 새로운 테스트 계획에 산업 전반에서 널리 적용되는데 동의했다고 하며 9월 쯤에 주요 계획이 수립된다고 합니다.
현재 바이러스 평가 테스트에서 사용되는 주요한 방법은 시그내처(Signature)를 기반으로 합니다. 시그내처는 새롭게 발견된 악성 프로그램의 특징을 패턴으로 나타내어 이를 안티 바이러스 엔진이 사용할 수 있도록 데이터베이스로 관리되며, 꾸준히 업데이트됩니다. 즉, 시그내처로 악성 프로그램을 판별합니다.
이에 관련된 문제는 하나의 악성 프로그램이 퍼지게 되면서 이 것의 변종이 나타나게 되며 이런 경우에는 새로운 바이러스와 마찬가지로 시그내처가 계속 추가되어 업데이트되어야 한다는 점입니다.
하지만, 최근 몇년간 보안 벤더들은 시그내처 기반의 진단 기술 이외에도 다양한 기술을 추가하였는데 대표적인 기술이 바로 사전 방역(Pro-Active Protection) 기술입니다. 시그내처에 기반한 진단 기술은 데이터베이스에 수록된 악성 프로그램의 거의 100% 오진 없이 정확히 진단 치료할 수 있다는 장점이 있지만, 미래에 또는 아직 샘플이 접수되지 않은 악성 프로그램은 진단이 불가능하다는 치명적인 단점이 있습니다.
오늘날 인터넷의 빠른 발전과 속도로 인해 악성 프로그램이 처음 출현하고 나서 전세계적으로 퍼지는데에는 그리 많은 시간이 걸리지 않기 때문에 보안 벤더가 제대에 업데이트하지 못하는 경우 사용자의 피해가 기하급수적으로 늘어날 수 있습니다.
보안 벤더들은 악성 프로그램의 행동 패턴 및 성향을 파악하여 이러한 행동을 감지하면 악성 프로그램으로 감지하는 사전 방역 기술을 이미 구현하여 제공합니다. 장점이 있는 반면에 단점도 있는데, 바로 오진의 가능성이 시그내처 기반에 비해 높다는 점입니다. 일부 바이러스 백신의 경우 오진의 명성(!)을 꽤 날리고 있기도 합니다.
그리고, 평가 기관에 대한 상업성에서도 일부 언급하였습니다. AV-Test.org는 PC World 잡지로부터 종종 커미션을 받고 있으며, VB(Virus Bulletin)은 자기 기관의 로고를 프로모션에 사용할 수 있도록 대여하고 온라인 자 잡지에도 매달 게재합니다. 이러한 방법을 통해 평가 기관들은 이러한 수단을 통해 자금을 조달할 수 있는 바탕을 마련하고 있습니다. 그렇다고 해서 평가 기관들이 돈에 휘달리는 비도덕적 기관이라는 의미는 아닙니다.
PS: 우리나라에서도 몇몇 아마추어 보안 전문가(실력으로는 아마추어가 아닌 프로이지만 개념상 아마추어라고 칭합니다. 양해해 주세요)들이 이러한 테스트를 진행한 적이 있습니다. 악성 프로그램이 인터넷 때문에 전세계적으로 널리 퍼질 수 있지만, 우리나라에서 특히 발생하는 악성 프로그램이 있을 수 있습니다. 이러한 경향을 반영하여 국내 정부기관이나 비영리기관에서 적절한 보안 평가를 제시하면 어떨까 생각됩니다.
하지만, 지난번 악성코드 분류에서 처럼 정통부와 소비자보호원에서 악성 프로그램을 잡는 악성 프로그램을 합법적으로 분류해주는 멍청한 짓은 더 이상 안했으면 하는 바램입니다.
백신 테스트에 사용된 제품은 모두 37 종이었으며 이중에서 10 개 제품이 테스트에서 실패했습니다. 한가지 호기심을 자극하는 이슈가 있었는데 바로, 가장 정확하면서도 많이 잡는다고 정평이 나 있는 카스퍼스키, 적절한 성능과 진단율 그리고 무료 백신을 제공하는 그리소프트(grisoft), 빠른 속도를 자랑하는 F-Secure - 이 백신들이 모두 ITW(In The Wild) 테스트에서 실패했습니다.
회사 담당자와의 인터뷰를 통해 어찌된 사연인지 기사가 올라와 있어 심심풀이로 읽으시라고 정리해서 올려 드립니다.
카스퍼스키(Kaspersky Anti-Virus 6.0.2.621)은 allaple이라는 이름을 가진 네트워크 웜을 검출해 내지 못해 테스트에 실패했습니다. 관계자는, allaple 웜은 최초 2월달에 시그너처를 추가하였으며, VB100 테스트를 하는 도중에는 allaple 서명을 최적화하는 과정 중이어서 바이러스 데이터베이스에 추가하지 않은 상태라고 밝혔다고 합니다.
또한, 이 웜이 데이터베이스에 빠져 있었지만 실제 이 웜으로 인해 영향을 받은 고객은 없었다고 단언했습니다. 왜냐하면 보안 슈트에는 바이러스 백신뿐만 아니라 방화벽, 행동 분석(behavioural analysis), 휴리스틱 등이 포함되어 있으나, VB100 테스트에서 행동 분석 기술을 사용하지 않았기 때문이라고 합니다.
그리소프트(AVG 7.5 Professional Edition)은 W32 agobot 트로이 목마의 변형을 진단하지 못해 실패했다고 합니다. 하지만, 안티 스파이웨어에서는 이미 이 웜을 진단한다고 합니다. AVG는 필요시(on-demand) 검사를 통해 스파이웨어 진단에서 이를 검출해 냈지만, VB100 테스트는 실시간(on-access) 검사를 진행하기 때문에 실패한 것이라고 밝혔습니다.
또한, 이 트로이 목마 감염으로 인해 고객이 기술 지원 요청을 한 기록은 없다고 밝혔지만, 테스트 결과에 대해서는 '매우 실망'했다고 밝혔습니다.
F-Secure(F-Secure's Protection Service for Customers 7.00 387)도 카스퍼스키와 마찬가지로 allaple 웜을 검출해내지 못해 실패하였습니다. 관계자는 VB100 테스트 당시 최신의 바이러스 데이터베이스 업데이트가 접수되지 않는 등의 오류가 있었다고 지적하면서, 오프라인으로 테스트를 진행했기 때문에 자동 업데이트의 잇점을 누릴 수 없었다고 언급했습니다.
한편, 최근에 급부상하고 있는 마이크로소프트의 OneCare와 ForeFront 제품은 VB100 테스트를 통과하였습니다. 작년에 OneCare는 테스트에 실패하였으며, 올해 초에는 아웃룩 파일에서 삭제하는 일부의 버그가 나오기도 하였습니다. 마이크로소프트의 저력이 한번 더 과시되는 테스트가 아니었나 싶습니다.
