Anti-virus Comparative 恶意软件检测率测试 语言：简体中文 2013年3月

Transcript

Anti-Virus Comparative 恶意软件检测率测试 包括误报测试 语言：简体中文 2013年3月 最后修订：2013年4月4日 www.av-comparatives.org AV Comparative - 检测率测试 - 2013年3月 www.av-comparatives.org 目录 参加检测的产品 3 简介 4 遗漏样本图 6 测试结果 7 误报测试 8 本次检测的产品取得的成绩 9 版权及免责声明 10 - 2 - AV Comparative - 检测率测试 - 2013年3月 www.av-comparatives.org 参加检测的产品  360 杀毒软件 4.0  G DATA AntiVirus 2013  AhnLab V3 Internet Security 8.0  Kaspersky Anti-Virus 2013  AvastFree Antivirus 8.0  金山新毒霸 2013  AVG Anti-Virus 2013  McAfee AntiVirus Plus 2013  AVIRA Antivirus Premium 2013  Microsoft Security Essentials 4.2  Bitdefender Antivirus Plus 2013  Panda Cloud Free Antivirus 2.1.1  BullGuard Antivirus 2013  腾讯电脑管家 7.4  eScan Anti-Virus 14.0  Sophos Anti-Virus 10.2  Emsisoft Anti-Malware 7.0  Symantec Norton Anti-Virus 2013  ESET NOD32 Antivirus 6.0  ThreatTrack Vipre Antivirus 2013  F-Secure Anti-Virus 2013  Trend Micro Titanium AntiVirus+ 2013  Fortinet FortiClient 5.0 - 3 - AV Comparative - 检测率测试 - 2013年3月 www.av-comparatives.org 简介 阅读本报告之前，我们建议读者先阅读产品测试方法文档，以及我们官网提供的信息。 恶意软件测试集于 2013 年 2 月 22 日被冻结，本次测试使用的样本数由 136610 个恶意程序样本 参数组成。参加检测的各款产品于 2013 年 2 月 28 日全部更新，测试使用的是 Microsoft 1 Windows 7 64 位操作系统。下列 22 款最新产品参与了本次公开测试（大部分被测的产品在测试 时都已发布）：  G DATA AntiVirus 23.1.0.2  360 杀毒软件 4.0.0.3113  AhnLab V3 Internet Security 8.0.7.5  Kaspersky Anti-Virus 13.0.1.4190 (e)  AvastFree Antivirus 8.0.1482  金山新毒霸 2013.SP2.0.122400  AVG Anti-Virus 2013.0.2899  McAfee AntiVirus Plus 12.1.253  AVIRA Antivirus Premium 13.0.0.3185  Microsoft Security Essentials 4.2.233.0  Bitdefender Anti-Virus+ 16.26.0.1739  Panda Cloud Free Antivirus 2.1.1  BullGuard Antivirus 13.0.256  腾讯电脑管家 7.4.24968.501  eScan Anti-Virus 14.0.1400.1364  Sophos Anti-Virus 10.2  Emsisoft Anti-Malware 7.0.0.18  Symantec2 Norton Anti-Virus 20.2.1.22  ESET NOD32 Antivirus 6.0.306.3  ThreatTrack Vipre Antivirus 6.1.5493  F-Secure Anti-Virus 12.77.100  Trend Micro Titanium AntiVirus Plus 6.0.1215  Fortinet FortiClient 5.0.1.0199 在您参照本测试结果做出购买决定前，请先在自己的系统上试用这些产品3。因为您还需要考虑 这些安全产品的其他众多功能，以及一些重要因素（如：价格、易用性、兼容性、用户图形界 面、语言、客户服务等）。尽管产品检测率的高低相当重要，但它只是考察整款杀毒软件功能 的一个方面。所以，AV-C 还提供整体产品动态的“真实环境”保护测试，以及另外的涵盖产品不 同特征的其他测试。我们也提请用户们关注一下我们其他的测试，而不要只注重本次测试。这 也是为了让用户们能够了解，我们多年以来一直提供的其他类型的测试和报告，例如整体产品 “真实环境”下的保护能力测试。对一款杀毒软件进行评价，最重要的、可靠而具有决定性的因素 之一，就是其是否具备良好的检测能力。此外，如当恶意软件在执行过程中，所有其他的访问 时扫描组件和按需检测或保护机制不能正常发挥作用时，大多数产品最起码还提供一些另外的 功能来阻止恶意行为（或至少发出警告）（对于这些保护功能的评测，请查看我们的官网上提 供的其他类型的测试报告）。 另外，我们还对 Windows 8 中的 Windows Defender 进行了测试（我们观察到的结果与 Windows 7 的 Security Essentials 相同）。 2 虽然赛门铁克诺顿并未申请加入我们的测试系列，但为了满足我们的读者和记者的强烈要求，本次测 试，我们也将其列入其中。 3 关于产品中使用第三方杀毒引擎/病毒特征码的说明：BullGuard, Emsisoft, eScan 和 F-Secure 都 是基于 Bitdefender 的杀毒引擎。金山新毒霸和腾讯电脑管家 是基于的 AVIRA 引擎。360 杀毒软件基于 AVIRA 和 Bitdefender 引擎。 G DATA (2013) 被测的产品版本是基于 Avast 和 Bitdefender 引擎。G DATA 2014 产品是基于 BitDefender 引擎，本报告中关于 2013 产品的测试结果并不适用 G DATA 2014。 1 - 4 - AV Comparative - 检测率测试 - 2013年3月 www.av-comparatives.org 大部分产品运行时，使用默认的最高设置。某些产品在发现恶意文件时，会自动切换到其最高 设置（如 Avast、 Symantec、Trend Micro 等）。这就无法实现使用真正“默认”的设置进行各种恶 意软件的检测。为了使测试结果具有可比性，经过各个厂商的同意，我们将几个保留了默认设 置的产品调成最高设置，或仍保留他们较低的设置。我们希望安全厂商在默认情况下，提供较 强的安全设置，即将默认设置设到最高检测级别（如 AVIRA、卡巴斯基等），尤其是用于计划扫 描或由用户启动的扫描。这种设置通常是用在访问时扫描和/或执行时扫描的情况下（例如 ESET 和卡巴斯基，在文件被执行时，使用较高的启发式设置进行扫描）。我们允许剩余的几个厂商 （在按需扫描时都不使用最高设置），选择其更高的设置进行测试，即在文件被访问时/执行时 使用较高的默认设置，这样，恶意软件测试的检测结果会更接近实际的用法（因为文件访问时 的设置较高）。我们也希望厂商能够去除用户界面中的偏执安全设定，如此高的设置对于普通 用户而言弊大于利（如 AVG、F-SECURE、SOPHOS 等）。下面是部分产品测试时所使用的设置的 一些说明（总是禁用扫描全部文件、压缩文件、扫描 PUA、云扫描等设置）： AVG, F-Secure, Sophos: 要求在测试和评级中使用各自的默认设置（即不使用他们的高级启发式 杀毒/可疑检测/彻底扫描设置） AVIRA、Kaspersky: 要求在测试中将启发式杀毒设定为高/增强。 Kingsoft: 要求禁用云功能。 有几款产品使用云技术，这种技术需要保证有效的互联网连接。我们的测试是在有效的联网状 态下完成的。用户应该清楚的是，处于离线状态下（或由于某些原因无法连接到云）进行的病 毒检测，检测率可能会降低。云技术应被视为一种能额外提高检测率的辅助功能（即对恶意程 序的反应次数和误报抑制），而不应被完全看做是用于本地脱机检测的替代。万一与云的连接 中断时，安全厂商应确保用户能被警示，例如病毒扫描期间，这种中断可能对所提供的保护产 生极大的影响并使可能已启动的扫描无效。虽然在我们的测试中，我们可以检查与安全厂商的 云连接是否正常，但用户应该知道，网络连接正常并不一定意味着他们所使用的产品的云连接 就正常工作。事实上，使用云安全的产品，有时会遇到各种网络问题，因此没有提供云安全， 也未能通知用户。在不久的将来，用于验证云支持的产品是否正常发挥功能的工具将诞生。 通过查阅遥感数据，我们创建了试图能涵盖过去的几周或几个月的日常生活中，对用户真正产 生过威胁的流行样本测试集。我们采用聚类法，将类似的文件进行归类。（一个样本-最流行的 恶意程序-每个变种）。这使我们能够评估流行的类似恶意程序样本，并在不引起偏差的情况下 减少样本集的大小。因此，每个遗漏的样本都被用来代表一个遗漏的文件组或恶意程序变种。 虽然我们对杀毒软件的各个方面进行了多种测试和演示，但仍然建议用户自己对软件进行评估 并形成自己的意见。测试数据或报告仅提供一些指导，毕竟有些方面用户自己无法评价。我们 建议并鼓励读者去研究其他各种知名的独立测试机构提供的独立测试结果，以便更好判断各种 产品在不同的测试条件和测试环境下，对病毒的查杀能力。在我们的官网可以找到多个测试实 验室列表。 总检测率由测试人员分析集群后，依据层次聚类法分组而成。通过使用集群，没有要达到的固 定阈值，因为阈值会因各种结果而不同。测试人员合理地定义集群，而不是单靠集群，以避免 发生如果未来所有的产品成绩都不好，那么无论怎样都不能取得较高的排名。对于误报的范围 是否也适合使用类聚法，或许误报为“许多”的门槛将不再是 16 个，而是 11 个。 - 5 - AV Comparative - 检测率测试 - 2013年3月 www.av-comparatives.org 检测率集群/组 （经测试者查阅统计方法后得出） 4 3 2 1 已测试 标准 优秀 最佳 多 （16-50 个误报） 已测试 已测试 标准 优秀 很多 （51-100 个误报） 已测试 已测试 已测试 标准 极多 （超过 100 个误 已测试 已测试 已测试 已测试 很少 （0-2 个误报） 少 （3-15 个误报） 报） 遗漏样本图 （越低越好） 上图显示的测试结果不包括Microsoft Windows提供的已预设的恶意软件检测程序。由Windows 8的 Windows Defender提供，它已在操作系统中默认预装了恶意软件检测程序。相当于在Windows 7中 是Microsoft Security Essentials（MSE），虽然未预装检测测序，但作为一个选项，通过Windows 更新服务，可以很容易地免费添加上。我们通过图表对功能进行比较-即静态的恶意软件检测-为 用户提供第三方的防病毒解决方案。从现在开始，这种对比在其他测试中也提供，例如我们官 网上公布的每月的“产品现实世界保护测试（所有参与年度公开测试系列的产品）”。 - 6 - AV Comparative - 检测率测试 - 2013年3月 www.av-comparatives.org 测试结果 总检测率（以组分）： 当您对比下列产品的检测率时，也请考虑每款产品的误报率4 。 1. 2. 3. 4. 5. 6. G DATA 99.9% 金山、腾讯、AVIRA 99.6% F-Secure 99.5% 奇虎 99.4% BitDefender、eScan 99.3％ BullGuard、Panda、Emsisoft Kaspersky 99.2% 7. 8. 9. 10. 11. Fortinet、Vipre AVG、Trend Micro Sophos、McAfee Avast ESET 98.6% 98.4% 98.0% 97.8% 97.5% 12. 13. 14. AhnLab Microsoft Symantec 92.3% 92.0% 91.2% 所使用的测试集中包含136610个过去几周或几个月以来，到近期一直流行的恶意样本。 4 我们估计最后的百分比误差应低于 0.2% - 7 - AV Comparative - 检测率测试 - 2013年3月 www.av-comparatives.org 误报测试 为了较好的评估杀软产品的检测能力（从恶意文件中区分正常文件），我们还提供误报测试。 有时，误报引起的麻烦不亚于真正感染了病毒。当您比照检测率指标时，也请考虑误报率的问 题，容易造成误报的产品也更容易取得较高的分数。 误报结果 在我们准备的测试集中发现的误报数量（越少越好）： 1. Microsoft 0 2. 3. 4. 5. 6. 7. 8. 9. Fortinet Kaspersky, Sophos AVIRA、腾讯 Bitdefender、BullGuard、ESET F-Secure、金山 奇虎 Avast 迈克菲 5 6 8 9 11 12 14 15 10. 11. 12. 13. 14. 15. 16. AhnLab、G DATA AVG、eScan Trend Micro Symantec Panda VIPRE Emsisoft 19 21 22 23 28 30 38 很少误报 少误报 多误报 已发现的误报（包括假设的流行数据）的详细情况，可以参见为此准备的一份独立报告： http://www.av-comparatives.org/images/stories/test/fp/avc_fp_mar2013.pdf 检测率低但误报较少的产品，不一定比高检测率但同时有很高误报的产品差。 - 8 - AV Comparative - 检测率测试 - 2013年3月 www.av-comparatives.org 本次检测产品所取得的成绩 AV-Comparatives对于测试结果采用分级制。由于本报告不仅包括奖项评级，还包括检测率等数 据，所以，高级用户可以根据个人意愿来判断，如：只考虑单项得分而不考虑误报。 产品5 获奖等级 (基于检测率和误报率基础上)                  金山 腾讯电脑管家 AVIRA F-Secure 奇虎 360 Bitdefender BullGuard 卡巴斯基 G DATA* eScan* Panda* Emsisoft* Fortinet Sophos McAfee Avast NOD32  Vipre*  AVG*  趋势科技*  安博士 *  Symantec* *：带星号的产品因误报被降级 获奖产品不光是归功于它的病毒检测率，也考虑了它们对我们建立的白名单库产生的误报率。 在本报告第 6 页，您可以看到测试产品的评测标准。 5 微软安全产品不再纳入奖励评测中，因其预装在操作系统中的检测程序，因此不具竞争性。 - 9 - AV Comparative - 检测率测试 - 2013年3月 www.av-comparatives.org 版权及免责声明 本 2013 年报告©的版权归 AVComparatives®所有。任何出版物对本测试结果的使用，无论是全部 或部分，都必须先得到 AVComparatives 管理部门明确的书面同意并允许。对使用本报告提供的 信息，可能会产生或导致的损害或损失，AVComparatives 和参与测试的人员，不承担责任。我们 竭尽一切可能，确保基本数据的正确性，但并不代表 AVComparatives 对测试结果的正确性需要 承担义务。对报告的正确性，完整性，或者在任何特定的时间，对报告提供的内容是否适合特 殊目的的需求，我们不做任何保证。对于在创建，生成或发表测试结果过程中，所涉及到的任 何人，对任何间接的，特殊的损害或利益损失，使用或不能使用该网站提供的服务，测试文件 或任何相关的数据引起的或与之相关的事宜，均不承担任何责任。AVComparatives 是在奥地利注 册的非盈利性组织。 关于 AVC 和测试方法的更多信息，请访问我们的网站。 AV-Comparatives e.V. （2013 年 4 月） - 10 -