「恶意软件手动检测」报告 语言：中文 2010 年 8 月

Transcript

杀毒软件评测 「恶意软件手动检测」报告 包含误报和手动扫描速度测试 语言：中文 2010 年 8 月 最后修订：2010 年 9 月 20 日 www.av-comparatives.org 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org 目录 参加检测的产品 3 参加条件和测试方法 4 参加检测产品版本 4 总评 5 检测结果 6 遗漏样本图示 8 检测结果概要 9 误报测试 10 扫描速度测试 11 本次检测产品所获奖项及评级 12 版权及免责声明 13 –2- 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org 参加检测的产品  avast!免费杀毒软件 5.0  金山杀毒软件 2010  AVG 杀毒软件 9.0  迈克菲防病毒+ 2010  小红伞杀毒软件进阶版 10.0  微软免费 MSE 1.0  比特梵德杀毒软件 2011  诺曼杀毒和反间谍软件 8.00  eScan 杀毒软件 10.0  熊猫卫士防病毒软件 2011  ESET NOD32 杀毒软件 4.2  比斯图反间谍和杀毒软件 8.0  F-Secure 杀毒软件 2011  Sophos 杀毒软件 9.5  歌德塔（G DATA）杀毒软件 2011  赛门铁克诺顿杀毒软件 2011  K7 全功能安全软件 10.0  趋势科技杀毒+ 2011  卡巴斯基杀毒软件 2011  Trustport 杀毒软件 2010 –3- 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org 参加条件和测试方法 我 们 已 经 将 产 品 参 与 测 试 的 条 件 写 在 正 式 的 官 方 文 件 中 。（ http ： //www.avcomparatives.org/seiten/ergebnisse/methodology.pdf）。在开始阅读本报告前，读者应先阅读上面提到的 官方文件。 参与本次测试的厂商数量限定在 20 个以内，他们均有较高的知名度并且其杀毒软件在全世界范围 内被广泛应用，这些厂商同意接受本次测试以及参与 2010 年的一系列公开测试活动。 参加检测产品版本 病毒样本已于 2010 年 8 月 6 日被封存。本次测试的系统环境和产品于 2010 年 8 月 16 日也进行了 最后更新并被封存。下列 20 款最新产品参与了本次公开测试：  avast! 免费杀毒软件（Free1 Antivirus） 5.0.594  金山杀毒软件（Kingsoft AntiVirus） 2010.07.27.193  迈克菲防病毒+防火墙组合装（McAfee AntiVirus Plus） 14.5.113  AVG 杀毒软件（Anti-Virus） 9.0.851  小红伞杀毒进阶版（AVIRA AntiVir Premium） 10.0.0.603  微软免费 MSE（Microsoft Security Essentials） 1.0.1963.0  比特梵德杀毒软件（BitDefender AntiVirus） 14.0.23.312  诺曼杀毒和反间谍软件（Norman Antivirus & AntiSpyware） 8.00  eScan 杀毒软件（eScan Anti-Virus） 10.0.1058.677  熊猫卫士防病毒软件（Panda Antivirus Pro）10.00.00  比斯图反间谍和杀毒软件（PC Tools Spyware Doctor with Antivirus） 8.0.0.594  ESET NOD32 杀毒软件（ESET NOD32 Antivirus） 4.2.58.3  Sophos 杀毒软件（Sophos Anti-Virus） 9.5.1  F-Secure 杀毒软件（F-Secure Anti-Virus） 10.50.197  赛门铁克诺顿杀毒软件（Symantec Norton AntiVirus） 18.1.0.30  歌德塔杀毒软件（G DATA2 AntiVirus） 21.0.3.1  趋势科技杀毒+反间谍组合装（TrendMicro AntiVirus plus AntiSpyware） 17.50.1366.0  K7 全安全软件（K7 TotalSecurity） 10.0.0040  Trustport 杀毒软件（Trustport3 Antivirus） 5.0.0.4134  卡巴斯基杀毒软件（Kaspersky Anti-Virus） 11.0.1.400 (a) 1 Avast 决定用其免费产品版本参与本次测试 G Data 使用两款第三方引擎 3 Trustport 基于 AVG 和 比特梵德（Bitdefender）两个引擎 2 - 4 - 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org 您在参照本测试结果决定购买产品前，请先在自己的系统上试用该产品。因为您需要自行评估杀毒 软件的众多功能，以及其它应纳入考虑的重要因素（如：价格、易用性、兼容性、图形界面、语言、基 于主机的入侵防御（HIPS） 、行为拦截功能、网页过滤器、信誉评估服务、技术支持等） 。某些产品可能 为您提供一些额外的保护功能，如：在恶意软件运行期间提供额外的病毒防护（如果在事先的实时监测 和手动检测中未检测到） 。 尽管产品检测率相当的重要，但它只是整款杀毒软件的一方面特性。所以 AVC 还提供整体产品的动 态测试，也就是说我们还提供覆盖产品其他方面特征的测试报告。 总评 现在几乎所有的杀软产品都采用默认最高安全设置（至少在电脑进行全盘手动扫描或计划任务扫描 时），或者一旦发现病毒感染，就会自动切换到的最高安全设置。因此，为了获得具有可比性的测试结 果，我们在厂商没有明确要求的前提下，使用所有产品的最高安全设置进行了测试（由于这些测试产品 的最高安全设置常常导致太多的误报、系统资源占用量大或者这些设置即将在不久以后被厂商修改或移 除等原因，所以我们将在全部的测试过程中使用同样的设置）。为避免一些频繁发生的问题，以下是部 分测试产品所使用的设置（如：总是启用扫描全部文件等） ： 小红伞（AVIRA），卡巴斯基（Kaspersky），赛门铁克（Symantec） ，TrustPort：要求在测试中将启发 式杀毒设定为高/增强。因此，我们建议用户考虑也将启发式设定为高/增强。 F-Secure， Sophos： 要求使用他们的默认设置进行测试和评级（即不使用他们的高级启发式杀毒/ 可疑检测设置） AVG， 小红伞（AVIRA）：要求不将压缩工具警报提示作为检测结果计入测试。因此，我们并未将这 些作为检测结果计入测试（包括恶意样本库及白名单库） AVC 更乐意使用产品默认设置进行测试。由于大部分产品都采用默认最高安全设置运行（或者一旦 检测到恶意软件就会自动切换到的最高安全设置，因此无法使用“默认”设置测试对抗各种恶意软 件），为了获得具有可比性的结果并依照各个相关厂商的要求，我们也对少数产品做了最高安全设置 （或保留较低的设置）。我们希望所有厂商能够找到检测率、误报、资源占用间的妥善的平衡点；能够 提供默认的最高安全设置；并且能够去除用户界面中的偏执安全设定，因为过于偏执的设置对于普通用 户而言弊大于利。 F-Secure，卡巴斯基（Kaspersky）, 金山（Kingsoft）,迈克菲（McAfee）,熊猫（Panda）, Sophos,赛 门铁克（Symantec）和 趋势科技（Trend Micro） 使用需要有效的互联网连接的云技术。由于云技术支 持的产品越来越多，所以我们不再进行基准的检测率测试，而是用启用云技术后的结果来取而代之。请 注意，在某些少数情况下如果在离线扫描时，检测率可能要低得多。然而大多数厂商认为，不需要把任 何处理都与云技术联系到一起，并且能够正确地认识云技术，只是将其作为一种额外的好处/功能以提 高检测率（即遇到病毒的反应时间和虚警抑制），而不是用它来代替本地离线检测。 为了在测试集中尽量多的将目前（2010 年）流行的样本数据包括进去，我们在本次测试中使用并 共享了反病毒行业同行收集的元数据/云数据/遥测测试数据。这也是本次测试集之所以较小，但参加检 测的产品更容易得出较高检测率的原因。也正是这个原因就像我们在以前的报告中公布的那样，我们调 高了该奖项的阈值来反映这种变化。目前我们还考虑，未来使用集群来代替获奖的固定百分比。 - 5 - 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org 我们观察到，在杀毒行业已经增加的数量众多的流行数据源中，有些云/元数据的质量并不是很可 靠，因此有些似乎已感染的云数据与很多测试文件（被当做流行的恶意软件提交来的报告）后来被从测 试集中删除。我们将调查这些案例并将反馈的结果提供给这些“中毒的”云数据的提供方。 检测结果 以下是本次测试的结果列表，它保留了各种产品的检测率明细： - 6 - 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org - 7 - 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org 遗漏样本图示 遗漏样本柱状图（越低越好） 百分比仅指占测试使用的病毒样本比例。即使它只是子病毒样本，鉴于它的大小，对于查看遗漏病 毒样本的数量仍然是重要的。例如，0.1%意味着在供测试使用的病毒样本里，有将近 1000 个病毒样本 未被查到。 我们手动测试的结果通常也适用于实时扫描器（如果使用相同方式设置），但是并不适用于主动防 御技术（如: 基于主机的入侵防御（HIPS）、行为拦截功能等）。 评定一款杀毒软件是否可以信赖，具有决定性和最重要的因素之一就是良好的检测率。除此之外， 大多数产品还会提供一些附加功能，至少还会针对恶意软件行为特征提供像基于主机的入侵防御 （HIPS）、行为拦截功能或其他拦截功能（或者至少是报警功能），如：在恶意软件运行期间提供额外的 病毒防护（如果在事先的实时监测和手动检测中未检测到）。 请不要错过包含回归测试的第二部分报告（它将会在几个月后发布），它对于产品对新病毒/未知恶 意软件的检测能力进行了评估。 虽然我们对杀毒软件的各个方面进行了多种测试和演示，但仍然建议用户自己对软件进行评估并形 成自己的意见。测试数据或报告仅提供一些指导，毕竟有些方面用户自己无法评价。我们建议并鼓励读 者去研究其他的各种知名的独立测试机构提供的独立测试结果，以便更好判断各种产品在不同的测试条 件和测试环境下，对病毒的查杀能力。 - 8 - 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org 检测结果概要 当您对比下列产品的检测率时，也请考虑每款产品的误报率4！ 由于使用了更多的流行恶意软件样本，所以本次测试的结果可能比以前的略高。这也是之所以测试 集缩小，但产品更容易达到较高的检测率的原因。我们调高获奖的阈值，以反映这种变化。 按检测率排名： 1. G DATA（歌德塔） 99.9% 2. Trustport, AVIRA（小红伞） 99.8% 3. 99.4% 4. McAfee（迈克菲） Avast, Bitdefender（比特梵德） 5. F-Secure, eScan, Panda（熊猫） 99.2% 6. 98.7% 7. 8. Symantec（赛门铁克） ESET AVG, Kaspersky（卡巴斯基） 9. PC Tools（比斯图） 98.1% 10. 97.6% 11. 12. Microsoft（微软） Sophos Norman（诺曼）, K7 13. Trend Micro（趋势科技） 90.3% 14. Kingsoft（金山） 80.1% 99.3% 98.6% 98.3% 96.8% 96.6% 测试使用了 90 万个病毒样本，由以下几部分组成： 4 我们估计误差在 0.2%左右 - 9 - 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org 误报测试 为了较好的评估杀软产品的检测能力，我们还提供误报测试。有时，误报引起的麻烦不亚于真正感 染了病毒。当您比照检测率指标时，也请考虑误报率的问题，容易造成误报的产品也更容易取得较高的 分数。所有发现的误报都已被分别报告给各自的杀软厂商并已经被解决。 误报测试结果 在我们准备的白名单库中发现的误报次数（越低越好） 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. F-Secure Microsoft（微软） BitDefender（比特梵德） eScan ESET PC Tools（比斯图） Avast, Symantec（赛门铁克） AVIRA（小红伞） Sophos G DATA(歌德塔） AVG, Trustport Trend Micro（趋势科技） McAfee（迈克菲） Kingsoft（金山） Kaspersky（卡巴斯基） K7 Norman（诺曼）, Panda（熊猫） 2 3 4 5 6 7 9 10 13 15 19 23 24 45 46 50 98 很少误报 少误报 很多误报 有关误报（包括对常用数据）的细节，可通过下列链接查看为此准备的一份独立报告： http://www.av-comparatives.org/comparativesreviews/false-alarm-tests 下图显示的是参与测试的杀毒软件在我们为本次测试准备的白名单库中发现的误报次数： - 10 - 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org 扫描速度测试 由于各种原因导致杀毒软件的扫描速度各不相同。这其中必须要将每款杀毒软件的检测率即可靠程 度考虑进去，比如：杀毒软件是否使用仿真编码，是否能够检测到多态变种病毒，是否能做深度启发式 扫描分析和激活 ROOTKIT 扫描，深入和彻底的还原压缩文件和解压支持程度，额外的安全扫描，是否真 能扫描所有文件类型（或使用“云”白名单）等。 大多数产品都有通过跳过先前扫描过的文件来减少扫描时间的技术。由于我们想知道扫描速度（当 真正的对文件进行病毒扫描时）和不跳过文件时的速度，所以上述的技术在这里不列入考虑范畴。我们 认为，部分产品应将什么是性能优化扫描更明确的告知用户，然后让用户决定他们是否选择时间较短的 经过性能优化的扫描（不重新扫描全部文件，有忽略受感染文件的潜在风险！ ）或一次全面安全扫描。 下图以 MB/sec（兆/秒）为单位显示了多款杀毒软件在最高安全设置下对我们整个白名单库（用于 误报测试）的扫描速度（越快越好） 。扫描速度会根据白名单库、设置和硬件而不同5。 平均扫描速度的计算方法是用白名单库的大小（MB）除以完成扫描所需时间（sec）。由于文件 库、所用硬件等有所不同，所以本次测试的扫描速度不能与将来的测试或其他的测试相比较。扫描速度 测试是在 Windows XP SP3 环境下进行，所采用硬件是相同的 Intel Core 2 Duo E8300/2.83GHz、 2GB 内 存、SATA II 硬盘。 5 要想知道各款产品在您的个人电脑的扫描速度，建议您自己试用这些产品。 - 11 - 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org 本次检测产品所获奖项及评级 AVC 对于测试结果采用 3 级制【标准(STANDARD)， 优秀（ADVANCED）和最佳（ADVANCED+）】 本报告不仅包括奖项评级，还包括真实的检测率等数据，用户可以根据个人意愿来判断，如：只考 虑单项得分而不考虑误报。 获奖等级 产品 （基于检测率和误报率基础上） （无特殊顺序排列）                G DATA（歌德塔） AVIRA（小红伞） Avast BitDefender（比特梵德） F-Secure eScan Symantec（赛门铁克） ESET PC Tools（比斯图）  TrustPort * McAfee*（迈克菲） Panda*（熊猫） AVG* Kaspersky*（卡巴斯基） Microsoft（微软） Sophos  Norman*（诺曼）  K7*   Trend Micro（趋势科技） Kingsoft（金山） *：带星号的产品因误报获得了较低的奖项 获奖产品不光是归功于它的病毒检测率，也考虑了它们对我们建立的白名单库产生的误报率。一款 高检测率但同时也有很高误报的产品可能还不如一款检测率稍差但误报较少的产品。 获奖参考值详见下表： 检测率 < 90% 90 - 95% 95 - 98% 98 - 100% 少 （0-15 次误报） 通过 一般 优秀 最佳 多（16-100 次误报） 通过 通过 一般 优秀 很多（101-500 次误报） 通过 通过 一般 一般 特别多（超过500 次误报） 通过 通过 通过 通过 - 12 - 杀毒软件评测 – 2010 年 8 月 www.av-comparatives.org 版权和免责声明 本报告的版权© 归 AV-Comparatives®所有。任何出版物对本测试结果的使用，无论是全部或部分， 都必须先得到 AV- Comparatives 管理部门明确的书面同意并允许。对使用本报告提供的信息，可能会产 生或导致的损害或损失，AV- Comparatives 和参与测试的人员，不承担责任。我们竭尽一切可能，确保 基本数据的正确性，但并不代表 AV- Comparatives 对测试结果的正确性需要承担义务。对报告的正确 性，完整性，或者在任何特定的时间，对报告提供的内容是否适合特殊目的的需求，我们不做任何保 证。 对于在创建，生成或发表测试结果过程中，所涉及到的任何人，对任何间接的，特殊的损害或利益 损失，使用或不能使用该网站提供的服务，测试文件或任何相关的数据引起的或与之相关的事宜，均不 承担任何责任。AV-Comparatives 是在奥地利注册的非盈利性组织。 更多关于 AV-Comparatives 及测试方法，请访问我们的网站。 AV-Comparatives e.V. (2010 年 9 月 ) - 13 -