Skip to content

如何评估威胁情报?

情报本质上是高纬度的信息,对于信息/数据的评价,一般可以分为:完整性、一致性、准确性和及时性。相关的权威标准可以参考:数据质量评价指标(GB/T36344-2018 ICS 35.24.01),里面进一步划分了各项指标。但本篇不从高屋建瓴的方法论入手,而是直接关注于实际的威胁情报使用场景,具体来说是威胁情报中IOC类型的使用。

那么对于威胁情报本身来说,是否有一套结合业界实际使用场景的评估方法呢?有,可以参考360Netlab的域名IOC评估方法

对于IOC实际使用方来说,单纯堆量是没有意义的。整体需要关注的方面包括:

  • IOC数据量大小
  • 命中数量/比例
  • 活跃/存活的IOC数量
  • 误报情况(准确率)
  • 漏报情况(召回率)
  • 更新频率
  • 更新数据是否稳定
  • 更新中新增数量
  • 更新中的淘汰数量
  • ......

静态评估项

指标 含义 计算方法 结果说明 备注
IOC_num IOC记录数量 越大越好
DGA _ratio DGA 域名在整个 IOC 中的占比 越小越好,但为0时则也可认为没有DGA检测能力
IOC_soundness IO是否符合标准 此项须为 0,任何非0值,说明IOC不合规 合规IOC的判断依据待后面补充
IOC_family_num IOC 信息中的不同家族个数 越大越好
IOC_family_distr IOC 在不同家族之间分布的均衡性 IOC_family_distr = TOP5家族的 IOC 个数/IOC_num 越小越好
whitelist_ratio IOC在白名单中的占比 Whitelist_ratio = IOC命中白名单的个数/IOC_num 任意非0值表示可能存在一定程度的误报 白名单包括:公共DNS服务、Alexa/SecRank Top域名等
IOC_fields 每条IOC数据字段的丰富性 建议 IOC 包含项: 创建时间、过期时间、IOC、严重等级、可信程度、家族信息、威胁类型、IOC来源 越多越好
IOC_update IOC更新情况 更新频率;每日更新数量 填写具体的更新频次和每日更 新数量
IOC_overlay IOC重合程度 不同数据源/供应商的IOC重合情况 此项无标准参考值,根据实际情况评估
Match_method IOC匹配所用的运算逻辑 建议填写项:全匹配、部分匹配(e.g. 二级域、C段)、正则匹配、其他(需说明) 此项无标准参考值,根据实际情况评估

动态评估项

指标 含义 计算方法 结果说明 备注
Hit_all_req_num 越大越好
Hit_valid_req_num
Hit_valid_ratio 有效命中率
Hit_IOCs_ratio 在测试期间命中的 IOC 占总 IOC 数量的比例 Hit_IOCs_ratio= Hit_IOC_num/IOC_num 越大越好
top95%_IOCs_ratio 测试期Top95%的IOC 数量占总命中IOC的数量 top95%_IOCs_ratio = Hit_95%_IOC_num/Hit_IOC_num 越小越好
top95%_family_distr 命中Top95% 的IOC的家族分布均衡性 Top95%_family_distr=TOP95%命中的 IOC中TOP5家族的个数/Hit_top95%_IOC_num 任意非0值表示可能存在一定程度的误报 白名单包括:公共DNS服务、Alexa/SecRank Top域名等
top95%_servity 命中 Top95% IOC 的风险等级分布 此项无标准参考值,根据实际情况评估 风险等级分布可以看出命中 IOC 的严重程度分布情况。对 IOC 是否适用本网络有个大致的评估。
top95%_overlay 命中Top95% IOC的不同供应商的重合度 更新频率;每日更新数量 此项无标准参考值,根据实际情况评估