在当今许多工业和在线应用中从实时数据流中识别异常——即罕见、意外的事件——至关重要。异常可能表明制造缺陷、系统故障、安全漏洞或其他重大事件。典型的基于机器学习的异常检测系统使用带标签的示例进行监督式训练。但在许多在线环境中数据极其多样化且其分布不断变化收集和标注数据的成本高得令人望而却步。此外没有单一的异常检测模型能适用于所有数据类型。例如观察发现某些异常检测模型对一类客户效果很好而不同的模型则对另一类客户效果很好。但对于给定的客户事先并不明确该部署哪个模型因为客户的工作负载经常随时间变化因此性能最佳的异常检测模型也随之变化。在一篇提交给2025年国际机器学习大会的论文中研究者尝试用一种称为SEAD流式异常检测器集成的方法来解决这些问题。SEAD使用异常检测模型的集成因此它总能针对每种数据类型采用最佳模型并且它以无监督方式运行因此在训练期间不需要标记的异常数据。它在在线环境中高效运行随着数据流入进行处理并能动态适应数据变化。为了评估SEAD研究者将其与三个先前的异常检测模型每个模型有四种超参数设置以及一种基于规则的方法进行了比较总共13个基线模型。在15个不同的任务上SEAD具有最高的平均排名和最低的方差。奖励“保守”SEAD背后的基本见解是异常是罕见的。因此SEAD为集成中那些持续产生较低异常分数的模型或称“基检测器”分配更高的权重。由于不同的基检测器使用不同的评分系统SEAD通过根据历史分数分布将分数分配到不同分位数来对其进行归一化。为了计算权重研究者使用乘法权重更新机制这是专家系统中的一种标准方法。使用乘法权重更新时每个基检测器都初始化为一个起始权重。每轮结束后每个基检测器的新权重是其旧权重与学习率乘以该轮输出的归一化异常分数的负指数幂的乘积。在所有基检测器都以这种方式更新后它们的权重会被归一化使其总和为1。通过这个过程持续输出较大分数的检测器将开始获得较低的权重。这项工作的技术见解在于将这种最初为监督环境提出的经典乘法权重更新思想应用于无监督的异常检测场景。在模型评估过程中研究者能够看到算法根据输入数据对基检测器进行重新加权。在一个数据集上SEAD为两个不同的模型分配了高权重这两个模型在涉及真实异常数据的测试阶段都持续识别出异常。然而在该阶段之后面对干净数据时其中一个模型继续触发警报而SEAD迅速降低了其权重。为了进一步研究SEAD合理加权模型的能力研究者在集成的13个模型中额外加入了13种仅随机生成分数的算法。在测试集上SEAD的准确率仅下降了0.88%这表明更新算法能够很好地快速剔除不可靠的模型。计算效率像SEAD这样的集成方法的一个缺点是同时运行多个模型会带来计算开销。为了解决这个问题研究者尝试了一种称为SEAD的方法该方法以与权重成正比的概率随机抽取集成模型的一个子集。与原始SEAD相比这带来了大约两倍的加速而准确率损失极小。因此在计算资源紧张的使用场景中SEAD是一个有前途的替代方案。SEAD代表了流式数据异常检测领域的重大进步。通过从候选池中实时智能地选择性能最佳的模型它确保了可靠高效的异常检测。其无监督、在线的特性结合其适应性使其成为一系列应用中的宝贵工具为流式环境下的异常检测设立了新标准。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享