评估、异常与综合复习 · exp-06-evaluation-anomaly
实验 06｜评估与异常检测
建议 2 学时。手写常用预测指标，比较异常检测方法，并通过阈值扫描平衡精确率与召回率。
怎样选择适合数据尺度的预测指标，并为异常告警确定可解释的阈值？
KEY POINTS
这条内容的重点
进阶
- 手写 MAE、MSE、RMSE、MAPE 与 sMAPE，并说明指标的解释和限制。
- 实现 z-score、IQR 和滚动窗口检测，比较它们对尖峰与局部变化的反应。
- 扫描阈值并使用 Precision、Recall、F1 选择权衡点。
WORKFLOW
内容流程
实现预测指标
在含大误差的样例上手写 MAE、MSE、RMSE 和 sMAPE，并与参考实现对照。
本步产物 指标计算结果及一致性检查。
检测合成异常
构造含注入尖峰的序列，分别使用 z-score、IQR 和历史滚动窗口计算异常标记。
本步产物 三种方法的异常位置对照。
选择告警阈值
扫描 z-score 阈值，计算 Precision、Recall 与 F1，并比较误报和漏报。
本步产物 P/R 曲线、F1 结果和阈值选择理由。
复核评估纪律
检查指标是否匹配数据尺度，并确认检测没有使用预测时点之后的信息。
本步产物 指标与检测方法的适用范围说明。
METHODS
相关方法
- MAE/MSE/RMSE
- MAPE/sMAPE
- z-score
- IQR
- 滚动窗口
- Precision/Recall/F1
DELIVERABLES
可获得的内容
- 指标核对记录
- 异常位置比较
- 阈值与 P/R/F1 选择说明
LIMITATIONS
适用范围与注意事项
- MAPE 在真实值为零或接近零时不稳定；不同指标对误差的惩罚方式不同。
- 全局 z-score 可能忽略漂移，滚动窗口依赖窗口长度和历史基线质量。
- 对应的实训方案、课件和 Notebook 已登记在项目资源清单中；公开再分发许可待核验，当前页面不提供原件下载。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。