M2-050M2: 经典机器学习KNN 与距离度量Medium
⚡闪卡盲测➔掌握度:

KNN 如何用于回归与异常检测?

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-051 →
📐 核心数学机理公式
y^=1K∑i∈kNNyi,LOF(x)=local density of neighborslocal density of x\hat y=\frac1K\sum_{i\in\mathrm{kNN}}y_i,\qquad \text{LOF}(x)=\frac{\text{local density of neighbors}}{\text{local density of }x}
⚡ 一句话直击要害答案
回归取邻居均值;异常检测用第 k 距离或局部离群因子(LOF)。

📌 核心要点提炼

  • •
    LOF 对局部密度差异鲁棒
  • •
    也可用 k 距离作为异常分数

📐 数学机理与严密推导

KNN 回归——预测为 k 个近邻的目标均值(或距离加权均值)。它与分类有相同的偏差-方差权衡(K 小则拟合噪声、K 大则过度平滑)。理论上 KNN 回归是一致的(n→∞、K→∞、K/n→0 时收敛到 E[y|x])。局限:无法外推(预测值总在训练目标的范围内)、高维失效、对无关特征敏感。KNN 异常检测的两条路线:① k 距离——样本到其第 k 近邻的距离作为异常分数;孤立点(远离密集区)距离大。缺点:对局部密度差异敏感——在稀疏簇中的正常点也可能有大 k 距离而被误判。② LOF(Local Outlier Factor)——比较样本的局部密度与其邻居的局部密度:LOF(x) = 邻居平均局部密度 / x 的局部密度。若 x 的密度远低于邻居(LOF≫1),则为异常。LOF 的关键优势是对局部密度差异鲁棒——它在每个局部邻域内做相对比较,故能在'稠密区'与'稀疏区'同时发现异常。

🏭 深度剖析与工业落地权衡

实践要点:① 参数选择——k 的选择决定'局部'的范围:k 小 → 关注极局部结构(对噪声敏感);k 大 → 更全局(可能漏掉局部异常);常用 k=20 或启发式(k≈√n)。② 距离度量——同样需特征缩放;高维下建议先降维。③ LOF vs 孤立森林——孤立森林(Isolation Forest)通过随机划分的路径长度度量异常,对高维更鲁棒、计算更快(O(n log n))、无需距离计算;LOF 更擅长'局部异常'(密度相对差异),但在高维下距离失效。实践中常两者对比,或用集成异常检测(Feature Bagging + LOF/IF)。④ 评估困难——异常检测通常无标签,评估需用领域知识构造验证集,或用'异常注入'合成测试;常用指标是 top-k 精度或 AUC(若有部分标签)。⑤ 工程考虑——KNN 类方法需存储全部数据并计算距离,大规模场景用近似索引(HNSW)或改用基于树的孤立森林。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    用 k 距离做异常检测而不考虑局部密度差异
  • ✕
    在高维数据上不做降维直接做距离型异常检测
🎯 面试官连环追问与延伸考察
  • ?
    LOF 与孤立森林的区别?
  • ?
    KNN 距离为什么是好的异常分数?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-049: 为什么 KNN 需要特征缩放?不同距离度量有何差异。📋 返回题库下一题 →M2-051: 解释维度灾难对 KNN 的具体影响。