M2-049M2: 经典机器学习KNN 与距离度量Medium
⚡闪卡盲测➔掌握度:
为什么 KNN 需要特征缩放?不同距离度量有何差异。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
距离对量纲敏感,需标准化;欧氏/L1/余弦/马氏距离适应不同数据结构。
📌 核心要点提炼
- •余弦适合文本/嵌入
- •马氏距离考虑特征相关性
- •L1 对异常值更鲁棒
📐 数学机理与严密推导
缩放的必要性:欧氏距离 d=√(Σ(xᵢ−yᵢ)²) 对每个维度等权,若某特征量纲大 1000 倍,它的差异会主导距离,其他特征的影响被淹没。例如'年龄(0–100)'与'收入(0–10⁶)',不标准化时收入完全决定距离。标准化后各维度方差为 1,贡献均衡。四种距离的差异:① 欧氏(L2)——默认选择,对异常值敏感(平方放大),假设各维独立同尺度;② 曼哈顿(L1)——各维差异的绝对值和,对异常值更鲁棒(线性而非平方),在高维下有时优于 L2(因为 L2 的距离集中现象更严重);③ 余弦——只关心方向不关心长度,适合高维稀疏(文本 TF-IDF、嵌入向量),因为此时'长度'常是文档长度等无关因素;④ 马氏距离——用协方差矩阵 Σ⁻¹ 加权,自动考虑特征相关性与尺度差异,等价于'先白化再算欧氏距离'。
🏭 深度剖析与工业落地权衡
实践要点:① 缩放方法的选择——StandardScaler(零均值单位方差,适合近似正态)vs MinMaxScaler(压到 [0,1],适合有界特征)vs RobustScaler(用中位数与 IQR,抗异常值);KNN 对异常值敏感,RobustScaler 常更稳。② 余弦 vs 欧氏的关系——若先对向量做 L2 归一化,则欧氏距离与余弦相似度单调对应(‖a−b‖²=2−2cos),故归一化后的欧氏 KNN ≡ 余弦 KNN。③ 马氏距离的陷阱——需估计 p×p 协方差矩阵的逆,当 p>n(宽数据)或特征共线时 Σ 奇异,需用伪逆或收缩估计(shrinkage);这也意味着马氏距离在高维下不实用。④ 度量学习——若默认距离不适合任务,可学习一个度量(LMNN、NCA、或对比学习),把'同类更近、异类更远'作为目标——这是深度度量学习(人脸识别、检索)的基础。
⚠️ 常见面试陷阱与高频失分点
- ✕不标准化直接算欧氏距离
- ✕在 p>n 时用马氏距离(协方差矩阵奇异)
🎯 面试官连环追问与延伸考察
- ?为什么余弦适合高维稀疏?
- ?马氏距离何时退化?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚