Feature Engineering: 比较文本特征的 TF-IDF 与嵌入表示，以及它们的取舍。

Core Concept: TF-IDF 稀疏可解释、无需训练；嵌入稠密语义强、需预训练且维度低。

两者对比：① <strong>TF-IDF</strong>——把文档表示为'词表维度'的稀疏向量（权重 = 词频 × 逆文档频率）。优点是 (a) <strong>无需训练</strong>（即插即用）；(b) <strong>可解释</strong>（每维对应一个词，权重有明确含义）；(c) <strong>精确匹配强</strong>（品牌名、型号、专有名词）；(d) 配合线性模型（逻辑回归/SVM）在<strong>小数据</strong>上常很强。缺点是 (a) <strong>维度极高</strong>（词表 10⁴–10⁶）；(b) <strong>无语义泛化</strong>（'手机'与'电话'是正交的）；(c) <strong>稀疏</strong>（每篇文档只有少量非零维）；(d) 忽略词序。② <strong>嵌入（embedding）</strong>——用预训练模型（BERT/双塔/CLIP）把文本编码为低维稠密向量（768–1024 维）。优点是 (a) <strong>语义泛化强</strong>（同义/近义自动接近）；(b) <strong>维度低</strong>（利于 ANN 检索与神经网络输入）；(c) 可捕捉上下文（上下文嵌入）。缺点是 (a) <strong>需要预训练模型</strong>（成本、延迟）；(b) <strong>可解释性差</strong>（每维无明确含义）；(c) <strong>精确匹配可能弱</strong>（如稀有型号可能被'平滑'掉）；(d) 对领域差异敏感（需领域微调）。

实践选择与结合：① <strong>选择依据</strong>——数据量小 + 需要可解释 + 精确匹配重要（如商品型号检索）→ <strong>TF-IDF</strong>；数据量大 + 语义泛化重要 + 有预训练资源 → <strong>嵌入</strong>；② <strong>混合是常态</strong>——检索系统中常用 <strong>BM25（TF-IDF 家族）+ 稠密向量</strong> 的双路召回，用 RRF 或加权融合（两者的错误互补：稀疏擅长精确、稠密擅长语义）；③ <strong>拼接特征</strong>——在分类任务中可把 TF-IDF 与嵌入<strong>拼接</strong>作为特征（高维稀疏 + 低维稠密），或用 SVD 降维 TF-IDF 后拼接；④ <strong>学习式稀疏（SPLADE）</strong>——用 BERT 预测词权重并加稀疏约束，兼顾语义与倒排索引效率（是两者的融合）；⑤ <strong>微调嵌入</strong>——领域数据上微调嵌入（对比学习、双塔训练）能显著提升语义匹配；但需注意<strong>灾难性遗忘</strong>（保留通用能力）；⑥ <strong>实践建议</strong>——先建立 TF-IDF + 线性模型的<strong>基线</strong>（快速、可解释），再评估嵌入带来的增益是否值得其复杂度与成本；在检索场景中几乎总是<strong>两者都用</strong>。⑦ <strong>注意</strong>——TF-IDF 的 IDF 需在<strong>训练集</strong>上计算（否则泄漏）；嵌入模型的选择要与任务对齐（如检索用双塔、分类用 BERT 编码器）。