M9-008M9: ML & AI 系统设计实战风控、定价与高并发检索引擎Medium
⚡闪卡盲测➔掌握度:

设计万亿 Token 预训练语料清洗、MinHash-LSH 模糊去重与评测防泄露管道

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M9-009 →
📐 核心数学机理公式
P(collide)=1−(1−sr)b,b×r=128 hashesP(\text{collide}) = 1 - (1 - s^r)^b,\quad b \times r = 128 \text{ hashes}
⚡ 一句话直击要害答案
借助启发式初筛砍半垃圾文本,再用 MinHash-LSH 局部桶碰撞避免 O(N2)O(N^2) 两两对比,并在入库前用 13-gram 清洗彻底防止评测集污染。

📌 核心要点提炼

  • •
    L1 规模限制:百亿级网页无法直接两两算 Jaccard,必须用 LSH 把高相似文档撞入同一小桶
  • •
    L2 核心参数:5-gram Shingles -> 128 维 MinHash -> b=16..20 组每组 r=6..8 行 -> 分布式连通分量仅保留代表文档
  • •
    L2 成本次序:先做语言识别、长度/符号比过滤与 Exact SHA-256 去重淘汰 45% 废页后再跑重计算
  • •
    L3 防污染(Decontamination):严格扫除 MMLU/GSM8K 等所有 Benchmark 测试集 13-gram 重合段

📐 数学机理与严密推导

控制带数与行数 (b,r)(b,r) 把碰撞概率拐点 s≈(1/b)1/rs \approx (1/b)^{1/r} 精准设在 Jaccard 0.650.65 左右,兼顾高查全与低误合率。

🏭 深度剖析与工业落地权衡

根据快文本/大模型打分器给剩余文档分配阶段采样权重(如高质量百科 Wiki/论文多 Epoch 上采样 3x,普通网页 0.5x)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    只按 URL 去重却放过了镜像网站与跨域名抄袭模板
  • ✕
    漏了 13-gram Decontamination 致使评测分数虚高但泛化能力极差
🎯 面试官连环追问与延伸考察
  • ?
    分布式并查集 Connected Components 在百亿连边图上怎么防内存爆炸?
  • ?
    按整篇文档去重与按段落(Paragraph)去重各自破坏或保留了什么?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M9-007: 设计出行/电商实时动态定价与供需弹性优化系统(Double ML + 开关实验)📋 返回题库下一题 →M9-009: 设计百万 QPS 个性化搜索框实时补全系统(Typeahead Autocomplete)