🗺️ 13 个全景技术模块 (100% 覆盖)🃏 全量原子考点知识卡片📚 77 篇双语万字实战指南🔗 底层到工业落地双向穿透

AI & 大模型全栈技术知识库与求职图谱

从数理基础到万卡集群工业落地,涵盖 13 大技术与岗位体系,原子考点卡片与数十篇双语实战指南全量在线。

🔍
🎯
4 大高薪岗位求职直通专区 (Role-Based Fast-Tracks)
专为求职者量身打造的 5 阶段流水线考核体系,每个岗位 25 张高含金量真题考点卡片
💻 MLE25 张考点卡片 · 5 篇指南

MLE 机器学习工程师

八股速查 · Attention/NMS 算子手撕 · 特征工程 OOF 目标编码 · 梯度 NaN 调试 · 5 步工业系统设计

🧭 刷岗位导图
🚀 AIE25 张考点卡片 · 4 篇指南

AIE 大模型系统工程师

SFT Data Packing · LoRA/QLoRA 显存 · Agent 死循环硬终止 · 企业级 GraphRAG · vLLM 连续批处理

🧭 刷岗位导图
🎓 RS25 张考点卡片 · 4 篇指南

RS 算法研究科学家

DPO 闭式解与隐式奖励 · PPO 悲观剪切界 · 多种子消融实验 · Chinchilla 定律 · DeepSeek-R1 纯 RL

🧭 刷岗位导图
📈 DS25 张考点卡片 · 4 篇指南

DS 数据科学家

功效与样本量推导 · 微软 CUPED 方差缩减 · SRM 卡方排查 · 因果森林 CATE · 贝叶斯营销 MMM

🧭 刷岗位导图
🗺️
AI 全景复习路线图 · 13 大模块导图与知识卡片
5 大阶段 · 13 个专业模块 · 全量原子知识卡片全部就绪 (100% 覆盖)
进入完整全景路线图 →
STAGE 032 卡片
基础 · 数理
STAGE 275 卡片
进阶 · 前沿
🌐AI 全领域技术拓扑图 & 知识架构树 (Interactive Taxonomy)
涵盖 9 大基础核心体系与 4 大高薪岗位路径,全景浏览技术脉络并一键直达交互式思维导图。
📖 浏览全量 100% 拓扑文档 →
核心领域:
岗位路径:
⚡
大语言模型48 张原子考点卡片 · 100% 覆盖
Transformer、RoPE 旋转矩阵、KV Cache、SFT Loss Masking、LoRA 与 MoE
🧭 进入 LLM 交互式思维导图与 100% 考点卡片 →
STAGE 1

1. Transformer 基础架构 (Transformer Core)

📌注意力机制

Scaled Dot-Product, Multi-Head Attention (MHA)

📌显存优化注意力

Multi-Query Attention (MQA), Grouped-Query Attention (GQA)

📌位置编码

Absolute 1D, Relative Position, RoPE (旋转位置编码)

📌长文本注意力

FlashAttention 1/2/3 (Tiling 算子融合与重计算), BigBird

↓流程演进
STAGE 2

2. 分词与微调技术 (Tokenizer & PEFT)

📌分词算法

BPE (Byte-Pair Encoding), WordPiece, Unigram, SentencePiece

📌生成采样

Temperature 缩放, Top-k, Top-p (Nucleus), Min-P 采样, Repetition Penalty

📌高效微调 (PEFT)

LoRA (W = W₀ + B·A), QLoRA (NF4 量化), Prefix Tuning, Adapter

↓流程演进
STAGE 3

3. 偏好对齐与推理慢思考 (Alignment & Reasoning)

📌RLHF 3 阶段

SFT → 奖励模型 (RM) → PPO 策略梯度 (Clipped Loss + GAE)

📌直接偏好优化

DPO (隐式奖励代换), ORPO, SimPO, IPO

📌推理慢思考 (Reasoning)

DeepSeek-R1 (纯 RL 自进化), GRPO (Group Relative), 长 CoT 蒸馏

↓流程演进
STAGE 4

4. 前沿架构与量化压缩 (MoE & Compression)

📌混合专家 (MoE)

Top-k 门控路由, Auxiliary Loss, DeepSeek MLA (低秩 KV) & MTP

📌量化压缩

INT8/INT4, GPTQ (Hessian 逆矩阵), AWQ (显著通道保护), SmoothQuant

📌SOTA 架构演进

LLaMA 1/2/3, Qwen 2.5/3, DeepSeek-V3, Claude 4, GPT-4o

📌幻觉与真实性

Intrinsic/Extrinsic, FActScore, RAGAS 评估, RoPE (PI/NTK/YaRN) 扩展

🤖 AI 应用工程 EngFoundations

Agent 设计模式全景:ReAct 循环、Reflexion 自我反思、Plan-and-Execute 与 LangGraph 图工程

全量拆解 AI Agent (自主智能体) 的四大核心设计模式、内存工程与图状态控制范式。深入剖析 Agent 架构四大支柱 (Brain LLM, Memory, Planning, Tools);详尽解构 ReAct (Reasoning + Acting) 思考-动作-观察循环与 Prompt Parsing;推导 Reflexion 自我反思机制与环境反馈日志 (Reflexion Log) 更新;对比 Plan-and-Execute 任务拆解与动态重规划 (Dynamic Replanning);解析 Loop & Graph Engineering (LangGraph, AutoGPT) 状态机中的状态节点 (State Nodes)、条件边 (Conditional Edges) 与死循环突破;探讨 Computer Use、Claude Code CLI 以及 AutoResearch 自主科研编排。配备 Pure Numpy ReAct 状态机循环算子实现和 5 大高频面试考点。

#agent#react#reflexion#plan-and-execute#langgraph#claude-code#agentic-patterns
🤖 AI 应用工程 EngFoundations

LLM-as-a-Judge 自动化评估全景:Pointwise 与 Pairwise 范式、三大 Bias 消除与 Cohen's Kappa 统计一致性

全量拆解使用大语言模型作为裁判 (LLM-as-a-Judge) 的自动化评估体系、偏差消除策略与统计学评价指标。深入剖析四大评估范式:Single-Answer Pointwise (1-10 分 Rubric 评分)、Pairwise Comparison (A/B 对比与胜率计算)、Reference-based (参考答案对齐) 与 Reference-free;严密解构 LLM 裁判的三大固有偏差 (Position Bias 位置偏置、Verbosity Bias 长文偏置、Self-Enhancement Bias 自偏置) 及其缓解方案;推导 Cohen's Kappa (kappa) 与 Krippendorff's Alpha 标注者一致性 (Inter-Annotator Agreement) 统计公式;解析 Elo Rating System (竞技场胜率排名) 与通用 Benchmarks (MMLU, GSM8K, MATH, HumanEval, MT-Bench)。配备 Pure Numpy Cohen's Kappa 与 Pairwise Win-Rate 评估算子实现和 5 大高频面试考点。

#llm-as-a-judge#evaluation#cohens-kappa#benchmarks#elo-rating#bias-mitigation
🤖 AI 应用工程 EngFoundations

RAG 检索增强生成全景:从 Naive RAG 到 Advanced RAG、混合检索 (BM25 + Dense)、RRF 与 Cross-Encoder 重排序

全量拆解 RAG (Retrieval-Augmented Generation) 检索增强生成架构演进、文档切分策略与高阶优化范式。深入剖析从 Naive RAG 的切块-检索-生成瓶颈,到 Advanced RAG 与 Modular RAG 的完整pipeline;解构多粒度 Chunking 策略 (Sentence-Window, Semantic Chunking, Parent-Child Chunking);严密推导混合检索 (Sparse BM25 词频拟合 + Dense Vector 余弦检索) 与 RRF (Reciprocal Rank Fusion 倒数秩融合) 得分公式;探讨 HyDE (假设性文档嵌入)、Cross-Encoder 精准重排序 (BGE-Reranker) 以及复杂 PDF 表格与文档智能 (Document Intelligence) 解析。配备 Pure Numpy BM25 与 RRF 得分融合算子实现和 5 大高频面试考点。

#rag#advanced-rag#bm25#hybrid-search#rrf#reranking#hyde
🤖 AI 应用工程 EngFoundations

Prompt 工程与安全护栏:Structured Outputs、Outlines 语法硬约束与 Llama Guard 防护

全量拆解 Prompt 工程最佳实践与大模型安全护栏。剖析 System Prompt 架构规则、Structured Outputs 结构化输出 JSON Schema 硬约束 (Outlines / Instructor) 与 Llama Guard 3 越狱攻击防御防护网。

#prompt-engineering#guardrails#structured-outputs#outlines#llama-guard
🤖 AI 应用工程 EngFoundations

工具调用与 Function Calling 全景:Toolformer 自主插入、JSON Schema 规范与沙箱安全执行

全量拆解 LLM 工具调用 (Tool Use) 与 Function Calling 的技术原理、协议规范与沙箱安全执行。深入剖析 Meta Toolformer 论文核心:自监督 API 插入位置挖掘、交叉熵 Loss 过滤 $L_{text{same}} - L_{text{call}} > tau$;解构 OpenAI / Anthropic 原生 Function Calling 协议、JSON Schema 参数定义 (`tools` 定义与 `tool_choice`)、Parallel Function Calling 并行调用;探讨 TaskMatrix 多工具协同;解析代码解释器 (Code Interpreter)、E2B / Firecracker MicroVM 沙箱隔离、系统调用 (Syscall) 截获以及工具执行报错自愈重试机制。配备 Pure Numpy Toolformer Loss 过滤算子与 JSON Schema 校验器实现和 5 大高频面试考点。

#function-calling#tool-use#toolformer#json-schema#sandbox#code-interpreter
🤖 AI 应用工程 EngFoundations

Vector DB 向量数据库全景:HNSW 图索引、IVF-PQ 乘积量化与 ANN 相似度检索原理解构

全量拆解向量数据库 (Vector Databases) 与近似最近邻 (Approximate Nearest Neighbor, ANN) 检索算法体系。深入剖析距离度量标量 (Cosine Similarity, L2 Distance, Inner Product);严密解构 IVF (Inverted File Index 倒排网格)、PQ (Product Quantization 乘积量化) 与 ADC (Asymmetric Distance Computation 非对称距离计算);推导 HNSW (Hierarchical Navigable Small World 多层可导航小世界图) 的跳表概率层级路由与 O(log N) 贪心图搜索算法;对比主流工业级向量数据库 (Milvus, Qdrant, Pinecone, Weaviate, Pgvector) 架构选型;探讨标量过滤 (Pre-filtering vs Post-filtering vs Single-Stage Hybrid Search)。配备 Pure Numpy HNSW 节点跳表路由与 PQ 乘积量化算子实现和 5 大高频面试考点。

#vector-db#hnsw#ivf-pq#ann#embeddings#milvus#qdrant
⚡ AI 基础设施 InfraFoundations

集群调度与 Ray:K8s 调度管线、Raylet 架构、分布式对象存储、弹性扩缩容与 GPU 调度全景

全量拆解集群调度与 Ray 分布式计算引擎。覆盖集群调度基本问题(资源分配/优先级/公平性)、Kubernetes Pod 调度器两阶段过滤/打分管线与污点/亲和性、Ray 核心架构(Driver/Raylet 调度器/分布式对象存储/任务与 Actor 双原语)、资源需求声明 resources={"gpu":1} 与调度策略、Autoscaler 弹性扩缩容、GPU 拓扑感知/共享/MIG 调度、Ray Train 与 DP/TP 分布式训练集成、故障恢复与任务重试、以及 Ray 与 Spark 定位差异。配备 Pure Numpy 集群调度模拟器(含 DRF 公平分配)与 5 大高频面试追问。

#ray#cluster-scheduling#kubernetes#autoscaler#gpu-scheduling#distributed-training#fault-tolerance#actor
⚡ AI 基础设施 InfraFoundations

分布式并行训练全景:TP 张量并行、PP 流水线并行、DP 数据并行与 DeepSpeed ZeRO 1/2/3

全量拆解千亿大模型分布式训练与推理的 4D 并行体系 (Data, Tensor, Pipeline, Expert Parallelism) 以及内存切分原理。深入剖析 Megatron-LM Tensor Parallelism (TP) 的列并行 (Column Parallel Linear) 与行并行 (Row Parallel Linear) 矩阵切分及 All-Reduce 通信;解构 Pipeline Parallelism (PP) 的 1F1B (One Forward One Backward) 调度算法与 Bubble 气泡占比公式;推导 DeepSpeed ZeRO (Zero Redundancy Optimizer) 状态切分:ZeRO-1 优化器状态切分、ZeRO-2 梯度切分与 ZeRO-3 全参数切分显存节省推导;探讨 ZeRO-Offload (CPU/NVMe 卸载) 与 3D/4D 混合并行配置。配备 Pure Numpy Megatron TP 矩阵切分与 ZeRO-3 显存节省算子和 5 大高频面试考点。

#distributed-training#tensor-parallelism#pipeline-parallelism#deepspeed-zero#megatron-lm#4d-parallelism
⚡ AI 基础设施 InfraFoundations

GPU 硬件架构全景:SM 流处理器、Tensor Core 混合精度、HBM 带宽与 Roofline 模型

全量拆解 Modern GPU (NVIDIA H100 / A100 / Blackwell) 硬件微架构、显存层级结构与性能瓶颈建模。深入剖析 Streaming Multiprocessor (SM) 组成结构:Warp Scheduler 线程束调度、CUDA Cores、L1/L2 Cache 以及 HBM3/HBM3e 高带宽显存;推导 Tensor Cores 矩阵乘加 (MMA / WGMMA) 混合精度 (FP16, BF16, FP8) 硬件加速原理;建立 Roofline Model 模型,推导算术强度 (Arithmetic Intensity) $I = text{FLOPs} / text{Bytes}$,严格判定 Memory-Bound (内存限制区) 与 Compute-Bound (算力限制区);解构 FlashAttention 1/2/3 的 SRAM Tiling 块状计算与 Online Softmax 优化。配备 Pure Numpy Roofline 模型判定算子与 5 大高频面试考点。

#gpu-architecture#hbm#tensor-cores#roofline-model#flashattention#cuda#h100
⚡ AI 基础设施 InfraFoundations

高并发 AI 系统设计全景:SSE 流式打字机推送、语义缓存 (Semantic Cache) 与 ML Runtimes

全量拆解千万级用户高并发 AI 服务架构设计、流式推送与语义缓存加速机制。深入对比三大流式通信协议:Server-Sent Events (HTTP SSE 打字机流式推送)、WebSockets 与 gRPC Bidirectional Streaming 的握手开销、防火墙穿越与吞吐量;解构语义缓存 (Semantic Cache) 架构 (Exact Match Hash 检索 + Vector Cosine 相似度阈值 0.95 判定);剖析 Dynamic Batching 与 Continuous Batching (vLLM / TensorRT-LLM 迭代级批处理) 吞吐优化;探讨 ML Runtimes 部署与编译工具链 (ONNX Runtime, TensorRT-LLM, Triton Inference Server)。配备 Pure Numpy 语义缓存向量阈值匹配算子与 5 大高频面试考点。

#system-design#sse#semantic-cache#high-concurrency#triton#tensorrt-llm#llm-serving
⚡ AI 基础设施 InfraFoundations

KV Cache 显存管理全景:内存碎片拟合推导、vLLM PagedAttention 虚拟内存与 Prefix Caching

全量拆解 LLM 自回归解码中 KV Cache 显存占用、内存碎片优化与 vLLM PagedAttention 核心原理。精确推导 KV Cache 字节容量公式 Bytes = 2 * 2 * n_layers * n_heads * d_head * seq_len * batch_size;剖析原生 PyTorch 预分配策略导致的内部与外部内存碎片 (Internal & External Fragmentation);解构 vLLM 借鉴操作系统虚拟内存页思想的 PagedAttention 架构 (Logical Block, Page Table, Physical Block);探讨 Copy-on-Write 多并行采样、Prefix Caching (Radix Tree 匹配) 以及 Chunked Prefill (TTFT 与 ITL 吞吐量优化)。配备 Pure Numpy PagedAttention 逻辑到物理页表映射算子与 5 大高频面试考点。

#kv-cache#paged-attention#vllm#memory-management#prefix-caching#llm-inference
⚡ AI 基础设施 InfraFoundations

MLOps 与在线测试全景:Data Drift 监控、PSI 指标、A/B 测试与 CUPED 方差降低

全量拆解 MLOps 与 LLMOps 全生命周期管理、模型在线监控以及 A/B 实验方差降低技术。深入剖析 MLOps / LLMOps CI/CD 自动化流水线、Feature Store (Feast) 与 Model Registry (MLflow);解构 Data Drift (数据漂移) 与 Concept Drift (概念漂移) 的统计检验方法 (PSI 总体稳定性指数、KS 检验、Wasserstein 距离);推导在线 A/B 测试中 CUPED (Controlled-Experiment Using Pre-Experiment Data) 利用前实验数据进行方差降低的数学公式;解析实验偏差 (Sample Ratio Mismatch SRM、Selection Bias) 防护。配备 Pure Numpy PSI (Population Stability Index) 计算算子与 CUPED 方差降低算子和 5 大高频面试考点。

#mlops#llmops#data-drift#psi#ab-testing#cuped#model-monitoring
⚡ AI 基础设施 InfraFoundations

AI 安全与隐私全景:Prompt 注入攻击、Guardrails 防御、差分隐私与联邦学习

全量拆解 LLM 大模型安全越狱攻击、护栏防御 (Guardrails)、PII 脱敏以及分布式隐私保护。深入剖析直接提示词注入 (Direct Prompt Injection)、间接提示词注入 (Indirect Prompt Injection,如网页/PDF 恶意 Payload) 与越狱攻击 (Jailbreaking);解构 Guardrails 防御体系 (Llama Guard 分类器、Input/Output Masking、Sandboxing);推导 Differential Privacy (差分隐私 DP-SGD) 的高斯噪声添加与隐私预算 $(epsilon, delta)$ 证明;剖析 联邦学习 (Federated Learning) 的 FedAvg 聚合算法、同态加密 (Homomorphic Encryption) 与安全多方计算 (Secure Aggregation SecAgg)。配备 Pure Numpy DP-SGD 高斯加噪算子与 FedAvg 梯度聚合算子和 5 大高频面试考点。

#ai-safety#prompt-injection#guardrails#differential-privacy#federated-learning#pii-masking
⚡ AI 基础设施 InfraFoundations

猜想解码 (Speculative Decoding) 全景:Draft Model 小模型草稿、拒绝采样证明与端侧加速

全量拆解 Speculative Decoding (猜想解码 / 投机采样) 提速范式、拒绝采样概率对齐证明与端侧 Transformer 推理优化。深入剖析大模型自回归解码中算术强度极低 ($O(1)$ Memory-Bound) 的瓶颈;解构 Draft-Verify (小草稿模型采样 $gamma$ 个 Token $to$ 大目标模型 1 次前向传播并行验证) 双模型协同流程;严密证明改进版 Rejection Sampling (拒绝采样) 保证最终输出概率分布与大模型直接采样 100% 数学无损一致;探讨 Eagle / Medusa 多头并行猜想架构以及端侧 On-Device (Apple Neural Engine / NPU) 内存映射与量化加速。配备 Pure Numpy ReAct 拒绝采样算子实现和 5 大高频面试考点。

#speculative-decoding#draft-model#rejection-sampling#llm-acceleration#on-device-ai#medusa
🚀 AIE 大模型系统工程师Interviews

AIE Agent 生产系统:编排模式、上下文预算、可靠性工程与可观测性

系统拆解 Agent 生产系统的完整工程栈。包含 ReAct/Plan-and-Execute/Reflexion/多 Agent 编排模式对比、循环与图式编排工程(终止条件/超时/停滞检测)、上下文工程(token 预算/记忆分层/KV 缓存/注入攻击防护)、工具调用可靠性(参数校验/重试/幂等/超时降级)、成本与延迟(每轮 token 成本计算/缓存/并发)、LangSmith 式 trace 可观测性与指数退避自恢复。配备 Pure Numpy Agent 循环预算模拟器与 5 大高频面试追问。

#agent#production#agent-orchestration#context-engineering#llm-ops#observability#tool-use#aie
🚀 AIE 大模型系统工程师Interviews

AIE 大模型系统工程师核心地图:SFT/LoRA/RAG/Agent 面试必考

全量拆解 AIE (AI / LLM Systems Engineer) 岗位核心知识地图与面试高频考点。深入剖析大模型 SFT 数据 Packing、LoRA/QLoRA 高效微调、DPO/GRPO 偏好对齐、Advanced RAG 检索调优、投机采样 Speculative Decoding 与 vLLM 推理吞吐瓶颈。

#aie#llm-engineer#sft#lora#rag-interview#speculative-decoding#vllm
🚀 AIE 大模型系统工程师Interviews

AIE 实战指南:企业级 SFT、LoRA 微调与 DPO/RLHF 偏好对齐落地

全量拆解企业级大模型 SFT 监督微调与 DPO/RLHF 偏好对齐实战落地细节。深入剖析 Data Packing 消除 Padding 浪费、Loss Masking、LoRA/QLoRA 显存精算、权重无损合并与 GRPO 纯 RL 对齐。

#sft#lora-merge#dpo-practical#grpo#alignment#qlora#data-packing
🚀 AIE 大模型系统工程师Interviews

AIE 大模型系统设计:千万级 RAG、Code Agent 与推理服务架构

全量拆解 AIE 大模型系统设计架构。深入剖析千万级文档企业级 RAG 混合检索与 RRF 融合、自主 Code Agent 状态机与沙箱安全、vLLM PagedAttention 显存精算与分布式推理集群。

#aie-system-design#production-rag#agent-infra#vllm-serving#rrf-fusion#paged-attention#sandboxing
🧠 深度学习 DLFoundations

深度学习基础全景:激活函数族全演进(GELU/SwiGLU)、损失函数大一统 (CE/KL/Huber/InfoNCE/ArcFace) 与计算图反向传播极客指南

全量深度覆盖计算图与自动微分 (Autograd) 矩阵梯度推导、激活函数全演进 (Sigmoid/ReLU/GELU/SwiGLU/SELU)、深度学习损失函数大一统 (Cross-Entropy与KL散度等价性、Huber Loss、InfoNCE/Triplet对比学习损失、ArcFace角边距损失)、Loss 诊断与 Pure Numpy MLP 实现。配备丰富的 SEO 说明性文本与数理推导。

#deep-learning#activation-functions#backpropagation#loss-functions#infonce#arcface#swiglu#kl-divergence#seo-optimized
🧠 深度学习 DLFoundations

视觉架构演进全景:2D 卷积、感受野迭代计算、Depthwise 深度可分离卷积、ResNet 恒等残差映射与 Vision Transformer (ViT) 极客指南

100% 全量覆盖 2D 卷积维度与感受野 (RF / ERF) 递推公式、深度可分离卷积 (Depthwise Separable Conv) 计算量折降推导、空洞卷积 (Dilated Conv)、ResNet 残差退化问题与恒等映射 (Identity Mapping) 梯度直通证明、Vision Transformer (ViT) Patch Embedding 与 CNN vs ViT 归纳偏置 (Inductive Bias) 权衡、以及 Pure Numpy 视觉算子引擎。配备丰富 SEO 说明文本。

#deep-learning#cnn#vision-transformer#vit#resnet#receptive-field#depthwise-separable-conv#seo-optimized
🧠 深度学习 DLFoundations

深度学习调试与竞赛工程全景:4 步调试框架、单 Batch 过拟合验证、数值梯度检查、20大常见工程Bug、Grad-CAM 可解释性与架构归纳偏置选型指南

100% 全量覆盖深度学习模型调试通用 4 步框架 (Sanity Check 单 Batch 过拟合、数据泄露与形状核查、由简至繁渐进复杂度、数值梯度检查数值稳定性)、20 大常见深度学习工程 Bug 排查表 (Double Softmax、忘记 zero_grad、Batch Normalization train/eval 模式混淆、隐式广播维度灾难、Dying ReLU、大 Batch Size 陡峭极小值)、Grad-CAM 可解释性激活图计算、知识蒸馏 (Knowledge Distillation) 与 FCN/CNN/RNN/Transformer 归纳偏置 (Inductive Bias) 选型,以及 Pure Numpy 调试算子引擎。配备丰富 SEO 长段说明文本。

#deep-learning#model-debugging#sanity-check#gradient-checking#grad-cam#knowledge-distillation#inductive-bias#common-bugs#seo-optimized
🧠 深度学习 DLFoundations

生成对抗网络 (GAN) 全景:Minimax 博弈、JS 散度缺陷、WGAN Wasserstein 距离推导、WGAN-GP 梯度惩罚与 Mode Collapse 极客指南

100% 全量覆盖 GAN 生成器与判别器零和博弈 (Minimax Objective)、最优判别器 D*(x) 数学推导、JS 散度在高维不重叠支撑集下的梯度消失致命缺陷、WGAN Wasserstein 距离 (Earth Mover Distance) 与 Kantorovich-Rubinstein 对偶推导、WGAN-GP 梯度惩罚 (Gradient Penalty)、谱归一化 (Spectral Normalization)、模式崩塌 (Mode Collapse) 防御,以及 Pure Numpy GAN 算子引擎。配备丰富 SEO 长段说明文本。

#deep-learning#gan#wgan#wgan-gp#minimax-game#wasserstein-distance#js-divergence#mode-collapse#seo-optimized
🧠 深度学习 DLFoundations

图神经网络 (GNN) 全景:邻接矩阵、图拉普拉斯矩阵、消息传递机制 (MPNN)、GCN、GraphSAGE、GAT 与边特征建模极客指南

100% 全量覆盖图论数学基础 (邻接矩阵 A、度矩阵 D、规范化图拉普拉斯矩阵 L_norm)、神经消息传递通用范式 (MPNN: Aggregate/Update/Readout)、GCN 谱域卷积与重归一化技巧 (Renormalization Trick)、GraphSAGE 归纳学习与邻域采样 (Inductive Sampling)、GAT 多头图注意力机制 (Multi-Head Attention)、边特征建模 (Edge-Conditioned Conv) 与 Node/Link/Graph 三类下游任务 Loss,以及 Pure Numpy GNN 算子引擎。配备丰富 SEO 长段说明文本。

#deep-learning#gnn#gcn#graphsage#gat#message-passing#graph-laplacian#seo-optimized
🧠 深度学习 DLFoundations

归一化与正则化全景:BatchNorm、LayerNorm、RMSNorm、L0/L1/L2 权重衰减与 Inverted Dropout 极客指南

100% 全量无死角覆盖特征缩放 (Standardization/MinMax/RobustScaler)、正则化族 (L0/L1/L2 几何凸松弛、Label Smoothing、Max-Norm 约束)、倒置 Dropout (Inverted Dropout) 机制与 BN 冲突解耦、归一化 5 大范式 (BatchNorm 训练/推理 EMA 与标准正态误区、LayerNorm、InstanceNorm、GroupNorm、RMSNorm 大模型加速) 与 Pure Numpy 实现。配备丰富的 SEO 说明文本。

#deep-learning#batchnorm#layernorm#rmsnorm#l1-l2-regularization#dropout#feature-scaling#seo-optimized
🧠 深度学习 DLFoundations

优化器与训练工程全景:SGD、Momentum、AdamW 解耦权重衰减、Xavier/Kaiming 初始化推导、梯度累积与重计算 (Checkpointing) 极客指南

100% 全量覆盖优化器全演进 (SGD/Momentum/NAG/RMSprop/Adam/AdamW 解耦权重衰减推导)、全零初始化对称性困境、Xavier/Glorot 与 Kaiming/He 方差守恒推导、大模型显存优化工程 (梯度累积与 Gradient Checkpointing 重计算 O(√L) 显存降维)、超参数调优 (Grid/Random/贝叶斯优化 Optuna TPE) 与 Pure Numpy 引擎实现。配备丰富 SEO 长段说明文本。

#deep-learning#optimizer#adamw#xavier-initialization#kaiming-initialization#gradient-accumulation#gradient-checkpointing#hyperparameter-tuning#seo-optimized
🧠 深度学习 DLFoundations

序列模型演进全景:RNN 随时间反向传播 (BPTT)、LSTM/GRU 门控机制、xLSTM 矩阵内存、HiPPO 矩阵与 Mamba 选择性状态空间模型 (S6) 极客指南

100% 全量覆盖 RNN 随时间反向传播 (BPTT) 与梯度爆炸/消失推导、LSTM 遗忘门/输入门/细胞状态加性短路与 GRU 极简架构、xLSTM (sLSTM 指数门控与 mLSTM 协方差矩阵内存)、连续状态空间方程 (SSM) 零阶保持器 (ZOH) 离散化、HiPPO 记忆矩阵初始化、Mamba 选择性状态空间模型 (S6 输入依赖)、MambaByte/Cobra/Jamba 混合架构、RWKV 线性注意力与 GPU SRAM 硬件感知并行 Scan 算法。配备丰富 SEO 长段说明文本。

#deep-learning#rnn#lstm#xlstm#mamba#state-space-model#ssm#hippo-matrix#rwkv#jamba#bptt#seo-optimized
📈 DS 数据科学家 / 应用科学家Interviews

DS A/B 测试 Case Studies:CUPED 方差降低、SRM 检查与商业归因

全量拆解硅谷与国内顶级互联网巨头的 A/B 测试真实 Case Studies。深入剖析 CUPED 方差降低数学推导、SRM 样本比例失衡卡方检验、双边市场 Switchback 实验与工业级归因体系。

#ab-testing-cases#cuped#srm#switchback#novelty-effect#attribution
📈 DS 数据科学家 / 应用科学家Interviews

DS 因果推断实战:PSM 倾向得分匹配、DiD 双重差分与 Synthetic Control

全量拆解 DS 面试中因果推断高频算法与实战案例。系统剖析 Rubin 潜在结果、因果 DAG、PSM 倾向得分、DiD 双重差分、合成控制法 SCM 与工具变量 2SLS,配齐完整数理推导与 Pure Python 工业算子。

#causal-inference#psm#did#synthetic-control#iv-2sls#aipw#dag
📈 DS 数据科学家 / 应用科学家Interviews

DS 核心知识地图:因果推断、A/B 测试与 Data Drift

全量拆解 DS 岗位核心知识地图与面试必考八股。深入剖析统计功效与样本量推导、mSPRT 序贯检验、Uplift 增益建模、CUPED 方差降低与 PSI 漂移检测。

#ds#data-scientist#causal-inference#ab-testing#psi-drift#uplift#msprt
📈 DS 数据科学家 / 应用科学家Interviews

DS 统计与实验设计:假设检验、功效分析、样本量计算、多重比较、SRM 与 CUPED 全景全解

全量拆解 DS 面试中的统计与实验设计核心框架。覆盖 H₀/H₁ 与两类错误、功效 power=1−β、均值与比率两类样本量公式、Bonferroni/Holm/FDR-BH 多重比较校正对比、p-hacking 与 peeking 问题、SRM 卡方检测与排查、AA 测试、随机化单元与网络干扰、北极星/guardrail 指标体系、CUPED 方差缩减推导,并附 Pure Numpy 实现。

#statistics#experiment-design#ab-testing#hypothesis-testing#sample-size#multiple-comparisons#srm#cuped
⚡ 大语言模型 LLMFoundations

大模型偏好对齐全景:RLHF 3 阶段、PPO 截断损失、DPO 隐式奖励代换、GRPO 与 PRM/ORPO 深度剖析

全量拆解大语言模型人类偏好对齐 (Preference Alignment) 算法演进。包含 SFT -> 奖励模型 (RM) -> PPO 强化学习 3 阶段架构;PPO 4 模型演练 (Actor, Critic, Ref, RM)、Clipped Surrogate Loss 截断损失、GAE 优势估计与 Token 级 KL 散度惩罚推导;DPO (Direct Preference Optimization) 隐式奖励代换 Z(x) 抵消推导与梯度权重分析;IPO、KTO 非成对数据对齐、ORPO 无 Reference 架构以及 DeepSeek-R1 无 Critic 的 GRPO 组相对策略优化。配备 Pure Numpy DPO / PPO / GRPO 核心算子实现与 5 大高频面试考点。

#rlhf#ppo#dpo#grpo#orpo#kto#reward-model#gae#alignment
⚡ 大语言模型 LLMFoundations

大模型幻觉与真实性全景:内在/外在幻觉分类、FActScore 评估、RAGAS 框架与 RoPE 位置插值 (PI/NTK/YaRN) 扩展技术

全量拆解大语言模型幻觉 (Hallucination) 归因诊断、真实性评估框架与长上下文扩展技术。深入剖析 Intrinsic (内在矛盾) 与 Extrinsic (外在不可查) 幻觉分类及预训练噪声、SFT 迎合与 RLHF 过度自信等深层病因;解析 FActScore 原子事实拆解、RAGAS 4 维评估矩阵、SAFE 搜索增强评估与熵阈值自信度解码;推导位置插值 (Position Interpolation, PI)、NTK-Aware 频率外推、YaRN 注意力缩放数学公式与大海捞针 (Needle In A Haystack) 测试。配备 Pure Numpy FActScore 评估器与 RoPE NTK 频率外推算子和 5 大高频面试考点。

#hallucination#factuality#factscore#ragas#safe#position-interpolation#ntk-aware#yarn#needle-in-a-haystack
⚡ 大语言模型 LLMFoundations

开源与商业 SOTA 大模型演进全景:从 BERT/GPT-4 到 LLaMA-3、Qwen-3、Gemma-4 与 Kimi-K2 架构对比

全量拆解大语言模型 (LLM) 从早期探索到最新前沿 SOTA 的完整技术演进脉络。涵盖商业闭源旗舰 GPT-4/4o、Claude 4 (Extended Thinking)、Gemini 2.0 (原生多模态 2M 长上下文) 与 Google Meena SSA 评估;开源基座演进 LLaMA 1/2/3 (全量 GQA + 128K 词表)、Alpaca 与 Tulu 3 开放后训练管道 (SFT+DPO+RLVR);最新前沿衍生 Qwen 2.5/Qwen-3 (双思维模式 235B/22B MoE)、Gemma 3n/4 (压缩稀疏注意力) 与 Kimi-K2 (MuonClip 优化器)。配备 Pure Numpy 密集/稀疏模型参数与 KV-Cache 显存分析算子和 5 大高频面试考点。

#llm-sota#gpt-4#claude-4#gemini-2#llama-3#qwen-3#gemma-4#kimi-k2#tulu-3
⚡ 大语言模型 LLMFoundations

MoE 混合专家模型与 DeepSeek MLA/MTP/mHC 架构解构:Top-k 门控、无辅助损失均衡、低秩潜注意力与 KAN 剖析

全量拆解大语言模型 Mixture-of-Experts (MoE) 稀疏激活架构与 DeepSeek-V3/V4 前沿技术创新。深入推导 Top-k 门控路由、Switch Transformer 辅助损失 L_aux 与 DeepSeek 动态偏执自适应无辅助损失 (Auxiliary-Loss-Free) 负载均衡机制;详解 DeepSeek MLA (Multi-Head Latent Attention) 低秩 KV 潜向量压缩与解耦 RoPE 位置编码数学推导;剖析 MTP (Multi-Token Prediction) 多 Token 并行预测与 mHC 双重随机残差混合;以及 Kolmogorov-Arnold Networks (KAN) 边可学习 B-spline 激活与传统 MLP 的对比。配备 Pure Numpy MoE Router / MLA / KAN 算子实现与 5 大高频面试考点。

#moe#deepseek-v3#deepseek-v4#mla#mtp#kan#gating-router#load-balancing
⚡ 大语言模型 LLMFoundations

经典 NLP 任务全景:NER 命名实体识别、文本分类、seq2seq 翻译与文本蕴含 (NLI)

全量拆解经典自然语言处理 (NLP) 核心任务体系、模型演进与工程实践。深入剖析 NER (Named Entity Recognition 命名实体识别) 序列标注范式与 BIO / BIOES 标注体系、BiLSTM-CRF 条件随机场转移矩阵解码;解构文本分类 (Text Classification, TextCNN、BERT Fine-Tuning)、机器翻译 (seq2seq 机器翻译与 Attention 机制)、文本蕴含 (NLI Natural Language Inference 假设-前提判定);探讨多轮对话 (Conversational AI) 与 Code-Mixing (跨语言混杂) 机制。配备 Pure Numpy Viterbi CRF 序列解码算子与 5 大高频面试考点。

#nlp#ner#bilstm-crf#text-classification#translation#nli
⚡ 大语言模型 LLMFoundations

高效微调 (PEFT) 架构全景:LoRA、QLoRA、DoRA、Prefix/Prompt Tuning、Adapters 与 MoRA/ReLoRA 深度剖析

全量拆解大语言模型高效参数微调 (PEFT) 技术方案。深入推导 LoRA 低秩矩阵分解 W = W0 + (alpha/r)*B*A、高斯初始化 A 与零初始化 B 的恒等映射机制;剖析 QLoRA 4-bit NormalFloat (NF4) 量化、双重量化 (DQ) 与 Paged Optimizers 分页优化器;探讨 DoRA 权重幅值与方向解耦微调、Prefix/Prompt Tuning 虚拟 Token 机制、Houlsby/Adapter 瓶颈架构以及 MoRA/ReLoRA 高阶变体。配备 Pure Numpy LoRALinear 前向/反向传播与零延迟权重融合代码以及 5 大高频面试考点。

#peft#lora#qlora#dora#prefix-tuning#prompt-tuning#adapters#bitfit#mora#relora
⚡ 大语言模型 LLMFoundations

大模型量化与模型压缩全景:INT8/INT4 映射、SmoothQuant 异常值平滑、GPTQ 二阶 Hessian 优化与 AWQ/知识蒸馏剖析

全量拆解大语言模型量化 (Quantization) 与模型压缩 (Compression) 核心算法数理与工程实现。深入推导非对称与对称 INT8/INT4 量化映射公式、Scale 缩放因子与 Zero-Point 零点计算;剖析 SmoothQuant 激活值异常值 (Outliers) 移向权重的对角缩放矩阵 s = diag(s_1..s_C) 平滑机制;解析 GPTQ 基于 Optimal Brain Surgeon (OBS) 的二阶 Hessian 逆矩阵 (H = 2XX^T) 逐列量化补偿算法;探讨 AWQ 基于 1% 关键显著权重的保护策略;以及知识蒸馏 (Response/Feature KD) 损失函数。配备 Pure Numpy INT8/INT4 量化器与 SmoothQuant / GPTQ 模拟算子和 5 大高频面试考点。

#quantization#int8#int4#smoothquant#gptq#awq#knowledge-distillation#model-compression
⚡ 大语言模型 LLMFoundations

推理大模型与慢思考全景:DeepSeek-R1 纯 RL 自进化、Aha Moment 顿悟、长 CoT 蒸馏与 OpenAI o1/o3 慢思考范式

全量拆解推理大模型 (Reasoning LLMs) 与慢思考 (Slow-Thinking / System 2) 算法机制。深入剖析 DeepSeek-R1-Zero 纯强化学习 (Pure RL) 在无 SFT 条件下涌现自回溯、自纠错与顿悟 (Aha Moment) 的过程;解析 DeepSeek-R1 4 阶段训练管道(冷启动 SFT -> 推理强化学习 -> 800k 数据重采样 -> 全场景最终对齐);探讨 OpenAI o1/o3 推理阶段算力扩展定律 (Test-Time Compute Scaling) 与 MCTS 搜索机制;详解长 CoT 思维链向小模型 (1.5B-32B) 的精馏蒸馏方法;以及 Context Engineering 上下文毒化防范与压缩压缩技术。配备 Pure Numpy 推理奖励验证器与多路径探索验证器及 5 大高频面试考点。

#reasoning#deepseek-r1#openai-o1#chain-of-thought#slow-thinking#test-time-compute#grpo#cot-distillation
⚡ 大语言模型 LLMFoundations

Tokenizer 分词器与 LLM 采样解码全景:BPE、WordPiece、SentencePiece、Temperature、Top-k/p、Min-p、Gumbel-Max、Penalty 与 Sequence Packing 打包优化

全量拆解大语言模型 Tokenizer 分词算法与自回归采样解码策略。包含 BPE 频次合并、tiktoken 字节级 BPE、WordPiece 似然最大化、Unigram 词表剪枝与 SentencePiece 无缝分词;Subword Regularization 词表正则化;Beam Search 约束扩展与长度惩罚;Presence/Frequency/Repetition Penalty 惩罚项;Temperature、Top-k、Top-p (Nucleus)、Min-p 动态截断与 Gumbel-Max / Gumbel-Softmax 可微采样;以及 Sequence Packing (序列打包) 的 Position ID 重置与 FlashAttention varlen cu_seqlens CUDA 零 Padding 优化。配备 Pure Numpy 分词与采样完整代码和 5 大高频面试考点。

#tokenizer#bpe#wordpiece#sentencepiece#temperature#top-p#top-k#min-p#gumbel-max#sequence-packing#flashattention-varlen
⚡ 大语言模型 LLMFoundations

Transformer 架构解构:Self-Attention、MHA/GQA/MQA、RoPE 与 FlashAttention 1/2/3 算子融合全景

系统拆解 Transformer 核心原理与大模型算子优化。包含 Encoder/Decoder 架构对比、Self-Attention 数学推导、缩放因子 1/sqrt(d_k) 方差守恒证明、MHA/MQA/GQA 显存带宽折衷、RoPE 旋转位置编码推导、FlashAttention-1/2/3 Tiling 算子融合与 Online Softmax 重计算原理、以及 Sparse Attention (BigBird) 与 Recurrent Depth (RLM)。配备完整 Pure Numpy 手写算子与 5 大高频面试追问。

#transformer#self-attention#flashattention#rope#gqa#mqa#encoder-decoder#bigbird
📐 数理基础 MathFoundations

泛化理论全景:归纳偏置 (Inductive Bias)、Double Descent 双重下降与 PAC 学习范式

全量拆解机器学习理论中的泛化原理、归纳偏置假设与现代深度学习 Double Descent 现象。深入剖析归纳偏置 (Inductive Bias) 在 CNN (空间局部性与平移不变性)、RNN (时间平移不变性) 与 Transformer (弱归纳偏置,依赖海量数据自学习) 中的定义与表达;解构经典 Bias-Variance Tradeoff 偏差-方差权衡与深度学习 Double Descent (双重下降:欠拟合区 -> 插值临界点 -> 过参数化泛化区) 的几何机制;推导 PAC (Probably Approximately Correct 可概率近似正确) 学习框架与 VC 维 (Vapnik-Chervonenkis Dimension) 理论;对比四大 AI 学习范式 (Supervised, Unsupervised Self-Supervised, Reinforcement, Meta Learning)。配备 Pure Numpy Double Descent 泛化曲线模拟算子和 5 大高频面试考点。

#math#inductive-bias#double-descent#pac-learning#generalization#learning-paradigms
📐 数理基础 MathFoundations

线性代数核心:向量空间、四大子空间、SVD/EVD、投影与最小二乘、Jacobian/Hessian 全景

全量拆解 AI 工程师必备的线性代数数理核心:向量空间与矩阵基本运算、四大子空间与秩-零化度定理、特征值分解 EVD 与奇异值分解 SVD 的几何意义、投影矩阵与最小二乘正规方程 XᵀXw = Xᵀy 的几何解释、PCA / 低秩近似 / Moore-Penrose 伪逆等分解应用,以及 Jacobian / Hessian 与链式法则维度检查。配备 Pure Numpy 四子空间 / 最小二乘 / SVD / PCA 实现与 5 大高频面试考点。

#linear-algebra#svd#eigenvalue#four-subspaces#least-squares#projection#pseudoinverse#jacobian
📐 数理基础 MathFoundations

凸优化与矩阵求导全景:拉格朗日乘子法、KKT 条件、SVD 奇异值分解与梯度几何收敛

全量拆解机器学习与深度学习中的优化理论、矩阵微积分与线性代数核心定理。深入剖析矩阵求导法则 (Jacobian 雅可比矩阵, Hessian 黑塞矩阵与二次型);严密推导带约束优化问题中的拉格朗日乘子法 (Lagrange Multipliers) 与 KKT (Karush-Kuhn-Tucker) 条件 (原始可行性、对偶可行性、互补松弛性 Complementary Slackness);推导 SVD (Singular Value Decomposition 奇异值分解) 的矩阵正交因子化 $A = U Sigma V^T$ 与 Low-rank 低秩近似 (PCA & LoRA 原理);探讨凸函数 (Convex Function) 条件、对偶性 (Duality) 以及一阶/二阶梯度下降收敛几何解析。配备 Pure Numpy SVD 奇异值分解与 KKT 条件验证算子和 5 大高频面试考点。

#math#optimization#kkt-conditions#svd#matrix-calculus#convexity
📐 数理基础 MathFoundations

AI 数理基础全景:贝叶斯推断、香农信息熵、交叉熵与 KL 散度非对称证明

全量拆解人工智能与机器学习的概率统计与信息论数理基石。深入剖析贝叶斯定理 (Prior, Likelihood, Posterior, Evidence)、极大似然估计 (MLE) 与极大后验估计 (MAP) 的推导关系;解构香农信息量 I(x)、信息熵 H(X)、条件熵 H(Y|X) 与互信息 I(X;Y) 的推导;严密推导交叉熵 H(P, Q) 与 KL 散度 D_KL(P || Q) 的非对称性,证明 D_KL >= 0 (吉布斯不等式 / Jensen 不等式);探讨最大熵原理 (Maximum Entropy Principle) 以及变分自编码器 (VAE) 中的 ELBO 变分下界推导。配备 Pure Numpy KL 散度与交叉熵算子实现和 5 大高频面试考点。

#math#bayes-theorem#entropy#cross-entropy#kl-divergence#information-theory
📐 数理基础 MathFoundations

采样与蒙特卡洛方法:逆变换采样、拒绝采样、重要性采样、MCMC 与 Bootstrap 全景

全量拆解采样与蒙特卡洛方法的数理核心:逆变换采样 (Inverse CDF) 正确性证明、拒绝采样接受率推导、重要性采样方差分析与最优提议分布、MCMC (Metropolis-Hastings / Gibbs) 细致平衡与 burn-in 收敛诊断、参数/非参数 Bootstrap 重采样与置信区间、蒙特卡洛积分 O(1/sqrt(n)) 误差定律、分层采样与控制变量降方差技巧,以及与 LLM 解码 (top-k / top-p / temperature) 的采样联系。配备 Pure Numpy 逆变换 + 拒绝采样 + Bootstrap 置信区间实现与 5 大高频面试追问。

#sampling#monte-carlo#mcmc#bootstrap#importance-sampling#rejection-sampling#variance-reduction#llm-decoding
📐 数理基础 MathFoundations

统计推断与假设检验:分布族、极大似然、中心极限定理、p-value、置信区间与功效分析全景

全量拆解统计推断与假设检验的数理基石。覆盖常用分布族(正态/χ²/t/F/泊松/伯努利)参数关系总表、中心极限定理 CLT 与大样本近似、点估计(极大似然 MLE 与矩估计)的无偏性/一致性/有效性三性质、假设检验完整框架(H₀/H₁、两类错误、p-value 误区与多重比较 Bonferroni 校正)、z/t/卡方检验适用场景对比、置信区间解析解与 Bootstrap 重采样构建、功效分析与样本量公式 n=(z_α+z_β)²σ²/δ²,并系统串联机器学习实践(A/B 测试、评估指标显著性检验、McNemar 分类器对比)。配备 Pure Numpy 手写 t 检验与 Bootstrap 置信区间实现和 5 大高频面试考点。

#statistics#hypothesis-testing#clt#mle#confidence-intervals#p-value#power-analysis#bootstrap
📊 机器学习 MLFoundations

无监督聚类与 KNN:K-Means++ 坐标下降、DBSCAN 密度聚类、GMM 期望最大化 (EM) 与 KD-Tree 极客指南

深入剖析 K-Means 坐标下降与 K-Means++ 概率初始化、DBSCAN 密度可达性与噪点剔除、GMM 高斯混合模型与 EM 算法严密推导、KNN 维数灾难与 KD-Tree 空间分割搜索算法、数值手算与 Pure Numpy 实现。

#clustering#k-means#dbscan#em-algorithm#gmm#knn#kd-tree
📊 机器学习 MLFoundations

决策树与集成学习:CART、GBDT 负梯度拟合、XGBoost 二阶展开与 LightGBM 极客全解

系统化拆解决策树分裂指标 (Entropy/Gini)、Bagging 与 Boosting 偏差-方差分解、GBDT 负梯度拟合原理、XGBoost 二阶泰勒展开与叶子节点权重推导、LightGBM (GOSS/EFB) 优化机制、数值手算与 Pure Numpy 实现。

#decision-trees#gbdt#xgboost#lightgbm#ensemble-learning#random-forest
📊 机器学习 MLFoundations

线性与逻辑回归:数理推导、Log-Odds、极大似然、VIF检测与 Bias-Variance 全景全解

完整收录线性与逻辑回归的 5 大假设、OLS 求导、VIF 多重共线性检测、多项式特征交叉、Sigmoid vs Probit 激活对比、MLE 交叉熵推导、小样本 Bias-Variance 靶心模型与数值手算过程。

#linear-regression#logistic-regression#mle#vif#bias-variance#machine-learning
📊 机器学习 MLFoundations

机器学习评估指标与数据工程全景:分类/回归/排序(NDCG)、概率校准、不平衡采样与文本预处理极客指南

全量覆盖分类指标 (Precision/Recall/F-beta/Macro/Micro)、回归指标 (MSE/RMSE/MAPE/R2/Adjusted R2)、搜索推荐排序指标 (MRR/MAP/NDCG)、ROC vs PR 曲线、AUC 的 Mann-Whitney U 证明、Platt/Isotonic 概率校准、SMOTE/Hard Negative 采样、防泄漏交叉验证与文本预处理 (Stemming/Lemmatization)。

#evaluation-metrics#ndcg#mrr#auc-roc#f-beta#smote#probability-calibration#preprocessing
📊 机器学习 MLFoundations

概率图模型:朴素贝叶斯条件独立、HMM 维特比 (Viterbi) 动态规划与 CRF 解决标注偏置极客全解

深入剖析朴素贝叶斯条件独立性假设与拉普拉斯平滑、隐马尔可夫模型 (HMM) 三大核心问题、Viterbi 解码动态规划推导、MEMM 标注偏置问题 (Label Bias) 以及线性链条件随机场 (CRF) 全局归一化机制、数值手算与 Pure Numpy 实现。

#naive-bayes#hmm#viterbi#crf#sequence-labeling#probabilistic-models
📊 机器学习 MLFoundations

支持向量机 (SVM):最大间隔几何推导、对偶变换、KKT 条件与高斯 RBF 核技巧全解

深入剖析支持向量机 (SVM) 的几何与函数间隔、硬/软间隔优化问题、拉格朗日对偶变换与 KKT 条件、Hinge Loss 损失函数、Mercer 定理、四大核函数对比、数值手算推导以及 Pure Numpy 算法实现。

#svm#duality#kkt-conditions#rbf-kernel#hinge-loss#machine-learning
💻 MLE 机器学习工程师Interviews

MLE 算法手写实战:零基础 Pure Numpy 手写 LR、K-Means、Self-Attention 与 NMS

全量拆解 MLE 面试高频机器学习算法手写 (Whiteboard / Live Coding) 实战。深入剖析零依赖 Pure Numpy 实现逻辑回归 (Logistic Regression)、K-Means 迭代聚类、Softmax 数值防溢出技巧与 Self-Attention / NMS 算子。

#mle-coding#numpy#handwritten-ml#self-attention#nms
💻 MLE 机器学习工程师Interviews

MLE 机器学习工程师核心地图:高频八股、竞赛经验与 Pinterest 案例

全量拆解 MLE 岗位核心八股知识、Kaggle 竞赛调优技巧与工业级数据过滤流水线。

#mle#interview-prep#cheatsheet#kaggle
💻 MLE 机器学习工程师Interviews

MLE 数据与特征工程:质量管线、编码策略、不平衡处理、特征选择与漂移检测全景

全量拆解 MLE 数据与特征工程核心八股:数据质量四大威胁与清洗管线、缺失值填充策略对比(均值/中位数/预测填充)、Label/One-Hot/Target/OOF/Embedding 类别编码与防泄漏、标准化/归一化/分桶/Box-Cox 数值变换、多项式特征维数爆炸、SMOTE 与代价敏感不平衡处理、Filter/Wrapper/Embedded 特征选择、置换重要性与 SHAP、生产环境 PSI 漂移监控。配备 Pure Numpy OOF Target Encoding 实现与 5 大高频面试追问。

#feature-engineering#data-quality#target-encoding#smote#feature-selection#drift-detection#imbalanced-learning#psi
💻 MLE 机器学习工程师Interviews

MLE 模型评估与调试工程:交叉验证策略、数据泄漏、偏差方差诊断、漂移检测与 A/B 验证

完整覆盖 MLE 评估与调试工程链路:K-Fold/Stratified/GroupKFold/TimeSeriesSplit/留一法交叉验证策略对比、训练-验证-测试划分与数据泄漏防范、高偏差 vs 高方差系统化诊断流程(损失曲线、学习曲线、误差分析)、离线指标与业务指标对齐(PR vs ROC、成本敏感阈值)、模型监控与数据/概念漂移检测、A/B 测试上线验证。配备 Pure Numpy 交叉验证 + 学习曲线诊断实现与 5 大高频面试追问。

#evaluation#debugging#cross-validation#data-leakage#bias-variance#model-monitoring#drift-detection#ab-testing
💻 MLE 机器学习工程师Interviews

MLE 业务系统设计:推荐系统、搜索广告与风控架构全流程

全量拆解 MLE 业务系统设计 (Machine Learning System Design) 框架。深入剖析“召回 -> 粗排 -> 精排 -> 重排”推荐系统三阶段漏斗架构、双塔 DSSM、MMoE 多目标学习、ESMM 全空间建模、DPP 多样性重排与 Feature Store。

#mle-system-design#recommendation#search-ads#dssm#mmoe#feature-store#dpp
👁️ 多模态 MultimodalFoundations

语音与音频处理全景:Whisper 弱监督架构、梅尔声谱图与 Audio-LLM 原理解构

全量拆解语音与音频处理 (Speech & Audio Processing) 的信号学底座、弱监督大模型架构与原生 Audio-LLM 范式。深入剖析连续音频信号预处理:STFT (短时傅里叶变换)、梅尔刻度 (Mel Scale) 与 Log-Mel Spectrogram (声谱图) 提取;详尽解构 OpenAI Whisper 弱监督 Encoder-Decoder Transformer 架构与多任务 (ASR / Voice Activity Detection / Speech Translation) 范式;探讨离散音频 Codec (EnCodec, SoundStream, DAC) 离散 Token 化;解析原生多模态 Audio-LLM (如 GPT-4o Audio, Gemini Audio, Qwen-Audio) 在端到端语音交互中的超低延迟突破。配备 Pure Numpy Mel-Filterbank 滤波片算子实现和 5 大高频面试考点。

#audio-processing#whisper#log-mel-spectrogram#speech-recognition#audio-llm#encodec
👁️ 多模态 MultimodalFoundations

多模态对齐:CLIP 双塔对比学习、InfoNCE 损失、Zero-Shot 迁移与 SigLIP 原理解构

全量拆解多模态表征与跨模态对齐 (Multimodal Alignment) 的黄金标准——CLIP (Contrastive Language-Image Pre-Training) 及其衍生架构。深入剖析 Vision Tower (ViT/ResNet) 与 Text Tower (Transformer) 的双塔双向对比学习机制;严密推导 InfoNCE (Information Noise-Contrastive Estimation) 对比损失函数、温度参数 tau 缩放与双向交叉熵;探讨 Zero-Shot 迁移、Prompt Engineering 模版工程、Open-Vocabulary 开放词表分类;解析后续升级架构 SigLIP (Sigmoid Loss, 避免全局 Softmax 通信开销) 与 CoOp/CoCoOp 提示词优化。配备 Pure Numpy InfoNCE 与 Cosine Similarity 对比学习算子实现和 5 大高频面试考点。

#clip#contrastive-learning#infonce#siglip#multimodal-alignment#zero-shot
👁️ 多模态 MultimodalFoundations

扩散模型全景:DDPM 数理推导、Latent Diffusion (LDM)、DiT 架构与 GPT-4o Native 生成

全量拆解扩散生成模型 (Diffusion Models) 的数学物理底座、采样加速算法与原生生成演化。深入推导 DDPM (Denoising Diffusion Probabilistic Models) 前向加噪 Markov 链与反向去噪 U-Net 噪声预测器;严密推导闭式重参数化采样 x_t = sqrt(alpha_bar_t)*x_0 + sqrt(1-alpha_bar_t)*epsilon 与 Score Matching 损失;解析 DDIM 确定性加速采样与 Latent Diffusion Model (LDM / Stable Diffusion) 潜空间 VAE 压缩机制;对比 Diffusion Transformer (DiT: SORA / SD3) 将 U-Net 替换为 Patchified Transformer 的 Scaling 优势;探讨 GPT-4o Native 图像/音频多模态 Token 化生成与 Veo3 / Hypernetworks。配备 Pure Numpy DDPM 前向加噪与 Sampling 算子实现和 5 大高频面试考点。

#diffusion-models#ddpm#stable-diffusion#dit#latent-diffusion#sora
👁️ 多模态 MultimodalFoundations

视觉语言大模型 VLM 全景:ViT、Projector 桥接层、LLaVA 阶段训练与 DeepSeek-Janus Pro 原理解构

全量拆解视觉语言大模型 (Vision-Language Models, VLM) 的架构演进、跨模态投影层与指令对齐范式。深入剖析 VLM 经典“三段式”架构:Visual Encoder (ViT / EVA-CLIP)、Cross-Modal Projector (Linear Layer, MLP, Q-Former, Perceiver Resampler) 与 LLM 基座 (LLaMA / Qwen);详尽解构 LLaVA 两阶段训练:Stage 1 (特征对齐 - 冰冻 ViT 与 LLM,仅训练 Projector) + Stage 2 (视觉指令微调 - 端到端全量优化);探讨 Multi-Agent 视觉编排 (Visual ChatGPT);解析 DeepSeek-Janus Pro 在视觉理解 (Understanding) 与视觉生成 (Generation) 上的双路径解耦表达与统一自回归架构。配备 Pure Numpy Visual Token Projection 算子实现和 5 大高频面试考点。

#vlm#llava#deepseek-janus#q-former#projector#multimodal-llm
👁️ 多模态 MultimodalFoundations

世界模型与 JEPA 全景:Yann LeCun 非生成式表征预测、I-JEPA / V-JEPA 与具身智能 (VLA) 落地

全量拆解世界模型 (World Models) 与 Yann LeCun 主张的 JEPA (Joint Embedding Predictive Architecture) 联合嵌入预测架构及其在具身智能 (Embodied AI) 中的工程落地。深入剖析非生成式 (Non-Generative) 预测哲学:为什么像素级生成 (Pixel-Level Reconstruction) 是巨大的计算浪费?详尽解构 I-JEPA (Image-JEPA) 语义块掩码预测、V-JEPA (Video-JEPA) 时空物理动态预测;推导防止表征塌陷 (Representation Collapse) 的 Stop-gradient 与 EMA (指数移动平均) Target Encoder 机制;探讨基于世界模型物理演化的 MCTS 动作轨迹规划与 VLA (Vision-Language-Action 视觉-语言-动作) 机器人控制模型 (如 RT-2 / Octo)。配备 Pure Numpy JEPA Representation Loss 与 Stop-gradient 算子实现和 5 大高频面试考点。

#world-models#jepa#i-jepa#v-jepa#yann-lecun#embodied-ai#robotics
🎮 强化学习 RLFoundations

智能体 RL 与推理搜索全景:MCTS 蒙特卡洛树搜索、PRM 过程监督与 RLVR 可验证奖励

全量拆解智能体强化学习 (Agentic RL) 与慢思考推理搜索 (Reasoning Search / System 2) 的前沿理论与工程实现。深入剖析 Agent 轨迹优化 (Trajectory Optimization)、长链环境反馈反思与 Hindsight 引导自蒸馏;详尽推导蒙特卡洛树搜索 (MCTS: Selection, Expansion, Simulation, Backpropagation) 与 AlphaGo / OpenAI o1 / DeepSeek-R1 推理树搜索演进;对比 Process Supervision (PRM 过程监督) 与 Outcome Supervision (ORM 结果监督) 的信用分配 (Credit Assignment);解析 RLVR (Reinforcement Learning with Verifiable Rewards) 在代码与数学逻辑中的无偏奖励进化。配备 Pure Numpy MCTS 节点搜索算子与 PRM 评估器实现和 5 大高频面试考点。

#agentic-rl#mcts#prm#orm#rlvr#reasoning-search#deepseek-r1#trajectory-optimization
🎮 强化学习 RLFoundations

多臂老虎机与在线决策:MAB 探索与利用、LinUCB、Thompson Sampling 与 Contextual Bandits 落地

全量拆解多臂老虎机 (Multi-Armed Bandits, MAB) 与情境老虎机 (Contextual Bandits) 在在线决策与搜广推系统中的数理体系。深入剖析探索与利用 (Exploration vs Exploitation) 权衡、Regret (遗憾值) 理论下界;推导 epsilon-Greedy、UCB1 (Upper Confidence Bound 霍夫丁不等式推导) 与 Thompson Sampling (贝叶斯采样) 算法;详解 Contextual Bandits (LinUCB 岭回归特征估计, LinRel) 及其在个性化新闻、搜索重排与推荐冷启动中的架构应用;探讨高维决策 Slate Bandits 与 Combinatorial Bandits。配备 Pure Numpy LinUCB 与 UCB1 在线决策算子实现和 5 大高频面试考点。

#bandits#mab#contextual-bandits#linucb#thompson-sampling#ucb#recsys
🎮 强化学习 RLFoundations

经典与深度强化学习全景:MDP 体系、Bellman 最优方程、DQN、Policy Gradient、PPO 与 SAC 原理解构

全量拆解强化学习 (Reinforcement Learning, RL) 与深度强化学习 (Deep RL) 的数理底座与算法体系。深入推导马尔可夫决策过程 (MDP)、Bellman 期望与最优动态规划方程;拆解 Value-Based 算法 (Q-Learning, SARSA, DQN, Double DQN, Dueling DQN, Rainbow);详尽推导 Policy Gradient 定理与 REINFORCE 算法;解析 Actor-Critic 范式 (A2C/A3C)、Generalized Advantage Estimation (GAE) 优势估计与 TRPO / PPO (Clipped Surrogate Objective) 信任域截断策略;探讨连续动作控制 DDPG、SAC (Soft Actor-Critic 熵最大化) 与 Model-Based RL (MBPO / World Models)。配备 Pure Numpy PPO 策略梯度与 Q-Learning 算子实现和 5 大高频面试考点。

#rl-foundations#mdp#bellman-equation#dqn#policy-gradient#ppo#trpo#sac#actor-critic
🎮 强化学习 RLFoundations

基于模型的强化学习与规划:世界模型、Dyna、MPC、MuZero 与 Dreamer 全景

全面拆解基于模型的强化学习 (Model-Based RL) 与规划 (Planning)。涵盖世界模型学习(状态转移与奖励函数的极大似然估计)、Dyna 架构真实与想象经验混合、Model-Based vs Model-Free 三维对比、MPC 规划目标 J = Σ r(s_t, a_t) 与 Random Shooting/CEM 采样优化、MuZero 潜空间动态模型 + MCTS(不显式建模奖励)、Dreamer RSSM 潜空间想象训练、世界模型与 JEPA 表征空间预测的联系,以及模型偏差与复合误差问题。配备 Pure Numpy Dyna-Q 网格世界实现与 5 大高频面试追问。

#model-based-rl#planning#world-models#mpc#muzero#dreamer#jepa#dyna
🎮 强化学习 RLFoundations

离线强化学习与模仿学习:分布偏移、行为克隆、CQL、IQL 与 RLHF/DPO 全景全解

系统解构离线强化学习 (Offline RL) 与模仿学习。深入分析固定数据集下的分布偏移 (Distribution Shift) 与 Q 值外推误差 (Extrapolation Error);推导行为克隆 (BC) 的 MLE 目标及其复合误差与因果混淆局限;完整推导保守 Q 学习 (CQL) 的 Q 值下界惩罚目标函数;解析隐式 Q 学习 (IQL) 的 Expectile 回归公式;梳理 Offline→Online 微调策略、离线偏好数据集与 DPO 的闭式目标,以及数据集质量、Reward Hacking 与 Off-Policy Evaluation 重要性采样估计。配备 Pure Numpy 实现与 5 大高频面试追问。

#offline-rl#imitation-learning#behavior-cloning#cql#iql#rlhf#dpo#off-policy-evaluation
🎓 RS 研究员 / 算法科学家Interviews

RS 核心知识地图:顶会必读 30 篇论文解构与深度强化学习 Deep RL

全量拆解 RS 算法科学家岗位核心知识地图。深入剖析顶会 Top 30 AI 论文解构框架、DPO 闭式解隐式奖励推导、PPO Clipped Loss 与 Deep RL 数理推导。

#research-scientist#top-papers#deep-rl#ppo#dpo#grpo#paper-breakdown
🎓 RS 研究员 / 算法科学家Interviews

RS 实验设计与可复现研究:消融实验、种子控制、超参搜索与可复现性全景全解

面向 RS (Research Scientist) 面试的实验设计与可复现研究完整指南。涵盖实验设计三原则、多种子方差控制、消融实验规范、网格/随机/贝叶斯超参搜索对比与预算分配、TensorBoard/W&B 日志清单、可复现性检查清单、Train-Val 泄漏、测试集污染、选择偏差与 Bonferroni 多重比较等常见坑,以及从论文阅读到数字重现的完整复现流程。配备 Pure Numpy 网格搜索 + 多种子聚合实现。

#experiment-design#reproducibility#ablation-study#hyperparameter-search#seed-control#tensorboard#paper-reproduction#research-methodology
🎓 RS 研究员 / 算法科学家Interviews

RS 数学推导与白板面经:PPO 剪切损失、DPO 闭式解与 RoPE 旋转矩阵

全量拆解 RS 算法科学家白板推导核心数学公式。严密推导 DPO 闭式解与隐式奖励函数、PPO 剪切悲观下界证明、RoPE 相对位置旋转复数同构、Attention 缩放方差与 Score SDE 逆向扩散方程。

#math-proofs#ppo-derivation#dpo-derivation#rope-proof#attention-scaling#score-sde
🎓 RS 研究员 / 算法科学家Interviews

RS 论文拆解与研究 Vision:如何向面试官复述 SOTA 论文创新点

全量拆解 RS 算法研究科学家面试中的 SOTA 论文拆解四步法、个人 3-5 年 Research Vision 阐述技巧、DeepSeek-R1 纯 RL 涌现机制剖析与审稿人视角批判性思维。

#paper-deep-dive#research-vision#deepseek-r1#academic-taste#grpo#inference-scaling#peer-review
🏗️ 工业级系统设计Foundations

业界经典 System Case Studies:Pinterest 视觉搜索与 Netflix 推荐系统

全量解构 Pinterest 与 Netflix 两大业界经典案例:图嵌入与 ANN 亿级视觉相似检索、多模态表征、双阶段候选生成-排序、去重与多样性重排、A/B 实验文化,并提炼可迁移的候选生成-排序-多样性-实验模板与工业案例面试答题框架。

#system-design#case-study#pinterest#netflix#pinsage#ann-embedding#recommendation#ab-testing
🏗️ 工业级系统设计Foundations

大模型 RAG 与 Agent 生产级系统架构:多租户隔离、流式服务与高可用

全量拆解企业级大模型 RAG 知识库与 Agent 生产系统高可用架构。涵盖离线 Chunking-Embedding-Index 索引流水线、在线混合检索-重排-生成链路、Planner/Executor/Memory 与 ReAct 工具调用循环、上下文工程与长上下文管理、RAGAS 评测体系,以及语义缓存、并行检索与 SSE 流式输出等延迟与成本优化手段。

#system-design#rag-system-design#agent-system-design#multi-tenancy#sse-streaming#semantic-cache#context-engineering#ragas-eval
🏗️ 工业级系统设计Foundations

多模态生成系统架构设计:图像/视频生成服务、模型切片与 GPU 动态扩缩容

全量拆解工业级 Stable Diffusion / Sora 图像与视频生成服务系统架构。剖析扩散模型管线 (Text Encoder-UNet/DiT-VAE)、多阶段视频级联、推理加速 (SDXL Turbo/LCM/蒸馏)、模型选型对比、GPU 成本估算、内容安全审核与在线评测,以及队列/批处理/缓存在线服务模式。

#system-design#multimodal-system-design#diffusion-serving#task-queue#gpu-scaling#text-to-image#inference-acceleration#content-safety
🏗️ 工业级系统设计Foundations

推荐系统工业级架构设计:召回-精排-重排三阶段、双塔模型与离在线一致性 Feature Store

全量拆解亿级用户推荐系统工业级架构与工程落地。剖析“召回 (Retrieval) -> 粗排 (Pre-Ranking) -> 精排 (Heavy Ranking) -> 重排 (Re-Ranking & Diversity)”三阶段漏斗架构;解构 Two-Tower 双塔模型 (DSSM) 向量化召回、Deep & Cross Network (DCN-v2) / DeepFM 精排与 MMoE 多目标优化;推导 Feature Store 离在线特征一致性 (Kafka + Flink 实时特征拼装与 Redis 读写);推导 Point-in-Time 特征穿越防护与 AUC / GAUC / NDCG 评估及在线 A/B 实验。配备 Pure Python 双塔训练/召回/NDCG 算子与 5 大高频面试考点。

#system-design#recommendation-system#two-tower-model#mmoe#feature-store#ranking#deepfm#dcn
🏗️ 工业级系统设计Foundations

实时风控与欺诈检测系统架构:流批一体、图风控与实时特征工程

全量拆解金融级实时风控与黑灰产欺诈检测系统架构。深入剖析规则引擎、Flink 流批一体与图风控。

#system-design#risk-control#fraud-detection#flink#graph-risk#rule-engine#anomaly-detection#imbalanced-learning
🏗️ 工业级系统设计Foundations

搜索与计算广告系统设计:Query 意图理解、分布式倒排索引、RTB 竞价与 pCTR 预估

全量拆解搜索引擎与计算广告系统的工业级架构:Query 规范化/分词/改写/实体识别、分布式倒排索引与跳表求交、Recall@K/MRR/NDCG 指标推导、Pointwise/Pairwise/Listwise 与双塔精排、广告定向与 pCTR/pCVR 特征体系、eCPM = pCTR × pCVR × bid 竞价公式、GSP 与 VCG 拍卖对比、广告与自然结果混排、PID 预算平滑与冷启动策略,并附可运行的 Pure Numpy 实现。

#system-design#search-engine#advertising-system#rtb#inverted-index#pctr#learning-to-rank#gsp-auction