TalentMe Science Depth: Universal Applied Science & ML Depth Problem Bank

Core Concept: 条件概率是'已知部分信息后重新分配概率'；全概率公式把复杂事件按完备划分拆开加权。

Core Concept: 后验 ∝ 似然 × 先验；先验编码已有信念，似然由数据提供，后验是更新后的信念。

Core Concept: 独立是 P(A∩B)=P(A)P(B)；条件独立是给定 C 后独立。朴素贝叶斯假设特征在类别下条件独立，方差换偏差。

Core Concept: 期望线性无条件成立；方差可加需要不相关（独立是充分条件）。

Core Concept: 马尔可夫用一阶矩界尾概率，切比雪夫用二阶矩；都很松，但无需分布假设。

Core Concept: Bernoulli/Binomial/Poisson（离散），Uniform/Gaussian/Exponential/Beta/Gamma（连续）。

Core Concept: n 大 p 小时 Binomial(n,p) → Poisson(np)；泊松是稀有事件的极限。

Core Concept: i.i.d. 有限方差下，标准化样本均值依分布收敛到 N(0,1)；误差是多因素叠加的自然结果。

Core Concept: Beta(a,b) 定义在 [0,1]，a、b 可理解为'成功/失败伪计数'；是 Bernoulli 的共轭先验。

Core Concept: 尾概率衰减慢于指数（如 Pareto/对数正态）；极端值主导均值，样本均值收敛慢且不稳定。

Core Concept: 自信息是 -log p；熵是自信息的期望；交叉熵 = 熵 + KL。

Core Concept: KL(p‖q) ≠ KL(q‖p)。前向（moment-covering）逼 q 覆盖 p 的支撑；反向（mode-seeking）让 q 收缩到 p 的众数。

Core Concept: 互信息衡量两变量共享的信息量；PMI 是单点对的信息贡献，MI 是 PMI 的期望。

Core Concept: 最小化交叉熵 = 最大化对数似然；两者仅差一个与参数无关的常数（数据熵）。

Core Concept: PPL 是模型在每步'等效犹豫的候选数'；PPL=exp(CE)，越低越好。

Core Concept: 特征向量是被矩阵线性变换后方向不变的向量；SVD 把任意矩阵分解为旋转-缩放-旋转。

Core Concept: 秩 = 线性无关列数 = 列空间维数；Ax=b 有解当且仅当 b 在列空间中。

Core Concept: 条件数大 → 输入微小扰动导致解剧烈变化；求解与优化都不稳定。

Core Concept: 伪逆通过 SVD 对非零奇异值取倒数构造，给出最小范数最小二乘解。

Core Concept: xᵀAx>0 对所有非零 x 成立；保证严格凸与唯一极小点。

Core Concept: 一阶项给梯度下降方向，二阶项（海森）描述曲率，决定步长与收敛速度。

Core Concept: 反向传播是链式法则在计算图上的高效实现：前向存中间值，反向按拓扑逆序累乘局部梯度。

Core Concept: 雅可比是多元函数的偏导矩阵；VJP 直接算'向量×雅可比'而不显式构造雅可比，省内存。

Core Concept: 把约束乘上 λ 加入目标；最优解处目标梯度与约束梯度共线。