线性链条件随机场

线性链条件随机场 (CRF) 是序列标注的判别式概率模型,直接对条件概率 $P(y \mid x)$ 建模而非联合分布 $P(x, y)$。给定观测 $x$,标记序列 $y$ 的条件概率为

其中 $f_k$ 是特征函数(转移特征 $f_k(y_{t-1},y_t,x,t)$ 与状态特征 $f_l(y_t,x,t)$ 统一编号),可任意组合重叠的观测特征;配分函数 $Z(x) = \sum_y \exp(\cdot)$ 对所有标记序列求和,保证概率归一化。参数 $\lambda$ 通过最大化带 L2 正则的条件对数似然学习,目标为凸函数;给定参数后最优标记序列用维特比算法求。

词性标注、命名实体识别、分词、浅层句法分析等序列标注任务;面试常考与 HMM 的对比与标注偏置 (label bias) 问题。

HMM 是生成式模型 — 需显式建模观测分布且特征必须独立输出、不能重叠;更关键的是 HMM/MEMM 的局部归一化导致标注偏置:概率质量在每个状态局部归一化,易被“吸”向出边少的路径、偏好低分支状态。CRF 以全局归一化 $Z(x)$ 消除标注偏置,特征可任意重叠、充分表达观测上下文,条件似然目标凸保证全局最优;代价是训练需迭代优化(如 L-BFGS/梯度上升),推断需计算 $Z(x)$,训练比 HMM 慢。

写出线性链 CRF 的势函数 $P(y \mid x) = \frac{1}{Z(x)}\exp(\sum_t \sum_k \lambda_k f_k(y_{t-1},y_t,x,t))$,并说明 $Z(x)$ 的作用?

CRF 与 HMM 的区别?(判别式 vs 生成式、特征是否可重叠、归一化方式)

什么是标注偏置 (label bias) 问题?MEMM/HMM 为什么会有、CRF 如何解决?

CRF 训练的目标函数是什么?为什么是凸的?推断用的是什么算法?

CRF 的配分函数 $Z(x)$ 如何计算?复杂度与 HMM 前向算法有何关系?