线性链条件随机场

线性链条件随机场 (CRF) 是序列标注的判别式概率模型,直接对条件概率 $P(y \mid x)$ 建模而非联合分布 $P(x, y)$。给定观测 $x$,标记序列 $y$ 的条件概率为

其中 $f_k$ 是特征函数(转移特征 $f_k(y_{t-1},y_t,x,t)$ 与状态特征 $f_l(y_t,x,t)$ 统一编号),可任意组合重叠的观测特征;配分函数 $Z(x) = \sum_y \exp(\cdot)$ 对所有标记序列求和,保证概率归一化。参数 $\lambda$ 通过最大化带 L2 正则的条件对数似然学习,目标为凸函数;给定参数后最优标记序列用维特比算法求。

词性标注、命名实体识别、分词、浅层句法分析等序列标注任务;面试常考与 HMM 的对比与标注偏置 (label bias) 问题。

HMM 是生成式模型 — 需显式建模观测分布且特征必须独立输出、不能重叠;更关键的是 HMM/MEMM 的局部归一化导致标注偏置:概率质量在每个状态局部归一化,易被“吸”向出边少的路径、偏好低分支状态。CRF 以全局归一化 $Z(x)$ 消除标注偏置,特征可任意重叠、充分表达观测上下文,条件似然目标凸保证全局最优;代价是训练需迭代优化(如 L-BFGS/梯度上升),推断需计算 $Z(x)$,训练比 HMM 慢。

检验攻克程度：针对「线性链条件随机场」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。