Probability Foundations: 解释协方差与相关系数，相关系数为 0 是否意味着独立？

Core Concept: 相关系数度量线性相关；为 0 只说明无线性关系，仍可能有强非线性依赖。

协方差 Cov(X,Y)=E[(X−μ_X)(Y−μ_Y)] 度量两变量<strong>共同偏离均值的趋势</strong>（同向为正、反向为负），但有量纲（依赖 X、Y 的尺度）。相关系数 ρ=Cov/(σ_Xσ_Y) 做了标准化，故无量纲且范围 [−1,1]；|ρ|=1 当且仅当 Y=aX+b（完全线性关系）。<strong>关键区分</strong>：ρ 只捕捉<strong>线性</strong>关联。经典反例是 Y=X² 且 X~U(−1,1)：此时 Cov(X,Y)=E[X³]=0（对称区间上奇函数的期望为 0），故 ρ=0，但 Y 完全由 X 决定——依赖极强而相关系数为 0。因此 <strong>独立 ⇒ 不相关</strong>（因为独立时 E[XY]=E[X]E[Y]，协方差为 0），但<strong>不相关 ⇏ 独立</strong>。

工程含义：① <strong>特征筛选的陷阱</strong>——用相关系数筛选特征会漏掉所有非线性相关的特征（如平方、周期性、分段关系），此时应改用<strong>互信息</strong>（能捕捉任意依赖）或<strong>距离相关</strong>；这在特征工程中是很常见的错误。② <strong>投资组合的经典结论</strong>——资产间相关系数越低，组合的风险分散效果越好（组合方差 = w₁²σ₁²+w₂²σ₂²+2w₁w₂ρσ₁σ₂）；但 2008 年金融危机中'低相关'资产同时暴跌，说明相关性在极端行情下会<strong>结构性上升</strong>（尾部相关），这是风险管理的核心教训。③ <strong>高斯分布的特殊性</strong>——对<strong>联合高斯</strong>分布，ρ=0 <strong>等价于</strong>独立（因为高斯分布完全由均值与协方差决定）；这解释了为什么很多方法（如 PCA、因子分析、卡尔曼滤波）在高斯假设下能仅用二阶统计量工作，但对非高斯数据需更高阶矩。④ <strong>偏相关</strong>——控制其他变量后的相关性（如偏相关系数）用于识别直接 vs 间接关联，是因果推断中的基本工具。