Research: Paper Reading & Critical Analysis: 如何判断一篇论文的贡献是否可信？

Core Concept: 看 baseline 是否强且公平、消融是否充分、是否有统计显著性与多次运行、细节是否足以复现、增益是否既有统计意义又有实际意义。

数学机理：<strong>可信度的检验维度</strong>——(1) <strong>baseline 强度</strong>——(a) <strong>包含对象</strong>——经典方法（如 ResNet/BM25）、当前 SOTA、以及<strong>同预算下的强工程实现</strong>；(b) <strong>弱 baseline 的陷阱</strong>——与老旧或未调优的 baseline 比较会虚高增益；(c) <strong>判断</strong>——baseline 是否用了同样的数据、同样的训练预算、同样的调参努力。(2) <strong>公平性</strong>——(a) <strong>相同协议</strong>——数据划分、预处理、超参搜索空间、评估脚本一致；(b) <strong>调参预算</strong>——各方法是否得到相同的调参机会；(c) <strong>红旗</strong>——baseline 用了较差配置而新方法用了最优配置。(3) <strong>消融（ablation）</strong>——(a) <strong>充分性</strong>——是否逐个移除/替换每个组件，证明每部分的贡献；(b) <strong>对照</strong>——而非只报'完整方法最好'；(c) <strong>交互</strong>——组件之间是否有协同（需组合消融）。(4) <strong>统计严谨性</strong>——(a) <strong>多次运行</strong>——报告均值 ± 标准差（而非单次最好）；(b) <strong>显著性</strong>——配对检验、置信区间；(c) <strong>种子选择</strong>——是否只报最好种子（cherry-picking）。(5) <strong>可复现性</strong>——(a) 是否提供超参、数据版本、代码；(b) 细节是否足以让第三方复现；(c) 是否有第三方复现报告。(6) <strong>实际意义（practical significance）</strong>——(a) <strong>统计显著 ≠ 实际重要</strong>——大样本下微小差异也可显著；(b) <strong>判断</strong>——增益是否值得其成本（计算、复杂度、维护）；(c) <strong>相对 vs 绝对</strong>——'相对提升 20%' 但绝对值从 0.5%→0.6% 意义有限；(d) <strong>效应量</strong>——用 Cohen's d 等衡量。(7) <strong>其他信号</strong>——(a) <strong>同行评审与引用</strong>——是否被顶会接收、后续是否被采用；(b) <strong>开源与复现</strong>——社区能否复现；(c) <strong>作者声誉</strong>——作为弱信号；(d) <strong>结果一致性</strong>——多个指标是否一致改善（而非只挑一个）。(8) <strong>批判性问题清单</strong>——(a) baseline 公平吗？(b) 消融充分吗？(c) 有显著性检验吗？(d) 能复现吗？(e) 增益实际吗？(f) 代价是什么？<strong>与其他问题的关系</strong>——(a) 与实验设计与消融；(b) 与识别隐性假设；(c) 与复现。<strong>度量</strong>——(a) 报告的运行次数与方差；(b) 是否含置信区间；(c) 增益的绝对量与成本比。

深度剖析与工程权衡：① <strong>弱 baseline 是虚高增益的主因</strong>——面试中能指出'baseline 是否同预算同协议'是深度理解的标志。② <strong>只报最好种子是常见问题</strong>——应报告均值与方差。③ <strong>统计显著不等于实际重要</strong>——需看效应量与绝对增益。④ <strong>消融要逐个移除</strong>——只报整体结果不算消融。⑤ <strong>可复现性是可信度的硬指标</strong>——细节不足则存疑。⑥ <strong>多指标一致改善才可信</strong>——只挑一个指标改善需警惕。⑦ <strong>面试要点</strong>——被问怎么判断论文贡献，应给出'<strong>baseline 强度与公平性 + 充分消融 + 统计显著性与多次运行 + 可复现性 + 实际意义与成本</strong>'；能指出弱 baseline 与只报最好种子是深度理解的标志。