Research: Experiment Design & Ablations: 如何避免'调参偏向自己方法'的偏差？

Core Concept: 给所有方法相同预算的调参、只在验证集上调参、使用相同搜索空间与协议，或采用无偏的随机搜索，并明确报告各方法的调参预算。

数学机理：<strong>调参偏向（tuning bias）的来源与消除</strong>——(1) <strong>来源</strong>——(a) <strong>预算不均</strong>——研究者对自己方法投入更多调参（时间/算力），baseline 用默认或粗略配置；(b) <strong>搜索空间不均</strong>——自己方法的超参空间更精心设计；(c) <strong>人为精调</strong>——研究者凭直觉反复调整自己方法，而 baseline 只跑一次；(d) <strong>结果</strong>——增益部分来自'更好的调参'而非'更好的方法'。(2) <strong>相同预算原则</strong>——(a) <strong>定义</strong>——各方法获得相同的超参搜索次数/算力预算；(b) <strong>例</strong>——若新方法搜了 100 组，baseline 也应搜 100 组；(c) <strong>实现</strong>——统一搜索框架（如 Optuna），对每个方法跑相同 trials。(3) <strong>相同协议</strong>——(a) 相同搜索空间（各自超参的合理范围）；(b) 相同搜索算法（网格/随机/贝叶斯）；(c) 相同评估指标与数据。(4) <strong>验证集调参</strong>——(a) <strong>原则</strong>——超参只在<strong>验证集</strong>上选择，<strong>测试集</strong>仅用于最终报告；(b) <strong>理由</strong>——在测试集上调参会过拟合测试集，指标虚高；(c) <strong>常见错误</strong>——反复在测试集上试不同配置直到满意（测试集泄漏）。(5) <strong>无偏搜索</strong>——(a) <strong>随机搜索</strong>——比人工精调更无偏（人工会偏向自己方法）；(b) <strong>自动调参</strong>——用同一框架对所有方法调参；(c) <strong>报告</strong>——记录搜索轨迹。(6) <strong>透明报告</strong>——(a) 报告每方法的调参预算（trials/GPU 小时）；(b) 报告最终超参；(c) 报告搜索空间；(d) <strong>接受审计</strong>——他人可复现调参过程。(7) <strong>其他偏差</strong>——(a) <strong>实现偏差</strong>——自己方法实现更优（用更多工程优化）；(b) <strong>数据偏差</strong>——自己方法用了更多数据；(c) <strong>评估偏差</strong>——自己方法只报有利指标；(d) <strong>对策</strong>——用官方/公开实现做 baseline，统一数据与评估。(8) <strong>实践建议</strong>——(a) <strong>先调 baseline 到最好</strong>——再与自己方法比；(b) <strong>用公开实现</strong>——减少实现偏差；(c) <strong>预算对齐</strong>——明确声明；(d) <strong>预注册</strong>——实验前定好协议与假设。<strong>与其他问题的关系</strong>——(a) 与确定 baseline（同预算强实现）；(b) 与公平对比协议；(c) 与消融实验。<strong>度量</strong>——(a) 各方法调参预算是否一致；(b) 是否用验证集调参；(c) 测试集是否被反复使用。

深度剖析与工程权衡：① <strong>调参偏向是增益虚高的隐蔽来源</strong>——面试中能指出这点是深度理解的标志。② <strong>相同预算是公平的核心</strong>——新方法搜 100 组则 baseline 也应搜 100 组。③ <strong>测试集只能用于最终报告</strong>——反复试配置是测试集泄漏。④ <strong>随机搜索比人工精调更无偏</strong>——人工会偏向自己方法。⑤ <strong>用公开实现做 baseline 减少实现偏差</strong>。⑥ <strong>透明报告调参预算</strong>——接受审计。⑦ <strong>面试要点</strong>——被问怎么保证公平比较，应给出'<strong>相同调参预算 + 相同搜索空间与算法 + 验证集调参（测试集只最终报告）+ 随机/自动搜索 + 公开实现 baseline + 透明报告</strong>'；能指出测试集泄漏与预算不均是深度理解的标志。