Files
worldquant-alpha-system/docs/worldquant-knowledge-base/05-research-practice/validation.md
T
2026-09-07 20:03:16 +08:00

1.7 KiB

从 idea 到候选的验证关卡

以下是研究纪律建议,具体平台测试阈值必须按当期账户、Alpha 类型与地区取得。

关卡 需要的证据 不通过时
来源与语义 字段真实存在,含义/单位/时间可解释 停止生成,补资料
时间正确性 披露与可用时间、delay、修订、回填不泄漏未来 修正数据处理后重做
数值正确性 分母、缺失、截面/时序轴、缩放、中性化顺序 用小样本核对中间值
机制对照 raw baseline、消融、反向或替代解释 无证据则换假设,不继续调参
稳健性 分年、子宇宙、成本/可投资约束、参数邻域 标注作用域或淘汰
冗余与增量 本地同族/SC、组合增量、同时回撤 与旧候选比较替换价值
平台终验 当前要求的 checks 已解析,PC/SC 等状态明确 pending/unknown 留待验证
裁定与追溯 原始输入/结果/版本完整,提交行为另有明确授权 只保留候选记录

反过拟合不是“最多几个算子”就能完成。记录全部尝试、预定评价窗口、只在留出窗口最后评价,并明确平台 OS 是否已被反复用来调参。反复看过的 OS 已参与选择,不能继续称为完全独立验证。

大规模搜索时特别检查:收益是否集中在某一年;低 PC 是否只来自缺失或不同日期;高 Sharpe 是否由不可投资的极端持仓产生;同一模板换字段是否仍是同一风险来源;回填是否把旧事件变成持续仓位。

本知识库中的研究方向没有经过上述实际回测终验,均是待研究候选。