Files
worldquant-alpha-system/docs/worldquant-knowledge-base/05-research-practice/validation.md
T
2026-09-07 20:03:16 +08:00

21 lines
1.7 KiB
Markdown

# 从 idea 到候选的验证关卡
以下是研究纪律建议,具体平台测试阈值必须按当期账户、Alpha 类型与地区取得。
| 关卡 | 需要的证据 | 不通过时 |
| --- | --- | --- |
| 来源与语义 | 字段真实存在,含义/单位/时间可解释 | 停止生成,补资料 |
| 时间正确性 | 披露与可用时间、delay、修订、回填不泄漏未来 | 修正数据处理后重做 |
| 数值正确性 | 分母、缺失、截面/时序轴、缩放、中性化顺序 | 用小样本核对中间值 |
| 机制对照 | raw baseline、消融、反向或替代解释 | 无证据则换假设,不继续调参 |
| 稳健性 | 分年、子宇宙、成本/可投资约束、参数邻域 | 标注作用域或淘汰 |
| 冗余与增量 | 本地同族/SC、组合增量、同时回撤 | 与旧候选比较替换价值 |
| 平台终验 | 当前要求的 checks 已解析,PC/SC 等状态明确 | pending/unknown 留待验证 |
| 裁定与追溯 | 原始输入/结果/版本完整,提交行为另有明确授权 | 只保留候选记录 |
反过拟合不是“最多几个算子”就能完成。记录全部尝试、预定评价窗口、只在留出窗口最后评价,并明确平台 OS 是否已被反复用来调参。反复看过的 OS 已参与选择,不能继续称为完全独立验证。
大规模搜索时特别检查:收益是否集中在某一年;低 PC 是否只来自缺失或不同日期;高 Sharpe 是否由不可投资的极端持仓产生;同一模板换字段是否仍是同一风险来源;回填是否把旧事件变成持续仓位。
本知识库中的研究方向没有经过上述实际回测终验,均是待研究候选。