Files
worldquant-alpha-system/docs/worldquant-knowledge-base/05-research-practice/validation.md
T
yuxuanhui a1b160e1b0 Update knowledge base with recent forum insights and clarifications
- Added new sections on missing data handling and experimental variables in data and signal semantics (2026-09-25).
- Included clarifications on clustering representatives and candidate evaluations in portfolio and correlation optimization (2026-09-25).
- Updated README to reflect the latest forum synchronization and new post counts, including significant additions and revisions across multiple topics (2026-09-25).
2026-09-25 10:38:15 +08:00

2.5 KiB

从 idea 到候选的验证关卡

以下是研究纪律建议,具体平台测试阈值必须按当期账户、Alpha 类型与地区取得。

关卡 需要的证据 不通过时
来源与语义 字段真实存在,含义/单位/时间可解释 停止生成,补资料
时间正确性 披露与可用时间、delay、修订、回填不泄漏未来 修正数据处理后重做
数值正确性 分母、缺失、截面/时序轴、缩放、中性化顺序 用小样本核对中间值
机制对照 raw baseline、消融、反向或替代解释 无证据则换假设,不继续调参
稳健性 分年、子宇宙、成本/可投资约束、参数邻域 标注作用域或淘汰
冗余与增量 本地同族/SC、组合增量、同时回撤 与旧候选比较替换价值
平台终验 当前要求的 checks 已解析,PC/SC 等状态明确 pending/unknown 留待验证
裁定与追溯 原始输入/结果/版本完整,提交行为另有明确授权 只保留候选记录

反过拟合不是“最多几个算子”就能完成。记录全部尝试、预定评价窗口、只在留出窗口最后评价,并明确平台 OS 是否已被反复用来调参。反复看过的 OS 已参与选择,不能继续称为完全独立验证。

大规模搜索时特别检查:收益是否集中在某一年;低 PC 是否只来自缺失或不同日期;高 Sharpe 是否由不可投资的极端持仓产生;同一模板换字段是否仍是同一风险来源;回填是否把旧事件变成持续仓位。

本知识库中的研究方向没有经过上述实际回测终验,均是待研究候选。

2026-09-25 补充:冻结发生在看结果之前

时间前推与冻结流程(2026-09-21,社区方法建议)区分历史分年诊断、时间前推与前瞻观察。看过完整历史后再按年拆分,不能恢复被选择过程用掉的独立性。每个验证段开始前记录表达式、完整 settings、冻结时间和淘汰条件;改动生成新版本,保留失败段,汇总冻结后各段的日收益,而非只展示最好一段或平均各段 Sharpe。

若标签或持有期跨越分割点,隔离范围应依据实际重叠,而非机械等于最长回看窗口。冻结卡和影子观察是研究建议,不是平台提交规则,也不能据此把个人留出段称为平台隐藏 OS。本轮未复核文中外部论文或运行验证实验。