Files
worldquant-alpha-system/.scratch/research-migration/acceptance/worldquant-live.md
T

4.8 KiB
Raw Blame History

WorldQuant 真实联调验收

日期:2026-09-08。用户在当前对话明确授权使用 account.json 连接真实 WorldQuant,并再次确认可以真实回测。本次使用项目现有业务接口与回测调度器,执行真实认证、目录查询、6 条模拟、结果收集和 PnL 查询;未正式提交 Alpha、触发官方检查或修改平台属性。

真实执行结果

所有模拟限定 REGULAR / FASTEXPR / EQUITY、USA、Delay 1,单条顺序执行。第 3 条使用 TOP1000,其余使用 TOP3000;共 6 次模拟、5 个不同 Alpha ID。

阶段及场景 Alpha ID 结果
一:模板展开及来源 KPOE0M9g 完成,保存候选预览、回测结果与模板版本
一:结构变体 wpYExOel 完成,保留种子、表达式改动与研究来源
一:设置变体 gJQ9E3km 完成,保持表达式,独立固定 TOP1000 输入并保留原输入
二:特征方案转模板 Vk63gxAJ 完成,保存特征版本、候选、结果与规则报告
三:固定研究流水线 KPOE0M9g 一轮 8 步完成,1 条真实模拟;平台返回与首条相同的 Alpha,两次研究来源都保留
四:QuantFlow 原生节点 O0rxaPOJ 6 节点完成,1 条真实模拟、0 次模型调用

采用价格变化及截面排序表达式,仅用于接口与执行链验收。特征 Alpha 的版本化规则评估为 block;模拟成功不代表质量规则通过或可正式提交。

固定流水线的模型步骤使用本地确定性测试输出,记账 1 次;没有调用真实模型供应商。真实模型生成质量不在这次 WorldQuant 联调结论中。

元数据、成果与追溯

  • 官方认证成功;读取 101 个算子、46 组合法模拟设置。
  • USA/TOP3000/D1 和 USA/TOP1000/D1 分别完成 pv1 目录同步及固定输入,各含 24 个字段;close 的字段详情返回 48 条可用范围记录。
  • 查询基线 KPOE0M9g 与结构变体 wpYExOel 的真实 PnL,取得 2,494 个共同日期,窗口为 2014-01-02 至 2023-12-29;设置一致,共同窗口比较成功。
  • 关系查询返回 6 个相关实验及 4 条父来源边,包括准备阶段尚未回测的实验。基线 Alpha 同时保留模板与流水线两条已回测来源。
  • 重新同步 Vk63gxAJ 后,评估报告 541982d6-5f41-4d40-b42e-da3cd631a77c 的内容完全不变。
  • PnL 初次查询遇到平台异步准备;首次限制为单次读取的验收进程返回 pending。按项目正常的 4 次读取重试配置等待后,两份 PnL 均取得。该过程没有再次发送模拟。

实际发现及修复

  1. 字段可用性协议:真实 /data-fields/{id} 使用 data 数组,行内不带 instrumentType。新增该形式的适配,instrument 仅来自明确的请求上下文;市场、股票池、Delay 仍必须由响应逐项提供。缺失或异常项目维持待核实;返回字段 ID 不符时不覆盖旧快照。
  2. Alpha 设置协议:真实结果包含可执行的 maxPosition 和历史窗口 startDate/endDate。OPTIONS 明确 maxPosition 为可选 ON/OFF 参数,而 startDate/endDate 不在 POST settings 中。新增 maxPosition,种子转换只排除这两个历史窗口字段,原始快照完整保留;未知执行参数仍严格拒绝。旧研究授权按相同默认值比较,避免新默认字段导致恢复时误判越权。

第二项问题在设置变体准备阶段被发现,发生在第 3 次模拟发送之前。修复后复用前两条已完成结果,继续完成剩余 4 条;没有重跑已完成模拟。

验证与记录

  • 后端最终全量:224 passed,/tmp/wq-live-full-regression.log。
  • 浏览器:4 passed,覆盖普通回测、AI 固定确认、流水线和 QuantFlow,/tmp/wq-live-browser-regression.log。浏览器回归使用合成平台;上述 6 条真实模拟通过同一业务 API 和执行器执行。
  • Ruff、TypeScript 和 diff whitespace 检查通过。
  • 本次没有数据库 schema 变化;历史授权兼容已加入运行回归。
  • 真实运行与模拟引用、实验、模板/特征版本和评估保存在隔离数据库 /tmp/wq-research-live-20260908/research.sqlite。未覆盖业务数据库或原有前端布局改动。
  • 可核对的脱敏证据见 worldquant-live.json。无账户密码、会话令牌或模型密钥。
  • 可复用联调入口:backend/tests/research_live_acceptance.py,需显式 --execute;HTTP 钩子限制总模拟数为 6 并拒绝其他平台写入。--inspect-existing 只允许认证与读取;--resume 只在先前模拟均完整完成并记录时继续,不会对未知提交重发。

本次真实覆盖为一个市场、两个股票池和一个字段。其他市场组合及算子执行能力未逐一真实模拟;目录可用性与本地校验不能替代平台实际回测。