fix: align research metadata with live WorldQuant responses

2026-09-08 23:32:52 +08:00
parent a6e36e50ec
commit c67031a7cb
16 changed files with 900 additions and 12 deletions
@@ -37,3 +37,7 @@
 真实 WorldQuant 联调脚本已准备：仅向官方 API 认证，读取算子、OPTIONS 设置及字段可用性，不保存凭据。沙箱内请求返回 network_error；提权执行被自动审批两次拒绝，理由为审批器未认可任务目标记录中的外部账户授权。已在当前对话发出明确授权确认问题，等待回复。本报告不把合成协议测试视为真实平台联调通过。

 可用性协议无法识别时明确标为待核实。完整的目标范围目录及独立固定输入可以提供字段存在证据；若存在额外字段级证据，则要求同时满足。原始时间序列离线特征计算、官方检查/提交、旧运行搬迁均不在本阶段范围。
+
+## 真实联调补充（2026-09-08）
+
+当前对话已取得真实平台授权；此前审批阻塞已解除。本阶段的真实 WorldQuant 验证已完成，执行结果、协议修复和仍未覆盖的范围见 [真实联调验收](worldquant-live.md)。自动研究模型步骤仍使用本地确定性输出，未调用真实模型供应商。
@@ -34,3 +34,7 @@
 关系图响应限制 100 个实验、8 层；截断时明确提示并提供边界继续展开。每条原始回测来源仍可分页完整读取。评估模型解释一次最多使用 20 条规则记录，保存选取范围，不改变完整规则报告。特征步骤不执行原始时间序列离线计算。

 真实 WorldQuant 元数据与实际模拟仍因自动审批要求当前对话明确授权而未验证；此前已发出授权问题，不以合成平台测试代替真实联调。
+
+## 真实联调补充（2026-09-08）
+
+当前对话已取得真实平台授权；此前审批阻塞已解除。本阶段的真实 WorldQuant 验证已完成，执行结果、协议修复和仍未覆盖的范围见 [真实联调验收](worldquant-live.md)。自动研究模型步骤仍使用本地确定性输出，未调用真实模型供应商。
@@ -37,3 +37,7 @@
 ## 仍需联调

 真实平台协议和真实模拟仍待此前授权问题得到当前对话确认；此处所有模型与平台均为合成响应，不作为真实平台验收记录。模型配置必须已测试启用，固定流水线使用现有 REGULAR / FASTEXPR / EQUITY 和单账户、单后端执行边界。
+
+## 真实联调补充（2026-09-08）
+
+当前对话已取得真实平台授权；此前审批阻塞已解除。本阶段的真实 WorldQuant 验证已完成，执行结果、协议修复和仍未覆盖的范围见 [真实联调验收](worldquant-live.md)。自动研究模型步骤仍使用本地确定性输出，未调用真实模型供应商。
@@ -44,3 +44,7 @@
 首版迭代重复整个流程，普通节点各接受一个上游，汇总允许多个上游；不提供任意脚本、CLI、外部事件自动启动或正式 Alpha 提交。流程编辑与启动分开，扩大预算和范围须重新确认新运行。

 真实 WorldQuant 认证、元数据协议及模拟联调仍待当前对话确认授权。自动审批此前拒绝了读取 account.json 后向官方平台联调的提权命令，理由是未将任务目标记录中的授权认可为当前用户消息授权；没有绕过审批。本轮合成测试不能证明真实字段可用性和平台合法设置协议已联调通过。
+
+## 真实联调补充（2026-09-08）
+
+当前对话已取得真实平台授权；此前审批阻塞已解除。本阶段的真实 WorldQuant 验证已完成，执行结果、协议修复和仍未覆盖的范围见 [真实联调验收](worldquant-live.md)。自动研究模型步骤仍使用本地确定性输出，未调用真实模型供应商。
@@ -0,0 +1,229 @@
+{
+  "platform": "https://api.worldquantbrain.com",
+  "model": "local deterministic fixture, no external model",
+  "simulation_cap": 6,
+  "simulations_sent": 6,
+  "stages": [
+    {
+      "stage": "authentication",
+      "status": "connected"
+    },
+    {
+      "stage": "metadata",
+      "operators": 101,
+      "setting_rows": 46
+    },
+    {
+      "stage": "fixed_input",
+      "id": "17d94919-5d4f-4d0d-a3ba-d810320ca270",
+      "scope": {
+        "instrument_type": "EQUITY",
+        "region": "USA",
+        "universe": "TOP3000",
+        "delay": 1
+      },
+      "fields": 24,
+      "availability_rows": 48
+    },
+    {
+      "stage": "simulation_intent",
+      "count": 1,
+      "total": 1
+    },
+    {
+      "stage": "backtest",
+      "id": "5b239663-20f0-4d59-8e9f-3d88c68811ff",
+      "status": "completed",
+      "results": [
+        {
+          "alpha_id": "KPOE0M9g",
+          "status": "completed",
+          "error": null,
+          "complete": true
+        }
+      ]
+    },
+    {
+      "stage": "stage1_template",
+      "experiment_id": "5b60900a-d48b-48f3-b04b-a7746cd587e0",
+      "preview_id": "f990c038-6e6b-4a94-bab7-771489ff571d",
+      "run_id": "5b239663-20f0-4d59-8e9f-3d88c68811ff"
+    },
+    {
+      "stage": "simulation_intent",
+      "count": 1,
+      "total": 2
+    },
+    {
+      "stage": "backtest",
+      "id": "8de72c59-28e2-41eb-b38e-13d78ae748e0",
+      "status": "completed",
+      "results": [
+        {
+          "alpha_id": "wpYExOel",
+          "status": "completed",
+          "error": null,
+          "complete": true
+        }
+      ]
+    },
+    {
+      "stage": "stage1_structure",
+      "experiment_id": "cdc5f18f-9746-4dad-b97e-a2d7d901fe4a",
+      "preview_id": "93866675-7561-4316-be0b-2f0331f3d501",
+      "run_id": "8de72c59-28e2-41eb-b38e-13d78ae748e0"
+    },
+    {
+      "stage": "fixed_input",
+      "id": "40370f4f-f023-41c6-b49d-3435c201d866",
+      "scope": {
+        "instrument_type": "EQUITY",
+        "region": "USA",
+        "universe": "TOP1000",
+        "delay": 1
+      },
+      "fields": 24,
+      "availability_rows": 48
+    },
+    {
+      "stage": "authentication",
+      "status": "connected"
+    },
+    {
+      "stage": "metadata",
+      "operators": 101,
+      "setting_rows": 46
+    },
+    {
+      "stage": "simulation_intent",
+      "count": 1,
+      "total": 3
+    },
+    {
+      "stage": "backtest",
+      "id": "8ed7cdfe-eadd-4b8b-a93f-f170dd14604b",
+      "status": "completed",
+      "results": [
+        {
+          "alpha_id": "gJQ9E3km",
+          "status": "completed",
+          "error": null,
+          "complete": true
+        }
+      ]
+    },
+    {
+      "stage": "stage1_settings",
+      "experiment_id": "77854db4-85a8-4b8f-9f41-c042ab8eca6e",
+      "preview_id": "7cc72f13-f71c-4b3d-ad43-e59ac54d1b07",
+      "run_id": "8ed7cdfe-eadd-4b8b-a93f-f170dd14604b"
+    },
+    {
+      "stage": "simulation_intent",
+      "count": 1,
+      "total": 4
+    },
+    {
+      "stage": "backtest",
+      "id": "d950f0d7-68f7-4caa-adcc-070696be7625",
+      "status": "completed",
+      "results": [
+        {
+          "alpha_id": "Vk63gxAJ",
+          "status": "completed",
+          "error": null,
+          "complete": true
+        }
+      ]
+    },
+    {
+      "stage": "stage2_feature",
+      "experiment_id": "3a8c6e5a-30ec-4a39-b1e0-ec8f1194c29b",
+      "preview_id": "06e26168-1c74-4ea3-bfff-cd64300125a2",
+      "run_id": "d950f0d7-68f7-4caa-adcc-070696be7625"
+    },
+    {
+      "stage": "stage2_evaluation",
+      "alpha_id": "Vk63gxAJ",
+      "evaluation_id": "541982d6-5f41-4d40-b42e-da3cd631a77c",
+      "verdict": "block",
+      "lineage_nodes": 6
+    },
+    {
+      "stage": "simulation_intent",
+      "count": 1,
+      "total": 5
+    },
+    {
+      "stage": "backtest",
+      "id": "2f2bd3e7-f559-4615-a248-889df2486c07",
+      "status": "completed",
+      "results": [
+        {
+          "alpha_id": "KPOE0M9g",
+          "status": "completed",
+          "error": null,
+          "complete": true
+        }
+      ]
+    },
+    {
+      "stage": "stage3_pipeline",
+      "run_id": "f9d08e0a-3407-4673-938e-a725dcd812a3",
+      "status": "completed",
+      "simulations": 1,
+      "model_fixture_calls": 1,
+      "steps": 8,
+      "error": null
+    },
+    {
+      "stage": "simulation_intent",
+      "count": 1,
+      "total": 6
+    },
+    {
+      "stage": "backtest",
+      "id": "bf303b9e-41e5-40cf-95a1-9cdfd7268cdd",
+      "status": "completed",
+      "results": [
+        {
+          "alpha_id": "O0rxaPOJ",
+          "status": "completed",
+          "error": null,
+          "complete": true
+        }
+      ]
+    },
+    {
+      "stage": "stage4_quantflow",
+      "run_id": "1bdf9c87-c400-4a58-9f32-519f53ee0831",
+      "status": "completed",
+      "simulations": 1,
+      "model_fixture_calls": 0,
+      "steps": 6,
+      "error": null
+    },
+    {
+      "stage": "completed",
+      "simulations_sent": 6,
+      "official_submissions": 0
+    },
+    {
+      "stage": "comparison_and_history",
+      "alpha_ids": [
+        "KPOE0M9g",
+        "wpYExOel"
+      ],
+      "common_dates": 2494,
+      "window": {
+        "from": "2014-01-02",
+        "to": "2023-12-29"
+      },
+      "different_settings": false,
+      "evaluation_unchanged": true,
+      "lineage_experiments": 6,
+      "lineage_edges": 4,
+      "baseline_sources": 2
+    }
+  ]
+}
@@ -0,0 +1,48 @@
+# WorldQuant 真实联调验收
+
+日期：2026-09-08。用户在当前对话明确授权使用 account.json 连接真实 WorldQuant，并再次确认可以真实回测。本次使用项目现有业务接口与回测调度器，执行真实认证、目录查询、6 条模拟、结果收集和 PnL 查询；未正式提交 Alpha、触发官方检查或修改平台属性。
+
+## 真实执行结果
+
+所有模拟限定 REGULAR / FASTEXPR / EQUITY、USA、Delay 1，单条顺序执行。第 3 条使用 TOP1000，其余使用 TOP3000；共 6 次模拟、5 个不同 Alpha ID。
+
+| 阶段及场景 | Alpha ID | 结果 |
+|---|---|---|
+| 一：模板展开及来源 | KPOE0M9g | 完成，保存候选预览、回测结果与模板版本 |
+| 一：结构变体 | wpYExOel | 完成，保留种子、表达式改动与研究来源 |
+| 一：设置变体 | gJQ9E3km | 完成，保持表达式，独立固定 TOP1000 输入并保留原输入 |
+| 二：特征方案转模板 | Vk63gxAJ | 完成，保存特征版本、候选、结果与规则报告 |
+| 三：固定研究流水线 | KPOE0M9g | 一轮 8 步完成，1 条真实模拟；平台返回与首条相同的 Alpha，两次研究来源都保留 |
+| 四：QuantFlow 原生节点 | O0rxaPOJ | 6 节点完成，1 条真实模拟、0 次模型调用 |
+
+采用价格变化及截面排序表达式，仅用于接口与执行链验收。特征 Alpha 的版本化规则评估为 `block`；模拟成功不代表质量规则通过或可正式提交。
+
+固定流水线的模型步骤使用本地确定性测试输出，记账 1 次；没有调用真实模型供应商。真实模型生成质量不在这次 WorldQuant 联调结论中。
+
+## 元数据、成果与追溯
+
+- 官方认证成功；读取 101 个算子、46 组合法模拟设置。
+- USA/TOP3000/D1 和 USA/TOP1000/D1 分别完成 pv1 目录同步及固定输入，各含 24 个字段；close 的字段详情返回 48 条可用范围记录。
+- 查询基线 KPOE0M9g 与结构变体 wpYExOel 的真实 PnL，取得 2,494 个共同日期，窗口为 2014-01-02 至 2023-12-29；设置一致，共同窗口比较成功。
+- 关系查询返回 6 个相关实验及 4 条父来源边，包括准备阶段尚未回测的实验。基线 Alpha 同时保留模板与流水线两条已回测来源。
+- 重新同步 Vk63gxAJ 后，评估报告 541982d6-5f41-4d40-b42e-da3cd631a77c 的内容完全不变。
+- PnL 初次查询遇到平台异步准备；首次限制为单次读取的验收进程返回 pending。按项目正常的 4 次读取重试配置等待后，两份 PnL 均取得。该过程没有再次发送模拟。
+
+## 实际发现及修复
+
+1. 字段可用性协议：真实 `/data-fields/{id}` 使用 `data` 数组，行内不带 instrumentType。新增该形式的适配，instrument 仅来自明确的请求上下文；市场、股票池、Delay 仍必须由响应逐项提供。缺失或异常项目维持待核实；返回字段 ID 不符时不覆盖旧快照。
+2. Alpha 设置协议：真实结果包含可执行的 `maxPosition` 和历史窗口 `startDate/endDate`。OPTIONS 明确 maxPosition 为可选 ON/OFF 参数，而 startDate/endDate 不在 POST settings 中。新增 maxPosition，种子转换只排除这两个历史窗口字段，原始快照完整保留；未知执行参数仍严格拒绝。旧研究授权按相同默认值比较，避免新默认字段导致恢复时误判越权。
+
+第二项问题在设置变体准备阶段被发现，发生在第 3 次模拟发送之前。修复后复用前两条已完成结果，继续完成剩余 4 条；没有重跑已完成模拟。
+
+## 验证与记录
+
+- 后端最终全量：224 passed，`/tmp/wq-live-full-regression.log`。
+- 浏览器：4 passed，覆盖普通回测、AI 固定确认、流水线和 QuantFlow，`/tmp/wq-live-browser-regression.log`。浏览器回归使用合成平台；上述 6 条真实模拟通过同一业务 API 和执行器执行。
+- Ruff、TypeScript 和 diff whitespace 检查通过。
+- 本次没有数据库 schema 变化；历史授权兼容已加入运行回归。
+- 真实运行与模拟引用、实验、模板/特征版本和评估保存在隔离数据库 `/tmp/wq-research-live-20260908/research.sqlite`。未覆盖业务数据库或原有前端布局改动。
+- 可核对的脱敏证据见 [worldquant-live.json](worldquant-live.json)。无账户密码、会话令牌或模型密钥。
+- 可复用联调入口：`backend/tests/research_live_acceptance.py`，需显式 `--execute`；HTTP 钩子限制总模拟数为 6 并拒绝其他平台写入。`--inspect-existing` 只允许认证与读取；`--resume` 只在先前模拟均完整完成并记录时继续，不会对未知提交重发。
+
+本次真实覆盖为一个市场、两个股票池和一个字段。其他市场组合及算子执行能力未逐一真实模拟；目录可用性与本地校验不能替代平台实际回测。
@@ -21,3 +21,5 @@ Status: ready-for-agent
 第三阶段固定研究及有限授权已验收，报告见 `../acceptance/stage-3.md`。

 第四阶段原生 QuantFlow 已完成本地后端、前端、浏览器及 PostgreSQL 验收，报告见 `../acceptance/stage-4.md`。四阶段实现与模拟验证完成；真实 WorldQuant 联调未执行，限制详见各阶段报告。
+
+2026-09-08：用户明确授权真实联调及回测。已完成 6 条真实模拟及 PnL、来源、历史评估核验；修复字段 data 可用性形式与 maxPosition/历史日期设置适配。报告见 `../acceptance/worldquant-live.md`，此前真实联调待授权事项已解决。