merge: integrate alpha management with main and sequence migration 0005
This commit is contained in:
yuxuanhui
@@ -16,3 +16,5 @@ Status: ready-for-agent
|
||||
2026-09-08：本地实现完成。`uv run ruff check app tests` 与后端 87 项测试通过；`pnpm build`、修改文件 Prettier 检查和浏览器全套 6 项通过。截图核验后修正检测结果与缓存时间的 UTC 标记，后端全套及 Alpha 管理浏览器流程再次通过。已检查 1440px / 390px 布局。构建仅有已有 lottie-web 依赖的 eval 提示。
|
||||
|
||||
在隔离 SQLite 与 PostgreSQL 17 中验证 0002 → 0003、Alembic schema check、回退再升级，旧研究记录内容保留；临时 PostgreSQL 容器及卷已清理。独立后端核验未发现实质问题。`git diff --check` 通过。未提交、未部署、未调用真实平台；新增平台日期筛选参数仍需真实账户只读联调。
|
||||
|
||||
2026-09-08：用户要求提交到 main 并重建 Docker。整合 main 的数据目录与回测模块后，自相关迁移顺延为 `0005`，保留已有 `0003` / `0004`。合并后的后端 116 项测试、前端构建通过；浏览器 10 项先通过，修正隐藏目录表格造成的测试选择歧义后，剩余 Alpha 管理用例重跑通过。隔离 PostgreSQL 17 验证 0004 → 0005、元数据一致、回退再升级及旧研究记录保留。部署前已备份现有数据库和配置。
|
||||
|
||||
@@ -0,0 +1,19 @@
|
||||
# 通用回测模块实施
|
||||
|
||||
Status: ready-for-agent
|
||||
Progress: complete (local implementation and simulated acceptance)
|
||||
|
||||
## 工作
|
||||
|
||||
1. 契约、增量迁移和共享业务接口。
|
||||
2. 平台协议、调度、持久结果与崩溃恢复。
|
||||
3. 基础页面、AI 预览确认及进度展示。
|
||||
4. HTTP 模拟、浏览器、回归和迁移验证。
|
||||
|
||||
## Comments
|
||||
|
||||
2026-09-08：按用户已确认规格开始本地实施，不调用真实回测接口。
|
||||
|
||||
2026-09-08：完成核心、基础页面、AI 固定集合确认和迁移。后端 92 项、浏览器 7 项通过；PostgreSQL 升级/事务/重启恢复、生产镜像构建与健康启动通过。详见 ../verification.md。真实账户协议和限额联调未执行，待单独授权。
|
||||
|
||||
2026-09-08：按用户授权提交并合并 main；兼容已合入的数据目录，回测迁移改为 0004。合并复验见 ../verification.md。
|
||||
@@ -0,0 +1,51 @@
|
||||
# WorldQuant 通用回测模块
|
||||
|
||||
Status: ready-for-agent
|
||||
|
||||
用户已确认实施：长期仅 WorldQuant，首版 REGULAR + FASTEXPR，核心 + 基础页面 + AI，每次固定研究运行确认一次。实现进度与验证见 issues/01-implementation.md。
|
||||
|
||||
## 能力与边界
|
||||
|
||||
保留候选草稿、固定集合预览、来源归组、兼容参数分组切批、账户共享补位、暂停继续、逐项结果与错误找回、持久历史。模板采样、密度评估、减枝和下一轮生成由调用方承担。无旧库迁移、CLI/MCP、多平台、SUPER/PYTHON、AST 语义检查、平台属性回写或正式提交。
|
||||
|
||||
## 契约与可靠性
|
||||
|
||||
BacktestRun 记录确认后的固定集合；BacktestItem 保存表达式及完整 settings；SimulationAttempt 保存提交阶段、成员与平台引用；BacktestResult 保存独立历史快照并关联 Alpha。候选草稿与不可变预览分开，启动请求幂等，重复实验仅提示不复用。来源可关联业务批次、模板输入、研究执行和 AI 会话。
|
||||
|
||||
公共业务模块供 REST `/api/v1/backtests`、AI 及后续研究流程共用。支持配置、草稿、预览、启动、运行/结果/增量事件查询、暂停、继续、停止剩余项、恢复及生成重跑预览。所有真实模拟由已确认运行驱动。
|
||||
|
||||
同步与回测通道共用运行时和账户会话；所有回测来源共用单账户调度。按运行轮转补位，不跨运行混批。初始本地并发 3、每批 8，持久化调整，非平台额度声明。按 region/delay/language/instrumentType 分组。
|
||||
|
||||
先持久化提交意图，再发送；提交结果未知不得重提。已知 progress URL 继续查询，详情与保存失败只补取/补存。不能按成功数组位置配对：按完整输入匹配，证据不足待核对。暂停停止后续提交，停止跳过尚未提交项；两者均继续收集远端结果。不宣称远端取消。
|
||||
|
||||
平台状态、收集状态和持久化状态分离，缺失指标 null；Alpha 更新、结果关联、增量事件同事务。历史快照不随日后 Alpha 同步变化。每日 10000 展示值不用于配额判断。
|
||||
|
||||
## 页面与 AI
|
||||
|
||||
scope_sketch：回测运行表格、候选编辑/固定预览、结果详情；紧凑研究工作区。
|
||||
lark_style_recipe：沿用现有白色工作区、浅色导航、蓝色主操作、4px 间距、轻边框、正文常规字重。
|
||||
ud_control_coverage：Semi Button/Input/TextArea/Select/Table/SideSheet/Pagination/Tag；不添加装饰图片和图标。
|
||||
layout_signature_usage：复用左导航与顶部栏；操作位于内容顶部，详情按需展开；不新增 Hero/KPI 墙。
|
||||
right_rail_policy：窄屏 AI 与业务抽屉互斥，保留候选编辑草稿。
|
||||
emphasis_budget：标题 500–600，正文/表格/操作 400。
|
||||
media_decision：纯研究操作页面不需要插画或媒体；新增功能使用文字操作。
|
||||
|
||||
AI 通过同一业务接口准备固定预览、请求一次确认并创建运行；不循环等待，不自动开展下一轮。返回服务端引用、分页摘要、单位与来源时间；停止生成不取消回测。模型未配置时页面独立可用。
|
||||
|
||||
## 验证
|
||||
|
||||
在平台 HTTP 边界模拟：混合分组、单/批响应、轮转、部分成功/乱序/缺失、重复启动和确认、暂停停止、动态并发、429/认证/超时/未知提交、结果补取、重启和数据库失败。页面串联真实业务与数据库验证草稿→预览→确认→结果，AI 确认前无运行，重复确认唯一执行。回归原后端、前端、浏览器，验证迁移及持久化。真实平台联调单独获授权，不以模拟测试宣称实际协议和限额已验证。
|
||||
|
||||
## 对接约定
|
||||
|
||||
1. `GET /capabilities` 读取支持类型、参数 schema 和本地限制。`POST /previews` 接受 `inline: {name, source, candidates}`，或 `draft_id` 与 `draft_version`；每个候选提供唯一 `client_item_id`、`expression`、完整 `settings`。
|
||||
2. 分页 `GET /previews/{id}` 核对固定输入；`POST /previews/{id}/subset` 用 `exclude_ids` 创建新预览，不修改原集合。
|
||||
3. `POST /runs` 提交 `preview_id`、`version`、`idempotency_key`，返回 202 和 `backtest_run_id`。同一预览只能启动一次；再次实验创建新预览，重复指纹不复用历史结果。
|
||||
4. `GET /runs/{id}/results` 读取逐项快照；`GET /runs/{id}/events?after=0&limit=100` 增量读取，保存 `next_cursor`，按 `has_more` 继续。事件与结果同事务，事件携带变化引用，消费者按引用读取结果。
|
||||
5. `POST /runs/{id}/control` 提供 `action` 与当前运行 `version`；动作包括 pause/resume/stop/recover。明确失败项使用 `POST /runs/{id}/rerun-preview` 和 `item_ids` 准备新实验。
|
||||
|
||||
所有路径均带 `/api/v1/backtests` 前缀，沿用管理员会话和 `X-WQ-Request: 1`。完整参数类型由 `backend/app/backtests/contracts.py` 和 OpenAPI 提供。AI 仅启动与控制需要确认，准备预览不发起模拟；大集合使用草稿/预览引用。
|
||||
|
||||
提交阶段以持久化 `submitting` 为分界：暂停/停止只处理 queued，已进入 submitting 的请求不能承诺撤销。重启时没有平台引用的 submitting 进入 needs_review；用户可在页面补入原模拟 URL，服务端限制同源并核对输入。不确定执行保守占用远端槽位，已确认所有子项终态则释放槽位，即使详情补取失败。
|
||||
|
||||
相同完整输入拆到不同执行尝试，避免平台返回同一表达式时不能唯一配对；不同输入批量返回按表达式与 settings 证据匹配，不采用数组位置。缺失子引用可重新读取父模拟，保留已保存结果。`BacktestResult.complete` 表示已取得详情快照，不表示所有指标存在或研究筛选通过。
|
||||
@@ -0,0 +1,37 @@
|
||||
# 回测模块验收记录
|
||||
|
||||
日期：2026-09-08。全部业务验证使用合成账户、候选及模拟 WorldQuant/模型 HTTP；没有执行真实回测。
|
||||
|
||||
## 实际通过
|
||||
|
||||
| 验证 | 结果 |
|
||||
| --- | --- |
|
||||
| 后端 Ruff（app、tests、新迁移） | 通过 |
|
||||
| 后端完整 pytest | 92 passed，19.39 秒 |
|
||||
| 前端 TypeScript 与生产构建 | 通过 |
|
||||
| 完整 Playwright | 7 passed，54.6 秒，包含原工作区/AI 与新增回测流程 |
|
||||
| PostgreSQL 17 真实事务与迁移 | 0002 旧数据升级到 0003；Alembic check 无差异；旧研究记录保留 |
|
||||
| PostgreSQL 并发与恢复 | 同一预览并发启动仅一个运行；两个尝试安全关联同一 Alpha；增量事件连续；替换应用后找回原模拟，没有新增 POST |
|
||||
| Docker 生产镜像 | 后端和前端均构建成功 |
|
||||
| Docker 后端启动 | 对已有验收 PostgreSQL 执行启动迁移，head 为 0003，健康接口 200，保留 2 个运行及 3 个结果 |
|
||||
| 补丁格式 | git diff --check 通过 |
|
||||
|
||||
业务测试覆盖单条/批量、混合分组、乱序/缺失子项、缺失引用补全、同一 Alpha 多实验快照、重复启动/确认、草稿版本与不可变预览、选定子集、暂停/停止、轮转与动态并发、同步通道独立、429 有界退避、401 重新认证、未知提交不重提、轮询超时、详情补取、数据库结果事务失败回滚及恢复、已知引用重启恢复、跨域引用拒绝、AI 确认前不启动及停止聊天后继续回测。
|
||||
|
||||
浏览器覆盖候选草稿→预览→确认→结果→刷新、AI 预览确认与进度卡片，以及已有账户、Alpha、研究记录和聊天回归。截图位于忽略目录 `output/playwright/`，包含 1440、850、390px 回测布局；使用合成数据。
|
||||
|
||||
可复用的 PostgreSQL 验收入口为 `backend/tests/backtest_postgres.py`，仅接受数据库名 `wq_backtest_test`，应使用新建的隔离数据库和合成环境变量，执行 `uv run python -m tests.backtest_postgres`。脚本不会加载真实平台凭据；平台 HTTP 由 MockTransport 替代。
|
||||
|
||||
## 验证边界
|
||||
|
||||
真实 WorldQuant 当前协议、账户权限、分组规则与实际并发/批量限额尚未联调。3 并发、8 条批量是可配置本地默认值，严格输入匹配遇到平台省略字段时会保守进入待核对。真实模型选工具效果也未验证。
|
||||
|
||||
生产前端构建保留已有传递依赖 lottie-web 的 direct eval 警告，不影响本次构建通过。未修改部署结构或操作正式实例；生产镜像启动验收关闭执行器并将平台地址指向不可达的本地端口，崩溃恢复的实际执行另由 PostgreSQL + 模拟 HTTP 测试验证。
|
||||
|
||||
真实账户联调仍需单独授权。代码、基础页面、AI 闭环和本地验收已经完成；未提交 Git。
|
||||
|
||||
## main 合并复验
|
||||
|
||||
2026-09-08：合入已在 main 的数据目录模块，保留导航、AI 上下文与模型。已发布目录迁移 0003 不变，回测迁移顺延为 0004。合并后 Ruff、103 项后端测试、前端类型与生产构建通过；SQLite 实测 0003→0004 升级，Alembic check 无差异且只有一个 head。浏览器全量 10 项中初次 9 项通过，回测用例因同名 Region 控件定位歧义失败；改为按 textbox 角色定位，回测 2 项复验通过（其余 8 项不受测试定位修改影响）。复验用隔离端口，未干扰其他对话正在运行的浏览器服务。
|
||||
|
||||
用户已授权提交并合并 main，真实 WQ 联调留待 Alpha 管理迭代完成后由用户统一执行；本轮不推送远端、不执行真实模拟。
|
||||
@@ -0,0 +1,25 @@
|
||||
# 数据目录实现与验收
|
||||
Type: task
|
||||
Status: resolved
|
||||
|
||||
按已确认 spec.md 实现范围化目录、完整字段集合、备注与输入草稿，并接入现有持久化任务及浏览器验收。禁止真实平台写入、收费模型、部署及 Git 提交。
|
||||
|
||||
## 实现约定
|
||||
- 独立同步批次保存分页和检查点，成功后原子切换当前版本；旧字段和草稿保留。
|
||||
- scope_sketch：研究范围/分类筛选 → 单数据集 → 字段 Table/详情 → 输入草稿。
|
||||
- lark_style_recipe：复用 Semi 2.103，白底、4px 间距、14px/22px/400 表体、浅边框；侧栏保留 #f9f9f9 / #1f23290d。
|
||||
- ud_control_coverage：Table、Button、Input、Select、SideSheet、Checkbox、Radio、Pagination、TextArea。
|
||||
- layout_signature_usage：复用工作空间侧栏与顶部导航，不新增标题或 Hero。
|
||||
- icon_plan：新增操作采用有名称的文字按钮，无新增业务图标槽位；组件内置交互符号沿用现有控件。
|
||||
- media_decision：数据研究工具无需插图。
|
||||
- verification：HTTP 边界合成数据、API/执行器、浏览器完整流程、隔离 PostgreSQL 迁移及旧数据保留。
|
||||
|
||||
## Comments
|
||||
|
||||
## Answer
|
||||
|
||||
已完成目录业务、0003 增量迁移、复用持久化任务、单数据集选择与输入草稿、备注 CAS、75%/30% 双层抽屉和 AI 状态恢复。字段选择使用已发布集合成员，输入由服务端再次解析并固定集合版本。
|
||||
|
||||
验证：后端 85 项、浏览器 8 项、前端生产构建及静态检查通过；隔离 PostgreSQL 17 迁移/回退再升级/元数据一致性/旧研究保留/实际业务事务验证通过。详见 `docs/verification.md` 的本次记录。
|
||||
|
||||
独立只读核验提出字段归属缺失和异常 next 两项问题，已收紧发布条件并补 HTTP 回归。未扩大到真实模板、回测或数据集 AI 工具；真实平台只读联调仍待后续授权。
|
||||
Reference in New Issue
Block a user