refactor: unify data preparations and research input snapshots

README.md

@@ -34,19 +34,23 @@ docker compose ps
 
 工作空间和 AI 交互统一采用紧凑的 Lark 样式。Alpha 列表只滚动表体，分页保持在可用区域底部；个人信息页独立滚动。
 
-## 数据集与数据字段
+## 数据目录、字段目录与数据准备
 
-从侧栏进入“数据集”，设置 Region、Universe、Delay 后手动同步目录。范围选项表示本版支持的组合，平台账户实际权限以同步结果为准；分类和子分类来自已同步数据。
+统一流程是“查询或同步字段 → 整理数据准备集合 → 各研究模块选择集合”。
 
-选中一个数据集后默认使用整集字段；首次使用先同步全部字段。字段列表、搜索、类型、覆盖率、排序及翻页均不改变输入范围，只有明确取消勾选才排除字段。表头选择作用于整个已完成集合，支持恢复全选。字段与详情采用 75% / 30% 的工作区右抽屉，窄屏展开为全宽；逐层关闭保留父层条件。抽屉顶部可打开 AI 助手，业务抽屉暂时隐藏，收起助手后恢复；发送消息时会附带当前范围和输入引用；助手可通过工具读取本地目录和字段，不发送未保存的研究备注。
+数据目录行操作为“查看”“同步”“使用”。“同步目录”仅刷新数据集清单；行内“同步”更新全部字段。完整分页成功后才发布，失败、取消或刷新期间保留上一完整版本。“使用”复制当前完整字段到新准备集合，首次同步未完成时禁用。
 
-“用于 Alpha 模板”先保存输入草稿，在服务端固定数据集、研究范围、集合版本、字段 ID 和字段类型。点击“用此输入研究”将该快照带入聊天；也可从“已保存输入”恢复。后续同步不会改变旧草稿。
+字段目录分为 `worldquant接口` 和 `本地同步`。在线字段可直接加入集合，不标记数据集已同步。本地目录汇总已完整同步字段，提供范围、数据集、类型、关键词、分类、覆盖率、用户数、Alpha 数、同步时间和排序筛选。两种来源支持跨页勾选，表头选择只作用于当前页，切换范围清空选择。
 
-数据集和字段备注单独保存，版本冲突保留当前草稿。字段同步沿用已有任务面板的进度、取消、重试、等待连接和人工验证；每页与检查点同事务保存。只有完整分页成功才发布新集合，失败或取消继续使用上一版；首次未完成时不可准备输入。异常字段归属、覆盖率单位或分页协议会失败，不以部分字段代替全集。
+数据准备支持新建、修改名称和备注、复制、删除及批量删除，详情可查询、添加和移除字段并查看数据集归属。集合固定 `instrument_type + Region + Universe + Delay`，可包含多个同范围数据集；跨范围添加整批拒绝，重复字段去重。空集合可编辑但不能用于研究。
 
-增量迁移 `0003` 只增加目录、集合、备注与输入表，不改写旧迁移。`/api/v1/catalog` 提供带会话和来源校验的目录/字段查询、完整集合成员、备注、同步创建和输入草稿接口；创建目录同步返回任务 ID，查询、取消及重试仍使用 `/api/v1/sync-jobs`。新任务 `payload` 显式记录范围及数据集，保留旧 Alpha 任务契约。
+模板工坊、Alpha 变体、特征工程、回测研究、研究流水线和 QuantFlow 共用集合选择弹窗。选择保留集合 ID 和版本，提交研究时核对版本并固定完整字段快照；集合修改、删除或目录重同步均不改变已有研究。AI 可查询集合并固定输入；MCP 用 `search_data_preparations`、`get_data_preparation` 预览，以 `submit_backtests.preparation_refs` 提交按版本选择的集合。
 
-真实 WorldQuant 数据集 schema、字段所属数据集信息、0–1 覆盖率单位、范围权限和分页协议尚需只读联调。当前证据来自 HTTP 边界合成数据和隔离 PostgreSQL，不代表已验证真实平台兼容性。
+主要接口：`/api/v1/catalog/fields`（本地）、`/api/v1/catalog/worldquant/fields`（在线）、`/api/v1/data-preparations`（集合）和 `/api/v1/research/input-snapshots/{id}`（研究快照）。旧 `/catalog/inputs`、`/research/inputs` 和已保存输入入口已移除。迁移 `0015` 新建准备集合及独立快照表、移除旧输入表，不迁移旧研究数据；已有目录同步检查点保留。回退需要恢复升级前备份。
+
+全量字段同步通过 `python -m app.cli catalog-sync` 入队，由现有单进程执行器处理。1Panel 夜间命令、日志、退出码和重试方法见 [生产部署说明](docs/deployment-gitea.md#5-1panel-夜间全量目录同步)。
+
+实现验收使用模拟上游和隔离数据库。真实 WorldQuant 字段归属、过滤参数、分页协议、范围权限及 1Panel 调度效果需要单独联调。
 
 ## AI 研究助手