Files
worldquant-alpha-system/docs/worldquant-knowledge-base/06-sources/README.md
T
yuxuanhui 5d7c31810e
Deploy production / deploy (push) Successful in 1m29s
Update README.md with recent forum synchronization details and historical baseline information
- Revised the initial organization date and added recent synchronization date for clarity.
- Included details on the number of posts and comments indexed as of September 11, 2026, along with updates on newly added content.
- Clarified the status of historical baseline data and the process of filtering and reviewing forum posts and comments.
2026-09-11 23:25:12 +08:00

95 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 来源、覆盖范围与验证记录
首次采集日期:2026-09-07;最近论坛同步:2026-09-11。下列初轮与扩展轮数字保留为历史记录,最新覆盖见文末周同步记录。时间边界按 Asia/Shanghai 的 2026-01-01 00:00 至整理时点;原始索引时间使用 UTC/带偏移的 ISO 8601。日历日简写通常取原来源 UTC 日期,未把它伪装成本地精确时刻。
## 邮箱
连接器 profile 实际确认 ud.k2007@gmail.com。Gmail 查询 `after:2025/12/31 before:2026/09/08 {worldquant worldquantbrain}`,分页至 next_page_token 为空,共返回 710 封;再按上海年初边界剔除 2 封,保留 **708 封**,读取全部 MIME。36 封没有 text/plain,另取 HTML 提取文字;图片型邮件可能仍缺图中信息,本库相关关键规则另用官方文字来源核查。
这覆盖该查询可检索到的邮箱内容,不等于邮箱内所有可能相关邮件:未额外搜索 Spam/Trash,也可能漏掉完全不含这些词的通知。不是“未读”过滤,因此已读邮件也包含。只读搜索与读取,没有改标签、已读状态、删除或发送。
[邮件目录 CSV](mail-index.csv) 保留主题、时间与回信箱入口,不存正文、私人会议加入信息或退订令牌。对论坛通知从正文的 View the post 提取主帖 ID;关联不到今年论坛列表时,真实发帖日留空,可能是旧帖、已移除、不同话题或访问范围差异,不能据此补造日期。
## 中文论坛
话题 ID `18910956638743`。认证接口返回 201,SSO 后 HTML 403,Community API 200。初轮按 created_at desc、每页 100 读取 7 页/700 条,保留 623 条今年新帖;扩展轮取得全部 18 页/1,725 条可见帖子后,按用户明确限定再次筛选,结果仍为 **623 条 2026-01-01 起新发帖**,排除 1,102 条旧帖。范围不包含隐藏/删除帖子;旧帖今年更新、收到评论、被今年邮件或合集引用,都不改变排除结果。
[论坛目录 CSV](forum-index.csv) 以初轮 623 条索引及当时的 `curated` 标记起步,现随周同步更新元数据和新增来源;`curated` 不是扩展轮的阅读状态。[2026 阅读索引](forum-review-2026.csv) 含主分类、最新实际取得的评论数、采集完成状态、本库引用位置与 `screened` / `synthesized`。分类按标题启发式分组后用于检索,不是互斥的知识定义;`synthesized` 只表示被知识条目引用,不等于实证复现。历史 623 篇完成标题与正文主旨初筛;有研究内容的来源进一步选读。
初轮评论阅读覆盖 11 帖/71 条。扩展轮对全部今年帖子取得 **9,572 条评论**,对应 623 个采集记录全部 complete,无失败;零评论帖子按列表计数记录,不额外请求空页。实质性纠错、反例和机制讨论用于重点核验,**未逐条精读全部评论**。不将点赞、重复附和或同一作者转帖视作独立复现;正文内图片中的公式、附件和回测图也没有逐张完整核验。
合集一跳额外请求过 132 个列表外帖子与 16 个帮助文章入口;列表外成功取得的帖子没有今年新帖,因此不扩充本轮论坛来源,也不采用其中旧帖知识。官方帮助与邮件用于纠正今年帖子中的现行规则,和论坛发帖日期筛选分开。
### 本轮分类覆盖
| 初筛分组 | 今年帖子数 |
| --- | ---: |
| AI | 142 |
| 经验教训 | 128 |
| 综合研究/其他 | 95 |
| 工程 | 68 |
| 优化 | 61 |
| 组合 | 48 |
| 活动与复盘 | 37 |
| Alpha idea | 19 |
| 数据 | 19 |
| 合集 | 6 |
| 合计 | 623 |
分组不是最终价值排序。例如活动分组中有竞赛研究复盘,已另行纳入经验;综合与 AI 分组中也有 Alpha 构建知识。优惠、纯收入展示、安装求助、重复转载保留目录,未按篇扩写成研究结论。旧帖筛选与原始采集计数记录见 [采集清单](collection-2026.json)。
## 月度分布
| 月份 | 邮件到达数 | 论坛新发数 |
| --- | ---: | ---: |
| 2026-01 | 138 | 92 |
| 2026-02 | 65 | 61 |
| 2026-03 | 82 | 87 |
| 2026-04 | 78 | 51 |
| 2026-05 | 44 | 64 |
| 2026-06 | 84 | 120 |
| 2026-07 | 137 | 93 |
| 2026-08 | 71 | 48 |
| 2026-09 | 9 | 7 |
## 官方与补充资料
SPC 7 篇官方帮助页按 ID 直接读取;另通过支持站搜索取得 Python Alpha 10 篇、Osmosis 10 篇、换手相关 3 篇候选文章。搜索结果提供完整 body,本库只在相关条目引用;Osmosis 旧竞赛页明确标出历史适用范围。SPC schema 以 2026-09-06 更新的官方正文覆盖七月社区教程。
外部 AI 文献通过独立只读检索核查论文与作者/官方仓库,见 [外部方案](../02-ai-mining/external-methods.md)。未安装仓库、未执行社区代码,没有把论文回测等同 BRAIN 表现。
## 证据优先级与实际验证
1. 同一事项、同一适用范围的当前官方说明优先;官方邮件保留日期与有限内容。
2. 论坛正文为作者经验;评论为补充,需单独判断是否包含新证据。
3. 本库“建议”是归纳与推断,尤其预算、停止条件、架构与实验设计。
4. 只核查资料访问、来源日期、重点内容冲突、文件结构/本地链接与凭证泄漏。**没有实际回测、相关性重算、调用额外模型服务做因子实验、投稿、平台 Alpha/PPA/SPC 提交或 Osmosis 配点**。
文件验证区分初轮与扩展轮:初轮检查过 20 篇 Markdown 的本地链接与锚点;扩展轮新增 8 篇分类归纳,合计 28 篇 Markdown,本地文件链接检查未发现缺失目标。114 篇今年帖子在具体条目中被引用,509 篇保留初筛状态;全库所有论坛引用均属于这 623 篇今年新帖。评论计数合计 9,572,采集记录全部 complete;凭据与认证令牌检查未发现泄漏。独立核验检查新增条目的日期、关键数字、来源归因与经验/规则边界,未发现明确严重冲突。708 个邮件 ID、623 个论坛 ID 均唯一。未将包含会话或邮件敏感信息的原始采集缓存作为交付物保存;因此外部读者可重访来源,不能仅靠目录 CSV 重建整个采集过程。
## 留下的缺口
当前账户各地区/字段/算子权限、Python lookback 上限、当日额度、Other Delay 1 主题完整要求、当前 Osmosis 资格/生效时区仍需使用时核实。本文不推断你的等级或现有持仓/Alpha 池。
原 `worldquant-mail-index.html` 在用户指定路径和本工作树不存在;源目录重建于本知识库。没有修改知识库以外的项目文件;没有将知识推广到全局技能、共享脚本或规则。
## 三篇指定文章追加精读(2026-09-07)
基于同日已认证采集的正文快照,完整重读 43208281917591、43179259800471、42274443124119,分别新增 SuperAlpha 合集、API/模板合集、五个 Agent Skill 专题,共增加 3 篇 Markdown。前两篇评论为 0;第三篇全部 48 条评论已阅读。此次没有重新认证刷新论坛版本,因此不声称读取了采集之后的新增内容。
两个合集分别有 23、47 个直接论坛链接,核对主语料及先前链接采集的 created_at 后均属旧帖,按范围排除。第三篇的百度网盘附件页面未能取得压缩包;正文中的模块、插件与实验日志声明没有升级为附件实测。专题指出依赖缺失、批大小/次数不一致、PENDING 与零失败、审计指纹及统计口径问题,未运行代码或安装 Skill。最新条目引用位置由阅读索引更新,初轮与扩展轮数量仍按各自采集阶段理解。
## 每周论坛同步:2026-09-11
北京时间 09:03:40–09:06:33 完成本轮采集(随后进行知识整理与验证)。认证返回 201,支持站 SSO 落地 403,但 Community API 可正常读取。完整遍历 18 页、1,730 篇可见帖子,排除 1,101 篇早于范围边界的帖子,保留 629 篇;原索引 623 个 ID 均仍可见。全量核对范围内评论,取得 9,587 条,629 个采集记录完成,逐帖列表计数与分页取得数一致,无失败。
新增收录 6 篇:43322521365143、43320471694999、43320365312023、43319649278359、43309848501783、43269155035799。前五篇发表于 9 月 7–8 日,最后一篇发表于 9 月 5 日,是旧索引没有收录的来源,不能称作本周新发帖。这六篇带来 9 条评论。原有 43181411147287、43179860065303、43179521660823 三篇的旧索引均记为零评论,当前分别取得 2、3、1 条,创建时间均早于 9 月 7 日;这是历史覆盖补齐,不能当作本周新增评论。评论总数净增 15 条不等于本周发表 15 条。
原有 141 篇的 `updated_at` 与旧索引不同。由于旧库没有逐帖正文指纹和逐评论快照,不能确定正文编辑数量,也无法完整区分历史漏收、评论编辑和其他元数据变化。本轮建立正文及评论文本指纹;评论指纹不含更新时间,避免单纯时间变化误报内容编辑。首次仍核对了全部范围内评论,不以评论数相等或帖子更新时间未变作为无编辑证明。评论创建或更新时间自 9 月 7 日上海零时起的记录采用重叠窗口筛查,不将重叠窗口内记录一律称为新增。
六篇新增收录帖均读正文和全部 9 条评论;141 篇旧帖更新时间变化部分筛查标题与主旨,进一步选择规则、版本与机制相关材料。独立复核完整筛查重叠窗口内 87 篇旧帖的 244 条评论,重要内容主要为既有方法的对照与边界,没有将这些历史评论改称本周新发现。历史 Python 字段支持限制、SPC 七月旧 schema 等说法未覆盖本库已有的官方证据边界。同步读取 ARC2026 评分、关键日期、研究提示和奖金四篇官方 FAQ;仅对应规则已复核,未把社区攻略全部细节升级为官方结论。没有实际回测、报名、预约、安装社区工具或同步邮件。
任务专用采集入口和状态位于本机 `.local/forum-sync/`(Git 忽略):`collect.py` 负责分页、限流退避、互斥和逐帖原子保存;`staged/` 保留去除 HTML 和凭据类字符串的文本;`candidate-baseline.json` 为采集候选,知识整理及验证通过后才复制为 `baseline.json` 并推进 `checkpoint.json`。后续采集比较该基线的正文及评论指纹,仍须实际筛选变化内容。`run.json` 保存本次计数和失败项;部分失败不得宣称全部成功。此状态只包含任务必要内容,不保存登录响应、Cookie 或会话令牌,也未推广为全局规则或共享脚本。
本轮验证:两个 CSV 各 629 个唯一帖子 ID,评论数合计 9,587;所有论坛引用均属于本次范围,122 篇帖子被知识条目引用,本地链接未发现缺失目标。新增知识内容及本地 JSON 状态的账号、密码字面值与 JWT 形式扫描通过。实际 API 采集通过;采集脚本语法检查通过,后续增量比较、失败恢复和限流退避尚未通过真实故障场景演练,不能将首次成功等同长期运行保证。