yuxuanhui
a1b160e1b0
- Added new sections on missing data handling and experimental variables in data and signal semantics (2026-09-25). - Included clarifications on clustering representatives and candidate evaluations in portfolio and correlation optimization (2026-09-25). - Updated README to reflect the latest forum synchronization and new post counts, including significant additions and revisions across multiple topics (2026-09-25).
125 lines
18 KiB
Markdown
125 lines
18 KiB
Markdown
# 来源、覆盖范围与验证记录
|
||
|
||
首次采集日期：2026-09-07；最近论坛同步：2026-09-25（有访问缺口）。下列初轮与扩展轮数字保留为历史记录，最新覆盖见文末周同步记录。时间边界按 Asia/Shanghai 的 2026-01-01 00:00 至整理时点；原始索引时间使用 UTC/带偏移的 ISO 8601。日历日简写通常取原来源 UTC 日期，未把它伪装成本地精确时刻。
|
||
|
||
## 邮箱
|
||
|
||
连接器 profile 实际确认 ud.k2007@gmail.com。Gmail 查询 `after:2025/12/31 before:2026/09/08 {worldquant worldquantbrain}`，分页至 next_page_token 为空，共返回 710 封；再按上海年初边界剔除 2 封，保留 **708 封**，读取全部 MIME。36 封没有 text/plain，另取 HTML 提取文字；图片型邮件可能仍缺图中信息，本库相关关键规则另用官方文字来源核查。
|
||
|
||
这覆盖该查询可检索到的邮箱内容，不等于邮箱内所有可能相关邮件：未额外搜索 Spam/Trash，也可能漏掉完全不含这些词的通知。不是“未读”过滤，因此已读邮件也包含。只读搜索与读取，没有改标签、已读状态、删除或发送。
|
||
|
||
[邮件目录 CSV](mail-index.csv) 保留主题、时间与回信箱入口，不存正文、私人会议加入信息或退订令牌。对论坛通知从正文的 View the post 提取主帖 ID；关联不到今年论坛列表时，真实发帖日留空，可能是旧帖、已移除、不同话题或访问范围差异，不能据此补造日期。
|
||
|
||
## 中文论坛
|
||
|
||
话题 ID `18910956638743`。认证接口返回 201，SSO 后 HTML 403，Community API 200。初轮按 created_at desc、每页 100 读取 7 页/700 条，保留 623 条今年新帖；扩展轮取得全部 18 页/1,725 条可见帖子后，按用户明确限定再次筛选，结果仍为 **623 条 2026-01-01 起新发帖**，排除 1,102 条旧帖。范围不包含隐藏/删除帖子；旧帖今年更新、收到评论、被今年邮件或合集引用，都不改变排除结果。
|
||
|
||
[论坛目录 CSV](forum-index.csv) 以初轮 623 条索引及当时的 `curated` 标记起步，现随周同步更新元数据和新增来源；`curated` 不是扩展轮的阅读状态。[2026 阅读索引](forum-review-2026.csv) 含主分类、最新实际取得的评论数、采集完成状态、本库引用位置与 `screened` / `synthesized`。分类按标题启发式分组后用于检索，不是互斥的知识定义；`synthesized` 只表示被知识条目引用，不等于实证复现。历史 623 篇完成标题与正文主旨初筛；有研究内容的来源进一步选读。
|
||
|
||
初轮评论阅读覆盖 11 帖/71 条。扩展轮对全部今年帖子取得 **9,572 条评论**，对应 623 个采集记录全部 complete，无失败；零评论帖子按列表计数记录，不额外请求空页。实质性纠错、反例和机制讨论用于重点核验，**未逐条精读全部评论**。不将点赞、重复附和或同一作者转帖视作独立复现；正文内图片中的公式、附件和回测图也没有逐张完整核验。
|
||
|
||
合集一跳额外请求过 132 个列表外帖子与 16 个帮助文章入口；列表外成功取得的帖子没有今年新帖，因此不扩充本轮论坛来源，也不采用其中旧帖知识。官方帮助与邮件用于纠正今年帖子中的现行规则，和论坛发帖日期筛选分开。
|
||
|
||
### 本轮分类覆盖
|
||
|
||
| 初筛分组 | 今年帖子数 |
|
||
| --- | ---: |
|
||
| AI | 142 |
|
||
| 经验教训 | 128 |
|
||
| 综合研究/其他 | 95 |
|
||
| 工程 | 68 |
|
||
| 优化 | 61 |
|
||
| 组合 | 48 |
|
||
| 活动与复盘 | 37 |
|
||
| Alpha idea | 19 |
|
||
| 数据 | 19 |
|
||
| 合集 | 6 |
|
||
| 合计 | 623 |
|
||
|
||
分组不是最终价值排序。例如活动分组中有竞赛研究复盘，已另行纳入经验；综合与 AI 分组中也有 Alpha 构建知识。优惠、纯收入展示、安装求助、重复转载保留目录，未按篇扩写成研究结论。旧帖筛选与原始采集计数记录见 [采集清单](collection-2026.json)。
|
||
|
||
## 月度分布
|
||
|
||
| 月份 | 邮件到达数 | 论坛新发数 |
|
||
| --- | ---: | ---: |
|
||
| 2026-01 | 138 | 92 |
|
||
| 2026-02 | 65 | 61 |
|
||
| 2026-03 | 82 | 87 |
|
||
| 2026-04 | 78 | 51 |
|
||
| 2026-05 | 44 | 64 |
|
||
| 2026-06 | 84 | 120 |
|
||
| 2026-07 | 137 | 93 |
|
||
| 2026-08 | 71 | 48 |
|
||
| 2026-09 | 9 | 7 |
|
||
|
||
## 官方与补充资料
|
||
|
||
SPC 7 篇官方帮助页按 ID 直接读取；另通过支持站搜索取得 Python Alpha 10 篇、Osmosis 10 篇、换手相关 3 篇候选文章。搜索结果提供完整 body，本库只在相关条目引用；Osmosis 旧竞赛页明确标出历史适用范围。SPC schema 以 2026-09-06 更新的官方正文覆盖七月社区教程。
|
||
|
||
外部 AI 文献通过独立只读检索核查论文与作者/官方仓库，见 [外部方案](../02-ai-mining/external-methods.md)。未安装仓库、未执行社区代码，没有把论文回测等同 BRAIN 表现。
|
||
|
||
## 证据优先级与实际验证
|
||
|
||
1. 同一事项、同一适用范围的当前官方说明优先；官方邮件保留日期与有限内容。
|
||
2. 论坛正文为作者经验；评论为补充，需单独判断是否包含新证据。
|
||
3. 本库“建议”是归纳与推断，尤其预算、停止条件、架构与实验设计。
|
||
4. 只核查资料访问、来源日期、重点内容冲突、文件结构/本地链接与凭证泄漏。**没有实际回测、相关性重算、调用额外模型服务做因子实验、投稿、平台 Alpha/PPA/SPC 提交或 Osmosis 配点**。
|
||
|
||
文件验证区分初轮与扩展轮：初轮检查过 20 篇 Markdown 的本地链接与锚点；扩展轮新增 8 篇分类归纳，合计 28 篇 Markdown，本地文件链接检查未发现缺失目标。114 篇今年帖子在具体条目中被引用，509 篇保留初筛状态；全库所有论坛引用均属于这 623 篇今年新帖。评论计数合计 9,572，采集记录全部 complete；凭据与认证令牌检查未发现泄漏。独立核验检查新增条目的日期、关键数字、来源归因与经验/规则边界，未发现明确严重冲突。708 个邮件 ID、623 个论坛 ID 均唯一。未将包含会话或邮件敏感信息的原始采集缓存作为交付物保存；因此外部读者可重访来源，不能仅靠目录 CSV 重建整个采集过程。
|
||
|
||
## 留下的缺口
|
||
|
||
当前账户各地区/字段/算子权限、Python lookback 上限、当日额度、Other Delay 1 主题完整要求、当前 Osmosis 资格/生效时区仍需使用时核实。本文不推断你的等级或现有持仓/Alpha 池。
|
||
|
||
原 `worldquant-mail-index.html` 在用户指定路径和本工作树不存在；源目录重建于本知识库。没有修改知识库以外的项目文件；没有将知识推广到全局技能、共享脚本或规则。
|
||
|
||
## 三篇指定文章追加精读（2026-09-07）
|
||
|
||
基于同日已认证采集的正文快照，完整重读 43208281917591、43179259800471、42274443124119，分别新增 SuperAlpha 合集、API/模板合集、五个 Agent Skill 专题，共增加 3 篇 Markdown。前两篇评论为 0；第三篇全部 48 条评论已阅读。此次没有重新认证刷新论坛版本，因此不声称读取了采集之后的新增内容。
|
||
|
||
两个合集分别有 23、47 个直接论坛链接，核对主语料及先前链接采集的 created_at 后均属旧帖，按范围排除。第三篇的百度网盘附件页面未能取得压缩包；正文中的模块、插件与实验日志声明没有升级为附件实测。专题指出依赖缺失、批大小/次数不一致、PENDING 与零失败、审计指纹及统计口径问题，未运行代码或安装 Skill。最新条目引用位置由阅读索引更新，初轮与扩展轮数量仍按各自采集阶段理解。
|
||
|
||
## 每周论坛同步：2026-09-11
|
||
|
||
北京时间 09:03:40–09:06:33 完成本轮采集（随后进行知识整理与验证）。认证返回 201，支持站 SSO 落地 403，但 Community API 可正常读取。完整遍历 18 页、1,730 篇可见帖子，排除 1,101 篇早于范围边界的帖子，保留 629 篇；原索引 623 个 ID 均仍可见。全量核对范围内评论，取得 9,587 条，629 个采集记录完成，逐帖列表计数与分页取得数一致，无失败。
|
||
|
||
新增收录 6 篇：43322521365143、43320471694999、43320365312023、43319649278359、43309848501783、43269155035799。前五篇发表于 9 月 7–8 日，最后一篇发表于 9 月 5 日，是旧索引没有收录的来源，不能称作本周新发帖。这六篇带来 9 条评论。原有 43181411147287、43179860065303、43179521660823 三篇的旧索引均记为零评论，当前分别取得 2、3、1 条，创建时间均早于 9 月 7 日；这是历史覆盖补齐，不能当作本周新增评论。评论总数净增 15 条不等于本周发表 15 条。
|
||
|
||
原有 141 篇的 `updated_at` 与旧索引不同。由于旧库没有逐帖正文指纹和逐评论快照，不能确定正文编辑数量，也无法完整区分历史漏收、评论编辑和其他元数据变化。本轮建立正文及评论文本指纹；评论指纹不含更新时间，避免单纯时间变化误报内容编辑。首次仍核对了全部范围内评论，不以评论数相等或帖子更新时间未变作为无编辑证明。评论创建或更新时间自 9 月 7 日上海零时起的记录采用重叠窗口筛查，不将重叠窗口内记录一律称为新增。
|
||
|
||
六篇新增收录帖均读正文和全部 9 条评论；141 篇旧帖更新时间变化部分筛查标题与主旨，进一步选择规则、版本与机制相关材料。独立复核完整筛查重叠窗口内 87 篇旧帖的 244 条评论，重要内容主要为既有方法的对照与边界，没有将这些历史评论改称本周新发现。历史 Python 字段支持限制、SPC 七月旧 schema 等说法未覆盖本库已有的官方证据边界。同步读取 ARC2026 评分、关键日期、研究提示和奖金四篇官方 FAQ；仅对应规则已复核，未把社区攻略全部细节升级为官方结论。没有实际回测、报名、预约、安装社区工具或同步邮件。
|
||
|
||
任务专用采集入口和状态位于本机 `.local/forum-sync/`（Git 忽略）：`collect.py` 负责分页、限流退避、互斥和逐帖原子保存；`staged/` 保留去除 HTML 和凭据类字符串的文本；`candidate-baseline.json` 为采集候选，知识整理及验证通过后才复制为 `baseline.json` 并推进 `checkpoint.json`。后续采集比较该基线的正文及评论指纹，仍须实际筛选变化内容。`run.json` 保存本次计数和失败项；部分失败不得宣称全部成功。此状态只包含任务必要内容，不保存登录响应、Cookie 或会话令牌，也未推广为全局规则或共享脚本。
|
||
|
||
本轮验证：两个 CSV 各 629 个唯一帖子 ID，评论数合计 9,587；所有论坛引用均属于本次范围，122 篇帖子被知识条目引用，本地链接未发现缺失目标。新增知识内容及本地 JSON 状态的账号、密码字面值与 JWT 形式扫描通过。实际 API 采集通过；采集脚本语法检查通过，后续增量比较、失败恢复和限流退避尚未通过真实故障场景演练，不能将首次成功等同长期运行保证。
|
||
|
||
## 每周论坛同步：2026-09-18
|
||
|
||
本次实际采集时间为北京时间 10:11:39–10:16:36；这是执行记录，不将计划的 09:00 写成实际开始时间。认证返回 201，支持站 SSO 落地仍为 403，Community API 正常。18 页共有 1,771 篇可见帖子，排除 1,101 篇早于年初边界的帖子，范围内保留 670 篇；上次 629 个 ID 均仍可见。逐帖分页取得 9,601 条评论，670 个记录的实际取得数与列表计数均相等，零采集失败。
|
||
|
||
相对 9 月 11 日内容基线，新收录 41 篇：29 篇发表于上次采集结束后，12 篇的创建时间更早。后者只能称为本轮补录，无法仅凭列表差异判断此前为何不可见或漏收。这 41 篇共取得 5 条评论。旧帖留言墙 42302637812503 新可见 9 个评论 ID，其中 7 条创建时间早于上次采集、2 条发表于 9 月 12 日；其余既有评论文本指纹未见变化，也没有缺失评论 ID。评论总数增加 14 条，其中只有 7 条的创建时间晚于上次采集，不能将净增量全称为本周发表。
|
||
|
||
231 篇旧帖的更新时间变化，但只有两篇正文内容指纹变化：43320471694999 的 AI 合集新增 CNHKMCP QuantFlow 提示词入口，43030071187479 的新人指南新增第三方发布公告与 Osmosis 入口。逐一对照上周文本确认均为目录更新，没有据此扩充列表外旧帖知识。加上留言墙评论变化，共 3 篇既有帖出现内容或评论集合变化，其余仅同步元数据。
|
||
|
||
41 篇新收录帖已完成标题筛查，40 篇有可提取正文并完成主旨阅读，14 篇研究机制和 6 篇工程材料另做独立核验。43287990820375 的正文仅含 12 张图片、没有可提取文字；尝试读取全部 12 个官方图片地址均返回 403，因此未逐图核验，阅读状态记为 `metadata_only`，并在检查点保留待阅读项，不把标题中的夺冠经验或 21 个 OS Alpha 视为已读证据。新收录帖的 5 条评论及留言墙新可见的 9 条评论均已阅读。宣传、充值/邀请和缺少研究证据的收入展示保留索引，不机械扩写成研究方法。
|
||
|
||
知识更新包括：同源差分和正交化不保证降低生产相关性、类别编号协方差的编码依赖、分析师差分口径、代理变量及稀疏事件的有效样本边界；RA 脚本未知结果被标为完成的静态风险；支付教学假设与真实公式的区别；ARC 社区积分活动；按评价时间复盘的边界。所有社区回测数值仍为作者自报，本轮未运行或安装其代码。另通过官方 API 复核 SPC 提交说明 41681208900759（更新 2026-09-13），确认对象数组格式，并补充 return_prediction 正值与 confidence_score 多空方向的分工；没有访问提交接口或调整权重。
|
||
|
||
本轮继续比较全部范围内评论的文本指纹，没有假定帖子更新时间或评论数量能完全反映评论编辑。评论指纹针对去除 HTML、规范化空白后的文字，不覆盖纯排版、链接目标或图片替换；因此“未见评论文本编辑”不能解释为所有媒体与格式均未变化。上周文本保留在本机 `.local/forum-sync/previous-2026-09-11/`，新候选仍由验证后才推进到相应成功基线，图片访问缺口另行保留；状态与采集文本不包含认证响应或会话材料。没有同步邮件、改变平台属性、预约、报名、回测、发帖或推送仓库。
|
||
|
||
验证结果：两个 CSV 各有 670 个唯一帖子 ID，评论合计 9,601；采集记录及候选指纹逐项一致，142 篇帖子被知识条目引用，论坛引用均在范围内，本地链接与差异空白检查通过。新增知识内容和本地 JSON/JSONL 状态的账号密码字面值及 JWT 形式扫描通过。实际 API 采集及本周内容比对已运行；社区回测与代码未执行，自动失败恢复、限流退避仍未经过故障演练。文本及索引同步完成，图片正文访问失败保留为独立缺口。
|
||
|
||
## 每周论坛同步：2026-09-25
|
||
|
||
实际采集时间为北京时间 09:12:33–09:16:29，随后完成筛读和知识整理。认证返回 201，支持站 SSO 落地 403，Community API 正常。完整取得 19 页、1,859 篇可见帖子，排除 1,101 篇早于年初边界的帖子；本次范围内实际取得 758 篇、10,141 条评论，逐帖分页计数一致，无评论抓取失败。
|
||
|
||
相对 9 月 18 日内容基线，新收录 89 篇，其中 72 篇发表于上次采集结束后，17 篇为历史补录。新收录帖带来 9 条评论，217 篇旧帖另有 540 个新可见评论 ID；这 549 条中，67 条发表于上次采集后、482 条创建时间更早，是本轮历史覆盖补齐。旧帖元数据更新时间变化 329 篇，但既有正文指纹无变化，可见帖既有评论没有文本编辑或缺失 ID；没有仅凭更新时间或评论数判断未变。
|
||
|
||
此前收录的 41208709211671（傅里叶变换在 Alpha 开发中的应用，2026-06-14）本次列表缺失，直接官方 API 请求也返回 404，原因未定。保留原文快照、引用、索引及其历史 9 条评论，不把 404 解释为已删除。因而当前索引有 759 个 ID：758 个本次可见，1 个历史保留；阅读索引评论数合计 10,150，其中 9 条未在本次重新取得，该帖 comments_complete 记为 False。本次实际取得评论比上次增加 540，等于新可见 549 减去未能重新取得的历史 9，不能将净增量称作新发表评论。
|
||
|
||
89 篇新收录帖完成标题及正文主旨筛查，专题目录只作导航，未沿目录扩充 2026 年前帖子；福利、收入展示和未答问题保留索引，不扩写为结论。新收录帖的 9 条评论及旧帖新可见的 540 条评论完成筛读，并针对实质纠错和机制建议精读。新增知识集中在冻结后验证、FFT 互补频带恒等式及修正版局限、PCA 窗口索引、聚类代表不能替代逐项 PC 终验、缺失值语义与 UNKNOWN 状态。社区数值仍为作者自述；本次没有复现回测、安装或执行社区代码，也没有将评论中的配额、评分、时区和阈值升级为官方规则。
|
||
|
||
图片帖 43287990820375 仍可取得元数据，正文含 12 张图片；本次抽查其中 1 个官方图片地址仍为 403，没有把抽查写成全部重试，继续保留 metadata_only 和待阅读项。评论指纹仍仅覆盖规范化文字，不检测纯格式、链接目标或图片替换。本次保留上周 670 篇文本快照于本机 previous-2026-09-18/；可见记录验证后推进相应基线，不可访问帖保留旧指纹与重试缺口。此次为可见文本及索引完成、来源与媒体仍有缺口的部分同步，不宣称全量无缺失。
|
||
|
||
验证结果：两个 CSV 均有 759 个唯一 ID；758 个本次采集记录与候选指纹、逐评论文本哈希及分页计数一致，另 1 个历史保留记录明确标为当前未完成。154 篇帖子被知识条目引用，引用均属于本次可见范围或明确保留的历史来源。本地链接、差异空白、新增内容及本地 JSON/JSONL 的账号密码字面值和 JWT 形式扫描通过。采集脚本语法检查通过；本轮只验证实际采集与静态内容比对，没有故障注入、策略回测或社区代码执行。
|