Files
worldquant-alpha-system/docs/worldquant-knowledge-base/09-experience-lessons/failure-casebook.md
T
yuxuanhui 69c19ed25f
Deploy production / deploy (push) Successful in 51s
Refactor project components and workflows
2026-09-20 11:20:51 +08:00

41 lines
8.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 2026 经验教训:成功截图之外应保留什么
以下均为今年新帖中的作者复盘或评论经验,未复现其收益、收入或因果关系。数值用于辨认案例,不是你的目标参数。
| 失败模式 | 今年案例与观察 | 转成研究约束 |
| --- | --- | --- |
| 只看能否提交 | 120+ Alpha、少数塔、Combine 为负;作者此前忽略 margin 和分散度。[新顾问踩坑分享——combined为负的惨痛教训](https://support.worldquantbrain.com/hc/en-us/community/posts/37476581630231)(2026-01-06) | 提交检查通过后,仍需成本、近年质量与组合增量评估 |
| 以数量代替质量 | 早期“能交便交”,随后改为 single dataset、近年表现和多样性。[2025年踩坑经验总结 vf 0.5->0.13->0.38->0.81; Combined Alpha Performance 0.68->0.06->-0.58->0.36;](https://support.worldquantbrain.com/hc/en-us/community/posts/37388868198423)(2026-01-02) | 按类型评价,不能固定一个 Sharpe 阈值包办所有候选 |
| 追高 Base 或点塔 | 作者报告 VF 0.99→0.70,并将其与大量提交弱历史信号联系。[高VF的经验和VF崩盘的反思(0.99>0.93>0.99>0.98>0.97>0.7)](https://support.worldquantbrain.com/hc/en-us/community/posts/41021984423063)(2026-06-06) | Base、塔数与样本外质量分开记录;不承诺收入因果 |
| 只看 Combine | 单一表现指标尚好,但复杂度和字段同质化成为问题。[【经验分享】关于我Combine名列前茅却只定级Expert这件事😩](https://support.worldquantbrain.com/hc/en-us/community/posts/40962586503191)(2026-06-04) | 保存字段来源和结构族,检查新增信息 |
| 强行满额与停交两难 | 作者将数量骤降和低质点塔均与 VF 下降联系。[【ValueFactor】关于这次更新VF从0.98突然暴跌至0.75的反思与警示](https://support.worldquantbrain.com/hc/en-us/community/posts/39368763910807)(2026-03-29) | 不据单帖制定硬性提交数量;先看质量和规则窗口 |
| 反复修单个检查 | decay/truncation/neut 修好一项又损害另一项,同族候选被相关性堵住。[经验分享:最近做 Regular 点塔时反复踩到的几个坑](https://support.worldquantbrain.com/hc/en-us/community/posts/39870662977687)(2026-04-20) | 设实验预算;多轮交换而无整体改善时重构或停止 |
| 跨地区复制 | 相同 subindustry 中性化在不同地区方向不同。[【2个月提交220个RA经验分享】跨地区通用规律:哪些经验换个 Region 还能用?](https://support.worldquantbrain.com/hc/en-us/community/posts/42259186135831)(2026-07-27) | 迁移诊断方法,重新核查字段与参数 |
| SLOW 万能论 | ASI 中改善子区,但评论提醒小区域、稀疏组与近期衰减。[【2个月提交220个RA经验分享】ASI 从论坛知识到实战验证:SLOW 中性化是王道](https://support.worldquantbrain.com/hc/en-us/community/posts/42258807786391)(2026-07-27) | 按地区和组规模比较,不预设最优中性化 |
| 同字段换算子不降 PC | CHN risk72 的多个变体仍然拥挤,更换数据源才改变结果。[CHN Python Alpha 踩坑实录:risk72 死磕 prod_corr 无果,换 virgin 数据集才过关](https://support.worldquantbrain.com/hc/en-us/community/posts/41279111112855)(2026-06-16) | 把结构性拥挤与参数问题分开 |
| 不看字段可替代性 | 同类字段替换后表现明显下降,逐年关系突变。[【经验分享】Alpha 过拟合的早期信号与应对策略](https://support.worldquantbrain.com/hc/en-us/community/posts/42018671130391)(2026-07-17) | 记录哪些证据支持机制,哪些只支持特定数据源;替换失败并非自动证明无效 |
| 组合池被低 margin 污染 | 高换手低 margin 子 Alpha 进入多个 SA。[【Combined Alpha Performance】踩坑分享,纯新手comb -2+](https://support.worldquantbrain.com/hc/en-us/community/posts/40533711115927)(2026-05-17) | 池级质量过滤先于复杂 Combo |
| 忽略地区风险 | 作者归因 IND PPA 导致 OS Combine 下降,并通过重选池改善。[OS comb从稳健提升到雪崩,我的一次教训。](https://support.worldquantbrain.com/hc/en-us/community/posts/41476771798039)(2026-06-25) | 分地区贡献、共同回撤与集中暴露一起看 |
| Python 机械翻译 | FastExpr 向 Python 转写,NaN、VECTOR、group、lookback 带来失败。[Python Alpha 实战复盘:先分流,再决定转写还是原生搜索](https://support.worldquantbrain.com/hc/en-us/community/posts/41034979787927)(2026-06-07) | 先做语义体检、最小测试和基线对齐 |
| 过检查不等于新信息 | 作者 Python 版硬指标通过,却判断新增 edge 接近零。[【经验分享】我的第二个上线 Python Alpha:把一条 FASTEXPR 因子「重写成 Python」的完整工作流](https://support.worldquantbrain.com/hc/en-us/community/posts/41025007067287)(2026-06-06) | 必须有 Fast 基线与结构消融 |
| 稀疏门控 | AND gate 使有效信号变少,改组合后才改善。[[Python alpha]基于LLms 工作流的python alpha制作经验分享](https://support.worldquantbrain.com/hc/en-us/community/posts/41653035827223)(2026-07-02) | 同时报告触发频率、有效股票与信息损失;线性组合也需验证 |
| AI 放大噪声 | 无约束生成缺少重试、存档与评价闭环。[【经验分享】我如何坚持半年只用 AI 找 Alpha:WorldQuant BRAIN 上的 Agent 搭建、优化与反思](https://support.worldquantbrain.com/hc/en-us/community/posts/39945764650263)(2026-04-22) | 每轮有问题、预算、对照、结构化结果和停止理由 |
| 换填充后突然大涨 | ts_backfill 改 group_backfill 后改善,作者承认提交匆忙。[新人顾问心得,尝试通过Robust测试(一边修改一边写帖子)](https://support.worldquantbrain.com/hc/en-us/community/posts/43031577079575)(2026-08-27) | 隔离覆盖提升与同行信息来源,不跳过复核 |
| 平台更新改变指标 | Combine 在平台更新后大幅变化。[[经验分享]一觉醒来全球combine缩水,只有我保持不变❓(总池combine全球第一)](https://support.worldquantbrain.com/hc/en-us/community/posts/39224484288663)(2026-03-23) | 保存规则/数据版本,先排查口径变化再归因研究进步 |
## 把冲突保留下来
“多交维持数量”与“少而精”、“SLOW 更好”与“小区域可能失效”、“压换手有效”与“压掉信号”,都来自不同对象和样本。不要投票决定哪条经验正确,先写清地区、Universe、类型、字段频率、评价窗口、费用和已有池。
## 一个失败条目应包含
触发条件;完整基线;失败原值;已经试过的修复;对照;新的失败项;适用边界;是否复现;下次何时允许重试。把网络故障、语义错误、检查失败和经济假设被否定分成不同类别。
本库是当前任务交付物,没有将这些社区经验自动写入全局 Skill、Hook 或硬性提交规则。
## 2026-09-18 补充:复盘要对齐评价时间
[OS Comb 六月至七月复盘](https://support.worldquantbrain.com/hc/en-us/community/posts/43438866840343)(2026-09-12)只讨论已更新的六月 3.3+、七月 3.5+,明确八月未刷新,不把后续研究工作解释为此前指标上升的原因。作者把变化归于跨区、多品类和入池质量;这是个人归因,未隔离市场环境、旧池变化和平台统计窗口。可保留的方法是给研究动作、提交入池日和指标评价期分别标记时间,避免倒置因果。
[负 Combine 到 GM 的复盘上篇](https://support.worldquantbrain.com/hc/en-us/community/posts/43540397996311)及[下篇](https://support.worldquantbrain.com/hc/en-us/community/posts/43540418549527)(均为 2026-09-16)再次强调过提交检查不等于成本后质量、复杂度与多样性需要分开看。晋级与收入结果均为作者自报,不能将成功者经历称为保证可复制的方法,也不能把地区或数据类别数量直接当作有效分散度。