验证一个想法 / 约 10 分钟
别把一次好成绩当成实力
样本外、滚动验证和基准,帮你分清背题与理解。
学完这一课,你会
- 认识过拟合
- 按时间保留未见数据
- 用合理基准比较策略
这一课的内容
过拟合像背熟一套旧试卷
你反复调整均线周期、止损和买入条件,直到某段历史的收益很漂亮。这可能找到有用规律,也可能只是把那段行情的偶然波动背下来。换一段未见过的行情,成绩就可能大幅下降,这叫过拟合。
试过的方案越多,越容易挑中偶然表现好的那个。应记录尝试次数和失败版本,不只留下最终冠军。规则越复杂,越要解释每个条件的目的,而不是看到一笔亏损就增加一个专门避开它的例外。
让考试发生在学习之后
把较早的数据用于构思和选参数,较后的数据用于验证。没有参与挑规则的那部分叫样本外。若看过样本外结果后又据此改参数,它就已经参与了研究,不能继续称为完全未见。
滚动验证把这件事重复做几轮:每次只用当时之前的数据确定规则,再在紧接着的一段数据上观察。价格数据有时间关系,不宜简单随机打乱;若训练标签涉及未来一段收益,还要考虑在训练和验证之间留间隔,避免重叠泄漏。
赚钱之后,也要问比较对象是谁
策略赚了 5%,同期买入并持有赚了 15%,说明主动交易没有在收益上胜过这个简单基准。但如果策略风险或持仓比例明显更低,也不能只凭收益就下结论。应并排看成本、回撤、资金占用和交易次数。
比较时统一币种、起止时间、初始资金和成本口径。保留现金也是一个基准,用于说明“做这些交易有没有改善结果”。再试费用更高、成交更差时的结果,检查优势是否稍微受挫就消失。
一步步算 / 教学假设
教学例子:三段连续数据怎么用
- 把一段完整历史按先后分为 A、B、C 三段;这只是结构示意,不是固定分配比例。
- 只看 A 制定规则;用 B 检查规则表现。如果根据 B 修改规则,记录这次修改。
- 锁定最终规则,再打开此前没有研究过的 C;C 只评价这次方案。
- 同时计算 C 段买入持有和现金基准,并检查费用上调后结论是否明显翻转。
真正有意义的是对未见数据的表现,而不是反复研究同一段后得到的最好成绩。
容易弄错的地方
- 把反复看过的验证区间继续叫“全新数据”。
- 随机打乱连续 K 线,让未来混进训练集。
- 因为一周盈利就直接推算长期年化收入。
带走一句话一套策略要接受未见行情的考验,也要和简单方案比较。
检查一下理解
看完验证区间后调了参数,接下来怎样评价更合理?
答对后,记录本课进度。可以重复练习。
本课来源与延伸阅读
概念依据见下列原始资料;教学算例由本课程编写。平台界面、费率与可用资格可能变化。
- QuantConnect 官方:量化研究中的常见偏差
核对过拟合、幸存者偏差与按时间验证的研究原则。
核实日期:2026-09-23 - scikit-learn 官方:按时间顺序切分数据
核对训练在前、验证在后的顺序,以及训练和验证之间可留间隔。
核实日期:2026-09-23 - Binance Academy:什么是回测
核对回测基本流程和结果局限。页面没有采用固定交易笔数即可证明有效的说法。
核实日期:2026-09-23