验证一个想法 / 约 10 分钟

别把一次好成绩当成实力

样本外、滚动验证和基准,帮你分清背题与理解。

学完这一课,你会

  • 认识过拟合
  • 按时间保留未见数据
  • 用合理基准比较策略
这一课的内容
01

过拟合像背熟一套旧试卷

你反复调整均线周期、止损和买入条件,直到某段历史的收益很漂亮。这可能找到有用规律,也可能只是把那段行情的偶然波动背下来。换一段未见过的行情,成绩就可能大幅下降,这叫过拟合。

试过的方案越多,越容易挑中偶然表现好的那个。应记录尝试次数和失败版本,不只留下最终冠军。规则越复杂,越要解释每个条件的目的,而不是看到一笔亏损就增加一个专门避开它的例外。

02

让考试发生在学习之后

把较早的数据用于构思和选参数,较后的数据用于验证。没有参与挑规则的那部分叫样本外。若看过样本外结果后又据此改参数,它就已经参与了研究,不能继续称为完全未见。

滚动验证把这件事重复做几轮:每次只用当时之前的数据确定规则,再在紧接着的一段数据上观察。价格数据有时间关系,不宜简单随机打乱;若训练标签涉及未来一段收益,还要考虑在训练和验证之间留间隔,避免重叠泄漏。

03

赚钱之后,也要问比较对象是谁

策略赚了 5%,同期买入并持有赚了 15%,说明主动交易没有在收益上胜过这个简单基准。但如果策略风险或持仓比例明显更低,也不能只凭收益就下结论。应并排看成本、回撤、资金占用和交易次数。

比较时统一币种、起止时间、初始资金和成本口径。保留现金也是一个基准,用于说明“做这些交易有没有改善结果”。再试费用更高、成交更差时的结果,检查优势是否稍微受挫就消失。

一步步算 / 教学假设

教学例子:三段连续数据怎么用

  1. 把一段完整历史按先后分为 A、B、C 三段;这只是结构示意,不是固定分配比例。
  2. 只看 A 制定规则;用 B 检查规则表现。如果根据 B 修改规则,记录这次修改。
  3. 锁定最终规则,再打开此前没有研究过的 C;C 只评价这次方案。
  4. 同时计算 C 段买入持有和现金基准,并检查费用上调后结论是否明显翻转。

真正有意义的是对未见数据的表现,而不是反复研究同一段后得到的最好成绩。

容易弄错的地方

  • 把反复看过的验证区间继续叫“全新数据”。
  • 随机打乱连续 K 线,让未来混进训练集。
  • 因为一周盈利就直接推算长期年化收入。

带走一句话一套策略要接受未见行情的考验,也要和简单方案比较。

检查一下理解

看完验证区间后调了参数,接下来怎样评价更合理?

答对后,记录本课进度。可以重复练习。

本课来源与延伸阅读

概念依据见下列原始资料;教学算例由本课程编写。平台界面、费率与可用资格可能变化。

独立学习资料 / 教学与模拟

非币安或 Claude 官方网站。练习数字为教学假设,不承诺收益。

学习路线资料来源