KEY METRICS
历史验证不只看总体结果,更要关注过程波动
样本表现
历史验证区间内的样本表现如何。
样本占比
正结果样本占全部样本的比例。
关键风险
测试曲线从高点回落的最大幅度。
结果分布
正向样本和不利样本之间的分布关系。
EXAMPLE
一条规则的历史验证示例
将规则放入历史数据中验证,观察信号样本数量、结果分布、回撤幅度和不同阶段的稳定性。
COMMON MISTAKES
历史验证中常见的误区
忽视回撤和胜率,较好的历史样本表现也可能伴随较高过程波动。
参数过度贴合历史样本,换到新样本时可能明显失效。
历史验证忽略成本、延迟和流程差异时,后续观察条件可能被低估。
将规则放入历史样本中验证
历史样本验证,是将规则放入过去数据中按时间顺序检验。它回答的核心问题是:如果该规则在历史样本中已经存在,会呈现怎样的结果分布、波动特征和稳定性。
例如,当价格与某一预设观察区间形成特定关系时记录观察样本,当该关系失效时记录规则失效样本。历史验证会记录每次信号出现的时间、样本表现和过程波动。
历史验证的作用,是帮助学习者初步筛选研究方向。如果规则在历史样本中逻辑不稳定,就需要继续拆解条件、检查数据并重新评估假设。
从数据准备到指标输出的完整顺序
- 准备数据:历史价格、成交量、时间戳和其他可观察变量。
- 设置规则:明确何时记录信号、何时标记失效、何时暂停复核。
- 运行验证:让程序按时间顺序逐行检查数据。
- 分析结果:观察结果曲线、回撤幅度、样本数量和胜率结构等指标。
关键原则是:验证过程只能使用当时已经可获得的数据,不能引入未来才知道的信息,这类问题通常称为未来函数。
样本表现与过程风险要一起看
- 结果指标:整体样本表现如何。
- 胜率:正向样本在全部样本中的占比。
- 最大回撤:测试曲线从阶段高位回落的幅度。
- 样本数量:信号样本是否足以支持观察。
- 结果分布:正向样本和不利样本之间的关系。
- 结果曲线:过程是相对稳定,还是波动较大。
初学者容易只关注单一结果指标。但样本表现较好、回撤较大时,稳定性仍需谨慎评估;胜率较高但不利样本影响较大时,也需要进一步复核。
避免制造过度理想化的历史结果
- 过度拟合:规则太贴合过去数据,换一段时间就变差。
- 未来函数:不小心用了当时还不知道的信息。
- 忽略成本:例如费用、滑点、延迟和流程差异等后续观察因素。
- 样本太少:信号次数太少,结果缺少参考价值。
- 只挑理想结果:不断修改规则,直到某一段历史样本表现较好。
历史验证用于检查规则逻辑和样本稳定性,不是为了制造完美结果。更可信的研究结果,应能经受不同时间段和不同市场状态的检验。
历史样本验证不代表未来结果
历史样本验证仅用于教育和策略研究,不能保证未来表现,也不构成金融产品建议、个人化金融建议或任何操作建议。后续观察条件中的成本、滑点、延迟、流动性和人为判断都可能影响结果。