← 全部文章

缺失、延迟、错误:市场数据质量校验的几种做法

市场数据常见的三类问题是缺失、延迟和错误。这篇讲每一类怎么写校验规则,出了问题怎么处理,又怎样如实告诉看数据的人。

发布

做市场数据,最怕的不是数据少,而是数据错了没人知道。一张看起来完整的表,可能少了一天、晚到了半天,或者某个数字单位不对。看数据的人没法分辨,只能相信。

我们在做知数星耀量化平台的数据时,把常见的问题分成三类:缺失、延迟、错误。每一类都有对应的校验规则。这篇讲讲具体怎么做。

缺失:该有的数据有没有

缺失最常见,也最容易被忽略,因为表里少几行不会报错。

常用的几条规则:

规则 检查什么 怎么判断
空值率 关键字段有没有空值 空值比例超过阈值(比如 5%)就报警
交易日连续性 每只股票的数据日期有没有断档 和交易日历逐日对照,回看最近 30 天
日数据量 最近一个交易日的行数是否正常 落在合理区间之外就报警
重复率 同一天同一只股票是否出现多行 重复比例超过阈值就报警

交易日历本身也要检查。日历只录到年底的话,到了明年,连续性检查就会失效。所以我们每天检查一次日历还剩多少天,不足 30 天就提醒人去补。

还有一种缺失更隐蔽:上游数据还没准备好,下游任务就开跑了。 我们遇到过一次:定时任务在上游数据到齐之前运行,写进了几百行名称为空、数值全为 0 的记录。表里行数是对的,内容却是空的。

之后我们加了一条规则:一批数据里,如果绝大多数行都是这种空记录,就整批拒绝写入,并记下原因「上游大面积缺失」。宁可这一批暂时没有,也不写进一批假数据。

延迟:数据是不是今天的

市场数据有时效。昨天的数据当成今天的看,结论就会错。

做法有两步:

  1. 规定什么时候该到。 每类数据都有预期的更新时间。到了时间还没更新,时效性检查就报警。
  2. 把「新不新」写进数据本身。 每次返回数据时,同时给出它的状态:
    • 新鲜:数据日期就是请求的交易日;
    • 过期:有数据,但日期更早;
    • 缺失:没有数据。

第二步很重要。只在后台报警不够,用到这份数据的每个页面和接口都应该知道它新不新,才能决定怎么展示。

采集任务失败时会自动重试,但次数有上限,比如最多 3 次。超过次数还不成功,就交给人处理,不无限重来。

错误:数字对不对

错误最难查,因为错的数字看起来和对的一样。我们用几类规则来拦:

  • 取值范围。 有些量天然有范围:指数市盈率应该为正,国债利率应该落在合理区间里。超出范围,多半是单位或来源出了问题。
  • 没有未来日期。 一条数据的日期不能晚于它被采集的时间。出现「未来」的数据,通常是日期字段解析错了。
  • 计算一致性。 指标是用公式算出来的,就用公式反算一遍,看各部分加起来是否等于总数。
  • 没有前视。 计算历史分位时,只能用当时已经有的数据,不能用后来的数据。这条不检查,回看历史时数字会好看得不真实。
  • 两边对账。 同一份数据存了两处,每天对一次账,看是否一致。

以估值类指标为例:指数估值、国债利率、日期、公式和分位,每一项都有对应的检查。

出了问题怎么告诉看数据的人

校验的最终目的,是让看数据的人知道这份数据能不能信。几条做法:

  • 每个数字都标数据日期。 页面上写明「数据日期」,接口里返回日期字段。没有数据时显示「—」,不留空也不填 0。
  • 缺失要说清楚缺了什么。 比如「某交易日的逐笔数据缺失」,比笼统的「加载失败」有用得多。
  • 不拿旧数据冒充新数据。 数据过期时,宁可标出「过期」,也不悄悄展示上一天的数字。
  • 报警要有级别。 分成「警告」和「错误」两级,每条报警带上规则编号、实际值和阈值,处理的人一眼能看出问题在哪。

小结

数据质量校验没有一劳永逸的规则表。我们的经验是:先从缺失、延迟、错误三类里各写几条最常出问题的规则;之后每出一次事故,就补一条能拦住它的规则。

规则跑在后台,结果要落到前台:看数据的人应该能看到数据日期、新鲜程度和缺失情况。

常见问题

数据校验没通过,应该怎么办?

先别把这批数据写进给用户看的表。能等上游补齐的就等;必须展示的,标明数据日期和缺失情况,不拿旧数据冒充新数据。

数据质量规则要写多少条才够?

从缺失、延迟、错误三类各写几条最常出问题的开始,比如空值率、交易日连续性、按时更新和取值范围。出过一次事故,就补一条能拦住它的规则。