大岩定增吧 关注:20贴子:135
  • 2回复贴,共1

大岩资本:浅谈量化中的数据清洗——处理缺失值

只看楼主收藏回复


量化研究模型往往是建基于大量数据,然而,在数据挖掘过程中,经常会遇到挖掘出来的特征数据存在各种异常情况,比如数据异常、数据缺失等。对于这些情况,如果不加以处理,将可能直接影响到最终模型建立后的使用效果,甚至可能导致模型失效。所以对于数据挖掘工程师来说,掌握必要的数据清洗方法是很有必要的!


1楼2021-03-16 17:08回复
    缺失值,指的是缺少的数据,由于部分数据结构是齐整的,比如矩阵,缺失的数据会变成空值(NAN)留在其中,对我们后续的研究带来麻烦。我们需要分析后并去掉它们的影响。对于缺失值,量化中常见的处理方法是填充或删除。我们先分析泛用的清洗方法,再来研究数据的特性,对缺失值进行分类。


    2楼2021-03-16 17:08
    回复
      很多算法不支持缺失值数据作为输入。清洗中常见的操作是,遇到缺失值则填充为均值,或将数据特征取zscore变换,使得数据均值为0,标准差为1。Zscore变换使得填充均值和填充为0是一样,同时也平衡了不同特征之间的大小区别。这样,我们损失了空值的信息,再少了两个自由度,使得数据能较好地被算法支持。


      3楼2021-03-16 17:08
      回复