3000篇搜狐新闻语料数据预处理器的python实现 白宁超 2017年5月5日17:20:04 摘要: 关于自然语言处理模型训练亦或是数据挖掘.文本处理等等,均离不开数据清洗,数据预处理的工作.这里的数据不仅仅指狭义上的文本数据,当然也包括视频数据.语音数据.图片数据.监控的流数据等等.其中数据预处理也有必要强调下,决然不是简单是分词工具处理后,去去停用词那么简单.即使去停用词,你选择的粒度尺寸也是有影响的,这跟工作性质和精确度要求也有着紧密的联系.其次选择多大的规模以及怎样维度都是有讲究的.