TF-IDF算法学习报告

　　TF-IDF是一种统计方法，这个算法在我们项目提取关键词的模块需要被用到，TF-IDF算法是用来估计

一个词汇对于一个文件集中一份文件的重要程度。从算法的定义中就可以看到，这个算法的有效实现是依靠

一定数据量的文件集作为基础的。字词的重要性随着他在文件中出现的次数呈正比例的关系增加，这一点很

符合常识，就是这个词出现的次数越多，那个这个词越重要，词的出现频度和他的重要程度之间呈现正关系。

为了抑制冠词等经常出现的无用词汇的重要程度，这个词汇的重要程度会在他在语料库中出现的频率成反比

下降，也就是说，如果在文件集中他出现的频率越高，那么说明这个词在文件集中越常见，那么他的重要程

度越低。

　　所以TF-IDF算法的重要文件基础就是需要一个语料库，这个语料库越大，囊括的词汇越多，参与统计的

文件集数量越大，那么它对于词汇在普遍文件中出现频率的范颖效果就越好，那么它对于词汇在文档中重要

程度的修正效果就越准确，在我们的项目中，我们找到了网络上一些语言类高校公布出来的语料库，语聊库

文件通过excel文件编辑，在表格中记录了收纳进语料库的词汇，单个词汇的出现频度百分比，以及这个词汇

在语料库中出现频率的累计百分比。这使得我们可以方便的获取到各个词汇在文件集中出现的频率。

　　在读取excel文件上，我们使用的OleDbDataAdapter完成对excel文件的读取，这里的操作和用sql命令

操作数据库的类似，读取指定数据库中指定表中的信息，每个表中单个元组内的信息可以通过select语句获取

到，更具获取到的每个词汇单独的出现频率就可以正常的使用TD-IDF算法。