TF-IDF提取行业关键词

1. TF-IDF简介

TF-IDF（Term Frequency/Inverse Document Frequency）是信息检索领域非常重要的搜索词重要性度量；用以衡量一个关键词\(w\)对于查询（Query，可看作文档）所能提供的信息。词频（Term Frequency, TF）表示关键词\(w\)在文档\(D_i\)中出现的频率：

\[TF_{w,D_i}= \frac {count(w)} {\left| D_i \right|}
\]

其中，\(count(w)\)为关键词\(w\)的出现次数，\(\left| D_i \right|\)为文档\(D_i\)中所有词的数量。逆文档频率（Inverse Document Frequency, IDF）反映关键词的普遍程度——当一个词越普遍（即有大量文档包含这个词）时，其IDF值越低；反之，则IDF值越高。IDF定义如下：

\[IDF_w=\log \frac {N}{\sum_{i=1}^N I(w,D_i)}
\]

其中，\(N\)为所有的文档总数，\(I(w,D_i)\)表示文档\(D_i\)是否包含关键词，若包含则为1，若不包含则为0。若词\(w\)在所有文档中均未出现，则IDF公式中的分母为0；因此需要对IDF做平滑（smooth）：

\[IDF_w=\log \frac {N}{1+\sum_{i=1}^N I(w,D_i)}
\]

关键词\(w\)在文档\(D_i\)的TF-IDF值：

\[TF-IDF_{w,D_i}=TF_{w,D_i}*IDF_w
\]

从上述定义可以看出：

• 当一个词在文档频率越高并且新鲜度高（即普遍度低），其TF-IDF值越高。
• TF-IDF兼顾词频与新鲜度，过滤一些常见词，保留能提供更多信息的重要词。

《TF-IDF模型的概率解释》从概率的角度给出TF-IDF的数学解释，《The Vector Space Model of text》为TF-IDF的实操教程，包括TF-IDF的一般计算、正则化，以及如何使用scikit-learn（sklearn）来计算TF-IDF矩阵。

2. 关键词提取

最近碰到一个需求，挖掘行业关键词；比如，IT行业的关键词有：Java、Python、机器学习等。TF-IDF正好可用来做关键词的抽取，词TF-IDF值越大，则说明该词为关键词。那么，问题来了：如何套用TF-IDF模型呢？

模型套用

为了做关键词挖掘，首先得有数据；我们从某招聘网站爬取了20个行业招聘信息数据。然后，对数据进行分词。我们发现，行业关键词具有领域特定性，即一个行业的关键词一般不会同属于另外几个行业。因此，我们每一个行业的分词结果作为一个大doc，则doc的总数量为20。用sklearn计算TF-IDF矩阵，取每个行业top词。

在上述模型套用中，因为doc总数少，发现top词中会有一些常见词，诸如“认真负责”、“岗位”之类。为了过滤常见词，采取两个办法：

• 用jieba分词对每一条招聘信息做关键词抽取（也是基于TF-IDF），如此能在生成大doc时剔除掉部分常见词。
• 引入max_df，如果词的df超过某一阈值则被词表过滤。

代码实现

分词采用的jieba，如果觉得分词效果不太理想，可采用百度词条作为自定义分词词典；TF-IDF计算依赖于sklearn；求matrix 的row top则用到了numpy。具体代码如下：

# -*- coding: utf-8 -*-
# @Time    : 2016/9/6
# @Author  : rain
import codecs
import os

import jieba.analyse
import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer

base_path = "./resources/corpus/"
seg_path = "./resources/segmented/"

def segment():
    """word segment"""
    for txt in os.listdir(base_path):
        whole_base = os.path.join(base_path, txt)
        whole_seg = os.path.join(seg_path, txt)
        with codecs.open(whole_base, 'r', 'utf-8') as fr:
            fw = codecs.open(whole_seg, 'w', 'utf-8')
            for line in fr.readlines():
                # seg_list = jieba.cut(line.strip())
                seg_list = jieba.analyse.extract_tags(line.strip(), topK=20, withWeight=False, allowPOS=())
                fw.write(" ".join(seg_list))
            fw.close()

def read_doc_list():
    """read segmented docs"""
    trade_list = []
    doc_list = []
    for txt in os.listdir(seg_path):
        trade_list.append(txt.split(".")[0])
        with codecs.open(os.path.join(seg_path, txt), "r", "utf-8") as fr:
            doc_list.append(fr.read().replace('\n', ''))
    return trade_list, doc_list

def tfidf_top(trade_list, doc_list, max_df, topn):
    vectorizer = TfidfVectorizer(max_df=max_df)
    matrix = vectorizer.fit_transform(doc_list)
    feature_dict = {v: k for k, v in vectorizer.vocabulary_.items()}  # index -> feature_name
    top_n_matrix = np.argsort(-matrix.todense())[:, :topn]  # top tf-idf words for each row
    df = pd.DataFrame(np.vectorize(feature_dict.get)(top_n_matrix), index=trade_list)  # convert matrix to df
    return df

segment()
tl, dl = read_doc_list()
tdf = tfidf_top(tl, dl, max_df=0.3, topn=500)
tdf.to_csv("./resources/keywords.txt", header=False, encoding='utf-8')