写在前面 文本分类是nlp中一个非常重要的任务,也是非常适合入坑nlp的第一个完整项目.虽然文本分类看似简单,但里面的门道好多好多,作者水平有限,只能将平时用到的方法和trick在此做个记录和分享,希望大家看过都能有所收获,享受编程的乐趣. 第一部分 模型 Bert模型是Google在2018年10月发布的语言表示模型,一经问世在NLP领域横扫了11项任务的最优结果,可谓风头一时无二.有关于Bert中transformer的模型细节,推荐看这篇.在此不做赘述. ​ ​图一:bert分类模型结构

Reuters数据集下载速度慢,可以在我的repo库中找到下载,下载后放到~/.keras/datasets/目录下,即可正常运行. 构建神经网络将路透社新闻分类,一共有46个类别.因为有多个类别,属于多分类问题,而每条数据只属于一个类别,所以是单标签多分类问题:如果每条数据可以被分到多个类别中,那问题则属于多标签多分类问题. 完整代码 欢迎Fork.Star 路透社数据集 Reuters数据集发布在1986年,一系列短新闻及对应话题的数据集:是文本分类问题最常用的小数据集.和IMDB.MNIS

1.朴素贝叶斯实现新闻分类的步骤 (1)提供文本文件,即数据集下载 (2)准备数据 将数据集划分为训练集和测试集:使用jieba模块进行分词,词频统计,停用词过滤,文本特征提取,将文本数据向量化 停用词文本stopwords_cn.txt下载 jieba模块学习:https://github.com/fxsjy/jieba :    https://www.oschina.net/p/jieba (3)分析数据:使用matplotlib模块分析 (4)训练算法:使用sklearn.naive_b

详细代码已上传到github: click me Abstract:    Sentiment classification is the process of analyzing and reasoning the sentimental subjective text, that is, analyzing the attitude of the speaker and inferring the sentiment category it contains. Traditional mac

  在我们进行事件抽取的时候,我们需要触发词来确定是否属于某个特定的事件类型,比如我们以政治上的出访类事件为例,这类事件往往会出现"访问"这个词语,但是仅仅通过"访问"这个触发词来判断是否属于出访类事件是不可靠的,比如我们会碰到以下情况: 通过上面的例子,我们知道,像访问速度,访问量这种文档虽然出现了访问,但却不属于政治上的出访类事件.因此,这时候我们需要借助文本分类模型来判断,显然,这是一个二分类模型.   本文将会讲述如何利用BERT+DNN模型来判断文档是否属

基于Bert从Windows API序列做恶意软件的多分类 目录 基于Bert从Windows API序列做恶意软件的多分类 0x00 数据集 0x01 BERT BERT的模型加载 从文本到ids 从ids到词嵌入.分类 是否需要训练bert的参数? 0x02 数据预处理 0x03 模型框架和代码 0x00 数据集 https://github.com/ocatak/malware_api_class 偶然间发现,该数据集共有8种恶意软件家族,数量情况如下表. Malware Family S

1.简单例子引入 2.先验概率 3.后验概率 4.最小错误率决策 5.最小风险贝叶斯决策 1. 贝叶斯公式 2简单例子 正常情况下,我们可以快速的将街上的人分成男和女两类.这里街上的人就是我们观测到的样本,将每一个人分成男.女两类就是我们做决策的过程.上面的问题就是一个分类问题. 分类可以看作是一种决策,即我们根据观测对样本做出应归属哪一类的决策. 假定我手里握着一枚硬币,让你猜是多少钱的硬币,这其实就可以看作一个分类决策的问题:你需要从各种可能的硬币中做出一个决策.硬币假设面值有1角.5角.1

1.map做一个标签的数字替换 2.vec = CountVectorizer(lowercase=False, max_features=4000)  # 从sklean.extract_feature.text 导入,根据词频做一个数字的映射,max_feature表示的是最大的特征数 需要先使用vec.fit ,再使用vec.transform 才有效 3. vec = TfidfVectorizer(lowercase=False, max_features=4000)  # 从skle

原始的github可以参考这里: https://github.com/FudanNLP/nlpcc2017_news_headline_categorization 我的经验文章可以参考这里: https://www.cnblogs.com/charlesblc/p/8204587.html

# -*- coding: UTF-8 -*- import jieba import os import random from sklearn.naive_bayes import MultinomialNB from matplotlib import pyplot as plt def TextProcessing(folder_path, test_size=0.2): """ 处理路径下的所有文本,并划分训练集和测试集,在训练集上,生成无重复词语集并按出现次数从大

WSDM(Web Search and Data Mining,读音为Wisdom)是业界公认的高质量学术会议,注重前沿技术在工业界的落地应用,与SIGIR一起被称为信息检索领域的Top2. 刚刚在墨尔本结束的第12届WSDM大会传来一个好消息,由美团搜索与NLP部NLP中心的刘帅朋.刘硕和任磊三位同学组成的Travel团队,在WSDM Cup 2019大赛 “真假新闻甄别任务” 中获得了第二名的好成绩.队长刘帅朋受邀于2月15日代表团队在会上作口头技术报告,向全球同行展示了来自美团点评的解决方

一.简介 本文主要是要利用百度提供的NLP接口对搜狐的新闻做分类,百度对NLP接口有提供免费的额度可以拿来练习,主要是利用了NLP里面有个文章分类的功能,可以顺便测试看看百度NLP分类做的准不准.详细功能与使用方式可以上(http://ai.baidu.com/tech/nlp/topictagger)观看. 二.建立爬虫 首先要先写一个可以快速爬取所有文章内容的爬虫程序,关于爬虫的原理可以看我之前写的介绍(https://www.cnblogs.com/yenpaul/p/9968015.ht

背景介绍   文本分类是NLP中的常见的重要任务之一,它的主要功能就是将输入的文本以及文本的类别训练出一个模型,使之具有一定的泛化能力,能够对新文本进行较好地预测.它的应用很广泛,在很多领域发挥着重要作用,例如垃圾邮件过滤.舆情分析以及新闻分类等.   现阶段的文本分类模型频出,种类繁多,花样百变,既有机器学习中的朴素贝叶斯模型.SVM等,也有深度学习中的各种模型,比如经典的CNN, RNN,以及它们的变形,如CNN-LSTM,还有各种高大上的Attention模型.   无疑,文本分类是一个相

目录 前言 BERT模型概览 Seq2Seq Attention Transformer encoder部分 Decoder部分 BERT Embedding 预训练 文本分类试验 参考文献 前言 在18年末时,NLP各大公众号.新闻媒体都被BERT(<BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding>)刷屏了,刷新了自然语言处理11项纪录,也被称为了2018年最强自然语言处理模型.

  本文(部分内容)翻译自文章A Visual Guide to Using BERT for the First Time,其作者为Jay Alammar,访问网址为:http://jalammar.github.io/a-visual-guide-to-using-bert-for-the-first-time/ ,可以作为那些不熟悉BERT的读者首次阅读.文章中如有翻译不当之处,还请批评指正.   本文是关于如何使用BERT的变异版本来进行句子分类的简单教程.该例子足够简单,因此可以作为首

概述 Google的BERT改变了自然语言处理(NLP)的格局 了解BERT是什么,它如何工作以及产生的影响等 我们还将在Python中实现BERT,为你提供动手学习的经验 BERT简介 想象一下--你正在从事一个非常酷的数据科学项目,并且应用了最新的最先进的库来获得一个好的结果!几天后,一个新的最先进的框架出现了,它有可能进一步改进你的模型. 这不是一个假想的场景--这是在自然语言处理(NLP)领域工作的真正现实!过去的两年的突破是令人兴奋的. 谷歌的BERT就是这样一个NLP框架.我敢说它可

转载于 腾讯Bugly 发表于 腾讯Bugly的专栏 原文链接:https://cloud.tencent.com/developer/article/1389555 本文首先介绍BERT模型要做什么,即:模型的输入.输出分别是什么,以及模型的预训练任务是什么:然后,分析模型的内部结构,图解如何将模型的输入一步步地转化为模型输出:最后,我们在多个中/英文.不同规模的数据集上比较了BERT模型与现有方法的文本分类效果. 1. 模型的输入/输出 BERT模型的全称是:BidirectionalEnc

LM-MLC 一种基于完型填空的多标签分类算法 1 前言 本文主要介绍本人在全球人工智能技术创新大赛[赛道一]设计的一种基于完型填空(模板)的多标签分类算法:LM-MLC,该算法拟合能力很强能感知标签关联性,在多个数据集上测试表明该算法与主流算法无显著性差异,在该比赛数据集上的dev效果很好,但是由于比赛期间事情多,没有好好在test集做测试. 个人认为该算法根正苗红,理论上可以获得更好的效果,因此做个开源,抛砖引玉,希望有人能提出更为有效的改进.本次开源的代码可读性较强,也有较高的扩展性,本人

想要做个新闻文本识别分类的项目,就先写了个爬取百度新闻的爬虫. 环境:win7 32 bit python3.4 若干第三方库 可以实现的功能:定期按照百度新闻的分类抓取新闻的标题,所属类别及文本内容,并自动存入数据库(MySQL),同时发邮件到自己邮箱提醒. 缺陷:因新闻来源不同,网页编码不同,会出现少量的乱码现象:存入数据库未添加自动去重功能(自己手动去重其实也并不难,所以没去研究这个) STEP1: creat_dbtable.py链接数据库创建表(也可直接通过操作MySQL) # -*-

在本教程的前两篇文章中,笔者分别向大家介绍了使用jQuery Mobile框架如何去设计手机新闻浏览器,其中实现了一个WEB版本的新闻浏览器,在本教程的最后一篇中,将讲解如何将已实现的web版本的新闻浏览器迁移到Android手机中去,注意的是,本文希望读者拥有一点基础的Android知识. 迁移到Android应用中去 在Android应用中,将会使用index.html作为界面的布局,我们将编写一个Android的Activity类将index.html整合到android应用中去. 修改i

在上一篇文章中,已经讨论了程序的结构和页面的布局,并简单介绍了一些jQuery Mobile的使用技巧.在本篇文章中,笔者将继续完成我们web应用的新闻浏览器的设计. 程序的启动 我们现在来研究一下程序的启动.当程序启动的时候,展示给用户的是新闻分类列表的页面,为了让每次这个新闻分类页面不为空,我们需要记下用户之前选择了 哪些感兴趣的分类.为了实现这个目的,我们通过使用jQuery的一个插件DST.js plugin去把用户每次选择的新闻分类都保存在HTML5的localStorage中.如果用