NLP新秀 - Bert
目录
- 什么是Bert
- Bert能干什么?
- Bert和TensorFlow的关系
- BERT的原理
- Bert相关工具和服务
- Bert的局限性和对应的解决方案
沉舟侧畔千帆过, 病树前头万木春. 今天介绍的是NLP新秀 - Bert.
什么是Bert
一年多之前, 那是2018年的一个秋天(10月11日), 谷歌AI团队新发布了BERT模型,在NLP业内引起巨大反响,认为是NLP领域里程碑式的进步。BERT模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越人类,并且还在11种不同NLP测试中创出最佳成绩,包括将GLUE基准推至80.4%(绝对改进7.6%),MultiNLI准确度达到86.7%(绝对改进率5.6%)等。
Bert的官网是: https://github.com/google-research/bert
Bert能干什么?
Bert能显著提升智能客服系统的表现, 因为Bert在智能客服系统所需要的如下技术和模块中都表现优越:
• 问答 Question Answering (SQuAD v1.1)
• 推理 Natural Language Inference (MNLI)
除了智能客服系统外, Bert还可以用于以下系统和任务中:
• 问答系统
• 命名实体识别
• 文档聚类
• 邮件过滤和分类
• 情感分析
Bert和TensorFlow的关系
那Bert和大名鼎鼎的TensorFlow有什么关系呢?
1. Bert是一个模型, 不是一个工具. TensorFlow是一个工具.
2. Bert这个模型可以在TensorFlow这个工具里实现.
3. 可见, 这两者不是一个维度的东西, 并不是竞争对手, 所以Bert的推出会取代TensorFlow绝对是一个谣言.
BERT的原理
BERT的创新点在于它将双向 Transformer 用于语言模型,
之前的模型是从左向右输入一个文本序列,或者将 left-to-right 和 right-to-left 的训练结合起来。
实验的结果表明,双向训练的语言模型对语境的理解会比单向的语言模型更深刻,
论文中介绍了一种新技术叫做 Masked LM(MLM),在这个技术出现之前是无法进行双向语言模型训练的。
BERT 利用了 Transformer 的 encoder 部分。
Transformer 是一种注意力机制,可以学习文本中单词之间的上下文关系的。
Transformer 的原型包括两个独立的机制,一个 encoder 负责接收文本作为输入,一个 decoder 负责预测任务的结果。
BERT 的目标是生成语言模型,所以只需要 encoder 机制。
Transformer 的 encoder 是一次性读取整个文本序列,而不是从左到右或从右到左地按顺序读取,
这个特征使得模型能够基于单词的两侧学习,相当于是一个双向的功能。
Bert相关工具和服务
那么Bert有没有开箱即用的工具和服务呢?
有的, 比如bert-as-service: https://github.com/hanxiao/bert-as-service
现在让我们来走一遍bert-as-sevice吧. (我用mac, 所以以下所用命令会和在windows下不一样, windows的朋友请自行调整)
第一时间想到的最简单、快速、方便的方法当然是去docker hub上拉一个最新的image啦,然而docker hub上的bert-as-service太旧了,不得不放弃了,我们还是使用传统方法来安装吧。
先要确认安装了:
- vs code,
- python 3.5到3.7(on 2020年2月14日: 不要python 3.8, 因为目前tensorflow最高版本只支持到3.7) (中国的朋友可以使用taobao镜像: https://npm.taobao.org/mirrors/python/ ),
- Tensorflow 1.10 到1.15.0 (中国的朋友可以使用douban镜像:sudo pip3 install tensorflow==1.15.0 -i https://pypi.douban.com/simple ) (on 2020年2月14日 :不要安装Tensorflow其他版本 )
- Windows的话还需要安装Microsoft Visual C++ Redistributable for Visual Studio 2015, 2017 and 2019. https://aka.ms/vs/16/release/vc_redist.x64.exe
1. 打开vs code, 建立好bert目录. 在bert目录右键打开命令区
2. 先建立python虚拟环境, 输入命令: python3 -m venv bert-env
3. 安装server: pip install bert-serving-server
4. 安装client: pip install bert-serving-client
5. 下载Download a Pre-trained BERT Model一节里的模型。我选择了BERT-Large, Cased https://storage.googleapis.com/bert_models/2018_10_18/cased_L-24_H-1024_A-16.zip. 如果需要对中文做处理的推荐 https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip
6. 新建一个model文件夹,下载后解压到这个model文件夹里。
7. 启动BERT service: bert-serving-start -model_dir /model/cased_L-24_H-1024_A-16/ -num_worker=4
如果运行报错, 大概率是版本不对, 可以指定绝对路径来确保你调用的是正确的版本
Bert的局限性和对应的解决方案
说得这么牛,那么Bert有什么局限性吗?
万事万物是不可能完美的,Bert当然也有其局限性,Bert只适合处理数百个单词,所以用来做智能、 问答系统、命名实体识别、文档聚类、邮件过滤和分类、情感分析等一般只有几百个单词的人工智能系统是很适合的。
但是Bert不能处理成千上万个单词,所以不适用于书籍、合同等大量文本。如果需要处理书籍、合同等大量文本,推荐使用Google的另一个模型:Reformer。
Reformer模型能够处理多达100万字的环境,从目前的实际应用来讲,面向百字的Bert + 面向万字的Reformer组合基本能够横扫整个NLP领域了。
不得不说,Google真的是牛,不但连续拿到了互联网、移动互联网、人工智能等领域的门票。现在还针对NLP各个子领域推出相应技术和产品。这样下去,Google又在NLP届全领域占领了!
自从Google在2016年AlphaGo下赢围棋以来,推出Tensorflow,又在Tensorflow上面推出一堆模型,战略布局很赞,这盘大棋下得真好!
最后以一句话结束此文, 学习让我青春, 学习让我年轻 -> 不断地学习让我永葆青春.
NLP新秀 - Bert的更多相关文章
- 站在BERT肩膀上的NLP新秀们(PART I)
站在BERT肩膀上的NLP新秀们(PART I)
- 最强NLP模型-BERT
简介: BERT,全称Bidirectional Encoder Representations from Transformers,是一个预训练的语言模型,可以通过它得到文本表示,然后用于下游任务, ...
- NLP采用Bert进行简单文本情感分类
参照当Bert遇上Kerashttps://spaces.ac.cn/archives/6736此示例准确率达到95.5%+ https://github.com/CyberZHG/keras-ber ...
- 语言模型预训练方法(ELMo、GPT和BERT)——自然语言处理(NLP)
1. 引言 在介绍论文之前,我将先简单介绍一些相关背景知识.首先是语言模型(Language Model),语言模型简单来说就是一串词序列的概率分布.具体来说,语言模型的作用是为一个长度为m的文本确定 ...
- 自然语言处理中的语言模型预训练方法(ELMo、GPT和BERT)
自然语言处理中的语言模型预训练方法(ELMo.GPT和BERT) 最近,在自然语言处理(NLP)领域中,使用语言模型预训练方法在多项NLP任务上都获得了不错的提升,广泛受到了各界的关注.就此,我将最近 ...
- Paper: 《Bert》
Bert: Bidirectional Encoder Representations from Transformers. 主要创新点:Masked LM 和 Next sentence predi ...
- BERT的几个可能的应用
BERT是谷歌公司于2018年11月发布的一款新模型,它一种预训练语言表示的方法,在大量文本语料(维基百科)上训练了一个通用的"语言理解"模型,然后用这个模型去执行想做的NLP ...
- 基于Bert的文本情感分类
详细代码已上传到github: click me Abstract: Sentiment classification is the process of analyzing and reaso ...
- 学习AI之NLP后对预训练语言模型——心得体会总结
一.学习NLP背景介绍: 从2019年4月份开始跟着华为云ModelArts实战营同学们一起进行了6期关于图像深度学习的学习,初步了解了关于图像标注.图像分类.物体检测,图像都目标物体检测等 ...
随机推荐
- 洛谷P1776 宝物筛选 题解 多重背包
题目链接:https://www.luogu.com.cn/problem/P1776 题目大意: 这道题目是一道 多重背包 的模板题. 首先告诉你 n 件物品和背包的容量 V ,然后分别告诉你 n ...
- docker-bind挂载
使用绑定挂载 自Docker早期以来,绑定挂载一直存在.与卷相比,绑定装载具有有限的功能.使用绑定装入时,主机上的文件或目录将装入容器中.文件或目录由其在主机上的完整路径或相对路径引用.相反,当您使用 ...
- Win7旗舰版仅供测试支持正版
系统效果展示 安装后唯一标准的桌面截图:(如发现安装后与本图不一致,均为第三方安装工具捆绑所为,请注意使用工具!慎用XX桃.XX菜.uXX之类的工具,建议使用推荐的方法安装) 如此清新简洁的安装界面, ...
- mybatis两种方式
// 1.传统的使用 statementId方式 //获取详情 sysApiDocumentMode = template.selectOne("oaApiDocument.getProje ...
- 解决阿里云专有网络ftp无法远程链接
配置好ftp后本机测试可用但无法远程连接 网络上找了很多方法,配置防火墙出入站规则均无效 提交阿里云工单,给出解决方法,测试后可用
- 微信小程序订阅消息,我踩过的坑都在这里了!
旧的模板消息将在 2020 年 1 月 10 号全面下架,也就是今天,不过貌似现在还可以用!!!我已经改好了,只不过还没有上线,准备坚持到最后一天! 0.订阅消息 简单介绍一下订阅消息的特点: 用户授 ...
- 2019牛客暑期多校第一场题解ABCEFHJ
A.Equivalent Prefixes 传送门 题意:给你两个数组,求从第一个元素开始到第p个元素 满足任意区间值最小的元素下标相同的 p的最大值. 题解:我们可以从左往右记录到i为止每个区间的最 ...
- echarts更改折线图区域颜色、折线颜色、折点颜色
series : [ { name:'订单流入总数', type:'line', stack: '总量', areaStyle: { normal: { color: '#8cd5c2' //改变区域 ...
- Linux普通用户如何获取root权限 sudo -i
从下图中可以知道,xiaolai这个用户连接到服务器后它没有权限,更新代码都更新不了 那么我们作为一个普通用户要获取管理员权限,怎么办呢? 输入 sudo -i 然后再输入普通用户的这个密码 获取成功 ...
- 揭秘webpack plugin
前言 Plugin(插件) 是 webpack 生态的的一个关键部分.它为社区提供了一种强大的方法来扩展 webpack 和开发 webpack 的编译过程.这篇文章将尝试探索 webpack plu ...