[DeeplearningAI笔记]序列模型2.10词嵌入除偏
5.2自然语言处理
觉得有用的话,欢迎一起讨论相互学习~Follow Me
2.10词嵌入除偏 Debiasing word embeddings
Bolukbasi T, Chang K W, Zou J, et al. Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings[J]. 2016.
- 机器学习和人工智能算法正渐渐被信任用以辅助或是制定极其重要的决策,所以要确保人工智能系统不受非预期形式的偏见影响--比如说 性别歧视,种族歧视 本节将介绍在词嵌入技术中减少或消除这些形式的偏见的方法。
The problem of bias in word embeddings 词嵌入中的偏见问题
示例 当使用词嵌入系统做语言推断时:假如Man对应Woman,则King对应Queen.这是正确而显而易见的,但是当对系统输入Man对应Computer Programmer(程序员)时,系统对应的Woman显示为Homemaker(家庭主妇)--这涉及到 性别歧视 的问题。当Father对应Doctor时,Mother对应Nurse--这也是不对的。
因此,根据训练模型时使用的文本,词嵌入能够反映出性别,种族,年龄,性取向等其他方面的偏见。 由于机器学习人工智能正对人们的生活发挥着越来越重要的作用 所以修改这种 误差 至关重要。
Addressing bias in word embeddings
- 辨别出我们想要减少或想要消除的特定偏见的趋势,此处以 性别歧视 作为研究示例
- 首先将 性别相反的词嵌入向量的差求平均 即: \(Average((e_{he}-e_{she})+(e_{male}-e_{female})+(e_{boy}-e_{girl})+...)\) 得以求出一个 偏见趋势 --这个偏见趋势有可能是1维的也可能是更高维度的向量。而其余的维度则可以被认为是 无偏见趋势
- Note 在原论文中相对于此处使用的求平均值的算法,论文中使用的是更加复杂的算法--SUV奇异值分解
- 中和步(Neutralize) 对于那些定义不确切的词可以适当的处理以避免偏见,有些词语本质上就和性别有关 mother 和 father ,然而有些词汇例如 doctor 和 babysitter 在性别方向是中立的。 对于这些定义中立的词语,我们选择在 无偏见趋势 的轴方向上进行处理,以减少在 偏见趋势 方向上的差距。
- 均衡步(Equalize pairs) 对于 偏见词对 例如 father 和 mather , boy 和 girl , 希望 偏见词对 对 babysitter 和 doctor 类型的词汇的影响相等,即将 偏见词对 向 无偏见趋势 相靠拢,使到 babysitter 这种中性词的距离相等。
- Note 怎样判断一个词汇是中性的, 类似于 beard(胡子) 这个词应该更靠近男性(male)一些。
- 论文作者 通过训练一个分类器来尝试解决哪些词是有明确定义的,哪些词是性别确定的,哪些词不是。
- Note 在实际使用中,需要平衡的 偏见词对 数其实并不多。
[DeeplearningAI笔记]序列模型2.10词嵌入除偏的更多相关文章
- [DeeplearningAI笔记]序列模型2.1-2.2词嵌入word embedding
5.2自然语言处理 觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.1词汇表征 Word representation 原先都是使用词汇表来表示词汇,并且使用1-hot编码的方式来表示词汇 ...
- [DeeplearningAI笔记]序列模型2.3-2.5余弦相似度/嵌入矩阵/学习词嵌入
5.2自然语言处理 觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.3词嵌入的特性 properties of word embedding Mikolov T, Yih W T, Zwe ...
- [DeeplearningAI笔记]序列模型3.9-3.10语音辨识/CTC损失函数/触发字检测
5.3序列模型与注意力机制 觉得有用的话,欢迎一起讨论相互学习~Follow Me 3.9语音辨识 Speech recognition 问题描述 对于音频片段(audio clip)x ,y生成文本 ...
- [DeeplearningAI笔记]序列模型2.8 GloVe词向量
5.2自然语言处理 觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.8 GloVe word vectors GloVe词向量 Pennington J, Socher R, Mannin ...
- [DeeplearningAI笔记]序列模型3.3集束搜索
5.3序列模型与注意力机制 觉得有用的话,欢迎一起讨论相互学习~Follow Me 3.3 集束搜索Beam Search 对于机器翻译来说,给定输入的句子,会返回一个随机的英语翻译结果,但是你想要一 ...
- [DeeplearningAI笔记]序列模型1.10-1.12LSTM/BRNN/DeepRNN
5.1循环序列模型 觉得有用的话,欢迎一起讨论相互学习~Follow Me 1.10长短期记忆网络(Long short term memory)LSTM Hochreiter S, Schmidhu ...
- [DeeplearningAI笔记]序列模型3.7-3.8注意力模型
5.3序列模型与注意力机制 觉得有用的话,欢迎一起讨论相互学习~Follow Me 3.7注意力模型直观理解Attention model intuition 长序列问题 The problem of ...
- [DeeplearningAI笔记]序列模型3.6Bleu得分/机器翻译得分指标
5.3序列模型与注意力机制 觉得有用的话,欢迎一起讨论相互学习~Follow Me 3.6Bleu得分 在机器翻译中往往对应有多种翻译,而且同样好,此时怎样评估一个机器翻译系统是一个难题. 常见的解决 ...
- [DeeplearningAI笔记]序列模型3.2有条件的语言模型与贪心搜索的不可行性
5.3序列模型与注意力机制 觉得有用的话,欢迎一起讨论相互学习~Follow Me 3.2选择最可能的句子 Picking the most likely sentence condition lan ...
随机推荐
- Yii2 配置request组件解析 json数据
在基础版本的config目录下 web.php 或者高级版config目录下的main.php中配置 'components' =>[ 'request' => [ 'parsers' = ...
- Scrum立会报告+燃尽图(十月二十八日总第十九次)
此作业要求参见:https://edu.cnblogs.com/campus/nenu/2018fall/homework/2288 项目地址:https://git.coding.net/zhang ...
- is-A继承?Has-A?
教程把is-A和Has-A放在一起,我还以为java支持简单的方法能把Has对象的方法导出呢.. extents implements 要试一下. 不知道狗和汽车为什么总是被选出来举例. p ...
- VUE AXIOS 跨域问题
背景: 后台跨域使用通配符:context.Response.Headers.Add("Access-Control-Allow-Origin", "*"); ...
- HDU 5187 zhx's contest 快速幂,快速加
题目链接: hdu: http://acm.hdu.edu.cn/showproblem.php?pid=5187 bc(中文): http://bestcoder.hdu.edu.cn/contes ...
- android入门 — ProgressDialog/DatePickerDialog/TimePickerDialog
这三个Dialog都是AlertDialog的子类. ①DatePickerDialog 1.创建DatePickerDialog的实例: 2.通过Calendar类获得系统时间: 3.通过DateP ...
- cobbler配置要基于PXE 环境,cobbler是pxe环境的二次封装
一:安装cobbler.httpd yum install -y cobbler httpd 二:启动cobbler.httpd systemctl start cobblerd.service sy ...
- php自带的filter过滤函数
PHP 过滤器用于对来自非安全来源的数据(比如用户输入)进行验证和过滤. filter_has_var()检查是否存在指定输入类型的变量. filter_id()返回指定过滤器的 ID 号. filt ...
- php伪静态配置
配置虚拟主机和伪静态 1.开启Apache的rewrite模块 LoadModule rewrite_module modules/mod_rewrite.so 2.开启虚拟主机功能 # Virtua ...
- Shell逐行读取文件的3种方法
方法1:while循环中执行效率最高,最常用的方法. while read linedoecho $linedone < filename 注释:这种方式在结束的时候需要执行文件,就好像是执行 ...