分布式表示(Distributed Representation)
NLP模型笔记 — 分布式表示
NLP模型笔记 — 分布式表示 [总结]
概念
| 名称 | 分布式表示 |
|---|---|
| 别名 | Distributed representation |
| 介绍 | 若干元素的连续表现形式，将词的语义分布式地存储在各个维度中，与之相反的是独热向量。 |
原理
非分布式表示
| 图形 | 水平矩形 | 垂直矩形 | 水平椭圆 | 垂直椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 0 | 0 |
| 垂直矩形 | 0 | 1 | 0 | 0 |
| 水平椭圆 | 0 | 0 | 1 | 0 |
| 垂直椭圆 | 0 | 0 | 0 | 1 |
分布式表示
| 图形 | 水平 | 垂直 | 矩形 | 椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 1 | 0 |
| 垂直矩形 | 0 | 1 | 1 | 0 |
| 水平椭圆 | 1 | 0 | 0 | 1 |
| 垂直椭圆 | 0 | 1 | 0 | 1 |
表示新种类
| 非分布式表示 | 水平矩形 | 垂直矩形 | 水平椭圆 | 垂直椭圆 | 圆 |
|---|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 0 | 0 | 0 |
| 垂直矩形 | 0 | 1 | 0 | 0 | 0 |
| 水平椭圆 | 0 | 0 | 1 | 0 | 0 |
| 垂直椭圆 | 0 | 0 | 0 | 1 | 0 |
| 圆 | 0 | 0 | 0 | 0 | 1 |
| 分布式表示 | 水平 | 垂直 | 矩形 | 椭圆 |
|---|---|---|---|---|
| 水平矩形 | 1 | 0 | 1 | 0 |
| 垂直矩形 | 0 | 1 | 1 | 0 |
| 水平椭圆 | 1 | 0 | 0 | 1 |
| 垂直椭圆 | 0 | 1 | 0 | 1 |
| 圆 | 1 | 1 | 0 | 1 |
对比
| 对比 | 独热编码 | 分布式表示 |
|---|---|---|
| 稀疏/稠密 | 稀疏 | 稠密 |
| 语义表示 | 高纬向量中只有一个维度描述了词的含义 | 语义分布式地存储在向量的各个维度中 |
| 新种类 | 需要添加一个新的维度 | 可能不需要添加新维度就能够表示 |
参考
分布式表示(Distributed Representation)的更多相关文章
- 【word2vec】Distributed Representation——词向量
Distributed Representation 这种表示,它最早是 Hinton 于 1986 年提出的,可以克服 one-hot representation 的缺点. 其基本想法是: 通过训 ...
- 词向量（ Distributed Representation）工作原理是什么
原文:http://www.zhihu.com/question/21714667 4 个回答 83赞同反对,不会显示你的姓名 皮果提 刘鑫.莫教授要养猫.Starling Niohuru 等人赞同 ...
- Flink分布式缓存Distributed Cache
1 分布式缓存 Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取. 此缓存的工作机制如下:程 ...
- 共享内存Distributed Memory 与分布式内存Distributed Memory
我们经常说到的多核处理器,是指一个处理器(CPU)上有多个处理核心(CORE),共享内存多核系统我们可以将CPU想象为一个密封的包,在这个包内有多个互相连接的CORES,每个CORE共享一个主存,所有 ...
- DeepNLP的核心关键/NLP词的表示方法类型/NLP语言模型 /词的分布式表示/word embedding/word2vec
DeepNLP的核心关键/NLP语言模型 /word embedding/word2vec Indexing: 〇.序 一.DeepNLP的核心关键:语言表示(Representation) 二.NL ...
- 【Todo】【转载】深度学习&神经网络 科普及八卦 学习笔记 & GPU & SIMD
上一篇文章提到了数据挖掘.机器学习.深度学习的区别:http://www.cnblogs.com/charlesblc/p/6159355.html 深度学习具体的内容可以看这里: 参考了这篇文章:h ...
- DL4NLP——词表示模型（二）基于神经网络的模型：NPLM；word2vec（CBOW/Skip-gram）
本文简述了以下内容: 神经概率语言模型NPLM,训练语言模型并同时得到词表示 word2vec:CBOW / Skip-gram,直接以得到词表示为目标的模型 (一)原始CBOW(Continuous ...
- DL4NLP——词表示模型（一）表示学习；syntagmatic与paradigmatic两类模型；基于矩阵的LSA和GloVe
本文简述了以下内容: 什么是词表示,什么是表示学习,什么是分布式表示 one-hot representation与distributed representation(分布式表示) 基于distri ...
- 学习笔记DL003:神经网络第二、三次浪潮，数据量、模型规模，精度、复杂度，对现实世界冲击
神经科学,依靠单一深度学习算法解决不同任务.视觉信号传送到听觉区域,大脑听学习处理区域学会“看”(Von Melchner et al., 2000).计算单元互相作用变智能.新认知机(Fukushi ...
随机推荐
- Django的form组件——ModelForm实战
模型: from django.db import models class Book(models.Model): book_name = models.CharField(max_length=3 ...
- 20210805 noip31
考场 没有一眼题 T1 想到先贪心地算出最大得分,任意构造出一种方案,不断调整以增大字典序. T2 发现在 \(x_k\) 确定的情况下操作次数就是左右两边的逆序对数,\(x_i\) 互不相同时直接找 ...
- AWVS13批量添加目标脚本
# -*-coding:utf-8-*- # @Author:malphite.tang import json import requests from queue import Queue req ...
- RocketMQ详解（二）安装使用详解
专题目录 RocketMQ详解(一)原理概览 RocketMQ详解(二)安装使用详解 RocketMQ详解(三)启动运行原理 RocketMQ详解(四)核心设计原理 RocketMQ详解(五)总结提高 ...
- leetcode8 字符串转换为整数
最笨的办法实现 一步步判断 /** * @param {string} s * @return {number} */ var myAtoi = function(s) { s = s.trim() ...
- 深入浅出 BPF TCP 拥塞算法实现原理
本文地址:https://www.ebpf.top/post/ebpf_struct_ops 1. 前言 eBPF 的飞轮仍然在快速转动,自从 Linux 内核 5.6 版本支持 eBPF 程序修改 ...
- Jmeter系列（23）- 常用逻辑控制器(2) | 事务控制器Transaction Controller
事务控制器(Transaction Controller) 作用 选择一些请求,作为事务,放在该控制器下 比如:我有三个请求,注册.登录.下单.这三个请求其实就是一个下单完成过程,可以作为一个下单事务 ...
- php nginx 路径批量配置
* 假设 E:\upload 作为图片上传的位置 nginx 做web服务 * 创建文件conf.php 放到这个目录下 <?php function handleDir($it, &$ ...
- python线程threading
线程示例: import threading import time # 唱歌任务 def sing(): # 扩展: 获取当前线程 # print("sing当前执行的线程为:" ...
- 『GoLang』函数
函数介绍 Go语言函数基本组成包括: 关键字func 函数名 参数列表 返回值 函数体 返回语句 语法如下: func 函数名(参数列表) (返回值列表) { // 函数体 return } 除了ma ...