embedding models 是什么
embedding models 是一类机器学习模型,它们的核心功能是将高维、离散的输入数据(如词汇、类别标签、节点或实体)映射到低维、连续的向量空间中。
这些向量(即 embeddings)通常具有丰富的语义信息,并能够捕捉原始数据之间的潜在关系和相似度。以下是对 embedding models 的详细说明:
1.目的与应用场景:
降维与表征学习:Embedding models 主要用于学习从原始数据到低维向量的有效映射,降低数据维度,便于后续计算和分析。这些低维向量保留了原始数据的关键特征和结构信息。
自然语言处理 (NLP):在 NLP 中,最经典的 embedding model 是词嵌入(Word Embeddings),如 Word2Vec、GloVe 和 FastText,它们将词语映射到实数向量,使得语义相近的词在向量空间中距离较近,用于文本分类、情感分析、机器翻译等任务。
推荐系统:用户和物品的嵌入模型用于捕获用户兴趣和物品属性的相似性,常用于个性化推荐、协同过滤等场景。
知识图谱:实体和关系嵌入(如 TransE、DistMult、RotatE)将知识图谱中的节点和边表示为向量,用于链接预测、实体对齐、推理等任务。
计算机视觉:图像特征嵌入用于提取图像的紧凑表示,用于图像检索、相似性比较、分类等任务。
2.学习方法:
无监督学习:许多早期的 embedding models 采用无监督学习方式,如基于神经网络的语言模型(Word2Vec的CBOW和Skip-gram模型)或全局词频统计(GloVe),通过最大化词语上下文的预测准确性或捕获全局共现信息来学习词嵌入。
有监督学习:在特定任务(如情感分析、命名实体识别)上训练的深度学习模型(如 BERT、ELMo、GPT),其词嵌入层作为预训练模型的一部分,可在下游任务中微调,实现有监督的embedding学习。
自监督学习:近期的一些模型(如 SimCLR、Momentum Contrastive Learning)利用数据增强和对比学习策略在无标签数据上学习高质量的图像或文本嵌入。
3.模型架构与训练:
神经网络架构:embedding models 常基于简单的前馈神经网络(如 Word2Vec)、复杂深度神经网络(如 BERT)或专门设计的图神经网络(如 GraphSAGE、Graph Attention Network)。
损失函数:根据学习目标,可能使用负采样损失(如 Word2Vec)、最大似然估计(如 GloVe)、三元组损失(如知识图谱嵌入)、对比学习损失(如 SimCLR)等。
训练数据:可以是纯文本语料库、用户-物品交互记录、知识图谱数据、图像数据集等。
4.应用与使用:
直接使用预训练模型:在很多情况下,可以直接使用已训练好的、针对通用任务的 embedding 模型,如使用预训练的 Word2Vec 或 GloVe 向量作为文本特征。
微调或适应特定领域:根据实际需求,可以在特定领域数据上对预训练模型进行微调,或者使用迁移学习策略调整现有模型以适应新的语境或任务。
嵌入向量操作:在下游任务中,嵌入向量可以进行加法、减法、点积、余弦相似度计算等操作,以利用其表征的语义信息。
总之,embedding models 是一种广泛应用于各类机器学习任务的技术,通过将复杂、离散的数据转化为低维、连续的向量表示,有效地捕捉数据间的语义关系,提升模型性能和泛化能力。这些模型在 NLP、推荐系统、知识图谱推理、计算机视觉等领域均有广泛应用。
Link:https://www.cnblogs.com/farwish/p/18127206
embedding models 是什么的更多相关文章
- 论文阅读 Predicting Dynamic Embedding Trajectory in Temporal Interaction Networks
6 Predicting Dynamic Embedding Trajectory in Temporal Interaction Networks link:https://arxiv.org/ab ...
- 全网最详细中英文ChatGPT接口文档(四)30分钟快速入门ChatGPT——Models模型
@ 目录 Models Overview 概述 GPT-4 Limited beta GPT-3.5 Feature-specific models 特定功能的模型 Finding the right ...
- 翻译 | Improving Distributional Similarity with Lessons Learned from Word Embeddings
翻译 | Improving Distributional Similarity with Lessons Learned from Word Embeddings 叶娜老师说:"读懂论文的 ...
- (转)Extracting knowledge from knowledge graphs using Facebook Pytorch BigGraph.
Extracting knowledge from knowledge graphs using Facebook Pytorch BigGraph 2019-04-27 09:33:58 This ...
- 【NLP】How to Generate Embeddings?
How to represent words. 0 . Native represtation: one-hot vectors Demision: |all words| (too large an ...
- [转]NLP Tasks
Natural Language Processing Tasks and Selected References I've been working on several natural langu ...
- ICLR 2013 International Conference on Learning Representations深度学习论文papers
ICLR 2013 International Conference on Learning Representations May 02 - 04, 2013, Scottsdale, Arizon ...
- IJCAI 2019 Analysis
IJCAI 2019 Analysis 检索不到论文的关键词:retrofitting word embedding Getting in Shape: Word Embedding SubSpace ...
- basic deepwalk
Get to know How deepwalk works by this project. Two steps: 1. gen the graph, and gen the corpus on t ...
- [CVPR2017] Visual Translation Embedding Network for Visual Relation Detection 论文笔记
http://www.ee.columbia.edu/ln/dvmm/publications/17/zhang2017visual.pdf Visual Translation Embedding ...
随机推荐
- 【Mahjong hdu 枚举】搜索枚举
#####枚举 import java.io.*; import java.util.*; public class Main { static HashSet<String> set1; ...
- [C++]使用auto遍历判断是否是最后一个元素
一.背景 略 二.代码 for(auto& it:vec){ if(&it==&vec.back()){ cout<<"is the last eleme ...
- FreeRTOS教程6 互斥量
1.准备材料 正点原子stm32f407探索者开发板V2.4 STM32CubeMX软件(Version 6.10.0) Keil µVision5 IDE(MDK-Arm) 野火DAP仿真器 XCO ...
- 记录--js小练习(弹幕、 电梯导航、 倒计时、 随机点名、 购物放大镜)
这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 DOM小练习 弹幕 电梯导航 倒计时 随机点名 购物放大镜 1.弹幕 效果预览 功能:输入弹幕内容,按下回车显示一条弹幕(弹幕颜色.字体随 ...
- docker部署Prometheus
1.安装运行Prometheus 下面介绍如何使用Prometheus.Grafana.CAdvisor.node-exporter.mysqld-exporter对本机服务器性能.Docker容器. ...
- 改Bug的经验
如果修复某个Bug花了很长时间,这时候就要问问自己为什么,怎么做才吸取经验教训,在类似的问题上不再出问题,以及采用的方法,使用的工具是否还有改进的地方: 当所有问题都解决之后,一定要梳理下从最初找Bu ...
- 实现一个简单的echarts词云图PythonFlask
cloud.html 1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta char ...
- set集合的HashSet 类
set是一个没有重复元素, 没有存储顺序的集合,它主要有三个实现类,如下: HashSet 类 HashSet 类是按照哈希算法来存储集合中的元素,当向 Set 集合中添加一个元素时,HashSet ...
- #直径#CF804D Expected diameter of a tree
题目 给一片森林,\(q\) 个询问,每个询问两个点, 问将这两个点所在的集合连接起来组成的新集合,它的最远两点的距离的期望值是多少. 分析 首先将以每个点为根的最大深度求出来,然后对于两棵树, 只有 ...
- 可能有人听过ThreadLocal,但一定没人听过ThreadLocal对象池
目录 简介 ThreadLocal ThreadLocalMap Recycler 总结 简介 JDK中的Thread大家肯定用过,只要是用过异步编程的同学肯定都熟悉.为了保存Thread中特有的变量 ...