AWS机器学习初探(1):Comprehend - 自然语言处理服务 1. Comprehend 服务简介 1.1 功能 Amazon Comprehend 服务利用自然语言处理(NLP)来分析文本.其使用非常简单. 输入:任意 UTF-8 格式的文本 输出:Comprehend 输出一组实体(Entity).若干关键词(Key phrase).哪种语言(Language).什么情绪(Sentiment,包括 positive,negative,neutual,mixed等几种)和针对每个单词的…

AWS机器学习初探(1):Comprehend - 自然语言处理服务 这几个服务的功能和使用都很直接和简单,因此放在一篇文章中介绍. 1. 文本翻译服务 Translate 1.1 功能介绍 AWS Translate 服务是一种AWS 机器学习应用服务,它利用高级机器学习技术来进行文本翻译.它的使用非常简单,只需要提供输入文本,该服务就给出输出文本. 输入文本(Source text):待翻译的文本,必须是 UTF-8 格式. 输出文本(Output text):AWS Translate 服…

最近在调研使用各个云平台提供的AI服务,有个语音合成的需求因此就使用了一下科大讯飞的TTS服务,也用.NET Core写了一个小示例,下面就是这个小示例及其相关背景知识的介绍. 一.什么是语音合成(TTS) 1.1 What is 语音合成? 将文字信息转化为声音信息,给应用配上“嘴巴”,这就是语音合成. Note:语音合成和语音识别技术是实现人机语音通信,建立一个有听和讲能力的口语系统所必需的两项关键技术.使电脑具有类似于人一样的说话能力,是当今时代信息产业的重要竞争市场.和语音识别相比,语音…

云计算经过这几年的发展,已经不再是是一个高大上的名词,而是已经应用到寻常百姓家的技术.每天如果你和互联网打交道,那么或多或少都会和云扯上关系.gmail.github.各种网盘.GAE.heroku等各种服务都属于云服务的范畴.那么云计算的定义到底是什么?这里有摘自wiki的定义. Cloud computing in general can be defined as a computer network which includes, computing hardware machine o…

新公司使用的是亚马逊服务,刚开始的时候,对很多名词不太明白,总结了一下如下 1,EC2 这个是亚马逊的一种服务器服务,可以理解为跟vmware差不多,EC2为虚拟机提供载体,EC2上跑虚拟机服务器. 2,RDS RDS是亚马逊云的数据库服务,提供mysql.sqlserver.oracle等数据库引擎,公司在使用数据库的时候,只需要说使用什么数据库即可,比如使用mysql,亚马逊就会在RDS上创建一个mysql的实例给用户连接,用户没有权限登录到数据库服务上去,本质来讲,不存在mysql数据库服…

本文始发于个人公众号:TechFlow,原创不易,求个关注 今天的文章和大家聊聊文本分析当中的一个简单但又大名鼎鼎的算法--TF-idf.说起来这个算法是自然语言处理领域的重要算法,但是因为它太有名了,以至于虽然我不是从事NLP领域的,但在面试的时候仍然被问过好几次,可见这个算法的重要性. 好在算法本身并不困难,虽然从名字上看疑惑重重,但是一旦理解了其中的原理,一切都水到渠成,再也不怕面试的时候想不起来了.废话不多说,我们进入正题. 算法原理 TF-idf名字的中间用分隔号进行了分割,并且TF和…

Transformer: 是一个抽象类包含特征转换器, 和最终的学习模型, 需要实现transformer方法 通常transformer为一个RDD增加若干列, 最终转化成另一个RDD, 1. 特征转换器通常处理一个dataset, 把其中一列数据转化成一列新的数据. 并且把新的数据列添加到dataset后面,产生一个新的dataset输出. 2. 一个学习模型转换器用来处理一个数据集, 读取包含特征向量的那一列数据, 为每一个特征向量预测一个结果标签, 把预测结果标签作为一个新的数据列里添加…

手写数字识别是机器学习里面的一个经典问题,今天就这一段时间学习的机器学习,花一个下午茶的时间,试试机器学习. 首先数据库是在MNIST(http://yann.lecun.com/exdb/mnist/)下载下来的.下载下来的数据如下图所示.官方有给出数据怎么读取,我自己没有仔细看,因为我看到网上有人公布代码如何读取. 可以看到前四个是测试数据,后四个是训练数据. 这里我用matlab尝试读取这些数据. 首先看两个function. loadMNISTImages.m function imag…

1. 词带的简单解释: 每一个词出现了多少次,缺点是不知道顺序 2.seq2seq自然语言处理的核心 RNN: 一对一:输入一个,输出一个 一对多:输入一个,输出多个 多对一:输入多个,输出一个 多对多:输入多个,输出多个 原始数组: 改变一次的数组: 改变两次的数组: 改变三次的数组 结果输出: greedy decoding 避免最佳的回答方式,使用其他的解码方式 beam search decoding 从最佳回答中,选择几种方式,给出其他解决方案 二:入门自然语言处理 基本的技能用法:…

这里我们讲一下使用HOG的方法进行手写数字识别: 首先把 代码分享出来: hog1.m function B = hog1(A) %A是28*28的 B=[]; [x,y] = size(A); %外圈补0 A(:,y+) = ; A(x+,:) = ; :x deltax(:,i)=A(:,i+)-A(:,i); end :y deltay(i,:)=A(i+,:)-A(i,:); end : : Px=deltax(i*-:i*+,j*-:j*+); Py=deltay(i*-:i*+,j*…