第一题本应该是基础题,考察Cost Function不同形式的表示方法,但却难住了我,说明基本概念掌握不够到位. 1. 在求和的部分,有两种可能,一种是(i,j)同时求和,即∑(i,j):r(i,j)=1,另一种是∑j=1nu∑i:r(i,j)=1或者∑i=1nu∑j:r(i,j)=1都可以. 2. 后面的部分,一是要注意括号的位置,如果是对K项Theta和X求和,必须是求和后的结果再减去y(i,j),而不要把y(i,j)也放入求和表达式中 3. 如果不是K项求和,说明使用向量的方法直接求The…

  Algorithm:     When to select Anonaly detection or Supervised learning? 总的来说guideline是如果positive example (anomaly examples)特别少就用Anamaly detection. 如果数据positive example 越来越多,可以选择从Anomanly detection 切换到 Supervised learning.     怎么选择feature ?   可以先画出f…

日志 20170410 Coursera机器学习 2017.11.28 update deeplearning 台大的机器学习课程:台湾大学林轩田和李宏毅机器学习课程 Coursera机器学习 Week 5: Neural Networks: Learning 本来上周开始该学习这个内容,也是先提交了作业,今天才来看看具体的代码:感觉这个课程本身对基础巩固很好.没有连续学习感觉有些有点忘了,最终的目的是自己能够推导这个内容. 本来想跟着学习搞个电子证书的,结果申请的到期时间是2017.3.31;…

(聊两句,突然记起来以前一个学长说的看论文要能够把论文的亮点挖掘出来,合理的进行概括23333) 传统的推荐系统方法获取的user-item关系并不能获取其中非线性以及非平凡的信息,获取非线性以及非平凡的信息恰恰是深度学习所具备的特点.论文对基于深度的学习的推荐系统方法进行了对比以及分类.文章的主要贡献有以下三点: > 对基于深度学习技术的推荐模型进行系统评价,并提出一种分类和组织当前工作的分类方案. > 提供现有技术的概述和总结 > 我们讨论挑战和开放性问题,并确定本研究中的新趋势和未…

Content-Based Recommender System是基于产品(商品.网页)的内容.属性.关键字,以及目标用户的喜好.行为,这两部分数据来联合计算出,该为目标用户推荐其可能最感兴趣的产品. 有几个点值得注意: a.并不太关注其他用户的喜欢.行为或评分等,仅仅关注目标用户: b.适合于新产品的冷启动,但不适合新用户的冷启动: c.像电影.音乐类系统,有可能推荐给用户毫无新意的产品,从而缺乏对用户深层需求的挖掘: d.对于新闻类产品,则可能会抓住客户持续的爱好并进行内容提供. 1.预处理…

一个针对出租车司机有效花费的推荐系统 摘要 GPS技术和新形式的城市地理学改变了手机服务的形式.比如说,丰富的出租车GPS轨迹使得出做租车领域有新方法.事实上,最近很多工作是在使用出租车GPS轨迹数据来开发手机推荐系统.这些系统可以推荐一系列的载客点,为了使得在最短的驾驶距离里最大可能地找到一个乘客.然而,在现实世界中,出租车的收入和有效的驾驶时间息息相关.换句话说,对一个出租车司机来说,在找到一个乘客前知道一个确切地驾驶路径来缩短驾驶时间更加重要.最后,在本文中,我们提出了开发一个收益比高的推…

推荐系统(Recommender System) 案例 为用户推荐电影 数据展示 Bob Tom Alice Jack 动作成分 浪漫成分 Movie1 5 ? 0 3 ? ? Movie2 ? 0 3 ? ? ? Movie3 0 1 0 5 ? ? Movie4 ? 4 1 0 ? ? 算法 协同过滤算法(Collaborative filter learning algorithm) 记号 \(n_m\): 数据中电影的数量, 其中n表示number, m表示movie \(n_u\):…

[论文标题]Deep Learning based Recommender System: A Survey and New Perspectives ( ACM Computing Surveys · July 2017) [论文作者] SHUAI ZHANG, University of New South WalesLINA YAO, University of New South WalesAIXIN SUN, Nanyang Technological UniversityYI TAY…

Collaborative Recommender System基于User给Item的打分表,认为相似度很高的用户,会对同一个item给出相似的分数,找出K个相似度最高的用户,集合他们的打分,来推算目标用户对于某一item的打分. 1.每个用户打分的习惯范围不同,比如Bob习惯给出的最高分是5分,而Alice则只愿意在1-3分区间打分,所以我们不可能因为Bob和Alice相似度高,就预测Alice会给某个喜欢的item打5分.所以,在预测时,我们需要参考每个人的打分均值 2.将每个人的打分进行…

与User-Based Collaborative Recommender System认为‘类似的用户会对同一个item给出类似的打分’不同,Item-Based Collaborative Recommender System的思想是‘同一个用户,会给类似的item,打出类似的分数’.听起来和Content-Based Recommender System有点类似,但是IBCRS的相似度,是基于用户打分的,而不是基于内容分析. 1.和UBCRS一样,我们需要针对Rating Matrix进行…

Machine Learning System Design下面会讨论机器学习系统的设计.分析在设计复杂机器学习系统时将会遇到的主要问题,给出如何巧妙构造一个复杂的机器学习系统的建议.6.4 Building a Spam Classifier6.4.1 Prioritizing What to Work On首先是在设计机器学习系统时需要着重考虑什么问题.以垃圾邮件分类为例.1.确定用监督学习的方法进行学习和预测.2.确定关于邮件的特征.关于挑选特征,实际工作中,是遍历整个训练集,选出出现次数…

9.5 Predicting Movie Ratings9.5.1 Problem Formulation推荐系统.推荐系统的问题表述:电影推荐.根据用户对已看过电影的打分来推测用户对其未打分的电影将会打什么分.下面对一部电影的打分区间是[0,5]. 做道题: 9.5.2 Content Based Recommendations推荐系统的一种实现:基于内容的推荐. 对于每个用户i训练一个参数向量Θ(i),对于每部电影j训练一个特征向量x(j)(其中默认x0=1,实际上特征抽取是不容易的),那么…

#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补充>的是我自己加的内容而非课堂内容,参考文献列于文末.博主能力有限,若有错误,恳请指正: #---------------------------------------------------------------------------------# <补充>机器学习按照数据标记分可分…

#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补充>的是我自己加的内容而非课堂内容,参考文献列于文末.博主能力有限,若有错误,恳请指正: #---------------------------------------------------------------------------------# <补充>支持向量机方法的三要素(若…

#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补充>的是我自己加的内容而非课堂内容,参考文献列于文末.博主能力有限,若有错误,恳请指正: #---------------------------------------------------------------------------------# #下面这个概念对理解机器学习非常有帮助,但是我…

#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补充>的是我自己加的内容而非课堂内容,参考文献列于文末.博主能力有限,若有错误,恳请指正: #---------------------------------------------------------------------------------# 多层神经网络模型: , <补充>:…

#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补充>的是我自己加的内容而非课堂内容,参考文献列于文末.博主能力有限,若有错误,恳请指正: #---------------------------------------------------------------------------------# 神经网络的类型:感知机(单层),多层神经网络:…

#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补充>的是我自己加的内容而非课堂内容,参考文献列于文末.博主能力有限,若有错误,恳请指正: #---------------------------------------------------------------------------------# logistic function(sigmo…

#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补充>的是我自己加的内容而非课堂内容,参考文献列于文末.博主能力有限,若有错误,恳请指正: #---------------------------------------------------------------------------------# 多元线性回归的模型: #-----------…

#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补充>的是我自己加的内容而非课堂内容,参考文献列于文末.博主能力有限,若有错误,恳请指正: #---------------------------------------------------------------------------------# 这一周的内容是机器学习介绍和梯度下降法.作为入…

本作业使用逻辑回归(logistic regression)和神经网络(neural networks)识别手写的阿拉伯数字(0-9) 关于逻辑回归的一个编程练习,可参考:http://www.cnblogs.com/hapjin/p/6078530.html 下面使用逻辑回归实现多分类问题:识别手写的阿拉伯数字(0-9),使用神经网络实现:识别手写的阿拉伯数字(0-9),请参考:神经网络实现 数据加载到Matlab中的格式如下: 一共有5000个训练样本,每个训练样本是400维的列向量(20X…

在网上看到coursera有机器学习的课程,正好再学习学习,温固一下,还有很多其他的课程也很好.收费的哟! 手机APP和网站收取的费用有差异,网站上要便宜一下,费用差的挺多的,果断在网站上支付了. 有兴趣的同学可以学一下,推荐,老师也是国外的老师,课程还是蛮精良的,不用担心听不懂,有中文字幕.注:第一个课程是中文字幕,后面的课程都是英文字幕,根据自己的英语能力,选择是否学习. 这里是coursera的网址: https://www.coursera.org/ 学习的环境用的是GraphLab,所…

这门课的授课老师是个台湾人,师从Caltech的Yaser S. Abu-Mostafa,他们共同编撰了<Learning From Data>这本书.Yaser S. Abu-Mostafa在edx上也开设了机器学习的公开课,不过说实话,他的埃及口音英语实在很难听懂,而且讲的内容偏重理论,所以追了几节课就放弃了.这次他的学生带来了coursera的机器学习基石这门公开课,讲的内容和Yaser的公开课差不多,而且是中文授课(ppt是英文),这对于华语世界的学生来说是个福音.未来几周,我将把这门…

9 Anomaly Detection9.1 Density Estimation9.1.1 Problem Motivation异常检测(Density Estimation)是机器学习常见的应用,主要用于非监督学习,但在某些方面又类似于监督学习.异常检测最常见的应用是欺诈检测和在工业生产领域. 具体来说工业生产飞机发动机的例子:这个的特征量假设只有2个,对于不同训练集数据进行坐标画图,预测模型p(x)和阈值ε.对于一个新的测试用例xtest,如果p(xtest)<ε,就预测该实例出现错误:否…

这章的内容对于设计分析假设性能有很大的帮助,如果运用的好,将会节省实验者大量时间. Machine Learning System Design6.1 Evaluating a Learning Algorithm6.1.1 Deciding What to Try Next机器学习诊断法:一种测试法,通过执行这种测试,能够深入了解某种算法是否有用.诊断法也会告诉你,要想改进一种算法的效果需要什么样的尝试.能够判断一种学习算法能不能work,并且改善该算法性能的一个测试. 诊断法的执行和实现是需…

完成了课程1  机器学习基础:案例研究 贴个证书,继续努力完成后续的课程:…

主要为第十周内容:大规模机器学习.案例.总结 (一)随机梯度下降法 如果有一个大规模的训练集,普通的批量梯度下降法需要计算整个训练集的误差的平方和,如果学习方法需要迭代20次,这已经是非常大的计算代价. 首先,需要确定大规模的训练集是否有必要.当我们确实需要一个大规模的训练集,可以尝试用随机梯度下降法来替代批量梯度下降法. 在随机梯度下降法中,定义代价函数一个单一训练实例的代价: 随机梯度下降算法如下: 随机梯度下降算法在每一次计算之后便更新参数Θ,而不需要首先将所有的训练集求和,在梯度下降算法…

主要为第九周内容:异常检测.推荐系统 (一)异常检测(DENSITY ESTIMATION) 核密度估计(kernel density estimation)是在概率论中用来估计未知的密度函数,属于非参数检验方法之一.密度估计是指给定数据集 x(1),x(2),..,x(m),我们假使数据集是正常的,我们希望知道新的数据 x(test)是不是异常的,即这个测试数据不属于该组数据的几率如何.我们所构建的模型应该能根据该测试数据的位置告诉我们其属于一组数据的可能性 p(x). 通过密度估计之后,选择…

主要为第八周内容:聚类(Clustering).降维 聚类是非监督学习中的重要的一类算法.相比之前监督学习中的有标签数据,非监督学习中的是无标签数据.非监督学习的任务是对这些无标签数据根据特征找到内在结构.聚类就是通过算法把数据分成不同的簇(点集),k均值算法是其中一种重要的聚类算法. K均值算法 K-均值是一个迭代算法,假设我们想要将数据聚类成 n 个组,其方法为: 1.首先选择 K 个随机的点,称为聚类中心(cluster centroids) 2. 对于数据集中的每一个数据,按照距离 K…

主要为第六周内容机器学习应用建议以及系统设计. 下一步做什么 当训练好一个模型,预测未知数据,发现结果不如人意,该如何提高呢? 1.获得更多的训练实例 2.尝试减少特征的数量 3.尝试获得更多的特征 4.尝试增加二项式特征 5.尝试减少归一化程度λ 6.尝试增加归一化程度λ 先不要急着尝试这些方法,而是通过一些机器学习诊断方法来判断现在算法是什么情况,哪些方法是可以提高算法的有效性,如何选择更有意义的方法.   如何评估模型 假设评估 过拟合检验:将数据集分为训练集和测试集(通常70%训练集,3…