skewed classes skewed classes: 一种类里面的数量远远高于(或低于)另一个类,即两个极端的情况. 预测cancer的分类模型,如果在test set上只有1%的分类误差的话,乍一看是一个很好的结果,实际上如果我们将所有的y都预测为0的话(即都不为cancer),分类误差为0.5%(因为cancer的比率为0.5%).error降低了,那这是对算法的一种改进吗?显然不是的.因为后面一种方法实际上什么也没有做(将所有的y=0),不是一种好的机器学习算法.所以这种error…

上篇文章提到了误差分析以及设定误差度量值的重要性.那就是设定某个实数来评估学习算法并衡量它的表现.有了算法的评估和误差度量值,有一件重要的事情要注意,就是使用一个合适的误差度量值,有时会对学习算法造成非常微妙的影响.这类问题就是偏斜类(skewed classes)的问题.什么意思呢.以癌症分类为例,我们拥有内科病人的特征变量,并希望知道他们是否患有癌症,这就像恶性与良性肿瘤的分类问题.假设y=1表示患者患有癌症,假设y=0表示没有得癌症,然后训练逻辑回归模型.假设用测试集检验了这个分类模型,并…

如果你准备研究机器学习的东西,或者构造机器学习应用程序,最好的实践方法不是建立一个非常复杂的系统,拥有多么复杂的变量:而是构建一个简单的算法,这样你可以很快地实现它. 构建一个学习算法的推荐方法为:1. 从一个简单的能快速实现的算法开始,实现该算法并用交叉验证集数据测试这个算法2. 绘制学习曲线,决定是增加更多数据,或者添加更多特征,还是其他选择3. 进行误差分析:人工检查交叉验证集中我们算法中产生预测误差的实例,看看这些实例是否有某种系统化的趋势. 类偏斜情况表现为我们的训练集中有非常多的同一…

处理不平衡的数据集的时候,可以使用对数据加权来提高数量较小类的被选中的概率,具体方式如下 fit(self, x, y, batch_size=32, nb_epoch=10, verbose=1, callbacks=[], validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None) class_weight:字典,将不同的类别映射为不同的权值,该参数用来在训练…

在计算机图形应用中,为了尽可能真实呈现虚拟物体,往往需要高精度的三维模型.然而,模型的复杂性直接关系到它的计算成本,因此高精度的模型在几何运算时并不是必须的,取而代之的是一个相对简化的三维模型,那么如何自动计算生成这些三维简化模型就是网格精简算法所关注的目标. [Garland et al. 1997]提出了一种基于二次误差作为度量代价的边收缩算法,其计算速度快并且简化质量较高.该方法在选择一条合适的边进行迭代收缩时,定义了一个描述边收缩代价的变量Δ,具体如下:对于网格中的每个顶点v,我们预先定…

使用composer 时报  zlib_decode(): data error 错误. 解决办法:执行 composer self-update 即可…

执行命令 composer require particle/validator 报错 Failed to decode response: zlib_decode(): data error 网上推荐用 composer self-update,试一下,如下图,我的是最新版了,所以没有用 最后踏破铁鞋终于找到了一段解决问题的命令,composer diagnose  结果成功了 最好 执行命令 composer require particle/validator 成功了…

/********************************************************************** * Failed to decode response: zlib_decode(): data error * 说明: * 这个错误纠结了两天,原来是PHP配置里的问题. * * 2018-3-23 深圳 宝安西乡 曾剑锋 *****************************************************************…

RMAN-03002: backup plus archivelog 命令 (在 08/24/2015 03:31:00 上) 失败ORA-19501: 文件 "XXXXXX.DBF", 块编号 335324 (块大小=8192) 上出现读取错误ORA-27070: 异步读取/写入失败OSD-04016: 异步 I/O 请求排队时出错.O/S-Error: (OS 23) 数据错误(循环冗余检查). 类似英文报错:RMAN-03009: failure of backup comman…

昨晚用nginx运行Yii的一个开源小项目,结果composer安装依赖一直报错,如下 Failed to decode response: zlib_decode(): data error 如果遇到要输入Token (hidden):的情况,请看这篇文:http://www.cnblogs.com/cxscode/p/7003831.html 不是请继续往下,,, 网上清一色推荐用  self-update,虽然对我的情况然并卵,但可以试一下,如下图,我的是最新版了,所以没有用. 继续往下,…

composer update的时候出现: Failed to decode response: zlib_decode(): data error Retrying with degraded: 执行: composer config -g repo.packagist composer https://packagist.phpcomposer.com 就解决了:…

http://blog.sina.com.cn/s/blog_6754464e0100qfvd.html Open Flash Chart 2 提示Open Flash Chart IO ERROR Loading test data Error #2032.This is the URL that I tried to open: 好像只有在IE中会提示. 网上搜索,好多人遇到这种问题,都没有解决办法.真郁闷了. 后面想想,应该是缓存的原因.所以,在加载Flash的时候,加个随机参数,问题解决…

转载:  https://www.cnblogs.com/shushen/p/5311828.html 在计算机图形应用中,为了尽可能真实呈现虚拟物体,往往需要高精度的三维模型.然而,模型的复杂性直接关系到它的计算成本,因此高精度的模型在几何运算时并不是必须的,取而代之的是一个相对简化的三维模型,那么如何自动计算生成这些三维简化模型就是网格精简算法所关注的目标. [Garland et al. 1997]提出了一种基于二次误差作为度量代价的边收缩算法,其计算速度快并且简化质量较高.该方法在选择一…

1.composer 安装一个组件(composer require topthink/think-worker) 报错如下 Failed to decode response: zlib_decode(): data errorRetrying with degraded mode, check https://getcomposer.org/doc/articles/troubles hooting.md#degraded-mode for more info [ErrorException…

程序: char* addrCom; addrCom= ......//赋值 == (int)addrCom) //导致编译出错 { ...... } 编译时出现错误: error: cast from ‘char*’ to ‘int’ loses precision 因为我编译的系统为linux64位,其指针类型和long型大小相等(8B)而与int型4B,故会出现:loses precision.故:先将char*-->long,然后从long到int自动隐式转换. 将(int)addrCo…

preision与recall之间的权衡 依然是cancer prediction的例子,预测为cancer时,y=1;一般来说做为logistic regression我们是当hθ(x)>=0.5时,y=1; 当我们想要在预测cancer更确信时(因给病人说他们有cancer会给他们带来很重大的影响,让他们去治疗,所以想要更确信时再告诉病人cancer的预测): 我们可以将阀值设为0.7,这时我们将有一个高的precision(因为标注出有cancer的都是很确信的),和一个低值的recall…

有一份csv格式的文件,大小在14G左右.max_binlog_cache_size=4G. 登录mysql实例,选择对应的表通过load data往指定表里导数.大概20分钟左右,报以下错误: ERROR 1197 (HY000) at line 2: Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and…

        Introduction: Building modern HTTP/RESTful/RPC services has become very easy with the new ASP.NET Web API framework. Using ASP.NET Web API framework, you can create HTTP services which can be accessed from browsers, machines, mobile devices a…

Config data 可以在registering step 的时候来配置 配置好的config data 可以使用 constructor 来获取 Secure Config 和 UnSecure Config 的区别 Unsecure 在Unsecure里面的信息可以保存到导出的.zip solution当中 Secure 在secure里面的信息不会被导出到.zip 中, 可以放e.g. account, password 或者url 的这些敏感信息 首先,我们在registeratio…

The Progress of Products Classification Cause now we are considering to classify the product by two kinds of features, product images, and product title. I tried to handle these two kinds of features individually, on the product title side, I used Ke…

先更新composer自己,composer self-update 然后再更新依赖关系 composer update…

在项目中碰到一个很奇怪的问题,同一个网站目录下两个项目,手机端访问从A项目切换到B项目,总是报错,session_start抛错,后来排查了很久,终于发现是存储session的时候直接存储的对象,导致实例化失败. 后来改为存储的时候先json_encode ,取出的时候再json_decode return Session::instance()->set('user',json_encode($user)); try{  return empty(Session::instance()->g…

如果是根据官方文档来安装(composer create-project --prefer-dist yiisoft/yii2-app-basic basic),并提示此错误的话,那么请做: 1. 请在你的项目根目录的composer.json文件中写入: },"repositories": [ { "type": "composer", "url": "https://packagist.phpcomposer.c…

In Week 6, you will be learning about systematically improving your learning algorithm. The videos for this week will teach you how to tell when a learning algorithm is doing poorly, and describe the 'best practices' for how to 'debug' your learning…

Advice for applying machine learning 本周主要学习如何提升算法效率,以及如何判断学习算法在什么时候表现的很糟糕和如何debug我们的学习算法.为了让学习算法表现更好,我们还会学习如何解决处理偏态数据(skewed data). 以下内容部分参考我爱公开课-Advice for applying machine learning 一.内容概要 Evaluating a learning algorithm Deciding what to try next(决定…

Machine Learning System Design下面会讨论机器学习系统的设计.分析在设计复杂机器学习系统时将会遇到的主要问题,给出如何巧妙构造一个复杂的机器学习系统的建议.6.4 Building a Spam Classifier6.4.1 Prioritizing What to Work On首先是在设计机器学习系统时需要着重考虑什么问题.以垃圾邮件分类为例.1.确定用监督学习的方法进行学习和预测.2.确定关于邮件的特征.关于挑选特征,实际工作中,是遍历整个训练集,选出出现次数…

日志 20170410 Coursera机器学习 2017.11.28 update deeplearning 台大的机器学习课程:台湾大学林轩田和李宏毅机器学习课程 Coursera机器学习 Week 5: Neural Networks: Learning 本来上周开始该学习这个内容,也是先提交了作业,今天才来看看具体的代码:感觉这个课程本身对基础巩固很好.没有连续学习感觉有些有点忘了,最终的目的是自己能够推导这个内容. 本来想跟着学习搞个电子证书的,结果申请的到期时间是2017.3.31;…

十.应用机器学习的建议(Advice for Applying Machine Learning) 10.1 决定下一步做什么 10.2 评估一个假设 10.3 模型选择和交叉验证集 10.4 诊断偏差和方差 10.5 正则化和偏差/方差 10.6 学习曲线 10.7 决定下一步做什么 十一.机器学习系统的设计(Machine Learning System Design) 11.1 首先要做什么 11.2 误差分析 11.3 类偏斜的误差度量 11.4 查准率和查全率之间的权衡 11.5 机器…

(1) Advice for applying machine learning Deciding what to try next 现在我们已学习了线性回归.逻辑回归.神经网络等机器学习算法,接下来我们要做的是高效地利用这些算法去解决实际问题,尽量不要把时间浪费在没有多大意义的尝试上,Advice for applying machine learning & Machinelearning system design 这两课介绍的就是在设计机器学习系统的时候,我们该怎么做? 假设我们实现了一…

7 Machine Learning System Design Content 7 Machine Learning System Design 7.1 Prioritizing What to Work On 7.2 Error Analysis 7.3 Error Metrics for Skewed Classed 7.3.1 Precision/Recall 7.3.2 Trading off precision and recall: F1 Score 7.4 Data for ma…