回归模型的性能的评价指标主要有:RMSE(平方根误差).MAE(平均绝对误差).MSE(平均平方误差).R2_score.但是当量纲不同时,RMSE.MAE.MSE难以衡量模型效果好坏.这就需要用到R2_score,实际使用时,会遇到许多问题,今天我们深度研究一下. 预备知识 搞清楚R2_score计算之前,我们还需要了解几个统计学概念. 若用$y_i$表示真实的观测值,用$\bar{y}$表示真实观测值的平均值,用$\hat{y_i}$表示预测值,则: 回归平方和:SSR $$SSR = \s

我的新书<基于股票大数据分析的Python入门实战>于近日上架,在这篇博文向大家介绍我的新书:<基于股票大数据分析的Python入门实战>里,介绍了这本书的内容.这里将摘录出部分内容,用以推广本书,请大家多多支持. 1 MACD指标的计算方式 从数学角度来分析,MACD指标是根据均线的构造原理,对股票收盘价进行平滑处理,计算出算术平均值以后再进行二次计算,它是属于趋向类指标. MACD指标是由三部分构成的,分别是:DIF(离差值,也叫差离值).DEA(离差值平均)和BAR(柱状线)

需解决问题: 1．离散点进行平滑曲线画法 https://blog.csdn.net/cdqn10086/article/details/70143616 def draw_curve(x,y,img_save_dir,auc): xnew = np.linspace(x.min(),x.max(),300) y_smooth = spline(x,y,xnew) plt.plot(xnew,y_smooth) plt.savefig(img_save_dir) 2．把auc计算的结果画到图片上

我最近出了一本书,<基于股票大数据分析的Python入门实战 视频教学版>,京东链接:https://item.jd.com/69241653952.html,在其中给出了MACD,KDJ等指标图的绘制方法.这里将根据KDJ的算法,计算并绘制KDJ指标线. 1  KDJ指标的计算过程 KDJ指标也叫随机指标,是由乔治·蓝恩博士(George Lane)最早提出的.该指标集中包含了强弱指标.动量概念和移动平均线的优点,可以用来衡量股价脱离正常价格范围的偏离程度. KDJ指标的计算过程是,首先获取

关于分类算法我们之前也讨论过了KNN.决策树.naivebayes.SVM.ANN.logistic回归.关于这么多的分类算法,我们自然需要考虑谁的表现更加的优秀. 既然要对分类算法进行评价,那么我们自然得有评价依据.到目前为止,我们讨论分类的有效性都是基于分类成功率来说的,但是这个指标科学吗?我们不妨考虑这么一个事实:一个样本集合里有95个正例,5个反例,分类器C1利用似然的思想将所有的实例均分成正例,分类成功率为95%:分类器C2成功分出了80个正例,3个反例,分类成功率仅83%.我们可以说

信用评分卡模型在国外是一种成熟的预测方法,尤其在信用风险评估以及金融风险控制领域更是得到了比较广泛的使用,其原理是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型. 本文重点介绍模型变量WOE以及IV原理,为表述方便,本文将模型目标标量为1记为违约用户,对于目标变量为0记为正常用户:则WOE(weight of Evidence)其实就是自变量取某个值的时候对违约比例的一种影响,怎么理解这句话呢?我下面通过一个图标来进行说明. Woe公式如下: A

大数据篇:一文读懂@数据仓库 1 网络词汇总结 1.1 数据中台 数据中台是聚合和治理跨域数据,将数据抽象封装成服务,提供给前台以业务价值的逻辑概念. 数据中台是一套可持续"让企业的数据用起来"的机制,一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建一套持续不断把数据变成资产并服务于业务的机制. 数据中台连接数据前台和后台,突破数据局限,为企业提供更灵活.高效.低成本的数据分析挖掘服务,避免企业为满足具体某部门某种数据分析需求而投放大量高

Adaboost提升算法是机器学习中很好用的两个算法之一,另一个是SVM支持向量机:机器学习面试中也会经常提问到Adaboost的一些原理:另外本文还介绍了一下非平衡分类问题的解决方案,这个问题在面试中也经常被提到,比如信用卡数据集中,失信的是少数,5:10000的情况下怎么准确分类? 一 引言 1 元算法(集成算法):多个弱分类器的组合:弱分类器的准确率很低 50%接近随机了 这种组合可以是 不同算法 或 同一算法不同配置 或是 数据集的不同部分分配给不同分类器; 2 bagging:把原始数

时间序列(time series)是一系列有序的数据.通常是等时间间隔的采样数据.如果不是等间隔,则一般会标注每个数据点的时间刻度. time series data mining 主要包括decompose(分析数据的各个成分,例如趋势,周期性),prediction(预测未来的值),classification(对有序数据序列的feature提取与分类),clustering(相似数列聚类)等. 这篇文章主要讨论prediction(forecast,预测)问题. 即已知历史的数据,如何准确

在图像处理算法研究中,很多时候需要有客观评价指标来对算法的性能进行评价. 比如,在图像复原.图像滤波算法研究中,需要采用客观评价指标来定量的来测试算法恢复出的图像相对于参考图像的好坏程度. 本文介绍文献中提到到三个比较好的客观评价指标——峰值性噪比PSNR.模糊系数K.质量因素Q,其定义分别是: 这三个指标的详细定义见参考文献[1]~[3],下面给出这三个评价指标的MatLab实现. %说明:本文件为计算两幅视频图象相对于高清晰图象的质量,其中: %eyechart1.bmp为未处理前质量较差图

版权声明:本文为博主原创文章,未经博主允许不得转载. 1. 图片数据处理 2. 卷积神经网络 2.1. 卷积层 2.2. 池化层 2.3. 全链层 3. AlexNet 4. 用Tensorflow搭建完整的AlexNet 5. 用AlexNet识别猫狗图片 5.1. 定义分类 5.2. 训练网络 5.3. 验证 1. 图片数据处理 一张图片是由一个个像素组成,每个像素的颜色常常用RGB.HSB.CYMK.RGBA等颜色值来表示,每个颜色值的取值范围不一样,但都代表了一个像素点数据信息.对图片的

转自:https://blog.csdn.net/lswnew/article/details/79175555 http://www.51niux.com/?id=83 第一篇文章讲述了ganglia的搭建过程以及主要配置文件的参数解释,这篇文章对web界面的功能做解释. gweb由:Main.Search.Views.Aggregate Graphs.Compare Hosts.Events.Reports.Automatic Rotation.Live Dashboard.Cubism.M

Nginx是一个开源.免费.高性能的HTTP和反向代理服务器,也可以用于IMAP/POP3代理服务器.充分利用Nginx的特性,可以有效解决流量高并发请求.cc攻击等问题. 本文探讨了电商场景下Nginx的监控方案,并将使用过程中遇到的问题和解决方案与大家一起分享. 一.对于Nginx你一定了解的基础 1.特性 作为Web服务器,Nginx不免要与Apache进行比较.相比Apache服务器,Nginx因其采用的异步非阻塞工作模型,使其具备高并发.低资源消耗的特性,高度模块化设计使Nginx具备

文章摘自https://juejin.im/post/5b0b7d74518825158e173a0c 作为互联网项目,最重要的便是用户体验.在举国“互联网+”的热潮中,用户至上也已经被大多数企业所接收,特别是在如今移动端快速发展的时代,我们的网页不仅只是呈现在用户的PC浏览器里,更多的时候,用户是通过移动产品浏览我们的网页.加之有越来越多的开发者投入到Web APP和Hybrid APP的开发队伍中,性能,又再一次成为了被程序员们重点关注的话题.我曾经看到过这样一句话:一个网站的体验,决定了用

CVSS 通用弱点评价体系(CVSS)是由NIAC开发.FIRST维护的一个开放并且能够被产品厂商免费采用的标准.利用该标准,可以对弱点进行评分,进而帮助我们判断修复不同弱点的优先等级. CVSS : Common Vulnerability Scoring System,即“通用漏洞评分系统”,是一个“行业公开标准,其被设计用来评测漏洞的严重程度,并帮助确定所需反应的紧急度和重要度”. 它的主要目的是帮助人们建立衡量漏洞严重程度的标准,使得人们可以比较漏洞的严重程度,从而确定处理它们的优先级.

Reference: http://www.totogoo.com/article/115/xapian-desc.html Xapian与开源 Xapian的官方网站是http://www.xapian.org,这是一个非常优秀的开源搜索引擎项目,搜索引擎其实只是一个通俗的说法,正式的说法其实是IR(Information Retrieval)系统.Xapian的License是GPL,这意味着允许使用者自由地修改其源码并发布之.Xapian的中文资料非常少,可以说现在互联网上连一篇完整详细的

pandas常用函数整理,作为个人笔记. 仅标记函数大概用途做索引用,具体使用方式请参照pandas官方技术文档. 约定 from pandas import Series, DataFrame import pandas as pd import numpy as np 带.的为Series或者DataFrame对象的方法,只列举了部分关键字参数. 1.基础 .values 获取值,返回array对象 .index 获取(行)索引,返回索引对象 Series( index=) 创建Series

6.1.什么是Hystrix 在分布式系统中.服务与服务之间的依赖错综复杂,一种不可避免的情况就是某些服务 出现故障,导致依赖于它们的其他服务出现远程调度的线程阻塞.   Hystrix是Netflix 公司开源的一个项目,它提供了熔断器功能, 能够阻止分布式系统中出现联动故障   Hystrix 是通过隔离服务的访问点阻止联动故障的,并提供了故障的解决方案,从而提高了 整个分布式系统的弹性 6.2.Hystrix解决了什么问题 在复杂的分布式系统中,可能有几十个服务相互依赖,这些服务由于某些原

在Spark2.0版本中(不是基于RDD API的MLlib),共有四种聚类方法:      (1)K-means      (2)Latent Dirichlet allocation (LDA)      (3)Bisecting k-means(二分k均值算法)      (4)Gaussian Mixture Model (GMM).        基于RDD API的MLLib中,共有六种聚类方法:      (1)K-means      (2)Gaussian mixture  

11.何时修改开发集.测试集和度量指标 开展一个新项目,尽快选好开发集和测试集:例子,根据度量指标A分类器排在B分类器前面,但是团队认为B分类器在实际产品上优于A分类器,这时就需要考虑修改开发集和测试集,或者评价指标了. 有三个主要原因可能导致A分类器的评分较低: (1)你需要处理实际数据的分布和开发集.测试机数据的分布情况不同. (2)你的开发集上过拟合. (3)该指标所度量的不是项目应当优化的目标. 12小结:建立开发集和测试集 (1)选择作为开发集和测试集的数据,应当与你预期在将来获取并良

从几何上讲,单高斯分布模型在二维空间应该近似于椭圆,在三维空间上近似于椭球.遗憾的是在很多分类问题中,属于同一类别的样本点并不满足“椭圆”分布的特性.这就引入了高斯混合模型.——可以认为是基本假设! 高斯混合模型Gaussian Mixture Model (GMM) 摘自:http://www.infocool.net/kb/Spark/201609/193351.html 由于本文写的不g够完整详细,给出一个学习链接:       http://www.cnblogs.com/CBDocto