散点图进阶,结合箱体图与直方图对数据形成全面的认识 描述数据集中趋势的分析量: 均值 - 全部数据的算术平均值 众数 - 一组数据中出现次数最多的变量值 中位数 - 一组数据经过顺序排列后处于中间位置上的变量值 描述数据离散程度的分析量: 方差 - 一组数据各变量值与其平均值离差平方和的平均数 标准差 - 方差的平方根 偏态 - 描述数据分布形态的统计量,其描述的是某总体取值分布的对称性.偏度 = 三阶中心距 / 标准差的三次方 峰度 - 描述总体中所有取值分布形态陡缓程度的统计量,这个统计量需

网上对于线性回归的讲解已经很多,这里不再对此概念进行重复,本博客是作者在听吴恩达ML课程时候偶然突发想法,做了两个小实验,第一个实验是采用最小二乘法对数据进行拟合, 第二个实验是采用梯度下降方法对数据集进行线性拟合,下面上代码: 最小二乘法: #!/usr/bin/env python #encoding:UTF-8 import numpy as np import matplotlib.pyplot as plt N=10 X=np.linspace(-3, 3, N) Y=(X+10.0)

一.使用urllib下载cifar-10数据集,并读取再存为图片(TensorFlow v1.14.0) # -*- coding:utf-8 -*- __author__ = 'Leo.Z' import sys import os # 给定url下载文件 def download_from_url(url, dir=''): _file_name = url.split('/')[-1] _file_path = os.path.join(dir, _file_name) # 打印下载进度

参考:http://blog.csdn.net/songzitea/article/details/18219237

关于局部敏感哈希算法.之前用R语言实现过,可是由于在R中效能太低.于是放弃用LSH来做类似性检索.学了python发现非常多模块都能实现,并且通过随机投影森林让查询数据更快.觉得能够试试大规模应用在数据类似性检索+去重的场景. 私觉得,文本的类似性能够分为两类:一类是机械类似性:一类是语义类似性. 机械类似性代表着,两个文本内容上的相关程度.比方"你好吗"和"你好"的类似性.纯粹代表着内容上字符是否全然共现,应用场景在:文章去重: 语义类似性代表着,两个文本语义上的

注:上一小节总结了离散型随机变量,这个小节总结连续型随机变量.离散型随机变量的可能取值只有有限多个或是无限可数的(可以与自然数一一对应),连续型随机变量的可能取值则是一段连续的区域或是整个实数轴,是不可数的.最常见的一维连续型随机变量有三种:均匀分布,指数分布和正态分布.下面还是主要从概述.定义.主要用途和Python的实现几个方面逐一描述. 以下所有Python代码示例,均默认已经导入上面的这几个包,导入代码如下: import numpy as np from scipy import st

一:引入问题 首先看一个表格,下表是某些学生的语文,数学,物理,化学成绩统计: 首先,假设这些科目成绩不相关,也就是说某一科目考多少分与其他科目没有关系,那么如何判断三个学生的优秀程度呢?首先我们一眼就能看出来,数学,物理,化学这三门课的成绩构成了这组数据的主成分(很显然,数学作为第一主成分,因为数据成绩拉的最开). 那么为什么我们能一眼看出来呢? 当然是我们的坐标轴选对了!! 下面,我们继续看一个表格,下标是一组学生的数学,物理,化学,语文,历史,英语成绩统计: 那么这个表我们能一眼看出来吗?

Histgram直方图适合于单个变量的value分布图形 seaborn在matplotlib基础上做了更高层的抽象,方便对基础的图表绘制.也可以继续使用matplotlib直接绘图,但是调用seabon的set()方法就能获得好看的样式. # Import plotting modules import matplotlib.pyplot as plt import seaborn as sns # Set default Seaborn style sns.set() # Plot hist

Python Scikit-learn *一组简单有效的工具集 *依赖Python的NumPy,SciPy和matplotlib库 *开源 可复用 sklearn库的安装 DOS窗口中输入 pip install ** NumPy(开源科学计算库),SciPy(集成多种数学算法和函数模块)和matplotlib(提供大量绘图工具)库基础上开发的,因此需要先装这些依赖库 安装顺序 SKlearn库中的标准数据集及基本功能 波士顿房价数据集 使用sklearn.datasets.load_bosto

ImageStat模块用于计算整个图像或者图像的一个区域的统计数据. 一.ImageStat模块的函数 1.  Stat 定义1:ImageStat.Stat(image)⇒ Stat instance ImageStat.Stat(image, mask)⇒ Stat instance 含义1:计算给定图像的统计值. 假设变量mask被赋值,将仅仅针对变量mask所定义的区域进行统计. 样例1: >>> from PIL importImage, ImageStat >>&

--------------------------------------------------------------------------------------- 本系列文章为<机器学习实战>学习笔记,内容整理自书本,网络以及自己的理解,如有错误欢迎指正. 源码在Python3.5上测试均通过,代码及数据 --> https://github.com/Wellat/MLaction -----------------------------------------------

前言:这是一个老故事, 但每次看总是能从中想到点什么.在一家超市里,有一个有趣的现象:尿布和啤酒赫然摆在一起出售.但是这个奇怪的举措却使尿布和啤酒的销量双双增加了.这不是一个笑话,而是发生在美国沃尔玛连锁店超市的真实案例,并一直为商家所津津乐道.原来,美国的妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布.而丈夫在买完尿布之后又要顺手买回自己爱喝的啤酒,因此啤酒和尿布在一起购买的机会还是很多的. 是什么让沃尔玛发现了尿布和啤酒之间的关系呢?正是商家通过对超市一年多原始交易数字进行详细的分析,才发

1.二维绘图 a. 一维数据集 用 Numpy ndarray 作为数据传入 ply 1. import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt np.random.seed(1000) y = np.random.standard_normal(10) print "y = %s"% y x = range(len(y)) print "x=%s"% x plt.pl

Python实现C4.5(信息增益率) 运行环境 Pyhton3 treePlotter模块(画图所需,不画图可不必) matplotlib(如果使用上面的模块必须) 计算过程 st=>start: 开始 e=>end op1=>operation: 读入数据 op2=>operation: 格式化数据 cond=>condition: 是否建树完成 su=>subroutine: 递归建树 op3=>operation: 选择熵增益率最大的为判决点 op4=&g

前文参考: Python爬虫(一)——开封市58同城租房信息 Python爬虫(二)——对开封市58同城出租房数据进行分析 Python爬虫(三)——对豆瓣图书各模块评论数与评分图形化分析 数据的构建 在这张表中我们可以发现这里有5个数据,这里有两个特征(房租是否少于2000,房屋面积是否大于50)来划分这5个出租房是否租借. 现在我们要做的就是是要根据第一个特征,第二个特征还是第三个特征来划分数据,进行分类. def createDataSet(): dataSet = [[1, 1, 'ye

前文参考: Python爬虫(一)——豆瓣下图书信息 Python爬虫(二)——豆瓣图书决策树构建 Python爬虫(三)——对豆瓣图书各模块评论数与评分图形化分析 数据的构建 在这张表中我们可以发现这里有5个数据,这里有三个特征(评分是否超过8.0,评分是否超过9.5,评价数是否超过45,000)来划分这5本书是否选择阅读. 现在我们要做的就是是要根据第一个特征,第二个特征还是第三个特征来划分数据,进行分类. def createDataSet(): dataSet = [[1,1,1,'ye

本文由 伯乐在线 - 顾星竹 翻译,Namco 校稿.未经许可,禁止转载!英文出处:Giuseppe Vettigli.欢迎加入翻译组. 覆盖使用Python进行数据挖掘查找和描述数据结构模式的实践工具. 第一节 介绍 数据挖掘是一个隐式提取以前未知的潜在有用的数据信息提取方式.它使用广泛,并且是众多应用的技术基础. 本文介绍那些使用Python数据挖掘实践用于发现和描述结构模式数据的工具.近些年来,Python在开发以数据为中心的应用中被用的越来越多.感谢大型科学计算社区的支持以及大大丰富的数

前面学习了决策树的算法原理,这里继续对代码进行深入学习,并掌握ID3的算法实践过程. ID3算法是一种贪心算法,用来构造决策树,ID3算法起源于概念学习系统(CLS),以信息熵的下降速度为选取测试属性的标准,即在每一个节点选取还尚未被用来划分的具有最高信息增益的属性作为划分标准,然后继续这个过程,直到生成的决策树能完美的分类训练样例. ID3算法的背景知识 ID3算法最早是由罗斯昆(J. Ross Quinlan)于1975年在悉尼大学提出的一种分类预测算法,算法的核心是“信息熵”.ID3算法通

一.Python介绍 1. Python的应用领域及流行程度 python的创始人为吉多·范罗苏姆(Guido van Rossum).1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解释程序,作为ABC语言的一种继承. The zen of python(在python交互窗口输入‘import this’即可得到) 最新的TIOBE排行榜,Python占据第5, Python崇尚优美.清晰.简单,是一个优秀并广泛使用的语言. Python可以应用于众多领域

参考:https://blog.csdn.net/gamer_gyt/article/details/75165842#t16  https://blog.csdn.net/ymlgrss/article/details/52854589 完整代码已上传至github  https://github.com/chenzhefan/ML_distance 尽量看上面原文链接吧,复制的公式格式不对,代码优化了放在github 欧氏距离 也称欧几里得距离,是指在m维空间中两个点之间的真实距离.欧式距离

发现帮助新手入门机器学习的一篇好文,首先感谢博主!:用Python开始机器学习(2:决策树分类算法) J. Ross Quinlan在1975提出将信息熵的概念引入决策树的构建,这就是鼎鼎大名的ID3算法.后续的C4.5, C5.0, CART等都是该方法的改进. 熵就是“无序,混乱”的程度.刚接触这个概念可能会有些迷惑.想快速了解如何用信息熵增益划分属性,可以参考这位兄弟的文章:http://blog.csdn.net/alvine008/article/details/37760639 数据