目录 简介 基础画图 其他图像 bar stacked bar barh Histograms box Area Scatter Hexagonal bin Pie 在画图中处理NaN数据 其他作图工具 散点矩阵图Scatter matrix 密度图Density plot 安德鲁斯曲线Andrews curves 平行坐标Parallel coordinates 滞后图lag plot 自相关图Autocorrelation plot Bootstrap plot RadViz 图像的格式 去

使用sklearn进行数据挖掘系列文章: 1.使用sklearn进行数据挖掘-房价预测(1) 2.使用sklearn进行数据挖掘-房价预测(2)-划分测试集 3.使用sklearn进行数据挖掘-房价预测(3)-绘制数据的分布 4.使用sklearn进行数据挖掘-房价预测(4)-数据预处理 5.使用sklearn进行数据挖掘-房价预测(5)-训练模型 6.使用sklearn进行数据挖掘-房价预测(6)-模型调优 可视化数据 目前我们只是大概了解了数据的类型,以及对数据集进行了划分,下面我们要对数据

Using the latest advancements in AI to predict stock market movements 2019-01-13 21:31:18 This blog is copied from: https://github.com/borisbanushev/stockpredictionai In this notebook I will create a complete process for predicting stock price moveme

DBSCAN 聚类算法又称为密度聚类,是一种不断发张下线而不断扩张的算法,主要的参数是半径r和k值 DBSCAN的几个概念: 核心对象:某个点的密度达到算法设定的阈值则其为核心点,核心点的意思就是一个点在半径r的范围内,如果存在k个值,那么这个点就成为核心对象 直接密度可达:若点p在q的邻域内,且q是核心,则p-q称为直接密度可达 密度可达:若有q1, q2...qk,对任意qi与qi-1是直接密度可达,从q1和qk则是密度可达 边界点: 属于一个类的非核心点,不能再发展下线 噪声点: 不属于任

无监督问题,我们手里没有标签 聚类:相似的东西聚在一起 难点:如何进行调参 K-means算法 需要制定k值,用来获得到底有几个簇,即几种类型 质心:均值,即向量各维取平均值 距离的度量: 欧式距离和余弦相似度 优化目标: min∑∑dist(ci, xi)   即每种类别的数据到该类别质心距离的之和最小 1-k x 根据上述的工作流程: 第一步:随机选择两个初始点,类别的质心点(图二) 第二步: 根据所选的质心点,根据欧式距离对数据进行分类(图三) 第三步:求得分类后的每个类别的质心(图四)

沉淀再出发:在python3中导入自定义的包 一.前言 在python中如果要使用自己的定义的包,还是有一些需要注意的事项的,这里简单记录一下. 二.在python3中导入自定义的包 2.1.什么是模块.包.库? 模块:就是.py文件,里面定义了一些函数和变量,需要的时候就可以导入这些模块.  包:在模块之上的概念,为了方便管理而将文件进行打包.包目录下第一个文件便是 __init__.py,然后是一些模块文件和子目录,假如子目录中也有 __init__.py,那么它就是这个包的子包了.  库:

''' Python的标准库中包含大量工具,可以处理文件系统中的文件,构造和解析文件名,还可以检查文件内容. 处理文件的第一步是要确定处理的文件的名字.Python将文件名表示为简单的字符串,另外还提供了一些工具,可以由os.path中平台独立的标准组成部分构造文件名 pathlib模块提供了一个面向对象API来处理文件系统路径.使用这个模块而不是os.path可以提供更大的便利,因为它会在更高抽象层中完成处理 用os中的listdir函数可以列出一个文件目录中的内容,或者使用glob模块建立一

kmeans是一种无监督的聚类问题,在使用前一般要进行数据标准化, 一般都是使用欧式距离来进行区分,主要是通过迭代质心的位置 来进行分类,直到数据点不发生类别变化就停止, 一次分类别,一次变换质心,就这样不断的迭代下去 优势:使用方便劣势:1.K值难确定 2. 复杂度与样本数量呈线性关系 3.很难发现形状任意的簇 4.容易受初始点的影响 python中使用 sklearn.cluster 模块,使用的时候需要指定参数 第一步:导入数据,提取数据中的变量保存为X import pandas as

数据可视化 matplotlib绘图入门 为了使用matplotlib来绘制基本图像,需要调用matplotlib.pyplot子库中的plot()函数 import matplotlib.pyplot as plt import numpy as np x=np.linspace(,) plt.plot(x,.+x) plt.plot(x,+*x,'--') plt.show() 对数图 所谓对数图,实际上就是使用对数坐标绘制的图形.对于对数刻度来说,其间隔表示的是变量的值在数量级上的变化,这

Before you can plot anything, you need to specify which backend Matplotlib should use. The simplest option is to use Jupyter’s magic command %matplotlib inline. This tells Jupyter to set up Matplotlib so it uses Jupyter’s own backend. Scatter Plot ho

基础铺垫 多重线性回归(Multiple Linear Regression) 研究一个因变量与多个自变量间线性关系的方法 在实际工作中,因变量的变化往往受几个重要因素的影响,此时就需要用2个或2个以上的影响因素作为自变量来解释因变量的变化,这就是多重线性回归; 多重线性回归模型 1.模型 y=α+β1x1+β2x2+...+βnxn+e 数据分析部落公众号:shujudata 方程式中: y−因变量 xn−第n个自变量 α−常数项(回归直线在y轴上的截距) βn−第n个偏回归系数 e−随机误差

基本概念:(Density-Based Spatial Clustering of Application with Noiso) 1.核心对象: 若某个点的密度达到算法设定的阈值则其为核心点.(即r领域内的点数量不小于minPts) 2.ε-领域的距离阈值: 设定的半径r 3.直接密度可达: 若某点p在点q的r领域内,且q是核心点则p-q直接密度可达 4.密度可达: 若有一个点的序列q0.q1. ...qk,对任意qi-qi-q是直接密度可达的,则称从q0到qk密度可达,这实际上是直接密度可达

1.列表不能直接赋值 nums1 = nums2 x nums1[:] = nums2 正确 2.返回列表某一元素的值可以使用index函数 aList = [123, 'xyz', 'runoob', 'abc'] print "xyz 索引位置: ", aList.index( 'xyz' ) print "runoob 索引位置 : ", aList.index( 'runoob', 1, 3 ) 参数 x-- 查找的对象. start-- 可选,查找的起始位

python机器学习-乳腺癌细胞挖掘(博主亲自录制视频) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share http://www.kancloud.cn/wizardforcel/scipy-lecture-notes/129877参考 In [1]: %mat

1       完整的机器学习项目 完成项目的步骤: (1)    项目概述 (2)    获取数据 (3)    发现并可视化数据,发现规律. (4)    为机器学习算法准备数据. (5)    选择模型,进行训练. (6)    微调模型. (7)    给出解决方案. (8)    部署.监控.维护系统. 1.1  使用真实数据 学习机器学习时,最好使用真实数据,而不是人工数据集.幸运的是,有上千个开源数据集 可以进行选择,涵盖多个领域.以下是一些可以查找的数据的地方: 流行的开源数据仓

本章中,你会假装作为被一家地产公司刚刚雇佣的数据科学家,完整地学习一个案例项目.下面是主要步骤: 项目概述. 获取数据. 发现并可视化数据,发现规律. 为机器学习算法准备数据. 选择模型,进行训练. 微调模型. 给出解决方案. 部署.监控.维护系统. 使用真实数据 学习机器学习时,最好使用真实数据,而不是人工数据集.幸运的是,有上千个开源数据集可以进行选择,涵盖多个领域.以下是一些可以查找的数据的地方: 流行的开源数据仓库: UC Irvine Machine Learning Reposito

10 Minutes to pandas This is a short introduction to pandas, geared mainly for new users. You can see more complex recipes in the Cookbook Customarily, we import as follows: In [1]: import pandas as pd In [2]: import numpy as np In [3]: import matplo

http://www.cnblogs.com/chaosimple/p/4153083.html 本文是对pandas官方网站上<10 Minutes to pandas>的一个简单的翻译,原文在这里.这篇文章是对pandas的一个简单的介绍,详细的介绍请参考:Cookbook .习惯上,我们会按下面格式引入所需要的包: 一.            创建对象 可以通过 Data Structure Intro Setion 来查看有关该节内容的详细信息. 1.可以通过传递一个list对象来创建

[原]十分钟搞定pandas   本文是对pandas官方网站上<10 Minutes to pandas>的一个简单的翻译,原文在这里.这篇文章是对pandas的一个简单的介绍,详细的介绍请参考:Cookbook .习惯上,我们会按下面格式引入所需要的包: 一.            创建对象 可以通过 Data Structure Intro Setion 来查看有关该节内容的详细信息. 1.可以通过传递一个list对象来创建一个Series,pandas会默认创建整型索引: 2.通过传递

本文是对pandas官方网站上<10 Minutes to pandas>的一个简单的翻译,原文在这里.这篇文章是对pandas的一个简单的介绍,详细的介绍请参考:Cookbook . 习惯上,我们会按下面格式引入所需要的包: 一.            创建对象 可以通过 Data Structure Intro Setion 来查看有关该节内容的详细信息. 1.可以通过传递一个list对象来创建一个Series,pandas会默认创建整型索引: 2.通过传递一个numpy array,时间

groupby官方解释 DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, **kwargs) Group series using mapper (dict or key function, apply given function to group, return result as series) or by a series of