Python数据挖掘——数据预处理

  • 数据预处理

    • 数据质量

      • 准确性、完整性、一致性、时效性、可信性、可解释性

    • 数据预处理的主要任务

      • 数据清理

      • 数据集成

      • 数据归约

        • 维归约

        • 数值归约

      • 数据变换

        • 规范化

        • 数据离散化

        • 概念分层产生

  • 数据清理（试图填充缺失的值，光滑噪声并识别离群点，纠正数据的不一致）

    • 缺失值

      • 忽略元组

      • 人工填写缺失值

      • 使用一个全局常量填充缺失值

      • 使用属性的中心度量（均值／中位数）填充缺失值

      • 使用与给定元组属于同一类的所有样本的均值／中位数

      • 使用最可能的值 填充缺失值

      • 注：某些情况，缺失值并不代表错误

    • 噪声数据（噪声是被测量的变量的随机误差或方差）

      • 分箱（通过考察数据的近邻，来光滑有序数据值）

        • 用箱均值

        • 用箱中位数

        • 用箱边界

      • 回归

      • 离群点分析（通过聚类来检测离群点）

    • 数据清理化为一个过程

      • 首先进行偏差检测，还要防止字段过载

        • 唯一性规则

        • 连续性规则

        • 空值规则

      • 偏差检测商业工具

        • 数据清洗工具

        • 数据审计工具

      • 数据迁移工具

        • EIL工具

  • 数据集成

    • 实体识别问题

    • 冗余和相关分析

    • 元组重复

    • 数据值冲突的检测与处理

  • 数据归约

    • 数据变换与数据离散化

Python数据挖掘——数据预处理的更多相关文章

  1. Python数据挖掘——数据概述

    Python数据挖掘——数据概述 数据集由数据对象组成: 数据的基本统计描述 中心趋势度量 均值 中位数 众数 中列数 数据集的最大值和最小值的平均 度量数据分布 极差 最大值与最小值的差 四分位数 ...

  2. Python做数据预处理

    在拿到一份数据准备做挖掘建模之前,首先需要进行初步的数据探索性分析(你愿意花十分钟系统了解数据分析方法吗?),对数据探索性分析之后要先进行一系列的数据预处理步骤.因为拿到的原始数据存在不完整.不一致. ...

  3. 吴裕雄 python 机器学习——数据预处理过滤式特征选取SelectPercentile模型

    from sklearn.feature_selection import SelectPercentile,f_classif #数据预处理过滤式特征选取SelectPercentile模型 def ...

  4. 吴裕雄 python 机器学习——数据预处理过滤式特征选取VarianceThreshold模型

    from sklearn.feature_selection import VarianceThreshold #数据预处理过滤式特征选取VarianceThreshold模型 def test_Va ...

  5. 吴裕雄 python 机器学习——数据预处理正则化Normalizer模型

    from sklearn.preprocessing import Normalizer #数据预处理正则化Normalizer模型 def test_Normalizer(): X=[[1,2,3, ...

  6. 吴裕雄 python 机器学习——数据预处理标准化MaxAbsScaler模型

    from sklearn.preprocessing import MaxAbsScaler #数据预处理标准化MaxAbsScaler模型 def test_MaxAbsScaler(): X=[[ ...

  7. 吴裕雄 python 机器学习——数据预处理标准化StandardScaler模型

    from sklearn.preprocessing import StandardScaler #数据预处理标准化StandardScaler模型 def test_StandardScaler() ...

  8. 吴裕雄 python 机器学习——数据预处理标准化MinMaxScaler模型

    from sklearn.preprocessing import MinMaxScaler #数据预处理标准化MinMaxScaler模型 def test_MinMaxScaler(): X=[[ ...

  9. 吴裕雄 python 机器学习——数据预处理二元化OneHotEncoder模型

    from sklearn.preprocessing import OneHotEncoder #数据预处理二元化OneHotEncoder模型 def test_OneHotEncoder(): X ...

随机推荐

  1. Xcode 提交APP时遇到 “has one iOS Distribution certificate but its private key is not installed”

    解决办法:登录Apple开发证书后台,把发布版证书.cer文件下载到本地,双击安装即可.若还没有设置发布证书文件,则创建一个后下载. Ref: https://blog.csdn.net/dingqk ...

  2. iOS获取设备ip地址（OC版）

    #import <SystemConfiguration/CaptiveNetwork.h> #import <ifaddrs.h> #import <arpa/inet ...

  3. node里使用supervisor

    1.npm -g install supervisor(安装) 2.用cd命令定位到项目的根目录 3.supervisor bin/www

  4. archLinux 学习笔记--mlocate的安装与使用

    locate - 查找文件的简单方法 locate 程序会执行一次快速的路径名数据库搜索,并且输出每个与给定子字符串相匹配的路径名. 使用时却发现archlinux出现 bash: locate:未找 ...

  5. JS中判断字符串中出现次数最多的字符及出现的次数

    <script type="text/javascript"> var str = 'qwertyuilo.,mnbvcsarrrrrrrrtyuiop;l,mhgfd ...

  6. PTA基础编程题目集6-3简单求和 （函数题）

    6-3 简单求和 (10 分) 本题要求实现一个函数,求给定的N个整数的和. 函数接口定义: int Sum(int List[],int N) 其中给定整数存放在数组List[]中,正整数N是数组元 ...

  7. Linux Mint 使用 VNC Server (x11vnc) 进行远程屏幕

    https://community.linuxmint.com/tutorial/view/2334 This tutorial was adapted from here. Remove the d ...

  8. LintCode 896. Prime Product 简明题解

    Given a non-repeating prime array arr, and each prime number is used at most once, find all the prod ...

  9. 自己写的一些Excel及WordVBA函数[原创]

    1.将Excel当前工作表另存至桌面 Excel中有时一个工作簿中工作表特别多,需要快速单独存取其中一个,可用以下代码快速存至桌面 Sub 另存工作表到桌面() Dim sh As Worksheet ...

  10. mybatsi中文乱码问题

    乱码问题:待总结,这里先贴出网友的博客: http://blog.csdn.net/zht666/article/details/8955952