[Python]-sklearn模块-机器学习Python入门《Python机器学习手册》-02-加载数据:加载数据集
《Python机器学习手册——从数据预处理到深度学习》
这本书类似于工具书或者字典,对于python具体代码的调用和使用场景写的很清楚,感觉虽然是工具书,但是对照着做一遍应该可以对机器学习中python常用的这些库有更深入的理解,在应用中也能更为熟练。
以下是根据书上的代码进行实操,注释基本写明了每句代码的作用(写在本句代码之前)和print的输出结果(写在print之后)。不一定严格按照书上内容进行,根据代码运行时具体情况稍作顺序调整,也加入了一些自己的理解。
如果复制到自己的环境下跑一遍输出,相信理解会更深刻更清楚。
博客中每个代码块代表一次完整的运行结果,可以直接以此为单位复制并运行。
02-加载数据
包括:
- 加载样本数据集
- 创建仿真数据集
- 加载CSV文件
- 加载Excel文件
- 加载json文件
- 查询SQL数据库
其中1、2部分内容主要是sklearn库中datasets的基本应用,在本文中将进行详细叙述。
3-6部分主要是pandas库的读入,将在02-加载数据:加载文件中详细叙述。
02-1 加载样本数据集
# 加载现有数据集
from sklearn import datasets
# 加载手写数字数据集--图像分类
digits = datasets.load_digits()
print(digits.keys())
# dict_keys(['data', 'target', 'frame', 'feature_names', 'target_names', 'images', 'DESCR'])
# 加载波士顿房价数据集--回归
boston = datasets.load_boston()
print(boston.keys())
# dict_keys(['data', 'target', 'feature_names', 'DESCR', 'filename'])
# 加载鸢尾花数据集--分类
iris = datasets.load_iris()
print(iris.keys())
# dict_keys(['data', 'target', 'frame', 'target_names', 'DESCR', 'feature_names', 'filename'])
02-2 创建仿真数据集
# 创建仿真数据集
from sklearn.datasets import make_regression, make_classification, make_blobs, make_multilabel_classification
# 生成特征矩阵、目标向量以及模型系数--回归
features, target, coefficients = make_regression(n_samples = 100,
n_features = 3,
n_informative = 3,
n_targets = 1,
noise = 0.0,
coef = True,
random_state = 1)
# 生成特征矩阵、目标向量以及模型系数--分类
features, target = make_classification(n_samples = 100,
n_features = 3,
n_informative = 3,
n_redundant = 0,
n_classes = 2,
weights = [.25, .75],
random_state = 1)
# n_samples=100, # 样本个数
# n_features=20, # 特征个数
# n_informative=2, # 有效特征个数,有价值的重要特征
# n_redundant=2, # 冗余特征个数(有效特征的随机组合),将重要特征进行线性组合的特征
# n_repeated=0, # 重复特征个数(有效特征和冗余特征的随机组合)
# n_classes=2, # 样本类别
# n_clusters_per_class=2, # 蔟的个数,簇的个数,某一个类别由几个簇构成
# weights=None, # 每个类的权重 用于分配样本点
# flip_y=0.01, # 随机交换样本的一段 y噪声值的比重
# class_sep=1.0, # 类与类之间区分清楚的程度
# hypercube=True, # 如果为True,则将簇放置在超立方体的顶点上;如果为False,则将簇放置在随机多面体的顶点上。
# shift=0.0, # 将各个特征的值移动,即加上或减去某个值
# scale=1.0, # 将各个特征的值乘上某个数,放大或缩小
# shuffle=True, # 是否洗牌样本
# random_state=None, # 随机种子
# 类别数量统计
from collections import Counter
print(Counter(target)) # Counter({1: 75, 0: 25})
# 特征维度
print(features.shape) # (100, 3)
# 生成特征矩阵、目标向量以及模型系数--多标签分类,一个features对应多个target
features, target = make_multilabel_classification(n_samples = 100,
n_features = 10,
n_classes = 5,
n_labels = 2,
length =50,
allow_unlabeled = True,
sparse = False,
return_indicator='dense',
return_distributions=False,
random_state = None)
# 特征维度
print(features.shape) # (100, 10)
# 多标签示例
print(target[:4])
# [[1 1 0 1 0]
# [0 1 0 0 0]
# [0 1 0 0 1]
# [0 1 0 1 1]]
# 生成特征矩阵、目标向量以及模型系数--聚类
features, target = make_blobs(n_samples = 100,
n_features = 2,
centers = 3,
cluster_std = 0.5,
shuffle = True,
random_state = 1)
# n_samples=100, # 样本数量,如果是数组,则序列的每个元素表示每个聚簇的样本数量。
# n_features=2, # 特征数量
# centers=None, # 中心,一种是int决定生成的中心数量,一种是array决定固定的中心位置(长度等于n_samples数组长度)
# cluster_std=1.0, # 聚簇的标准差
# center_box(-10.0, 10.0), # 聚簇中心的边界框
# shuffle=True, # 是否洗牌样本
# random_state=None #随机种子
# 聚类数据集可视化
import matplotlib.pyplot as plt
plt.figure()
plt.title('Data')
plt.scatter(features[:, 0], features[:, 1], marker='o', c=target, s=30)
plt.show()
plt.savefig('blobs.png')
plt.close()
[Python]-sklearn模块-机器学习Python入门《Python机器学习手册》-02-加载数据:加载数据集的更多相关文章
- python - json模块使用 / 快速入门
json基本格式 """ json格式 -> [{}, {}]: [{ "name": "Bob", "gende ...
- python pickle模块的使用/将python数据对象序列化保存到文件中
# Python 使用pickle/cPickle模块进行数据的序列化 """Python序列化的概念很简单.内存里面有一个数据结构, 你希望将它保存下来,重用,或者发送 ...
- python openpyxl模块实现excel的读取,新表创建及原数据表追加新数据
当实际工作需要把excel表的数据读取出来,或者把一些统计数据写入excel表中时,一个设计丰富,文档便于寻找的模块就会显得特别的有吸引力,本文对openpyxl模块的一些常见用法做一些记录,方便工作 ...
- Python Deque 模块使用详解,python中yield的用法详解
Deque模块是Python标准库collections中的一项. 它提供了两端都可以操作的序列, 这意味着, 你可以在序列前后都执行添加或删除. https://blog.csdn.net/qq_3 ...
- Python 数据分析(一) 本实验将学习 pandas 基础,数据加载、存储与文件格式,数据规整化,绘图和可视化的知识
第1节 pandas 回顾 第2节 读写文本格式的数据 第3节 使用 HTML 和 Web API 第4节 使用数据库 第5节 合并数据集 第6节 重塑和轴向旋转 第7节 数据转换 第8节 字符串操作 ...
- Andrew Ng机器学习算法入门(二):机器学习分类
机器学习的定义 Arthur Samuel给出的定义,Field of Study that gives computers the ability to learn without being ex ...
- Python入门之Python引用模块和查找模块路径
#这篇文章主要介绍了Python引用模块和Python查找模块路径的相关资料,需要的朋友可以参考下 模块间相互独立相互引用是任何一种编程语言的基础能力.对于“模块”这个词在各种编程语言中或许是不同的, ...
- 认识python正则模块re
python正则模块re python中re中内置匹配.搜索.替换方法见博客---python附录-re.py模块源码(含re官方文档链接) 正则的应用是处理一些字符串,phthon的博文python ...
- 小白如何入门 Python 爬虫?
本文针对初学者,我会用最简单的案例告诉你如何入门python爬虫! 想要入门Python 爬虫首先需要解决四个问题 熟悉python编程 了解HTML 了解网络爬虫的基本原理 学习使用python爬虫 ...
随机推荐
- 国外价值10K+美金的Python面试题,珍藏已久,含泪放了出来
兄弟们,没吹牛皮,一哥们在国外面试的时候,就是要他做的这个,直接给他说,做出来了给你15K(单位是刀),做不出来就拜拜~ 大兄弟当时就不服了,这不是看不起我么,分分钟就给整完了~ 我上我也行系列: 唠 ...
- Conversation Modeling on Reddit Using a Graph-Structured LSTM
publish: Transactions of the Association for Computational Linguistics,2016 tasks: predicting popul ...
- System类的常用方法和StringBuilder的原理
System类的常用方法1.currentTimeMillis方法2.arraycopy方法 java.lang.System 类中提供大量的静态方法,可以获取与系统相关的信息或系统级操作,在Syst ...
- Eolink 全局搜索介绍【翻译】
随着前后端分离成为互联网项目开发的标准模式, API 成为了前后端联通的桥梁.而面对越来越频繁和复杂的调用需求,项目里的 API 数量也越来越多,我们需要通过搜索功能来快速定位到对应的 API来进行使 ...
- CF1700C Helping the Nature
题目大意: 给出一个长度为 n 的序列 a,每次可以进行三种操作中的一种: 选择i,将 a_1,a_2,...,a_i减1. 选择i,将 a_i,a_i+1,...,a_n减1. 将所有 a_i加1. ...
- Linux 用户管理相关命令
1 sudo adduser username # 添加用户 2 sudo adduser --system username # 添加系统用户 3 sudo deluser username # 删 ...
- Odoo14 ir.rule 中的domain查询语句
# ir.rule 中的domain查询语句 # 当你的字段是many2one.many2many.one2many的时候domain都会强制加上过滤域 # tree显示的时候也会过滤 # m.mod ...
- MODBUS转PROFINET网关将电力智能监控仪表接入PROFINET网络案例
本案例控制的主要对象是变送器的显示与报警.系统主PLC 选用西门子CPU,通过小疆智控MODBUS 转 PROFINET网关GW-PN5001采集IM300电力智能监控仪数据. 1.首先加入 GSD ...
- 论文解读(g-U-Nets)《Graph U-Nets》
论文信息 论文标题:Graph U-Nets论文作者:Hongyang Gao, Shuiwang Ji论文来源:2019,ICML论文地址:download 论文代码:download 1 Intr ...
- vscode 源代码不能自动stage change
前言 vscode的强大不用赘述了,当你开始使用自然就会爱上他.围绕着IDE的编写体验,有很多强大的自带或者第三方插件,可以做到,编码,git管理,甚至部署一条龙[我司就有这样的插件],让大家沉迷其中 ...