sklearn机器学习实战-简单线性回归

记录下学习使用sklearn,将使用sklearn实现机器学习大部分内容基于scikit-learn机器学习(第2版)这本书,和scikit-learn中文社区简单线性回归首先,最简单的线性回归也有几个地方要注意 fit的时候,对于X,要求是n*m的类型,y要是n*1的类型 sklearn会将得到的系数存储起来,分别在coef_中和intercept_中,intercept_是偏移,也就是b,coef_是k,或者向量中的W 来看具体例子 from sklearn.linear_model…

使用sklearn机器学习库实现线性回归

import numpy as np # 导入科学技术框架import matplotlib.pyplot as plt # 导入画图工具from sklearn.linear_model import LinearRegression # 导入sklearn机器学习库 x = 3 * np.random.rand(100, 1)y = 3 + 4 * x + np.random.rand(100, 1) # 创建线性回归对象lin_reg = LinearRegression()# 训练…

sklearn机器学习实战-KNN

KNN分类 KNN是惰性学习模型,也被称为基于实例的学习模型简单线性回归是勤奋学习模型,训练阶段耗费计算资源,但是预测阶段代价不高首先工作是把label的内容进行二值化(如果多分类任务,则考虑OneHot) from sklearn.preprocessing import LabelBinarizer from sklearn.neighbors import KNeighborsClassifier import numpy as np X_train = np.array([[158,…

scikit-learn机器学习(一)简单线性回归

# -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt ## 设置字符集,防止中文乱码 import matplotlib matplotlib.rcParams['font.sans-serif']=[u'simHei'] matplotlib.rcParams['axes.unicode_minus']=False # X为披萨的直径 X = np.array([[6],[8],[10],[14],…

机器学习实战 | SKLearn最全应用指南

作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/41 本文地址:http://www.showmeai.tech/article-detail/203 声明:版权所有,转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容引言我们在上一篇SKLearn入门与简单应用案例里给大家讲到了SKLearn工具的基本板块与使用方法,在本篇内容中,我们展开讲解SKLearn的进阶与核心内容.SKLearn中有六大任务模块,如下…

机器学习——Day 2 简单线性回归

写在开头由于某些原因开始了机器学习,为了更好的理解和深入的思考(记录)所以开始写博客. 学习教程来源于github的Avik-Jain的100-Days-Of-MLCode 英文版:https://github.com/Avik-Jain/100-Days-Of-ML-Code 中文翻译版:https://github.com/MLEveryday/100-Days-Of-ML-Code 本人新手一枚,所以学习的时候遇到不懂的会经常百度,查看别人的博客现有的资料.但是由于不同的人思维和写作风格…

sklearn学习笔记之简单线性回归

简单线性回归线性回归是数据挖掘中的基础算法之一,从某种意义上来说,在学习函数的时候已经开始接触线性回归了,只不过那时候并没有涉及到误差项.线性回归的思想其实就是解一组方程,得到回归函数,不过在出现误差项之后,方程的解法就存在了改变,一般使用最小二乘法进行计算. 使用sklearn.linear_model.LinearRegression进行线性回归 sklearn对Data Mining的各类算法已经有了较好的封装,基本可以使用fit.predict.score来训练.评价模型,并使用模型进…

机器学习与Tensorflow（1）——机器学习基本概念、tensorflow实现简单线性回归

一.机器学习基本概念 1.训练集和测试集训练集(training set/data)/训练样例(training examples): 用来进行训练,也就是产生模型或者算法的数据集测试集(testing set/data)/测试样例 (testing examples):用来专门进行测试已经学习好的模型或者算法的数据集 2.特征向量特征向量(features/feature vector):属性的集合,通常用一个向量来表示,附属于一个实例 3.分类问题和回归问题分类 (classific…

机器学习（2）：简单线性回归 | 一元回归 | 损失计算 | MSE

前文再续书接上一回,机器学习的主要目的,是根据特征进行预测.预测到的信息,叫标签. 从特征映射出标签的诸多算法中,有一个简单的算法,叫简单线性回归.本文介绍简单线性回归的概念. (1)什么是简单线性回归 "回归(regression)"是什么?如之前所讲,预测模型可区分为"分类器"跟"回归器",回归器,就是用来预测趋势变化的,比如预测明天哪支股会涨停,预测某天的降雨量是多少,预测未来一年房价的变化,等等.所以回归就是预测的意思,没有什么高深的.线…

Python线性回归算法【解析解，sklearn机器学习库】

一.概述参考博客:https://www.cnblogs.com/yszd/p/8529704.html 二.代码实现[解析解] import numpy as np import matplotlib.pyplot as plt __author__ = 'zhen' # 这里相当于是随机X维度X1,rand是随机均匀分布 X = 2 * np.random.rand(100, 1) # 人为的设置真实的Y一列,np.random.randn(100, 1)是设置error,randn是标准…

机器学习：单元线性回归（python简单实现）

文章简介使用python简单实现机器学习中单元线性回归算法. 算法目的该算法核心目的是为了求出假设函数h中多个theta的值,使得代入数据集合中的每个x,求得的h(x)与每个数据集合中的y的差值的和最小.简单来说就是需要生成一个函数,它尽可能贴近实际数据中的每个值,方便我们预测. 核心算法假设函数即需要求的函数,为了简单在此只设置一个x对应一个y,求theta0和theta1 代价函数目的是J最小,也就是每个y到达函数的距离之和最小. 批量梯度下降函数带假设函数和代价函数带入到下降函…

【机器学习实战学习笔记(2-2)】决策树python3.6实现及简单应用

文章目录 1.ID3及C4.5算法基础 1.1 计算香农熵 1.2 按照给定特征划分数据集 1.3 选择最优特征 1.4 多数表决实现 2.基于ID3.C4.5生成算法创建决策树 3.使用决策树进行分类 4.存储决策树通过决策树原理及相关概念细节我们知道,决策树的学习算法主要包括3个步骤:特征选择.决策树生成算法.决策树剪枝,我们按照这个思路来一一实现相关功能. 本文的实现目前主要涉及特征选择.ID3及C4.5算法.剪枝及CART算法暂未涉及,后期补上. 1.ID3及C4.5算法基础前面文章…

Python 机器学习实战 —— 监督学习（上）

前言近年来AI人工智能成为社会发展趋势,在IT行业引起一波热潮,有关机器学习.深度学习.神经网络等文章多不胜数.从智能家居.自动驾驶.无人机.智能机器人到人造卫星.安防军备,无论是国家级军事设备还是广泛的民用设施,都充斥着AI应用的身影.接下来的一系列文章将会由浅入深从不同角度分别介绍机器学习.深度学习之间的关系与区别,通过一系统的常用案例讲述它们的应用场景.本文将会从最常见的机器学习开始介绍相关的知识应用与开发流程. 目录一.浅谈机器学习二.基本概念三.常用方法介绍四.线性模型五.…

机器学习实战笔记(Python实现)-08-线性回归

--------------------------------------------------------------------------------------- 本系列文章为<机器学习实战>学习笔记,内容整理自书本,网络以及自己的理解,如有错误欢迎指正. 源码在Python3.5上测试均通过,代码及数据 --> https://github.com/Wellat/MLaction -----------------------------------------------…

机器学习实战笔记(Python实现)-01-K近邻算法(KNN)

《机器学习实战》学习笔记——第13章 PCA

1. 降维技术 1.1 降维的必要性 1. 多重共线性--预测变量之间相互关联.多重共线性会导致解空间的不稳定,从而可能导致结果的不连贯.2. 高维空间本身具有稀疏性.一维正态分布有68%的值落于正负标准差之间,而在十维空间上只有0.02%. 3. 过多的变量会妨碍查找规律的建立. 4. 仅在变量层面上分析可能会忽略变量之间的潜在联系.例如几个预测变量可能落入仅反映数据某一方面特征的一个组内. 1. 2 降维的目的: 1. 减少预测变量的个数 2. 确保这些变量是相互独立的 3. 提供一个框架来…

【机器学习实战第九章】树回归 CART算法的原理与实现 - python3

本文来自<机器学习实战>(Peter Harrington)第九章"树回归"部分,代码使用python3.5,并在jupyter notebook环境中测试通过,推荐clone仓库后run cell all就可以了. github地址:https://github.com/gshtime/machinelearning-in-action-python3 转载请标明原文链接 1 原理 CART(Classification and Regression Trees,分类回归…

机器学习实战笔记(Python实现)-09-树回归

---------------------------------------------------------------------------------------- 本系列文章为<机器学习实战>学习笔记,内容整理自书本,网络以及自己的理解,如有错误欢迎指正. 源码在Python3.5上测试均通过,代码及数据 --> https://github.com/Wellat/MLaction ----------------------------------------------…

学习笔记之机器学习实战 (Machine Learning in Action)

机器学习实战 (豆瓣) https://book.douban.com/subject/24703171/ 机器学习是人工智能研究领域中一个极其重要的研究方向,在现今的大数据时代背景下,捕获数据并从中萃取有价值的信息或模式,成为各行业求生存.谋发展的决定性手段,这使得这一过去为分析师和数学家所专属的研究领域越来越为人们所瞩目. 本书第一部分主要介绍机器学习基础,以及如何利用算法进行分类,并逐步介绍了多种经典的监督学习算法,如k近邻算法.朴素贝叶斯算法.Logistic回归算法.支持向量机.Ada…

机器学习实战 -- 决策树(ID3)

机器学习实战 -- 决策树(ID3) ID3是什么我也不知道,不急,知道他是干什么的就行 ID3是最经典最基础的一种决策树算法,他会将每一个特征都设为决策节点,有时候,一个数据集中,某些特征属性是不必要的或者说信息熵增加的很少,这种决策信息是可以合并的修剪的,但是ID3算法并不会这么做决策树的核心论点是香农信息论,借此理论得出某种分类情况下的信息熵某种决策下,分类趋向于统一,则香农熵很小(熵描述杂乱无序的程度,如果'YES', 'NO' 可能性对半分,那么这个分类决策最终…

《机器学习实战》学习笔记第九章 —— 决策树之CART算法

相关博文: <机器学习实战>学习笔记第三章 —— 决策树主要内容: 一.CART算法简介二.分类树三.回归树四.构建回归树五.回归树的剪枝六.模型树七.树回归与标准回归的比较一.CART算法简介 1.对于上一篇博客所介绍的决策树,其使用的算法是ID3算法或者是C4.5算法,他们都是根据特征的所有取值情况来进行分割结点的.也正因如此,这两种算法都只能用于离散型的特征,而不能处理连续型的特征.为了解决这个问题,我们使用二元切分法来对连续型的特征进行处理,所谓二元切分法,其实就是一个…

学习TF:《TensorFlow机器学习实战指南》中文PDF+英文PDF+代码

从实战角度系统讲解TensorFlow基本概念及各种应用实践.真实的应用场景和数据,丰富的代码实例,详尽的操作步骤,带你由浅入深系统掌握TensorFlow机器学习算法及其实现. <TensorFlow机器学习实战指南>共11章,第1章介绍TensorFlow的基本概念:第2章介绍如何在计算图中连接算法组件,创建一个简单的分类器:第3章重点介绍如何使用TensorFlow实现各种线性回归算法:第4章介绍支持向量机(SVM)算法:第5章介绍如何使用数值度量.文本度量和归一化距离函数实现最近邻域算…

100天搞定机器学习|Day2简单线性回归分析

第一天机器学习100天|Day1数据预处理,我们学习了数据预处理.知道了,数据预处理是机器学习中最基础和最麻烦,未来占用时间最长的一步操作.数据预处理一般有六个步骤,导入库.导入数据集.处理缺失值.分类数据转化.分出训练集和测试集.特征缩放等.在处理数据过程中,必须得两个库是numpy和pandas,也用到sklearn.preprocessing中的Imputer,LabelEncoder, OneHotEncoder,StandardScaler. 算法本身很简单,之前也有文章做过算法的解读…

100天搞定机器学习|Day3多元线性回归

前情回顾 [第二天100天搞定机器学习|Day2简单线性回归分析][1],我们学习了简单线性回归分析,这个模型非常简单,很容易理解.实现方式是sklearn中的LinearRegression,我们也学习了LinearRegression的四个参数,fit_intercept.normalize.copy_X.n_jobs.然后介绍了LinearRegression的几个用法,fit(X,y).predict(X).score(X,y).最后学习了matplotlib.pyplot将训练集结果和…

机器学习实战---决策树CART回归树实现

机器学习实战---决策树CART简介及分类树实现一:对比分类树 CART回归树和CART分类树的建立算法大部分是类似的,所以这里我们只讨论CART回归树和CART分类树的建立算法不同的地方.首先,我们要明白,什么是回归树,什么是分类树. 两者的区别在于样本输出: 如果样本输出是离散值,那么这是一颗分类树. 如果果样本输出是连续值,那么那么这是一颗回归树. 除了概念的不同,CART回归树和CART分类树的建立和预测的区别主要有下面两点: 1)连续值的处理方法不同 2)决策树建立后做预测的方式不同…

Python数模笔记-Sklearn（4）线性回归

1.什么是线性回归? 回归分析(Regression analysis)是一种统计分析方法,研究自变量和因变量之间的定量关系.回归分析不仅包括建立数学模型并估计模型参数,检验数学模型的可信度,也包括利用建立的模型和估计的模型参数进行预测或控制.按照输入输出变量关系的类型,回归分析可以分为线性回归和非线性回归. 线性回归(Linear regression) 假设样本数据集中的输出变量(y)与输入变量(X)存在线性关系,即输出变量是输入变量的线性组合.线性模型是最简单的模型,也是非常重要和应用广泛…