机器学习分为俩类: 有监督学习 supervised learning 和 无监督学习 unsupervised learning 有监督学习: 对数据的若干特征与若干标签之间 的关联性 进行建模的过程. 只要模型被确定,就可以应用到新的未知的数据上. 进一步可以分为 分类 classification 任务 和 回归 regression 任务. 分类任务: 标签是离散值. 回归任务: 标签是连续值. 无监督学习: 指对不带任何标签的数据特征进行建模. 让数据自己介绍自己. 包括 聚类 clu…

朴素贝叶斯模型 朴素贝叶斯模型是一组非常简单快速的分类方法,通常适用于维度非常高的数据集.因为运行速度快,可调参数少.是一个快速粗糙的分类基本方案. naive Bayes classifiers 贝叶斯分类 朴素贝叶斯分类器建立在贝叶斯分类方法的基础上.数学基础是贝叶斯定理. 一个描述统计量条件概率关系的公式. 在贝叶斯分类中,我们希望确定一个具有某些特征的样本 属于 某类标签的概率. 通常记为 P(L|特征) 需要确定俩种标签,定义为L1和L2. 计算俩个标签的后验概率的比值 现在需要一种模…

朴素贝叶斯是解决分类任务的好起点,线性回归是解决回归任务的好起点. 简单线性回归 将数据拟合成一条直线. y = ax + b , a 是斜率, b是直线截距 原始数据如下: 使用LinearRegression评估器来拟合数据 除了简单的直线拟合,还可以处理多维度的线性回归模型. 基函数回归 使用基函数 对原始数据进行变换,从而将变量间的线性回归模型 转换为非线性回归模型. 一维的输入变量x 转换成了 三维变量 x1 x2 x3. 转换后的模型仍然是一个线性模型.将一维的x投影到了高维空间 多…

特征工程常见示例: 分类数据.文本.图像. 还有提高模型复杂度的 衍生特征 和 处理 缺失数据的填充 方法.这个过程被叫做向量化.把任意格式的数据 转换成具有良好特性的向量形式. 分类特征 比如房屋数据: 房价.面积.地点信息. 方案1:把分类特征用映射关系 编码成 整数 . {'Queen Anne': 1, 'Fremont': 2, 'Wallingford': 3}; 在scikit-learn中并不好,数值特征可以反映代数量.会产生 1<2<3的 方案2:使用独热编码 有效增加额外的…

模型验证 model validation 就是在选择 模型 和 超参数 之后.通过对训练数据进行学习.对比模型对 已知 数据的预测值和实际值 的差异. 错误的模型验证方法. 用同一套数据训练 和 评估 模型. 准确率总是100% . 模型验证正确方法: 留出集. 从训练模型的数据中留出一部分.用这部分数据来验证模型的性能. 使用train_test_split 工具. 交叉检验 用留出集进行模型验证有一个缺点,就是模型失去了一部分训练机会.有一半数据都没有为模型训练做出贡献. 每个子集既是训练…

前面学习的无监督学习模型:降维 另一种无监督学习模型:聚类算法. 聚类算法直接冲数据的内在性质中学习最优的划分结果或者确定离散标签类型. 最简单最容易理解的聚类算法可能是 k-means聚类算法了. k-means简介 在不带标签的多维数据集中 寻找确定数量 的簇. 最优的聚类结果需要符合以下俩个假设: 簇中心点 cluster center 是属于该簇的所有数据点坐标的算术平均值 一个簇的每个点到该簇中心点的距离 比 到其他簇中心点的距离 短. 原始数据,包含4个明显的簇 评估器拟合数据: 高…

PCA对非线性的数据集处理效果不太好. 另一种方法 流形学习 manifold learning 是一种无监督评估器,试图将一个低维度流形嵌入到一个高纬度 空间来描述数据集 . 类似 一张纸 (二维) 卷起 弄皱 (三维).二维流形 嵌入到一个三维空间, 就不再是线性的了. 流形方法技巧: 多维标度法 multidimensional scaling MSD 局部线性嵌入法 locally linear embedding LLE 保距映射法 isometric mapping Isomap 流…

PCA principal component analysis 主成分分析是一个快速灵活的数据降维无监督方法, 可视化一个包含200个数据点的二维数据集 x 和 y有线性关系,无监督学习希望探索x值和y值之间的相关性 在主成分分析中.一种量化俩变量之间关系的方法 是在数据中找到一组主轴,并用这些主轴来描述 数据集. 利用PCA评估器 该拟合从数据中心学习到了一些指标,其中最重要的是 "成分" 和 "可解释差异" 在数据图上将这些指标以向量形式画出来. 成分 定义向…

无参数 算法 随机森林 随机森林是一种集成方法,集成多个比较简单的评估器形成累计效果. 导入标准程序库 随机森林的诱因: 决策树 随机森林是建立在决策树 基础上 的集成学习器 建一颗决策树 二叉决策树 在一颗合理的决策书中.每个问题基本上都可将种类的可能性减半. 决策树的难点在于如何设计每一步的问题. 创建一颗决策树 原始数据: 四种标签 使用DecisionTreeClassifier评估器 辅助函数,分类器结果可视化 检查决策树分类的结果 在深度为5的时候,在黄色与蓝色区域中间有一个浅紫色区…

support vector machine SVM 是非常强大. 灵活的有监督学习算法, 可以用于分类和回归. 贝叶斯分类器,对每个类进行了随机分布的假设,用生成的模型估计 新数据点 的标签.是属于 生成分类 方法. 判别分类:不再为每类数据建模,而是用一条分割线 或者 流形体 将各种类型分开. 原始数据: 线性判别分类器 尝试 化一条 将数据 分成 俩部分的直线,这样就构成了一个分类模型. 可以发现不止一条直线可以将它们完美分割. 不同的分割线,会让新数据分配到不同的标签. 支持向量机:边界…