阅读了Python的sklearn包中随机森林的代码实现，做了一些笔记。

sklearn中的随机森林是基于RandomForestClassifier类实现的，它的原型是 class RandomForestClassifier(ForestClassifier) 继承了一个抽象类ForestClassifier，也就是分类树 RandomForestClassifier有若干个参数，下面我们一个个来看：

n_estimators 随机森林中树的个数 默认为10

criterion 每一次分裂的标准，有两个可选项，默认的基尼系数（"gini"）和熵（“entropy”）

max_features 每一次生成树时使用的特征数量，默认为“auto”。若为int则为对应的数量；若为float则对应n_estimators*max_features,即此时max_features对应的一个百分比；若为“auto”或“sqrt”，max_features=sqrt(总的特征数);若为“log2”，则为log2(总的特征数)；若为None，则为总的特征数。

max_depth决策树的最大深度，默认为None

min_samples_split每次分裂节点是最小的分裂个数，即最小被分裂为几个，默认为2

min_samples_leaf若某一次分裂时一个叶子节点上的样本数小于这个值，则会被剪枝，默认为1

max_leaf_nodes最大的叶子节点的个数，默认为None,如果不为None，max_depth参数将被忽略

min_weight_fraction_leaf

oob_score、bootstrap这个两个参数决定是否使用out-of-bag进行误差度量和是否使用bootstrap进行抽样，默认都是False

n_jobs并行计算的个数，默认为1,若为-1,则选择为cores的个数

random_state 默认使用np.random

verbose

Controls the verbosity of the tree building process.

warm_start 是否热启动，默认为True

class_weight权重 默认全为1

首先把标签和特征分离

 from sklearn.cross_validation import train_test_split

 feature_train, feature_test, target_train, target_test = train_test_split(feature, target, test_size=0.1, random_state=42)

主要的方法有

 model = RandomForestClassifier(n_estimators=1000)

 model.fit(feature_train , target_train) # 创建一个随机森林

 predict=predict(Z) # 对新的样本Z做预测

 score = model.score(feature_test , target_test) # 评估正确率

sklearn中的随机森林的更多相关文章

  1. H2O中的随机森林算法介绍及其项目实战（python实现）

    H2O中的随机森林算法介绍及其项目实战(python实现) 包的引入:from h2o.estimators.random_forest import H2ORandomForestEstimator ...

  2. sklearn中实现随机梯度下降法（多元线性回归）

    sklearn中实现随机梯度下降法 随机梯度下降法是一种根据模拟退火的原理对损失函数进行最小化的一种计算方式,在sklearn中主要用于多元线性回归算法中,是一种比较高效的最优化方法,其中的梯度下降系 ...

  3. 机器学习实战基础（三十六）：随机森林 （三）之 RandomForestClassifier 之 重要属性和接口

    重要属性和接口 至此,我们已经讲完了所有随机森林中的重要参数,为大家复习了一下决策树的参数,并通过n_estimators,random_state,boostrap和oob_score这四个参数帮助 ...

  4. 【笔记】随机森林和Extra-Trees

    随机森林和Extra-Trees 随机森林 先前说了bagging的方法,其中使用的算法都是决策树算法,对于这样的模型,因为具有很多棵树,而且具备了随机性,那么就可以称为随机森林 在sklearn中封 ...

  5. paper 56 ：机器学习中的算法：决策树模型组合之随机森林（Random Forest）

    周五的组会如约而至,讨论了一个比较感兴趣的话题,就是使用SVM和随机森林来训练图像,这样的目的就是 在图像特征之间建立内在的联系,这个model的训练,着实需要好好的研究一下,下面是我们需要准备的入门 ...

  6. 笔记+R︱风控模型中变量粗筛（随机森林party包）+细筛（woe包）

    每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 本内容来源于CDA-DSC课程内容,原内容为& ...

  7. 随机森林、gbdt算法

    http://blog.csdn.net/songzitea/article/details/10035757 http://blog.csdn.net/holybin/article/details ...

  8. 04-10 Bagging和随机森林

    目录 Bagging算法和随机森林 一.Bagging算法和随机森林学习目标 二.Bagging算法原理回顾 三.Bagging算法流程 3.1 输入 3.2 输出 3.3 流程 四.随机森林详解 4 ...

  9. 什么是机器学习的分类算法？【K-近邻算法(KNN)、交叉验证、朴素贝叶斯算法、决策树、随机森林】

    1.K-近邻算法(KNN) 1.1 定义 (KNN,K-NearestNeighbor) 如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类 ...

随机推荐

  1. [Java][Web]Request 获取请求头和数据

    获取方式一 InputStream in = request.getInputStream(); int len = 0; byte buffer[] = new byte[1024]; while( ...

  2. C++ 11 自旋锁

    // Spin lock implementation. // BasicLockable. // Async-signal safe. // unlock() "synchronizes ...

  3. json data 解析demo

    json data: demo: JsonObject jsonObject= JsonHandle.getAsJsonObject(city_dataInfo).get("data&quo ...

  4. mysql的配置(图解)

    一.配置MySQL数据库 1.解压绿色版mysql,如下图 二.安装服务 1.运行cmd(管理员版本,否则没有权限),如下图 2.运行命令mysqld –install安装服务,如下图: 如果不需要m ...

  5. Http中Cookie的HttpOnly和secure属性

    Cookie语法: Cookie通常是作为HTTP 应答头发送给客户端的,下面的例子展示了相应的语法(注意,HttpOnly属性对大小写不敏感):  Set-Cookie: =[; =]   [; e ...

  6. XML---Studying

    XML 被设计用来传输和存储数据. HTML 被设计用来显示数据. 1.什么是 XML? XML 指可扩展标记语言(EXtensible Markup Language) XML 是一种标记语言,很类 ...

  7. Ubuntu无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用)

    结果终端提示:无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用) E: 无法锁定管理目录(/var/lib/dpkg/),是否有其他进程正占用它?” 解决办法如 ...

  8. Django学习---CSRF

    CSRF xss攻击:假设我们网站的评论里面允许用户写js的时候,每个人就会看到页面会执行这个js代码,有的是alert,不停的跳出弹框.这个还不算严重的,关键是如果js代码运行的结果不显示在页面上, ...

  9. 根据不同分辨率载入相应CSS样式表

    index.html <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http:// ...

  10. C#对Excel的图文操作

    1.打印Excel 目前的商业工具如水晶报表,ActiveReport等,都提供了灵活,强大的功能,但是对于比较特殊化的表格,特别是国内的一些应用,都是一个个的格子组成的,这样要是用线来一根根画就比较 ...