随机森林算法入门(python)

张迁发布于2019-07-31 10:52 / 1604人阅读

摘要：翻译自昨天收到推送了一篇介绍随机森林算法的邮件，感觉作为介绍和入门不错，就顺手把它翻译一下。随机森林引入的随机森林算法将自动创建随机决策树群。回归随机森林也可以用于回归问题。结语随机森林相当起来非常容易。

翻译自：http://blog.yhat.com/posts/python-random-forest.html

昨天收到yhat推送了一篇介绍随机森林算法的邮件，感觉作为介绍和入门不错，就顺手把它翻译一下。

1 什么是随机森林

1.1 集成学习

1.2 随机决策树

1.3 随机森林

1.4 投票

2 为什么要用它

3 使用方法

3.1 变量选择

3.2 分类

3.3 回归

4 一个简单的Python示例

结语

前言： 随机森林是一个非常灵活的机器学习方法，从市场营销到医疗保险有着众多的应用。它可以用于市场营销对客户获取和存留建模或预测病人的疾病风险和易感性。

随机森林能够用于分类和回归问题，可以处理大量特征，并能够帮助估计用于建模数据变量的重要性。

这篇文章是关于如何使用Python构建随机森林模型。

1 什么是随机森林

随机森林可以用于几乎任何一种预测问题（包括非线性问题）。它是一个相对较新的机器学习策略（90年代诞生于贝尔实验室）可以用在任何方面。它属于机器学习中的集成学习这一大类。

1.1 集成学习

集成学习是将多个模型进行组合来解决单一的预测问题。它的原理是生成多个分类器模型，各自独立地学习并作出预测。这些预测最后结合起来得到预测结果，因此和多带带分类器的结果相比，结果一样或更好。

随机森林是集成学习的一个分支，因为它依靠于决策树的集成。更多关于python实现集成学习的文档： Scikit-Learn 文档。

1.2 随机决策树

我们知道随机森林是将其他的模型进行聚合，但具体是哪种模型呢？从其名称也可以看出，随机森林聚合的是分类（或回归）树。一颗决策树是由一系列的决策组合而成的，可用于数据集的观测值进行分类。

1.3 随机森林

引入的随机森林算法将自动创建随机决策树群。由于这些树是随机生成的，大部分的树(甚至 99.9%)对解决你的分类或回归问题是没有有意义。

1.4 投票

那么，生成甚至上万的糟糕的模型有什么好处呢？好吧，这确实没有。但有用的是，少数非常好的决策树也随之一起生成了。

当你要做预测的时候，新的观察值随着决策树自上而下走下来并被赋予一个预测值或标签。一旦森林中的每棵树都给有了预测值或标签，所有的预测结果将被归总到一起，所有树的投票返回做为最终的预测结果。

简单来说，99.9%不相关的树做出的预测结果涵盖所有的情况，这些预测结果将会彼此抵消。少数优秀的树的预测结果将会脱颖而出，从而得到一个好的预测结果。

2 为什么要用它

随机森林是机器学习方法中的Leatherman（多功能折叠刀）。你几乎可以把任何东西扔给它。它在估计推断映射方面做的特别好，从而不需要类似SVM医一样过多的调参（这点对时间紧迫的朋友非常好）。

2.1 一个映射的例子

随机森林可以在未经特意手工进行数据变换的情况下学习。以函数f(x)=log(x)为例。

我们将在Yhat自己的交互环境Rodeo中利用Python生成分析数据，你可以在here下载Rodeo的Mac,Windows和Linux的安装文件。

首先，我们先生成一下数据并添加噪声。

import numpy as np
import pylab as pl

x = np.random.uniform(1, 100, 1000)
y = np.log(x) + np.random.normal(0, .3, 1000)

pl.scatter(x, y, s=1, label="log(x) with noise")

pl.plot(np.arange(1, 100), np.log(np.arange(1, 100)), c="b", label="log(x) true function")
pl.xlabel("x")
pl.ylabel("f(x) = log(x)")
pl.legend(loc="best")
pl.title("A Basic Log Function")
pl.show()

得到如下结果：

如果我们建立了一个基本的线性模型通过使用x来预测y，我们需要作一条直线，一定成都市算是平分log(x)函数。而如果我们使用随机森林算法，它可以更好的逼近log(x)曲线从而使得它看起来更像实际的函数。

当然，你也可以说随机森林对log(x)函数有点过拟合。不管怎么样，这说明了随机森林并不限于线性问题。

3 使用方法 3.1 特征选择

随机森林的一个最好用例是特征选择。尝试很多个决策树变量的一个副产品就是，你可以检查变量在每棵树中表现的是最佳还是最糟糕。

当一些树使用一个变量，而其他的不使用这个变量，你就可以对比信息的丢失或增加。实现的比较好的随机森林工具能够为你做这些事情，所以你需要做的仅仅是去查看那个方法或参数。

在下述的例子中，我们尝试弄明白区分红酒或白酒时，哪些变量是最重要的。

3.2 分类

随机森林也很善长分类问题。它可以被用于为多个可能目标类别做预测，它也可以在调整后输出概率。你需要注意的一件事情是过拟合。

随机森林容易产生过拟合，特别是在数据集相对小的时候。当你的模型对于测试集合做出“太好”的预测的时候就应该怀疑一下了。避免过拟合的一个方法是在模型中只使用有相关性的特征，比如使用之前提到的特征选择。

3.3 回归

随机森林也可以用于回归问题。

我发现，不像其他的方法，随机森林非常擅长于分类变量或分类变量与连续变量混合的情况。

4 一个简单的Python示例

from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
import pandas as pd
import numpy as np

iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df["is_train"] = np.random.uniform(0, 1, len(df)) <= .75
df["species"] = pd.Categorical.from_codes(iris.target, iris.target_names)
df.head()

train, test = df[df["is_train"]==True], df[df["is_train"]==False]

features = df.columns[:4]
clf = RandomForestClassifier(n_jobs=2)y, _ = pd.factorize(train["species"])
clf.fit(train[features], y)

preds = iris.target_names[clf.predict(test[features])]

pd.crosstab(test["species"], preds, rownames=["actual"], colnames=["preds"])

下面就是你应该看到的结果了。由于我们随机选择数据，所以实际结果每次都会不一样。

preds	sertosa	versicolor	virginica
actual
sertosa	6	0	0
versicolor	0	16	1
virginica	0	0	12

5 结语

随机森林相当起来非常容易。不过和其他任何建模方法一样要注意过拟合问题。如果你有兴趣用R语言使用随机森林，可以查看randomForest包。

idc机房托管私有云 python随机森林随机排列算法 java 伪随机算法机器学习算法入门

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/44250.html

随机森林算法入门(python)

摘要：翻译自昨天收到推送了一篇介绍随机森林算法的邮件，感觉作为介绍和入门不错，就顺手把它翻译一下。随机森林引入的随机森林算法将自动创建随机决策树群。回归随机森林也可以用于回归问题。结语随机森林相当起来非常容易。翻译自：http://blog.yhat.com/posts/python-random-forest.html 昨天收到yhat推送了一篇介绍随机森林算法的邮件，感觉作为介绍和入门...

BetaRabbit 2019-06-26 15:34 评论0 收藏0
如何在Python中从零开始实现随机森林

摘要：在本教程中，您将了解如何在中从头开始实现随机森林算法。如何将随机森林算法应用于预测建模问题。如何在中从头开始实现随机森林图片来自，保留部分权利。这被称为随机森林算法。如何更新决策树的创建以适应随机森林过程。欢迎大家前往云+社区，获取更多腾讯海量技术实践干货哦~ 决策树可能会受到高度变异的影响，使得结果对所使用的特定测试数据而言变得脆弱。根据您的测试数据样本构建多个模型（称为套袋）可...

MasonEast 2019-07-30 15:43 评论0 收藏0
随机森林在sklearn中的实现

摘要：装袋法的代表模型就是随机森林。这一节主要讲解，随机森林分类器。这是森林中树木的数量，即基基评估器的数量。是用来查看随机森林中所有树的列表的。随机森林的接口与决策树完全一致，因此依然有四个常用接口和。小伙伴们大家好~o(￣▽￣)ブ，我是菜菜，我的开发环境是Jupyter lab，所用的库和版本大家参考： Python 3.7.1（你的版本至少要3.4以上 Scikit-learn 0....

BLUE 2019-06-26 16:27 评论0 收藏0
[MachineLearing]6步进入机器学习领域（译）

摘要：在一些基础机器学习的技巧的帮助下，我们开始有了一个渐渐丰富的工具箱。基于神经网络的深度学习借用框架，学习解决自己想要解决的问题 step 1:搞定python基础 google两天python实训课程（视频）https://www.youtube.com/watch... step 2:机器学习基础课程1（Tom Mitchell Machine Learning Lectures）...

lemon 2019-06-26 15:41 评论0 收藏0
AI学习路线

摘要：针对公司样本不足，采用小样本技术和深度学习技术结合，是项目落地的解决方案。深度学习作为当前机器学习领域最热门的技术之一，已经在图像处理领域获得了应用，并且展现出巨大的前景。旨在帮助同学们快速上手如何使用库来完整机器学习案例。阶段一、人工智能基础－　高等数学必知必会本阶段主要从数据分析、概率论和线性代数及矩阵和凸优化这四大块讲解基础，旨在训练大家逻辑能力，分析能力。拥有良好的数学基...

xuweijian 2019-07-25 12:27 评论0 收藏0