Spark的安装及配置

felix0913 发布于2019-06-27 18:05 / 3117人阅读

摘要：本文作者本文链接安装说明在安装之前，需要安装集群环境，如果没有可以查看分布式集群的搭建用到的软件软件版本下载地址节点安排名称主节点子节点子节点安装解压到安装目录修改配置文件配置文件位于目录下。

本文作者：foochane 
本文链接：https://foochane.cn/article/2019051904.html

1 安装说明

在安装spark之前，需要安装hadoop集群环境，如果没有可以查看：Hadoop分布式集群的搭建

1.1 用到的软件

软件	版本	下载地址
linux	Ubuntu Server 18.04.2 LTS	https://www.ubuntu.com/downlo...
hadoop	hadoop-2.7.1	http://archive.apache.org/dis...
java	jdk-8u211-linux-x64	https://www.oracle.com/techne...
spark	spark-2.4.3-bin-hadoop2.7	https://www.apache.org/dyn/cl...
scala	scala-2.12.5	http://www.scala-lang.org/dow...
Anaconda	Anaconda3-2019.03-Linux-x86_64.sh	https://www.anaconda.com/dist...

1.2 节点安排

名称	ip	hostname
主节点	192.168.233.200	Master
子节点1	192.168.233.201	Slave01
子节点2	192.168.233.202	Slave02

2 安装Spark 2.1 解压到安装目录

$ tar zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /usr/local/bigdata/
$ cd /usr/local/bigdata/
$ mv spark-2.4.3-bin-hadoop2.7 spark-2.4.3

2.2 修改配置文件

配置文件位于/usr/local/bigdata/spark-2.4.3/conf目录下。

(1) spark-env.sh

将spark-env.sh.template重命名为spark-env.sh。
添加如下内容：

export SCALA_HOME=/usr/local/bigdata/scala
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211
export HADOOP_HOME=/usr/local/bigdata/hadoop-2.7.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=Master
SPARK_LOCAL_DIRS=/usr/local/bigdata/spark-2.4.3
SPARK_DRIVER_MEMORY=512M

(2)slaves

将slaves.template重命名为slaves
修改为如下内容：

Slave01
Slave02

2.3 配置环境变量

在~/.bashrc文件中添加如下内容，并执行$ source ~/.bashrc命令使其生效

export SPARK_HOME=/usr/local/bigdata/spark-2.4.3
export PATH=$PATH:/usr/local/bigdata/spark-2.4.3/bin:/usr/local/bigdata/spark-2.4.3/sbin

3 运行Spark

先启动hadoop

$ cd $HADOOP_HOME/sbin/
$ ./start-dfs.sh
$ ./start-yarn.sh
$ ./start-history-server.sh

然后启动启动sapark

$ cd $SPARK_HOME/sbin/
$ ./start-all.sh
$ ./start-history-server.sh

要注意的是：其实我们已经配置的环境变量，所以执行start-dfs.sh和start-yarn.sh可以不切换到当前目录下，但是start-all.sh、stop-all.sh和/start-history-server.sh这几个命令hadoop目录下和spark目录下都同时存在，所以为了避免错误，最好切换到绝对路径下。

spark启动成功后，可以在浏览器中查看相关资源情况：http://192.168.233.200:8080/，这里192.168.233.200是Master节点的IP

4 配置Scala环境

spark既可以使用Scala作为开发语言，也可以使用python作为开发语言。

4.1 安装Scala

spark中已经默认带有scala，如果没有或者要安装其他版本可以下载安装包安装，过程如下：
先下载安装包，然后解压

$ tar zxvf scala-2.12.5.tgz -C /usr/local/bigdata/

然后在~/.bashrc文件中添加如下内容，并执行$ source ~/.bashrc命令使其生效

export SCALA_HOME=/usr/local/bigdata/scala-2.12.5
export PATH=/usr/local/bigdata/scala-2.12.5/bin:$PATH

测试是否安装成功，可以执行如下命令：

scala -version

Scala code runner version 2.12.5 -- Copyright 2002-2018, LAMP/EPFL and Lightbe

4.2 启动Spark shell界面

执行 spark-shell --master spark://master:7077命令，启动spark shell。

hadoop@Master:~$ spark-shell --master spark://master:7077
19/06/08 08:01:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://Master:4040
Spark context available as "sc" (master = spark://master:7077, app id = app-20190608080221-0002).
Spark session available as "spark".
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _ / _ / _ `/ __/  "_/
   /___/ .__/\_,_/_/ /_/\_   version 2.4.3
      /_/

Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_211)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

5 配置python环境 5.1 安装python

系统已经默认安装了python，但是为了方便开发，推荐可以直接安装Anaconda，这里下载的是安装包是Anaconda3-2019.03-Linux-x86_64.sh，安装过程也很简单，直接执行$ bash Anaconda3-2019.03-Linux-x86_64.sh即可。

5.2 启动PySpark的客户端

执行命令：$ pyspark --master spark://master:7077

具体如下：

hadoop@Master:~$ pyspark --master spark://master:7077
Python 3.6.3 |Anaconda, Inc.| (default, Oct 13 2017, 12:02:49)
[GCC 7.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
19/06/08 08:12:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _ / _ / _ `/ __/  "_/
   /__ / .__/\_,_/_/ /_/\_   version 2.4.3
      /_/

Using Python version 3.6.3 (default, Oct 13 2017 12:02:49)
SparkSession available as "spark".
>>>
>>>

云服务器服务器托管安装及配置服务器 spark安装配置安装及配置服务器系统 linux的安装及使用

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/23908.html

Spark的安装及配置

摘要：本文作者本文链接安装说明在安装之前，需要安装集群环境，如果没有可以查看分布式集群的搭建用到的软件软件版本下载地址节点安排名称主节点子节点子节点安装解压到安装目录修改配置文件配置文件位于目录下。本文作者：foochane 本文链接：https://foochane.cn/article/2019051904.html 1 安装说明在安装spark之前，需要安装hadoop集群环境，...

lunaticf 2019-07-24 10:56 评论0 收藏0
Spark作为ETL工具与SequoiaDB的结合应用

摘要：作为工具能满足工具功能通用性的要求。本节以对中数据进行为例，说明与的结合应用。及分别代表中的集合空间及集合。一、前言 ETL一词较常用于数据仓库，但其对象并不仅限于数据仓库。ETL是指将数据从源系统中经过抽取（Extract）、转换（Transform）、加载（Load）到目标数据存储区的过程。常见的ETL工具有Oracle Data Integrator、Informatica P...

阿罗 2019-07-25 12:12 评论0 收藏0
Spark作为ETL工具与SequoiaDB的结合应用

摘要：作为工具能满足工具功能通用性的要求。本节以对中数据进行为例，说明与的结合应用。及分别代表中的集合空间及集合。一、前言 ETL一词较常用于数据仓库，但其对象并不仅限于数据仓库。ETL是指将数据从源系统中经过抽取（Extract）、转换（Transform）、加载（Load）到目标数据存储区的过程。常见的ETL工具有Oracle Data Integrator、Informatica P...

2450184176 2019-07-01 15:40 评论0 收藏0
大数据入门指南（GitHub开源项目）

摘要：项目地址前言大数据技术栈思维导图大数据常用软件安装指南一分布式文件存储系统分布式计算框架集群资源管理器单机伪集群环境搭建集群环境搭建常用命令的使用基于搭建高可用集群二简介及核心概念环境下的安装部署和命令行的基本使用常用操作分区表和分桶表视图项目GitHub地址：https://github.com/heibaiying... 前言大数据技术栈思维导图大数据常用软件安装指...

guyan0319 2019-08-19 11:46 评论0 收藏0
数据处理平台架构中的SMACK组合：Spark、Mesos、Akka、Cassandra以及Kafk

摘要：在今天的文章中，我们将着重探讨如何利用即以及堆栈构建可扩展数据处理平台。因此我们必须以分布式方式对此类数据加以处理，而在这类用例中将发挥重要作用。之上执行的各应用程序被称为框架，并利用处理资源供应及将任务提交至。在今天的文章中，我们将着重探讨如何利用SMACK（即Spark、Mesos、Akka、Cassandra以及Kafka）堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单...

CloudwiseAPM 2019-07-16 14:35 评论0 收藏0