Ubuntu 18.04下搭建单机Hadoop和Spark集群环境

Hadoop在整个大数据技术体系中占有至关重要的地位，是大数据技术的基础和敲门砖，对Hadoop基础知识的掌握程度会在一定程度决定在大数据技术的道路上能走多远。

公司主营业务：网站制作、成都网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联公司推出桂阳免费做网站回馈大家。

最近想要学习Spark，首先需要搭建Spark的环境，Spark的依赖环境比较多，需要Java JDK、Hadoop的支持。我们就分步骤依次介绍各个依赖的安装和配置。新安装了一个Linux ubuntu 18.04系统，想在此系统上进行环境搭建，详细记录一下过程。

访问Spark的官网，阅读Spark的安装过程，发现Spark需要使用到hadoop，Java JDK等，当然官网也提供了Hadoop free的版本。本文还是从安装Java JDK开始，逐步完成Spark的单机安装。

1、Java JDK8的安装

前往Oracle官网下载JDK8，选择适合自己操作系统的版本，此处选择Linux 64

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载之后的包放到某个目录下，此处放在/opt/java目录

使用命令：tar -zxvf jdk-8u231-linux-x64.tar.gz 解压缩

修改配置文件/etc/profile，使用命令：sudo nano /etc/profile

在文件末尾增加以下内容（具体路径依据环境而定）：

export JAVA_HOME=/opt/java/jdk1.8.0_231
export JRE_HOME=/opt/java/jdk1.8.0_231/jre
export PATH=${JAVA_HOME}/bin:$PATH

保存退出，在终端界面使用命令： source /etc/profile 使配置文件生效。

使用java -version验证安装是否成功，以下回显表明安装成功了。

2、安装Hadoop

前往官网https://hadoop.apache.org/releases.html下载hadoop，此处选择版本2.7.7

http://www.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz

hadoop需要ssh免密登陆等功能，因此先安装ssh。

使用命令：

将下载的包放到某个目录下，此处放在/opt/hadoop

使用命令：tar -zxvf hadoop-2.7.7.tar.gz 进行解压缩

此处选择伪分布式的安装方式（Pseudo-Distributed)

修改解压后的目录下的子目录文件 etc/hadoop/hadoop-env.sh，将JAVA_HOME路径修改为本机JAVA_HOME的路径，如下图：

配置Hadoop的环境变量

使用命令：

添加以下内容：

export HADOOP_HOME=/opt/hadoop/hadoop-2.7.7

修改PATH变量，添加hadoop的bin目录进去

export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

修改解压后的目录下的子目录文件 etc/hadoop/core-site.xml

   
        fs.defaultFS
        hdfs://localhost:9000
   

如下图：

修改解压后的目录下的子目录文件 etc/hadoop/hdfs-site.xml

   
        dfs.replication
        1
   

如下图：

设置免密登陆

使用命令：ssh localhost 验证是否成功，如果不需要输入密码即可登陆说明成功了。

 * Documentation:  https://help.ubuntu.com
 * Management:    https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage

 * Canonical Livepatch is available for installation.
  - Reduce system reboots and improve kernel security. Activate at:
    https://ubuntu.com/livepatch

188 个可升级软件包。
0 个安全更新。

Your Hardware Enablement Stack (HWE) is supported until April 2023.
Last login: Sat Nov 30 23:25:35 2019 from 127.0.0.1

接下来需要验证Hadoop的安装

a、格式化文件系统

b、启动Namenode和Datanode

c、浏览器访问http://localhost:50070

3、Scala安装：

下载地址：https://www.scala-lang.org/download/2.11.8.html

下载好后解压到：/opt/scala

配置环境变量：

添加：

export SCALA_HOME=/opt/scala/scala-2.11.8

source /etc/profile

4、安装spark

前往spark官网下载spark

https://spark.apache.org/downloads.html

此处选择版本如下：

spark-2.4.4-bin-hadoop2.7

将spark放到某个目录下，此处放在/opt/spark

使用命令：tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz 解压缩即可

使用命令： ./bin/run-example SparkPi 10 测试spark的安装

配置环境变量SPARK_HOME

export SPARK_HOME=/opt/spark/spark-2.4.4-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATH

source /etc/profile

配置配置spark-env.sh

进入到spark/conf/

sudo cp /opt/spark/spark-2.4.4-bin-hadoop2.7/conf/spark-env.sh.template /opt/spark/spark-2.4.4-bin-hadoop2.7/conf/spark-env.sh

export JAVA_HOME=/opt/java/jdk1.8.0_231
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.7
export HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.7.7/etc/hadoop
export SPARK_HOME=/opt/spark/spark-2.4.4-bin-hadoop2.7
export SCALA_HOME=/opt/scala/scala-2.11.8
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native

Java，Hadoop等具体路径根据自己实际环境设置。

启动bin目录下的spark-shell

可以看到已经进入到scala环境，此时就可以编写代码啦。

spark-shell的web界面http://127.0.0.1:4040

暂时先这样，如有什么疑问，请在主机宝贝下面的评论栏里提出。

网站标题：Ubuntu 18.04下搭建单机Hadoop和Spark集群环境
网站地址：http://www.shufengxianlan.com/qtweb/news40/302540.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联