在CentOS 8上安装Apache Spark
步骤1.首先，让我们首先确保您的系统是最新的并安装所有必需的依赖项。
sudo dnf install epel-release sudo dnf update
步骤2.安装Java。
上一篇文章介绍了本文中的Java安装。然后，通过以下命令行签出Java版本：
java -version
步骤3.安装Scala。
Apache Spark是用Scala编程语言实现的，因此我们必须安装Scala才能运行Apache Spark，因此我们只需要确保存在Java和Python：
wget https://www.scala-lang.org/files/archive/scala-2.13.4.tgz tar xvf scala-2.13.4.tgz sudo mv scala-2.13.4 /usr/lib sudo ln -s /usr/lib/scala-2.13.4 /usr/lib/scala export PATH=$PATH:/usr/lib/scala/bin
安装完成后，检查scala版本：
scala -version
步骤4.在CentOS上安装Apache Spark 8。
现在，我们从官方来源下载最新版本的Apache Spark：
wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz tar -xzf spark-3.0.1-bin-hadoop2.7.tgz export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin
在启动spark之前，请设置一些环境变量：
echo 'export PATH=$PATH:/usr/lib/scala/bin' >> .bash_profile echo 'export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7' >> .bash_profile echo 'export PATH=$PATH:$SPARK_HOME/bin' >> .bash_profile
独立的Spark集群可以手动启动，即在每个节点上执行启动脚本，也可以简单地使用可用的启动脚本。为了进行测试，我们可以在同一台机器上运行主守护程序和从守护程序：
./sbin/start-master.sh
步骤5.为Apache Spark配置防火墙。
运行以下命令以打开防火墙上的端口：
sudo firewall-cmd --permanent --zone=public --add-port=7077/tcp sudo firewall-cmd --reload
步骤6.访问Apache Spark Web界面。
默认情况下，Apache Spark将在HTTP端口7077上可用。打开您喜欢的浏览器，然后浏览至或完成所需的步骤以完成安装。http://your-domain.com:7077http://server-ip-address:7077
恭喜你！您已经成功安装了Apache Spark。使用本教程在CentOS 8系统上安装Apache Spark开源框架。有关其他帮助或有用信息，我们建议您检查Apache Spark官方网站。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun39435.html
微信扫一扫不于多少！ 
支付宝扫一扫礼轻情意重 