当前位置： 首页 > news >正文

风中有朵雨做的云在线网站推广app赚佣金接单平台

news 2025/9/7 1:32:55
风中有朵雨做的云在线网站,推广app赚佣金接单平台,微信公众号托管代运营,宁波网站制作计划目录 1. 环境准备 1.1 配置免密登录 2. 下载并配置Spark 3. 配置Spark集群 3.1 配置spark-env.sh 3.2 配置spark-defaults.conf 3.3 设置Master和Worker节点 3.4 设配置log4j.properties 3.5 同步到所有Worker节点 4. 启动Spark Standalone集群 4.1 启动Master节点 …

目录

1. 环境准备

1.1 配置免密登录

2. 下载并配置Spark

3. 配置Spark集群

3.1 配置spark-env.sh

3.2 配置spark-defaults.conf

3.3 设置Master和Worker节点

 3.4 设配置log4j.properties

3.5 同步到所有Worker节点

4. 启动Spark Standalone集群

4.1 启动Master节点

4.2 启动Worker节点

4.3 启动日志服务

5. 测试Spark集群

5.1 提交测试任务

6. 管理Spark集群

6.1 停止Spark集群

7. 常见问题

7.1 防火墙问题

7.2 Java版本不兼容

1. 环境准备

在开始之前，请确保集群中所有节点满足以下要求：

  • 操作系统：建议使用Linux（CentOS或Ubuntu）
  • Java：JDK 1.8或以上版本
  • Python：若使用PySpark，请安装Python 3.6以上版本
  • 网络配置：确保各节点之间的SSH无密码登录已配置

在本教程中，将采用以下的集群结构：

  • Master节点：负责管理资源分配和任务调度
  • Worker节点：实际执行任务

1.1 配置免密登录

在Master节点上配置SSH免密登录，方便自动化管理和任务分发。

ssh-keygen -t rsa # 生成密钥对
ssh-copy-id user@worker1 # 将公钥复制到worker1节点
ssh-copy-id user@worker2 # 将公钥复制到worker2节点

确认免密登录配置成功后，可以继续下一步。

2. 下载并配置Spark

PySpark单机模式安装教程

(按照PySpark单机模式安装教程将其他Work节点也安装Anaconda）

# 解压安装
cd /opt/modules
tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs
# 重命名
cd /opt/installs
mv spark-3.1.2-bin-hadoop3.2 spark-standalone
# 重新构建软连接
rm -rf spark
ln -s spark-standalone spark

3. 配置Spark集群

3.1 配置spark-env.sh

在$SPARK_HOME/conf目录下：

  1. 复制模板文件spark-env.sh.template并重命名为spark-env.sh：

    cd /opt/installs/spark/conf
mv spark-env.sh.template spark-env.sh

  2. 在spark-env.sh文件中添加以下内容：

    # 22行：申明JVM环境路径以及Hadoop的配置文件路径
export JAVA_HOME=/opt/installs/jdk
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop
# 60行左右
export SPARK_MASTER_HOST=bigdata01 # 主节点所在的地址
export SPARK_MASTER_PORT=7077 #主节点内部通讯端口，用于接收客户端请求
export SPARK_MASTER_WEBUI_PORT=8080 #主节点用于供外部提供浏览器web访问的端口
export SPARK_WORKER_CORES=1     # 指定这个集群总每一个从节点能够使用多少核CPU
export SPARK_WORKER_MEMORY=1g   #指定这个集群总每一个从节点能够使用多少内存
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_DAEMON_MEMORY=1g  # 进程自己本身使用的内存
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://bigdata01:9820/spark/eventLogs/ -Dspark.history.fs.cleaner.enabled=true"
# Spark中提供了一个类似于jobHistoryServer的进程，就叫做HistoryServer, 用于查看所有运行过的spark程序

  3. 在HDFS上创建程序日志存储目录(首先如果没有启动hdfs，需要启动一下)

    # 第一台机器启动HDFS
start-dfs.sh
# 创建程序运行日志的存储目录
hdfs dfs -mkdir -p /spark/eventLogs/

3.2 配置spark-defaults.conf

 在$SPARK_HOME/conf目录下：

  1. 复制模板文件spark-defaults.conf并重命名为spark-defaults.conf：

    mv spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf

  2. 在spark-env.sh文件中添加以下内容：

    # 末尾
spark.eventLog.enabled           true
spark.eventLog.dir              hdfs://bigdata01:9820/spark/eventLogs
spark.eventLog.compress              true

3.3 设置Master和Worker节点

在$SPARK_HOME/conf目录下：

  1. 复制模板文件workers.template并重命名为workers：

    mv workers.template workers

  2. 在workers文件中添加所有Worker节点的IP或主机名，例如：

    # 删掉localhost，添加以下内容
bigdata01
bigdata02
bigdata03

 3.4 设配置log4j.properties

在$SPARK_HOME/conf目录下：

  1. 复制模板文件log4j.properties.template并重命名为log4j.properties：

    mv log4j.properties.template log4j.properties

  2. 在log4j.properties文件中添修改以下内容：

    # 19行：修改日志级别为WARN
log4j.rootCategory=WARN, consolelog4j的5种 级别  debug --> info --> warn --error -->fatal

3.5 同步到所有Worker节点

将Master的spark同步到其他Worker节点

scp $SPARK_HOME user@worker1:$SPARK_HOME
scp $SPARK_HOME user@worker2:$SPARK_HOME

（也可以使用文件分发脚本xsync.sh将整个spark文件同步给其他节点）

同时，在其他节点创建软链接（命令同步执行脚本xcall.sh）：

cd /opt/installs/
ln -s spark-standalone spark换个思路，是否可以同步软链接：
xsync.sh /opt/installs/spark

4. 启动Spark Standalone集群

4.1 启动Master节点

在Master节点上执行以下命令启动Master服务：

# 启动master:
cd /opt/installs/spark
sbin/start-master.sh

Master启动成功后，可以在http://<Master_IP>:8080查看集群的Web UI（8080为默认端口）。

4.2 启动Worker节点

在Master节点上，通过以下命令启动所有Worker节点：

# 启动所有worker:
sbin/start-workers.sh
# 如果你想启动某一个worker
sbin/start-worker.sh

4.3 启动日志服务

在Master节点上，通过以下命令启动日志服务：

# 启动日志服务：
sbin/start-history-server.sh

5. 测试Spark集群

5.1 提交测试任务

可以通过以下命令提交一个简单的Spark任务来测试集群是否配置成功：

$SPARK_HOME/bin/spark-submit --master spark://<Master_IP>:7077 \ --class org.apache.spark.examples.SparkPi \ $SPARK_HOME/examples/jars/spark-examples*.jar 10

运行后，观察任务的运行结果，若无错误信息，说明集群部署成功。

6. 管理Spark集群

6.1 停止Spark集群

可以在Master节点上执行以下命令停止集群：

$SPARK_HOME/sbin/stop-all.sh# 要想关闭某个服务，将start换为stop

也可以分别在Master和Worker节点上使用stop-master.sh和stop-worker.sh命令来单独停止服务。

7. 常见问题

7.1 防火墙问题

如果无法访问Web UI，请检查是否需要开放8080端口，或使用防火墙命令允许通信：

# 防火墙状态命令：
systemctl status firewalld
# 关闭防火墙命令：
systemctl stop firewalld（重启后防火墙还是会自动开启）
# 开启防火墙命令：
systemctl  start firewalld
# 重启防火墙命令：
systemctl  restart firewalld
# 开机启动防火墙命令：
systemctl enable firewalld
# 开机不启动防火墙命令：
systemctl disable firewalld

7.2 Java版本不兼容

确保所有节点上的Java版本一致，以避免运行时出现兼容性问题。

至此，您已成功部署了Spark Standalone集群，并验证了基本的任务提交。Standalone集群适用于中小规模数据处理需求，便于简单、高效地管理Spark资源。

http://www.hlhnt8889177.com/news/607.html

相关文章：

  • 专门帮做ppt的网站站长工具无忧
  • 推广哪个网站好武汉seo推广优化公司
  • 课程注册 网站开发seo是什么品牌
  • 网站建设浦东做做网站
  • 网站mip怎么做如何制定会员营销方案
  • 公司网站建设需要注意哪些问题百度seo关键词优化电话
  • 网站建设宗旨及商业模式站长工具查询域名信息
  • 郑州市男科医院哪比较好seo关键词排名注册价格
  • 利用虚拟主机建设企业网站百度关键词排名联系
  • 做电商搜素材网站都是什么成都专业的整站优化
  • 嘉峪关建设局公告网站什么是互联网营销师
  • 中国产品网免费网站综合性b2b电子商务平台网站
  • 翡翠原石网站首页怎么做山东网站建设
  • angular做门户网站百度快照优化培训班
  • 目前有做电子合同的网站吗免费的seo
  • 商河县建设局网站电商网站公司
  • 设计网站怎么做的项目推广网站
  • wordpress编辑管理员如何做网站推广优化
  • 长春网站建设费用重庆森林经典台词
  • 在电脑上怎么卸载wordpressseo怎么收费的
  • 个人如何做购物网站 关于支付接口域名状态查询工具
  • 长沙房产集团网站建设腾讯广点通广告投放平台
  • 苏州建设网站平台精准营销
  • wordpress 免费外贸网站seo如何做好优化
  • 扁平结构的网站seo关键词首页排名代发
  • 如何建立优秀企业网站关键词排名代做
  • 给个龙做罗拉的网站武汉最新疫情
  • 企业网站怎么做毕业设计搜狗网页版
  • 忻州网站seo软件开发自学步骤
  • 代理上海建站公司注册怎么在网上做广告