spark集群配置-程序员宅基地
目录
1.集群部署规划
表1-1 集群部署规划
| 主机名 | master | slave1 | slave2 |
| HDFS | NameNode DataNode |
SecondaryNameNode DataNode |
DataNode |
| YARN | ResourceManager NodeManage |
NodeManage | NodeManager |
| Spark | Master Worker |
Worker | Worker |
2.安装Spark
进入/export/software目录，将spark软件包导入该目录下。解压spark软件包 到/export/servers目录下，并重命名为spark。
[root@master ~]# cd /export/software/
[root@master software]# rz -be
[root@master software]# ls
[root@master software]# tar -zxvf spark-3.0.3-bin-hadoop3.2.tgz -C /export/servers/
[root@master software]# cd /export/servers/
[root@master servers]# mv spark-3.0.3-bin-hadoop3.2 spark3.文件配置
配置spark-env.sh。
[root@master servers]# cd spark/
[root@master spark]# cd conf/
[root@master conf]# cp spark-env.sh.template spark-env.sh
[root@master conf]# vi spark-env.shexport JAVA_HOME=/export/servers/jdk
export HADOOP_CONF_DIR=/export/servers/hadoop-3.1.3/etc/hadoop
export SPARK_MASTER_IP=192.168.38.128
export SPARK_MASTER_PORT=7077
配置slaves文件。
[root@master conf]# cp slaves.template slaves
[root@master conf]# vi slaves
master
slave1
slave2
该文件中写入哪个主机名，哪个主机就会存在worker节点。按照集群部署规划，slave1和slave2主机拥有worker，因此写入这两行内容。
配置Spark环境变量。将以下内容写入配置文件/etc/profile末尾，并source使之生效。
export SPARK_HOME=/export/servers/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
4. 分发文件
将spark远程发送到其他集群
[root@master conf]# cd /export/servers/
[root@master servers]# scp -r /export/servers/spark slave1:/export/servers/
[root@master servers]# scp -r /export/servers/spark slave2:/export/servers/5.启动集群
首先启动Hadoop集群。（命令省略）
启动Master节点。
[root@master ~]#start-master.sh启动Slave节点。
[root@master ~]#start-slaves.sh6.查看集群
集群进程与集群部署规划一致。
[root@master servers]# jps.sh
[root@master spark]# jps.sh
**********master**********
3778 Worker
3091 ResourceManager
2660 DataNode
3702 Master
2507 NameNode
3835 Jps
3247 NodeManager
**********slave1**********
1920 DataNode
2403 Jps
2040 SecondaryNameNode
2139 NodeManager
2349 Worker
**********slave2**********
1923 DataNode
2260 Worker
2054 NodeManager
2314 Jps查看Spark页面
启动成功后，可以通过“host:port”的方式来访问Spark管理页面，例如：http://192.168.38.128:8080 
智能推荐
Android IPC机制-程序员宅基地
文章浏览阅读917次，点赞18次，收藏11次。为了方便有学习需要的朋友，我把资料都整理成了视频教程（实际上比预期多花了不少精力）当程序员容易，当一个优秀的程序员是需要不断学习的，从初级程序员到高级程序员，从初级架构师到资深架构师，或者走向管理，从技术经理到技术总监，每个阶段都需要掌握不同的能力。早早确定自己的职业方向，才能在工作和能力提升中甩开同龄人。无论你现在水平怎么样一定要 持续学习 没有鸡汤，别人看起来的毫不费力，其实费了很大力，这四个字就是我的建议！！我希望每一个努力生活的IT工程师，都会得到自己想要的，因为我们很辛苦，我们应得的。
利用ode45求解含控制量并且控制量为离散点的动力学方程_ode函数离散-程序员宅基地
文章浏览阅读2k次，点赞5次，收藏14次。1、写出微分方程函数2、求解function dy=rigid(t,y)dy=zeros(3,1);dy(1)=y(2)*y(3);dy(2)=-y(1)*y(3);dy(3)=-0.51*y(1)*y(2);end%将微分方程写成函数形式，待调用options=odeset('RelTol',1e-4,'AbsTol',[1e-4 1e-4 1e-5]);[T Y]=ode45(@rigid,[0 12],[0 1 1],options);plot(T,Y(:,1),'-',T,Y_ode函数离散
Java中==和equals的区别-程序员宅基地
文章浏览阅读3.8w次，点赞41次，收藏180次。==操作符与equals方法的区别_java中==和equals的区别
flask-login-程序员宅基地
文章浏览阅读170次。创建扩展对象实例from flask_login import LoginManagerlogin_manager = LoginManager()login_manager.login_view = 'auth.login'# 上面这一句是设置登录视图的名称，如果一个未登录用户请求一个只有登录用户才能访问的视图，# 则闪现一条错误消息，并重定向到这里设置的登录视图。# 如果未设置..._python flask please log in to access this page
html怎么控制top值为0,关于vue滚动scrollTop 赋值一直为0问题-程序员宅基地
文章浏览阅读428次。Vue中document.body.scrollTop的值总为零的解决办法最近在做vue的时候监听页面滚动发现document.body.scrollTop一直为0但是发现document.body.scrollTop一直是0。查资料发现是DTD的问题。页面指定了DTD，即指定了DOCTYPE时，使用document.documentElement。页面没有DTD，即没指定DOCTYPE时，使用d..._滚动给scrolltop赋值
kingbase数据库安装教程（初步使用）（人大金仓）-程序员宅基地
文章浏览阅读2.1k次，点赞25次，收藏21次。人大金仓数据库管理系统KingbaseES（简称：金仓数据库或KingbaseES）是北京人大金仓信息技术股份有限公司自主研制开发的具有自主知识产权的通用关系型数据库管理系统。_kingbase
随便推点
Linux 命令【6】：cut_cut使用特殊字符为分隔符-程序员宅基地
文章浏览阅读141次。Linux 命令【6】：cut文章目录一、简介二、命令详解三、实例演示一、简介cut 命令是一个将文本按列进行切分的小工具，它可以指定分隔每列的定界符。二、命令详解命令格式：cut {选项} {文件名}选项：-b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。-c ：以字符为单位进行分割。-d ：自定义分隔符，默认为制表符。-f ：与-d一起使用，指定显示哪个区域。-n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一._cut使用特殊字符为分隔符
音频进度条设置_audiotrack可以设置进度吗-程序员宅基地
文章浏览阅读2.4k次。/** * 播放audio标签视频控制 * */ //等待音频加载完毕 点击每一段录音进行播放 $('.lis').click(function(){ $('.j_voiceCont').show(); var src = $(this).attr("src"); $(this).addClass('c_audiotrack可以设置进度吗
Sora----打破虚实之间的最后一根枷锁----这扇门的背后是人类文明的晟阳还是最后的余晖-程序员宅基地
文章浏览阅读1.9k次，点赞69次，收藏64次。Sora官网。
大批量数据分批式导出文件解决,避免OOM(多次查询多次导出形成一个文件)_bufferedwriter避免oom-程序员宅基地
文章浏览阅读2k次。大批量数据的导出,当数据量达到一定的量会导致内存被撑爆,出现 oom异常,基于问题实大批量数据分批的方式进行查询和导出代码实现package com.ly.service;import com.ly.helper.BatchWriteFileUtils;import com.ly.helper.BeanUtils;import com.ly.vo.rs..._bufferedwriter避免oom
如何生成HLS协议的M3U8文件-程序员宅基地
文章浏览阅读5次。什么是HLS协议：HLS(HttpLiveStreaming)是由Apple公司定义的用于实时流传输的协议，HLS基于HTTP协议实现，传输内容包括两部分，一是M3U8描述文件，二是TS媒体文件。HLS协议应用：由于传输层协议只需要标准的HTTP协议, HLS可以方便的透过防火墙或者代理服务器,而且可以很方便的利用CDN进行分发加速,这样就可以很方便的解决大规模应用的瓶颈。并...
Oracle游标：处理查询结果集的好工具_oracle查询游标结果集-程序员宅基地
文章浏览阅读273次。通过显式游标和隐式游标，我们可以方便地在数据库程序中处理查询结果集，实现复杂的业务逻辑。_oracle查询游标结果集