这边我上传的位置为/opt/module 下,并将其解压到/opt/software下并且重命名为hadoop和jdk
设置ip地址首先点击vm上的编辑按钮下虚拟网络编辑器查看VMnet8的ip地址是多少,例如我这ip地址为192.168.119.0,那么我的hadoop的ip地址前3位就需要设置为192.168.119,然后进入我们的虚拟机里面进行ip地址的设置,输入命令vi /etc/sysconfig/network-scripts/ifcfg-ens33 进行ip地址的设置
第一步设置为静态获取,更改BOOTPROTO=static
第二步添加IP地址,在最下方添加IPADDR=192.168.119.50 注:IP地址最后一位取决你的网段分配情况,不是随便填写,随便填写很有可能导致不能联网。
第三步添加网关地址,添加GATEWAY=192.168.119.2
第四步添加子网掩码,添加NETMASK=255.255.255.0
第五步添加DNS地址,添加DNS1=114.114.114.114
设置完毕后按键盘上的esc键然后按下shift+;输入wq进行保存退出
退出后,输入命令进行网卡重置 systemctl restart network
再输入ifconfig查看IP地址是否设置成功
IP地址设置完成后设置自己的主机号,这里我将主机号设置为了hadoop101,主机号不做要求可按自己的想法去进行设置。
输入命令 hostnamectl set-hostname hadoop101进行主机号的设置
首先对当前虚拟机进行关机操作,然后右击虚拟机下的管理下的克隆,克隆分为两种,一种是创建链接克隆,一种是创建完整克隆,这里我们选择创建完整克隆,一共需要创建两个克隆,创建完成后在创建好的两台克隆虚拟机上进行第二步的操作,修改IP地址以及主机名,因为我们是进行克隆的所以我们修改IP地址只需要修改IPADDR那一项就行了,我这边修改后是第一台虚拟机IP地址为:192.168.119.50 主机号为hadoop101 第二台虚拟机IP地址为:192.168.119.51 主机号为hadoop102 第三台虚拟机IP地址为:192.168.119.52 主机号为hadoop103 ,设置好后使用工具xshell将3台虚拟机进行连接上
因为我们是搭建完全分布式,所以在设置映射的时候需要设置3台虚拟机的映射关系
输入命 vi /etc/hosts进行主机 ip的映射设置
在任意一台虚拟机上输入命令 ssh-keygen -t rsa 然后连续按下三次回车然后输入命令
ssh-copy-id hadoop101(之前设置的主机名)按下回车后输入hadoop101所对应的虚拟机密码
ssh-copy-id hadoop102(之前设置的主机名)按下回车后输入hadoop102所对应的虚拟机密码
ssh-copy-id hadoop103(之前设置的主机名)按下回车后输入hadoop103所对应的虚拟机密码
设置完后进行rsync命令操作进行另外两台虚拟机的文件更新
输入rsync -rvl /etc/hosts root@hadoop102:/etc/host
输入rsync -rvl /etc/hosts root@hadoop103:/etc/host
更新完映射关系后在另外两台进行重复免密操作,也就是上面所写的ssh-keygen -t rsa 和ssh-copy-id xx 的操作
输入命令 vi /etc/profile
光标移动到命令行的最后一行输入配置文件如下图所示
输入好后保存退出,然后输入source /etc/profile进行配置文件的更新
进行使用rsync命令进行另外两台虚拟机的更新
rsync -rvl /etc/profile root@hadoop102:/etc/profile
rsync -rvl /etc/profile root@hadoop103:/etc/profile
然后进入另外两台虚拟机中输入source /etc/profile
首先进入hadoop配置文件的目录下,也就是刚才解压后的hadoop文件下的etc下的hadoop,如果不是按照我的目录来写的就使用自己的方法进入hadoop配置文件目录下,如果目录和我的是一样的就输入 cd /opt/software/hadoop/etc/hadoop
vi core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/software/hadoop/data/tmp</value>
</property>
vi hadoop-env.sh
export JAVA_HOME=/opt/software/jdk
vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop103:50090</value>
</property>
vi yarn-env.sh
export JAVA_HOME=/opt/software/jdk
vi yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop102</value>
</property>
vi mapred-env.sh
export JAVA_HOME=/opt/software/jdk
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vi slaves 注意:slaves内的东西需要全部删完再输入配置文件
hadoop101
hadoop102
hadoop103
然后使用rsync 进行另外两台的hadoop配置文件更新
rsync -rvl /opt/software/hadoop/etc/hadoop/ root@hadoop102:/opt/software/hadoop/etc/hadoop/
rsync -rvl /opt/software/hadoop/etc/hadoop/ root@hadoop103:/opt/software/hadoop/etc/hadoop/
输入命令:hdfs namnode -format
如果需要重新格式化
在重新格式化之前一定要先删除data数据和log日志。然后再进行格式化。
1、停止使用hadoop进程(stop-all.sh)
2、删除配置文件core-site.xml和hdfs-site.xml中指定目录下的文件
首先进入hadoop主目录
输入 cd /opt/software/hadoop
启动hdfs,输入 sbin/start-dfs.sh
然后用3台虚拟机进行jps测试,和下图出现的进程一样就成功了
然后启动yarn,yarn的启动需要在ResouceManager所在的机器上进行,在 yarn-site.xml中设置过,我这边设置的是hadoop102,所以我需要进入到hadoop102所在的虚拟机上操作yarn的启动命令。
输入 cd /opt/software/hadoop
启动yarn,输入 sbin/start-yarn.sh
然后用3台虚拟机进行jps测试,和下图出现的进程一样就成功了
在三台虚拟机上都输入命令:systemctl stop firewalld.service即可关闭防火墙
然后进入浏览器输入网站http://192.168.119.50:50070/和http://192.168.119.51:8088/,即可测试是否搭建成功。
最后一句话:这完全分布式有手就行
文章浏览阅读685次。1.1.什么是有状态?有状态服务,即服务端需要记录每次会话的客户端信息,从而识别客户端身份,根据用户身份进行请求的处理,典型的设计如tomcat中的session。例如登录:用户登录后,我们把登录者的信息保存在服务端session中,并且给用户一个cookie值,记录对应的session。然后下次请求,用户携带cookie值来,我们就能识别到对应session,从而找到用户的信息。缺点是什么?服务端保存大量数据,增加服务端压力 服务端保存用户状态,无法进行水平扩展 客户端请求依赖服务.._无状态token登录
文章浏览阅读293次。SDUT OnlineJudge#include<iostream>using namespace std;int main(){int a,b,c,d;cin>>a;b=a%10;c=a/10%10;d=a/100%10;int key[3];key[0]=b;key[1]=c;key[2]=d;for(int i = 0;i<3;i++){ if(key[i]!=0) { cout<<key[i.
文章浏览阅读2.2k次。年终奖采用的平均每月的收入来评定缴税级数的,速算扣除数也按照月份计算出来,但是最终减去的也是一个月的速算扣除数。为什么这么做呢,这样的收的税更多啊,年终也是一个月的收入,凭什么减去12*速算扣除数了?这个霸道(不要脸)的说法,我们只能合理避免的这些跨级的区域了,那具体是那些区域呢?可以参考下面的表格:年终奖一列标红的一对便是盲区的上下线,发放年终奖的数额一定一定要避免这个区域,不然公司多花了钱..._年终奖盲区表
文章浏览阅读7.5k次,点赞5次,收藏19次。matlab结构体struct字段变量值提取_matlab读取struct类型数据中的值
文章浏览阅读4.8k次。1,什么情况下使用fragment通常用来作为一个activity的用户界面的一部分例如, 一个新闻应用可以在屏幕左侧使用一个fragment来展示一个文章的列表,然后在屏幕右侧使用另一个fragment来展示一篇文章 – 2个fragment并排显示在相同的一个activity中,并且每一个fragment拥有它自己的一套生命周期回调方法,并且处理它们自己的用户输_android reader fragment
文章浏览阅读2.8k次。FFT of waveIn audio signalsBy Aqiruse An article on using the Fast Fourier Transform on audio signals. IntroductionThe Fast Fourier Transform (FFT) allows users to view the spectrum content of _fft of wavein audio signals
文章浏览阅读5.9k次。https://jaywcjlove.github.io/awesome-mac/ 这个仓库主要是收集非常好用的Mac应用程序、软件以及工具,主要面向开发者和设计师。有这个想法是因为我最近发了一篇较为火爆的涨粉儿微信公众号文章《工具武装的前端开发工程师》,于是建了这么一个仓库,持续更新作为补充,搜集更多好用的软件工具。请Star、Pull Request或者使劲搓它 issu_awesomemac
文章浏览阅读616次。一.jquery简介 jQuery是一个快速的,简洁的javaScript库,使用户能更方便地处理HTML documents、events、实现动画效果,并且方便地为网站提供AJAX交互 jQuery 的功能概括1、html 的元素选取2、html的元素操作3、html dom遍历和修改4、js特效和动画效果5、css操作6、html事件操作7、ajax_简介java中jquery技术
文章浏览阅读1.6w次,点赞5次,收藏19次。我修改的是表格的固定列滚动而产生的滚动条引用Table的组件的css文件中加入下面的样式:.ant-table-body{ &amp;::-webkit-scrollbar { height: 5px; } &amp;::-webkit-scrollbar-thumb { border-radius: 5px; -webkit-box..._ant design ::-webkit-scrollbar-corner
文章浏览阅读269次。基于JSP的健身俱乐部会员管理系统项目分享:见文末!
文章浏览阅读1.8k次,点赞2次,收藏15次。同学们,是不是又到了一年一度写开题报告的时候呀?是不是还在为不知道论文的开题报告怎么写而苦恼?Take it easy!我带着倾尽我所有开题报告写作经验总结出来的最强保姆级开题报告解说来啦,一定让你脱胎换骨,顺利拿下开题报告这个高塔,你确定还不赶快点赞收藏学起来吗?_开题报告研究难点
文章浏览阅读6k次,点赞4次,收藏17次。原生先获取对象var a = document.getElementById("dom");vue先添加ref <div class="" ref="divBox">获取对象let a = this.$refs.divBox获取父、子、兄弟节点方法var b = a.childNodes; 获取a的全部子节点 var c = a.parentNode; 获取a的父节点var d = a.nextSbiling; 获取a的下一个兄弟节点 var e = a.previ_获取子节点的路径 vue