技术标签: 2024年程序员学习 hadoop 分布式 大数据
——在此我只克隆了一个虚拟机,因为设置Hadoop集群暂且只需克隆一个,如有需要可以根据需求多克隆几个,后面步骤带有克隆的虚拟机的多做一个虚拟机的操作即可
首先先关闭虚拟机Master,再选中Master右键选择设置-克隆
名称和位置自己改变
修改主机名
vi /etc/hostname
增加主机名到文件中,然后重启服务器
注意!两个虚拟机都需要增加对应的主机名
#localhost.localdomain
master
关闭防火墙
systemctl stop firewalld.service 关闭防火墙
firewall-cmd --state 检查是否关闭了
——实现免密登录前提是另一个虚拟机得开启,且防火墙关闭,如果完成此步骤之后不能成功免密登录可以看看是否是这两个原因
在/etc/hosts文件中配置ip对应主机
IP地址 master
IP地址 node1
生成秘钥
ssh-keygen -t rsa -P “” //生成密钥的命令
//回车后会显示以下内容,切记一路回车别输入然后东西!!!
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory ‘/root/.ssh’.
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:AtZHQcFd10Qth+HXMib4saDzZhtYJBkS5VEyH04RiNM root@d23abd7ce7a9
The key’s randomart image is: //密钥
±–[RSA 2048]----+
| oB@**+. o*+|
| .o+EX.o oo =|
| o …= * o =oo|
| . . . + o = + |
| . S . o |
| . = |
| . = |
| o o |
| . |
±—[SHA256]-----+
//再输入以下命令
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
将PermitRootLogin yes、PubkeyAuthentication yes的注释去掉,就是把前面的#删掉
sh-4.2# vim /etc/ssh/sshd_config
sh-4.2# systemctl enable sshd.service
sh-4.2# systemctl start sshd.service
再输入以下命令,做就完了
cd $HOME/.ssh/
chmod 600 authorized_keys
ssh localhost
scp -r ~/.ssh root@node1:~/ //这的node1是我的克隆虚拟机的主机名,换成自己的
免密登录验证
ssh node1
成功!
——此代码在我的机器上是可以成功,但是也有他人按照此代码失败的情况,如果失败可以寻找其他的代码来尝试配置
将hadoop的安装包上传到服务器
tar解压安装包
[root@master tools]# tar -xvf hadoop-3.2.3.tar.gz //hadoop文件名按照自己的来
[root@master tools]# mv hadoop-3.2.3 /usr/local/hadoop3 //移动解压后的Hadoop文件到/usr/local/hadoop3目录下
修改master节点上的hadoop配置文件,修改配置文件/etc/profile,文末加入以下配置
export HADOOP_HOME=/usr/local/hadoop3 //路径为上一步转移的目录
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export JAVA_LIBRARY_PATH= H A D O O P _ H O M E / l i b / n a t i v e : HADOOP\_HOME/lib/native: HADOOP_HOME/lib/native:JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export HDFS_DATANODE_USER=root
export HDFS_DATANODE_SECURE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_NAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
通过source命令将配置生效
source /etc/profile
查看是否设定好了环境变量
echo $HADOOP_HOME
显示为/etc/profile文件中的HADOOP_HOME位置
修改hadoop-env.sh等文件
[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/yarn-env.sh
[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/mapred-env.sh
文末添加jdk的安装路径
增加node1的信息(自己克隆的虚拟机名称)
vi $HADOOP_HOME/etc/hadoop/workers
添加内容:node1
把以下文件的configuration修改为如下内容:
vim $HADOOP_HOME/etc/hadoop/core-site.xml
fs.defaultFS
hdfs://master:9000
hadoop.tmp.dir
/home/hadoop/tmp
io.file.buffer.size
131702
hadoop.http.staticuser.user
root
vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml
dfs.namenode.name.dir
file:/home/hadoop/tmp/dfs/name
dfs.datanode.data.dir
file:/home/hadoop/tmp/dfs/data
dfs.replication
3
dfs.namenode.http-address
master:50070
NameNode address and port
dfs.namenode.secondary.http-address
master:50090
Secondary NameNode address and port
dfs.webhdfs.enabled
true
dfs.stream-buffer-size
131072
dfs.namenode.checkpoint.dir
file:/home/hadoop/tmp/dfs/namesecondary
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!**
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
[外链图片转存中…(img-ZSjOHdCt-1712519855743)]
[外链图片转存中…(img-XdJqEO60-1712519855744)]
[外链图片转存中…(img-OmfSPsCF-1712519855744)]
[外链图片转存中…(img-SSMMtP14-1712519855744)]
[外链图片转存中…(img-cgwYwI2w-1712519855745)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-LJlgwAhB-1712519855745)]
文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib
文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang
文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些
文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器
文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距
文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器
文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn
文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios
文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql
文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...
文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120
文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数