Hadoop集群搭建所遇到的一些问题_error org.apache.hadoop.security.token.delegation.-程序员宅基地

技术标签: java  spark  linux  hadoop  大数据  

1.命令找不到

环境变量配置的不正确.

2.权限问题

2.1 /home/hadoop目录权限

2.1 创建完hadoop用后/home/hadoop目录权限问题.

/home/Hadoop

2.2 秘钥文件权限

1.如下图的提示,是当前hadoop用的公钥没有添加到认证文件中去

12313

解决方法:将node1节点上的hadoop用户的公钥添加到认证文件中
[hadoop@node1 ~]$ chmod -R 755 .ssh/
[hadoop@node1 ~]$ cd .ssh/
[hadoop@node1 .ssh]$ chmod 644 *
[hadoop@node1 .ssh]$ chmod 600 id_rsa
[hadoop@node1 .ssh]$ chmod 600 id_rsa.pub
[hadoop@node1 .ssh]$

[hadoop@node1 .ssh]$cat id_rsa.pub >> authorized_keys //hadoop用户的公钥添加到认证文件中

此问题如果在node2和node3两个节点出现在的也需要按照node1节点上的解决方法解决。

2.如下图的权限问题,
Chmod:changing permissions
Chmod:changing permissions of .ssh / : Operation not permitted
在这里插入图片描述

2.3 hadoop安装目录权限

1.如下图目录不能创建

在这里插入图片描述

2.4 秘钥认证问题

cat id_rsa.pub >> authorized_keys 命令和ssk-copy –I 主机名等命令执行了多次,如果出现如下的情况,请将重复的秘钥删除下,一般删除早先出现的公钥内容.

在这里插入图片描述

3.配置问题

配置中需要注意逗号,分号,大于号,小于号的英文输入形态. 

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
解决办法:


<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

4.虚拟机问题

4.1客户端操作系统禁用CPU

https://www.cnblogs.com/diyunpeng/p/3886532.html

5.集群问题

5.1 datanode问题

在这里插入图片描述

Hadoop Overview显示Livenode为0
https://blog.csdn.net/972301/article/details/62422737

在这里插入图片描述

错误原因
在这里插入图片描述
在这里插入图片描述
查看防火墙是否关闭,防火墙没有关闭也会导致这样的问题.

在这里插入图片描述
集群clusterid不一致问题
在这里插入图片描述
原因分析:
这个问题总要由于不消息进行了多次格式化(hdfs namenode -format)操作导致的,一个hadoop集群只能在安装时格式化一次.

解决办法:
将集群DataNode下的clusterid修改成和Namenode的clusterid一致即可,然后重启集群.
编辑/opt/bigdata/hadoop-3.1.2/hadoop/hdfs/data/current

在这里插入图片描述

5.2 namenode问题

不能启动,一般是同学忘记进行格式化.和hadoop安装目录权限没有设置导致格式化不能成功.

在这里插入图片描述

5.3 hadoop配置复制问题

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

5.4 集群操作问题

在这里插入图片描述

5.5 格式化问题

namenode多次格式化操作导致集群启动后再datanode的日志文件中有如下提示,naemnode clusterID和datanode clusterID不一致的问题.

在这里插入图片描述
解决方法:修改datanode的clusterID和namenode clusterID一致
/opt/bigdata/hadoop-3.1.2/hadoop/hdfs/data/current
在这里插入图片描述

6.系统安装问题

6.1 虚拟机IP配置问题

1.) IPADDR ------经常出现拼写错误
2.)GATEWAY —经常出现拼写错误
3.) NETMASK ----经常出现拼写错误

经常出现拼写错误,导致执行systemctl restart network命令启动网卡时失败.

6.2 虚拟机出问题,重新安装本机操作系统.
6.3 电脑硬件bois中的虚拟化支持禁用
解决方法:
需要根据电脑的型号百度相应设置bois虚拟化支持的博客,按照博客自行解决.
ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGT

重新搭建Hadoop集群,一切配置就绪后,启动集群后,在Master和所有的Slave节点上通过JPS命令都可以看到集群应该启动的进程都已经启动了。通过50070端口也可以查看到所有DataNode处于Live状态,而且可以正常往HDFS上传下载文件。
但是在8088端口查看不到任何Nodes的信息,提交任务到集群,任务一直卡在Accepted状态。
通过查看日志发现提示如下错误:
2016-03-15 15:51:01,740 ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM
2016-03-15 15:51:01,743 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2016-03-15 15:51:01,743 INFO org.mortbay.log: Stopped [email protected]:8088
2016-03-15 15:51:01,744 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2016-03-15 15:51:01,744 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
解决方法:在yarn-site.xml添加如下配置参数:
即:指定yarn.resourcemanager.hostname为Master节点的IP。

<property>
     <name>yarn.resourcemanager.hostname</name>
     <value>192.168.0.100</value>
</property>
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_42646459/article/details/109062941

智能推荐

给学弟学妹们写了个 15W 字的图解操作系统!_小林 图解操作系统-程序员宅基地

文章浏览阅读3.1w次,点赞587次,收藏1.6k次。大家好,我是小林。不知不觉在 CSDN 里写了 23 篇图解操作系统的系列文章,总字数高达 15W 字,而且每篇都配了很多自己手绘的图,也算有个体系了。然后图解操作系统文章也帮助到了很多读者,时不时都会有读者给小林发感谢信,说我的图解文章帮助到他们拿到了心意的 offer,这一点我很庆幸,我的文章也影响了一批人。后来,有些读者跟提了个意见,希望这个图解系统能整理成电子文档,这样方便阅读。既然是读者的请求,作为宠粉的 CSDN 博主,那肯定得整理呀,于是我就连忙搞了几天,最终把图解操作系统整理成了电_小林 图解操作系统

系统开发视角下的诊断 ———— DTC(High/Middle Byte)_dtc显示码跟高中字节的关系-程序员宅基地

文章浏览阅读1.4k次。文章目录介绍对应关系第一位第二位第三位/第四位/第五位五位故障码关系介绍&emspl;一个DTC一般存在两种描述方式,一种是16 进制的 3个字节,例如0xD10116。其实也存在另一种格式 —— 七位的表示方式,例如U110116。这里举例的两种表达方式是表达同一个DTC。 这两种表达方式都是可以的。对应关系第一位第一位与故障所属系统Value系统代码系统解释00PPowertrain system groupings01CChassis system_dtc显示码跟高中字节的关系

在Mac上设置环境变量并永久生效的方法_mac环境变量生效-程序员宅基地

文章浏览阅读2.2w次,点赞24次,收藏34次。原由我使用Go来开发程序,安装govendor之后发现命令行中执行govendor无效,需要将govendor所在的路径添加到PATH环境变量中。Mac中的环境变量介绍Mac系统的环境变量,加载顺序为:/etc/profile /etc/paths ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc当然/etc/profile和..._mac环境变量生效

22.Spring Cloud Alibaba Seata处理分布式事务_seata insert all-程序员宅基地

文章浏览阅读187次。Spring Cloud Alibaba Seata处理分布式事务基于分布式的事务管理前言这篇博客我是不想发的,因为这里面的事务回滚功能,并没有完美实现,如果你看到这篇博客的话,就当做了解即可,以后有了解决方案的话,我再更新。分布式事务分布式之前,单机单库没有这个问题,从 1:1 -> 1:N -> N:N跨数据库,多数据源的统一调度,就会遇到分布式事务问题如下图,单体应用被拆分成微服务应用,原来的三个模板被拆分成三个独立的应用,分别使用三个独立的数据源,业务操作需要调用三个_seata insert all

php isset()与empty()的使用 完美版_php empty和isset同时使用-程序员宅基地

文章浏览阅读468次。PHP isset函数作用isset函数是检测变量是否设置。格式:bool isset( mixed var [, mixed var [, ...]] )返回值:若变量不存在则返回FALSE若变量存在且其值为NULL,也返回FALSE若变量存在且值不为NULL,则返回TURE同时检查多个变量时,每个单项都符号上一条要求时才返回TRUE,否则_php empty和isset同时使用

GLSL程序对象的C++封装_c++ glsl-程序员宅基地

文章浏览阅读5.4k次,点赞2次,收藏6次。在OpenGL的shader编程中,最常用的可能就是程序对象了,GLSL的程序对象的创建、加载shader等步骤都是固定的,如果每次都写同样的代码,觉得十分浪费时间,所以现在就将我在Shader学习过程中自己封装的GLSLProgram类奉献出来供大家参考:头文件如下:/* * GLSLProgram.h * * Created * Author: zhouxuguang *_c++ glsl

随便推点

初识React及React开发依赖介绍_react依赖包-程序员宅基地

文章浏览阅读8.5k次,点赞79次,收藏82次。React是什么呢?相信每个做开发的人对它都或多或少有一些印象;这里我们来看一下官方对它的解释:用于构建用户界面的 JavaScript 库;目前对于前端开发来说,几乎很少直接使用原生的JavaScript来开发应用程序,而是选择一个JavaScript库(框架)。在过去的很长时间内,jQuery是被使用最多的JavaScript库;在过去的一份调查中显示,全球前10,000个访问最高的网站中,有65%使用了jQuery,是当时最受欢迎的JavaScript库;但是,目前甚至已经处于淘汰的边缘了;_react依赖包

kafka和flume整合_kafka与flume1.60的整合消费不了数据-程序员宅基地

文章浏览阅读290次。关于Flume 的 一些核心概念:组件名称 &nbsp; &nbsp;功能介绍Agent代理使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。Client客户端生产数据,运行在一个独立的线程。Source源从Client收集数据,传递给Channel。Sink接收器从Channel收集数据..._kafka与flume1.60的整合消费不了数据

实战Linux Bluetooth编程(一) 协议栈概述_实战linux bluetooth编程(一) 协议栈概-程序员宅基地

文章浏览阅读1.1k次。Sam一年前在Linux下写了一个类似Windows下BTW的库--BTX。现在需要添加新功能时发现很多知识点都忘记了。所以决定在这次学习中,把一些bluez API记录下来。这几天又想,这样还不够,不如把Linux下的Bluetooth编程基础给记录下来吧。 前言:随着嵌入式系统的飞速发展,很多嵌入式平台上需要Bluetooth设备和应用。但在Linux下如何对Bluetooth编_实战linux bluetooth编程(一) 协议栈概

在CentOS 7.7 x86_64上安装python3的selenium 3模块实录_centos pip3 安装selenium模块-程序员宅基地

文章浏览阅读394次。安装selenium3模块pip3 install selenium如果上面的命令因为网络问题,重试多次仍失败,可以尝试下面的命令pip3 install selenium -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com配置selenium相关的环境下载并安装最新的Chrome版本wget https:..._centos pip3 安装selenium模块

ASP.NET Mvc4整合ExtJS4.2 MVC框架_asp.net mvc extjs 源码-程序员宅基地

文章浏览阅读3.6k次。项目结构如图所示:Extjs的架构图,非常有用,可以帮助我们理解Extjs的执行流程:接着是JS相关代码:app.js Ext.Loader.setConfig({ enabled: true }); //开启动态加载的依赖加载功能,默认为false不开启Ext.application({ name: 'Traxplorer', //设定应用程序_asp.net mvc extjs 源码

JAVA面试题大全(200+道题目)-程序员宅基地

文章浏览阅读1.8w次,点赞22次,收藏222次。面试题一、Java 基础1.JDK 和 JRE 有什么区别?2.== 和 equals 的区别是什么?3.两个对象的 hashCode()相同,则 equals()也一定为 true,对吗?4.final在 java 中有什么作用?5.java中的 Math.round(-1.5) 等于多少?6.String 属于基础的数据类型吗?7.java中操作字符串都有..._java面试题

推荐文章

热门文章

相关标签