今天在运行同事给我的项目,但在项目启动时,报出如下错误:
java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems
at org.apache.hadoop.util.Shell.fileNotFoundException(Shell.java:548)
at org.apache.hadoop.util.Shell.getHadoopHomeDir(Shell.java:569)
at org.apache.hadoop.util.Shell.getQualifiedBin(Shell.java:592)
at org.apache.hadoop.util.Shell.<clinit>(Shell.java:689)
at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:78)
at org.apache.hadoop.conf.Configuration.getBoolean(Configuration.java:1665)
at org.apache.hadoop.security.SecurityUtil.setConfigurationInternal(SecurityUtil.java:104)
at org.apache.hadoop.security.SecurityUtil.<clinit>(SecurityUtil.java:88)
at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:316)
at org.apache.hadoop.security.UserGroupInformation.setConfiguration(UserGroupInformation.java:365)
at com.test.main(GetHudiSchemaByMetaStore.java:25)
Caused by: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.
at org.apache.hadoop.util.Shell.checkHadoopHomeInner(Shell.java:468)
at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:439)
at org.apache.hadoop.util.Shell.<clinit>(Shell.java:516)
... 7 more
即java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.
通过java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.
错误可知,这是未设置HADOOP_HOME
和hadoop.home.dir
。
HADOOP_HOME
和hadoop.home.dir
主要是干嘛的呢?是配置在本地环境变量中的Hadoop地址
。
那么需要下载Windows
版本的Hadoop
来设置么?如果是远程连接Linux
上的Hadoop
集群,则完全不需要再下载安装Windows
版本的Hadoop
!!!
本地远程连接Hadoop
系统时需要在本地配置相关的Hadoop
变量,主要包括hadoop.dll
与winutils.exe
等。
【注意】由于hadoop
主要基于linux
编写,winutil.exe主
要用于模拟linux
下的目录环境。
当Hadoop
在windows
下运行或调用远程Hadoop
集群的时候,需要该辅助程序才能运行。winutils
是Windows
中的二进制文件,适用于不同版本的Hadoop
系统并构建在Windows VM
上,该VM
用以在Windows
系统中测试Hadoop
相关的应用程序。
了解到原因之后,可以根据安装Hadoop
集群的版本,下载相应的winutils
。
如果你还没有安装Hadoop
,可以按如下方式下载:
去hadoop
官网下载,镜像下载链接:https://mirrors.tuna.tsinghua.edu.cn
也可以下载我百度网盘中的3.2.1
版本的:
提取码:y6i4
下载完成后,会得到hadoop-3.2.1.tar.gz
,因为我下载的是hadoop-3.2.1
版本。
解压hadoop-3.2.1.tar.gz
得到hadoop-3.2.1
,复制hadoop-3.2.1
到你想要的文件夹中。
我是把hadoop-3.2.1
放在D:\Software
文件夹下。
接下来,我便介绍如何配置Hadoop
。
变量名
和变量值
,点击确定变量名:HADOOP_HOME
变量值:D:\Software\hadoop-3.2.1
path
,追加%HADOOP_HOME%\bin
之后点击三次确定退出编辑。
在hadoop-3.2.1/etc/hadoop
目录下,找到hadoop-env.cmd
,看jdk
目录!
如果你之前配置了java_home
,不用修改配置:
如果你没有配置java_home
,需要把jdk
的绝对路径写上,比如:C:\Program Files\Java\jdk1.8.0_102
。
下载winutils
,下载离你hadoop
最近的版本使用(比如我的hadoop3.2.1
,我下载的winutils
是3.1.2
),不然会出现一些列的问题。
我提供如下两种下载地址:
GitHub
下载地址:https://github.com/steveloughran/winutils由上图可知,截至完稿的时间,github
上的更新到3.0.0
,但此版本后面出现一些问题,大家尽量安装和你的hadoop
对应的版本。
gitee
下载链接:https://gitee.com/shockingblue/winutils由上图可知,截至完稿的时间,gitee
上的更新到3.2.1
,相对github
上的版本较多。
或者,从我的网盘中下载winutils
:
提取码:orab
\
3.1.2
版本winutils
的bin
文件夹hadoop
的bin
目录。winutils.exe
文件:bin
下面的hadoop.dll
拷贝到C:\Windows\System32
目录下idea
配置完成后,一定要重启idea
!否则,配置不生效
文章浏览阅读685次。1.1.什么是有状态?有状态服务,即服务端需要记录每次会话的客户端信息,从而识别客户端身份,根据用户身份进行请求的处理,典型的设计如tomcat中的session。例如登录:用户登录后,我们把登录者的信息保存在服务端session中,并且给用户一个cookie值,记录对应的session。然后下次请求,用户携带cookie值来,我们就能识别到对应session,从而找到用户的信息。缺点是什么?服务端保存大量数据,增加服务端压力 服务端保存用户状态,无法进行水平扩展 客户端请求依赖服务.._无状态token登录
文章浏览阅读293次。SDUT OnlineJudge#include<iostream>using namespace std;int main(){int a,b,c,d;cin>>a;b=a%10;c=a/10%10;d=a/100%10;int key[3];key[0]=b;key[1]=c;key[2]=d;for(int i = 0;i<3;i++){ if(key[i]!=0) { cout<<key[i.
文章浏览阅读2.2k次。年终奖采用的平均每月的收入来评定缴税级数的,速算扣除数也按照月份计算出来,但是最终减去的也是一个月的速算扣除数。为什么这么做呢,这样的收的税更多啊,年终也是一个月的收入,凭什么减去12*速算扣除数了?这个霸道(不要脸)的说法,我们只能合理避免的这些跨级的区域了,那具体是那些区域呢?可以参考下面的表格:年终奖一列标红的一对便是盲区的上下线,发放年终奖的数额一定一定要避免这个区域,不然公司多花了钱..._年终奖盲区表
文章浏览阅读7.5k次,点赞5次,收藏19次。matlab结构体struct字段变量值提取_matlab读取struct类型数据中的值
文章浏览阅读4.8k次。1,什么情况下使用fragment通常用来作为一个activity的用户界面的一部分例如, 一个新闻应用可以在屏幕左侧使用一个fragment来展示一个文章的列表,然后在屏幕右侧使用另一个fragment来展示一篇文章 – 2个fragment并排显示在相同的一个activity中,并且每一个fragment拥有它自己的一套生命周期回调方法,并且处理它们自己的用户输_android reader fragment
文章浏览阅读2.8k次。FFT of waveIn audio signalsBy Aqiruse An article on using the Fast Fourier Transform on audio signals. IntroductionThe Fast Fourier Transform (FFT) allows users to view the spectrum content of _fft of wavein audio signals
文章浏览阅读5.9k次。https://jaywcjlove.github.io/awesome-mac/ 这个仓库主要是收集非常好用的Mac应用程序、软件以及工具,主要面向开发者和设计师。有这个想法是因为我最近发了一篇较为火爆的涨粉儿微信公众号文章《工具武装的前端开发工程师》,于是建了这么一个仓库,持续更新作为补充,搜集更多好用的软件工具。请Star、Pull Request或者使劲搓它 issu_awesomemac
文章浏览阅读616次。一.jquery简介 jQuery是一个快速的,简洁的javaScript库,使用户能更方便地处理HTML documents、events、实现动画效果,并且方便地为网站提供AJAX交互 jQuery 的功能概括1、html 的元素选取2、html的元素操作3、html dom遍历和修改4、js特效和动画效果5、css操作6、html事件操作7、ajax_简介java中jquery技术
文章浏览阅读1.6w次,点赞5次,收藏19次。我修改的是表格的固定列滚动而产生的滚动条引用Table的组件的css文件中加入下面的样式:.ant-table-body{ &amp;::-webkit-scrollbar { height: 5px; } &amp;::-webkit-scrollbar-thumb { border-radius: 5px; -webkit-box..._ant design ::-webkit-scrollbar-corner
文章浏览阅读269次。基于JSP的健身俱乐部会员管理系统项目分享:见文末!
文章浏览阅读1.8k次,点赞2次,收藏15次。同学们,是不是又到了一年一度写开题报告的时候呀?是不是还在为不知道论文的开题报告怎么写而苦恼?Take it easy!我带着倾尽我所有开题报告写作经验总结出来的最强保姆级开题报告解说来啦,一定让你脱胎换骨,顺利拿下开题报告这个高塔,你确定还不赶快点赞收藏学起来吗?_开题报告研究难点
文章浏览阅读6k次,点赞4次,收藏17次。原生先获取对象var a = document.getElementById("dom");vue先添加ref <div class="" ref="divBox">获取对象let a = this.$refs.divBox获取父、子、兄弟节点方法var b = a.childNodes; 获取a的全部子节点 var c = a.parentNode; 获取a的父节点var d = a.nextSbiling; 获取a的下一个兄弟节点 var e = a.previ_获取子节点的路径 vue