hadoop2.6.0本地编译,仅作学习记录-程序员宅基地

技术标签: java  运维  大数据  

  官网下载hadoop二进制文件,安装部署,可以成功,但是每次运行命令之前均会报错Unable to load native-hadoop library for your platform hadoop,经查明为官网提供的是32位,但实际生产环境中一般均需要64位,下面就结合网上资料,整理编译64位hadoop2.6.0 的步骤。

  编辑环境为:redhat6.6 +jdk1.7+ hadoop-2.6.0-src.tar.gz

1、编译前准备

  我的安装目录均在/usr/server/下,后面配置不做特殊说明。

下载安装jdk,maven ,findbugs,protoc,实验版本分别为jdk1.7, apache-maven-3.3.3 ,findbugs-3.0.0,分别解压至/usr/server/目录下,改名为:jdk,maven,findbugs,protoc.修改环境变量,vim /etc/profile ,最后加上如下内容:

export JAVA_HOME=/usr/server/jdk/
export MAVEN_HOME=/usr/server/maven/
export FINDBUGS_HOME=/usr/server/findbugs
export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$FINDBUGS_HOME/bin:$PATH

保存后,source /etc/profile 使其生效  验证:java -version ;mvn -version;findbugs -version ;  

安装protoc ,实验版本,protobuf-2.5.0,下载解压至/usr/server

 ① tar -zxvf protobuf-2.5.0.tar.gz;② cd protobuf-2.5.0;③ ./configure --prefix=/usr/local/protoc/;④ make && make install。

配置环境变量 vim /etc/profile  添加:

export PROTOC_HOME=/usr/server/protoc/

export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$FINDBUGS_HOME/bin:$PROTOC_HOME/bin:$PATH

source /etc/profile 使其生效, protoc --version 验证

安装其他依赖项:① yum install -y gcc;② yum intall -y gcc-c++;③ yum install -y make,操作系统已安装,不必重复安装

                        ① yum install -y cmake;② yum install -y openssl-devel;③ yum install -y ncurses-devel

2、编译

官网下载源码hadoop-2.6.0-src.tar.gz(http://www.apache.org/dyn/closer.cgi解压至/usr/server 下,然后修改一个hadoop-2.x共有的bug(详见https://issues.apache.org/jira/browse/HADOOP-10110),编辑文件:usr/local/hadoop-2.6.0-src/hadoop-common-project/hadoop-auth/pom.xml,第55行左右增加如下内容:

<dependency>
         <groupId>org.mortbay.jetty</groupId>
         <artifactId>jetty-util</artifactId>
         <scope>test</scope>
</dependency>

 

然后进入目录/usr/local/hadoop-2.6.0-src中,执行命令:mvn package -DskipTests -Pdist,native,docs,其中docs根据需要添加

由于网络问题,可能需要很长时间,运气好的话,可以一次性成功,我这边编译了一天,中断了好几次,但是没关系,重新再一次执行命令mvn package -DskipTests -Pdist,native,docs,可以继续编译,当看到一堆success 的时候,就成功了。

编译好的包在/usr/server/hadoop-2.6.0-src/hadoop-dist/target/下 hadoop2.6.0 下,也可以直接拷贝lib目录覆盖已部署的32位hadoop中,重启hadoop即可。

转载于:https://www.cnblogs.com/hello-kelly/p/4630317.html

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_30322405/article/details/97140588

智能推荐

安卓11 init初始化以及init.rc的解析执行过程详解_boringssl-self-check-failed-程序员宅基地

文章浏览阅读1.1w次,点赞28次,收藏64次。最近做了一个高通平台安卓的需求,功能使得data分区在第一次启动时,自动适配emmc/ufs的实际大小,在此过程中对init的执行以及.rc文件的解析流程有了一些理解,趁热打铁!!在这里总结一下!!!这里以mtk平台为例进行说明,基于安卓11,init这块的代码mtk与高通基本是一模一样的,都是中间层的东西; 对于init在整个系统中(宏观)的执行流程想必大家都很清楚了,init进程是linux内核启动后创建的第一个进程,地位非常重要,init进程在初始化过程中会启动很..._boringssl-self-check-failed

在 x86 上面交叉编译 gstreamer for ARM/MIPS_gettext arm 编译-程序员宅基地

文章浏览阅读2.3k次。gstreamer for ARM一:准备环境。1。 首先需要一个交叉编译器。如: /usr/local/arm-linux-gcc-3.4.3/安装的路径:/usr/local$ ls /usr/local/arm-linux-gcc-3.4.3/arm-linux arm-linux-uclibc bin bin-ccache include info _gettext arm 编译

unity ipv6_Unity和IPv6支持-程序员宅基地

文章浏览阅读833次。unity ipv6Apple recently announced that beginning June 1, 2016, “all apps submitted to the App Store must support IPv6-only networking.” Since many of our users publish Unity games to the App Store, w..._unity ipv6

(15) Multi-Person Pose Estimation : PersonLab-程序员宅基地

文章浏览阅读2.3k次。PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up, Part-Based, Geometric Embedding Model2018reading time : 2019/10/08paper address :https://arxiv.org/abs/1803.08225..._personlab

Proteus 里面library文件夹找不到,怎么找到library文件夹。_protues没有library-程序员宅基地

文章浏览阅读6.6k次,点赞5次,收藏10次。Protus 里面library文件夹找不到,怎么找到library文件夹。因为需求需要找到library文件夹,往这个文件夹中复制一些文件。可是找到Proteus的根目录,却怎么也找不到这个文件夹。当然找不到,就没办法复制了。最后发现在它藏在一个隐藏的文件夹里面。怎么找到这个隐藏的文件夹呢?就在上面这个框起来的地方打对勾就可以看到被隐藏的文件夹了。我是在下面这个文件夹中找到的。具体路径如下:C:\ProgramData\Labcenter Electronics\Proteus 8 Pr_protues没有library

wifi配置工具iw源码解析_iw 源码-程序员宅基地

文章浏览阅读6k次,点赞2次,收藏22次。iw是一个基于nl80211接口的无线配置工具,用于替代原先基于wext接口的iwconfig。iw源码可以在网址 https://www.kernel.org/pub/software/network/iw/ 获取,或者使用git命令从http://git.kernel.org/?p=linux/kernel/git/jberg/iw.git. 中下载。1、简单的nl80211程序i..._iw 源码

随便推点

cnn 预测过程代码_cnn+lstm和convlstm的区别-程序员宅基地

文章浏览阅读2.9k次,点赞3次,收藏11次。首先,我们需要知道,convlstm属于lstm的一种变体,我们平常常见的lstm结构:全称为FC-LSTM,因为Xt 和 Ht-1的部分都是直接走的全连接层:马东什么:LSTM的物理结构和一些细节​zhuanlan.zhihu.com之前写过了:可以看到,输入的部分,灰色的Xt和橙色的ht-1到四个门中间,分别是4个全连接层每一个小箭头都代表了一个全连接层。而convLSTM则是将这个全连接层使..._cnn-lstm和covlstm区别

什么是“驱动程序”_软件驱动程序是什么-程序员宅基地

文章浏览阅读534次。 驱动程序即添加到操作系统中的一小块代码,其中包含有关硬件设备的信息。有了此信息,计算机就可以与设备进行通信。 驱动程序是硬件厂商根据操作系统编写的配置文件,可以说没有驱动程序,计算机中的硬件就无法工作。 操作系统不同,硬件的驱动程序也不同,各个硬件厂商为了保证硬件的兼容性及增强硬件的功能会不断地升级驱动程序。如:Nvidia 显卡芯片公司平均每个月会升级显卡_软件驱动程序是什么

Java基础-03(选择结构)_如果张浩的java成绩大于98分,而且音乐成绩大于80分,则老师奖励他;或者如果其java-程序员宅基地

文章浏览阅读732次。public static void main(String[] args) { Scanner input = new Scanner(System.in); System.out.print("输入张浩的Java成绩: "); //提示输入Java成绩 int score = input.nextInt(); //从控制台获取张浩的Java成..._如果张浩的java成绩大于98分,而且音乐成绩大于80分,则老师奖励他;或者如果其java

FileNotFoundException: Temp\...\launcher.aab does not exist_unity filenotfoundexception-程序员宅基地

文章浏览阅读2.1k次,点赞3次,收藏5次。项目场景:Unity导出AAB文件错误。问题描述:错误信息如下:FileNotFoundException: Temp\gradleOut\launcher\build\outputs\bundle\release\launcher.aab does not existSystem.IO.File.Move (System.String sourceFileName, System.String destFileName) (at <9577ac7a62ef43179789031239b_unity filenotfoundexception

【毕业设计】基于stm32的智能婴儿车 婴儿床 系统 - 物联网 单片机_lm393声音传感器单片机开发-程序员宅基地

文章浏览阅读7.5k次,点赞19次,收藏147次。Hi,大家好,这里是丹成学长,今天向大家介绍一个 单片机项目于stm32的智能婴儿车 婴儿床大家可用于 课程设计 或 毕业设计单片机-嵌入式毕设选题大全及项目分享:https://blog.csdn.net/m0_71572576/article/details/125409052目前的能婴儿床使用的系统主要是结合组网技术、通信技术、检测技术、智慧控制水平于一体化运用到智能产品中。过去因为不同厂家运用不同通讯协议和技术指标,造成很多智能产品均采用集合布线综合系统或者电力载波传输系统。任何一种控制系统,核心部_lm393声音传感器单片机开发

python3使用saml2.0协议接入SSO_saml2.0 python-程序员宅基地

文章浏览阅读7.1k次,点赞3次,收藏10次。SAML(Security Assertion Markup Language)是一个 XML 框架,也就是一组协议,可以用来传输安全声明。比如,两台远程机器之间要通讯,为了保证安全,我们可以采用加密等措施,也可以采用 SAML 来传输,传输的数据以 XML 形式,符合 SAML 规范,这样我们就可以不要求两台机器采用什么样的系统,只要求能理解 SAML 规范即可。其核心是: IDP和SP通过..._saml2.0 python

推荐文章

热门文章

相关标签