技术标签: hadoop2.2.0 hadoop centos6.4 centos
1)设置环境变量。在 ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh 中,添加 JAVA 安装目录,注意路径要改成自己jdk所在的路径,命令如下:export JAVA_HOME=/usr/local/jdk修改 conf 目录下的 mapred-site.xml、core-site.xml、yarn-site.xml 和 hdfs-site.xml 四个文件,在 <configuration> 与 </configuration> 之间添加的内容见下面的介绍。2)在 ${HADOOP_HOME}/etc/hadoop/ 下, 将 mapred-site.xml.templat 重命名成 mapred-site.xml(与hadoop1不同的地方),并添加以下内容:<property><name>mapreduce.framework.name</name><value>yarn</value></property>【解释】相比于 Hadoop1.0,用户无须再配置 mapred.job.tracker,这是因为 JobTracker相关实现已变成客户端的一个库(实际上在 Hadoop 2.0 中,JobTracker 已经不存在,它的功能由另外一个称为 MRAppMaster 的组件实现),它可能被随机调度到任何一个 slave 上,也就是它的位置是动态生成的。需要注意的是,在该配置文件中需用 mapreduce.framework.name 指定采用的运行时框架的名称,在此指定“yarn”。3)在 ${HADOOP_HOME}/etc/hadoop/ 中,修改 core-site.xml,为了简单,我们仍采用 Hadoop 1.0 中的 HDFS 工作模式(不配置 HDFS Federation), 修改后如下,其中要填自己的hostname,而端口好像不是确定的,待研究:<property><name>fs.default.name</name><value>hdfs://hostname: 8020</value></property>其中,YARN001 表示节点的 IP 或者 host。4)在 ${HADOOP_HOME}/etc/hadoop/ 中,修改 yarn-site.xml,修改后如下:<property><name>yarn.nodemanager.aux-services</name><value>mapreduce-shuffle</value></property>【解释】为了能够运行 MapReduce 程序,需要让各个 NodeManager 在启动时加载shuffle server,shuffle server 实际上是 Jetty/Netty Server,Reduce Task 通过该 server 从各个NodeManager 上远程复制 Map Task 产生的中间结果。上面增加的两个配置均用于指定 shuffleserver。5)修改 ${HADCOP_HOME}/etc/hadoop 中的 hdfs-site.xml 文件:<property><name>dfs.replication</name><value>1</value></property>【解释】默认情况下,HDFS 数据块副本数是 3,而在集群规模小于 3 的集群中该参数会导致出现错误,这可通过将 dfs.replication 调整为 1 解决。注意 如果你是在虚拟机中搭建 Hadoop 环境,且虚拟机经常关闭与重启,为了避免每次重新虚拟机后启动 Hadoop 时出现各种问题,建议在 core-site.xml 中将 hadoop.tmp.dir 属性设置为一个非 /tmp 目录,比如 /data 或者 /home/dongxicheng/data(注意该目录对当前用户需具有读写权限)。 我没有改注意 修改slaves文件,把node节点的机器名添加进去,如下图:
2.8.5启动 Hadoop。
在 Hadoop 安装目录中,按以下三步操作启动 Hadoop,我们单步启动每一个服务,以
便于排查错误,如果某一个服务没有启动成功,可查看对应的日志查看启动失败原因。
1) 格式化 HDFS,命令如下:
bin/hadoop namenode -format
2)启动 HDFS。你可以使用以下命令分别启动 NameNode 和 DataNode:
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
如果有多个 DataNode,可使用 hadoop-daemons.sh 启动所有 DataNode,具体命令如下:
sbin/hadoop-daemons.sh start datanode
你也可以使用以下命令一次性启动 NameNode 和所有 DataNode:
sbin/ start-dfs.sh
3)启动 YARN。你可以使用以下命令分别启动 ResourceManager 和 NodeManager:
sbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start nodemanager
如果有多个 NodeManager,可使用 yarn-daemon.sh 启动所有 NodeManager,具体命令如下:
sbin/yarn-daemon.sh start nodemanager
你也可以使用以下命令一次性启动 ResourceManager 和所有 NodeManager:
sbin/start-yarn.sh
通过如下 jps 命令查看是否启动成功:
dong@YARN001:/opt/hadoop/hadoop-2.0$ jps
27577 NameNode
30315 ResourceManager
27924 SecondaryNameNode
16803 NodeManager
可以在NameNode机器上面执行:hdfs dfsadmin -report 查看下DataNode是否连上NameNode:hdfs dfsadmin -report
如上图,就说明搭建成功了。如果jps看两台机器没问题,但是这里面Datanodes是0的话,说明DataNode没能连上,可以从它们各自的logs目录下看到日志文件。一般出现这个情况,都是操作系统环境的问题,防火墙没关,或者hosts文件设置不对。
文章浏览阅读2.1k次。手机邮箱注册技术分析及运用-如何用邮箱注册账号,请参考以下文章: https://blog.csdn.net/weixin_42828741/article/details/82625077本文主要讲述如何使用手机注册账号~目前了解到的服务商有以下几种: 阿里云短信 -腾讯云短信 -百度云SMS -容联云通讯(本文介绍的是这种)接入步骤(以容联云通讯为例测试) 1.注册开发..._手机号登录邮箱咋发验证码
文章浏览阅读1.1k次。1、登录企业微信管理后台 -- 创建企业内部应用 -- 填写logo和应用名称--配置域名 (与钉钉类似)这样ios在点击输入框的时候就不会出现页面被顶起来导致页面变形的问题了。3、配置首页可访问地址:打包到线上的路径(注意配置正式环境和本地环境)2、安装对应的插件和依赖。axios、router、scss等。2、上传内部应用logo和名字。注意需要添加可访问域名的配置。开发上线后会遇到很多有关安卓和ios的兼容性问题。4、在所在公司的工作台搜索应用名称即可。如果不添加配置会自动跳转到线上的地址。_做个app用于钉钉和企业微信用什么编程软件
文章浏览阅读255次。https://github.com/easy-mock/easy-mock常用linux命令查看端口占用情况netstat -lnpt |grep 80netstat -an|grep 7301系统管理角色,里面切换rootsudo su -查找一个叫 app 的进程ps -ef|grep app杀掉进程kill -9 pid1、安装nodejs 一定要安装8..._easymock部署在centos7中 不能访问
文章浏览阅读734次。二、EventLoop机制LibRIL负责接收来自RILJ的数据,并传递给ReferenceRIL。实现这一功能的主要机制就是EventLoop机制。 分析LibRIL主要就是分析EventLoop。2.1 EventLoop相关预备知识2.1.1 EventLoop中的Event在ril_event.h头文件中可以看到ril_event的结构体定义//定义Event回调函数指针typedef_rild_event
文章浏览阅读122次。公司使用 mailman 来显示 patch,mailman 显示的改动只有一堆黑白文字,难以辨认。有时候还把 patch 当成文件再 git add 一遍后再生成一个新的 patch,这时候对于原来 patch 的代码改动来说,整个 patch 都是新增代码,就更加难以看出改动在哪,给 review patch 带来不必要的不便。有天我想可不可以做成跟 github 一样,至少增删有不..._diff2htmlui
文章浏览阅读3k次,点赞2次,收藏15次。文章目录智能指针作为信号参数QSharedPointer智能指针作为信号参数/*! connect a module to the event bus*/Q_DECLARE_METATYPE( QSharedPointer<GitlEvent> )bool GitlEventBus::registerModule(GitlModuleDelegate* pcModule){ qRegisterMetaType< QSharedPointer<GitlEve_qsharedpointer 引用自定义类型
文章浏览阅读891次。[lingyun@localhost chdir]$ lschdir.c[lingyun@localhost chdir]$ cat chdir.c/********************************************************************************** Copyright: (C) 2013 fulinux* ..._linux chdir 函数
文章浏览阅读1.5k次。开发环境要求本系统的软件开发及运行环境具体如下。操作系统:Windows 7、Windows 10。Python版本:Python 3.7.0。开发工具:Python IDLE。运行方法在项目文件studentsystem.py上单击鼠标右键,在弹出快捷菜单中选择“Edit with IDLE\Edit with IDLE 3.7(64-bit)”菜单项,如图1所示。在打开的Python Shel..._python从键盘输入 n 个学生信息,包括学号、姓名、成绩。保存到 e:\students.txt
文章浏览阅读826次,点赞12次,收藏22次。随着社会的发展,系统的管理形势越来越严峻。越来越多的用户利用互联网获得信息,但各种信息鱼龙混杂,信息真假难以辨别。为了方便用户更好的获得工厂生产设备维护信息,因此,设计一种安全高效的工厂生产设备维护管理系统极为重要。为设计一个安全便捷,并且使用户更好获取工厂生产设备维护信息,本文主要有安全、简洁为理念,实现用户快捷寻找工厂生产设备维护信息,从而解决工厂生产设备维护信息复杂难辨的问题。该系统采用java语言、Spring Boot框架和mysql数据库进行开发设计,通过对。
文章浏览阅读708次。mysql 基准测试_mysql基准测试
文章浏览阅读1.4k次。展开全部1、八进制化为32313133353236313431303231363533e78988e69d8331333366306436十进制:例:将八进制数12转换成十进制数 2、八进制化为二进制:规则:按照顺序,每1位八进制数改写成等值的3位二进制数,次序不变。例: (17.36)8 = (001 111 .011 110)2 = (1111.01111)23、八进制化为十六进制先..._两个八进制相加
文章浏览阅读1k次,点赞30次,收藏15次。例程涵盖:STM32各类功能配置,外围传感器初始化,模块初始化,物联网协议,操作系统移植,功能开发,产品案例等等,十分具有参考价值。_基于stm32f103单片机的经典应用实例源码合集(76例)