大数据学习第三章-Hadoop运行环境搭建_hosts里面没有hadoop1-程序员宅基地

技术标签: Hadoop  hadoop  大数据  

1.Hadoop运行环境搭建

1.1 虚拟机网络设置

1.进入 Linux 系统查看本机的主机名。通过 hostname 命令查看。
[root@localhost ~]# hostname
localhost.localdomain
2. 如果此时需要修改主机名则可以按照如下的方式进行修改

范例1:临时修改主机名称为Hadoop01 hostname hadoop01 重启之后失效
范例2:永久修改主机名称为Hadoop01
在这里插入图片描述
[hadoop01@hadoop01 ~]$vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop01
保存wq
3. 在修改完主机名称之后,需要编辑/etc/hosts 文件需要把主机名称与IP地址(虚拟机的ip地址)进行映射
在这里插入图片描述
vi /etc/hosts 在该文件下添加如下内容
192.168.28.128 hadoop01

1.2 关闭防火墙

1)service iptables stop 关闭防火墙

2)chkconfig iptables off 永久关闭防火墙启动

3)chkconfig iptables --list 查看防火墙开机启动状态

1.3 规划软件安装目录

在这里插入图片描述
1)创建安装包的保存目录,以及安装目录

mkdir -p /opt/software 保存软件的安装包

mkdir -p /opt/app 软件的安装了路径

2.安装jdk环境

2.1 首先先把jdk的安装包上传到software 文件夹下,之后解压缩对其安装到app目录
tar -zvxf jdk-8u181-linux-x64.tar.gz -C /opt/app
2.2 配置JDK环境变量
首先获取JDK的安装路径
[hadoop@hadoop01 jdk1.8.0_181]$ pwd
/opt/soft/jdk1.8.0_181
接下来打开 /etc/profile 文件进行环境变量的设置

vi /etc/profile

在 profie 文件末尾添加 jdk 路径:

#JAVA_HOME

export JAVA_HOME=/data/jdk1.8.0_181
export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAHOME/bin:PATH

保存后推出 :wq
完成以上的操作之后,配置文件并不能立即生效,需要使用到如下命令,使配置文件立即生效

[hadoop@hadoop01 jdk1.8.0_181]$ source /etc/profile

之后测试JDK环境变量是否配置成功,使用如下命令输出JDK的版本信息

[hadoop@hadoop01 jdk1.8.0_181]$ java -version
java version “1.8.0_181”
Java SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot 64-Bit Server VM (build 25.181-b13, mixed mode)

如果能看到如上的信息,说明JDK的环境变量已经配置成功

3. 安装Hadoop环境

1.下载Hadoop linux安装包
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
(同jdk一样解压缩到/opt/app/)
在这里插入图片描述
解压成功之后,hadoop的安装目录结构如下:

bin:Hadoop最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用hadoop

etc:Hadoop配置文件所在目录,包括core-site.xml, hdfs-site.xml, mapred-site.xml等从hadoop1.0继承而来的配置文件和yarn-site.xml等hadoop 2.0新增的配置文件

include:对外提供的编程酷头文件(具体动态库和静态库在lib目录中),这些头文件均是用c++定义的,通常用于c++程序访问hdfs或者编写mapreduce程序

lib:该目录包含了Hadoop对外提供的的编程动态库和静态库,与include目录中的头文件结合使用。

libexec:各个服务对应的shell配置文件所在目录,可用于配置日志输出目录,启动参数(比如JVM参数)等基本信息。

sbin:Hadoop管理脚本所在目录,主要包含HDFS和YARN中各类服务的启动/关闭脚本

share:Hadoop各个模块编译后的jar包所在目录
2.使用chown 命令修改用户与用户组权限
在这里插入图片描述
chown -R hadoop:hadoop /opt/soft/hadoop-2.7.2/
3.完成了以上的配置之后,我们接下来首先需要配置如下文件
hadoop-env.sh: 用于hadoop的环境变量配置文件

export JAVA_HOME=/opt/soft/jdk1.8.0_181
在这里插入图片描述
到这一步,说明基本的运行环境已经搭建完成了

4.运行官方案例

Hadoop的运行模式,分为以下几种:

1) 本地模式(默认模式)

不需要启用单独进程,直接可以运行,测试和开发时使用。

2)伪分布模式

等同于完全分布式,只有一个节点。

3)完全分布式模式

多个节点一起运行。

4.1 本地运行Hadoop官方案例Grep

对于这个案例来说,主要的作用就是,在一堆文件中与规定的正则表达式进行匹配,把匹配成功的单词出现的次数,进行统计
对于这个案例来说,主要的作用就是,在一堆文件中与规定的正则表达式进行匹配,把匹配成功的单词出现的次数,进行统计

 在hadoop根目录下创建一个文件夹input
  $ mkdir input
  将hadoop的xml配置文件复制到input
  $ cp etc/hadoop/*.xml input
  执行share目录下的mapreduce程序
  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
  查看输出结果
  $ cat output/*

以上为官网上给出的案例代码

从以上的案例代码可以得出,首先需要创建一个目录,用于存放需要统计的文件,而对于统计结果的保存目录则不用以前创建,注意:Hadoop中输出结果的目录是不能提前存在的

4.2 运行官方wordcount案例

1) 在hadoop根目录中创建用于保存统计文件的wcinput目录

[hadoop@hadoop01 hadoop-2.7.2]$ mkdir wcinput

  1. 在 wcinput 文件下创建一个 wordcount.txt 文件

[hadoop@hadoop01 wcinput]$ vi worldcount.txt

hello   java    world   input
hadoop  hive    zookeeper       java
world   input   hello   hadoop
hbase   zookeeper       sqoop
  1. 执行wordcount案例程序

[hadoop@hadoop01 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

4) 查看结果

[hadoop@hadoop01 hadoop-2.7.2]$ cat wcoutput/part-r-00000
hadoop 2
hbase 1
hello 2
hive 1
input 2
java 2
sqoop 1
world 2
zookeeper 2

4.3 伪分布式运行Hadoop案例
4.3.1 启动 HDFS 并运行 MapReduce 程序

对于伪分布式安装来说,需要配置自定义的配置文件,用于启动hdfs,以及yarn

  1. 配置core-site.xml 配置文件,内容如下
<configuration>
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:8020</value>
</property>

<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/app/hadoop-2.7.2/data/tmp</value>
 </property>
</configuration>

配置HDFS的对外的访问路径,并且配置hadoop临时保存目录

2 ) 配置hdfs-site.xml 配置文件


<configuration>
	<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

以上的配置,把hdfs 文件块的副本复制的数量设置1 由于在伪分布式环境中,必须设置为1

完成以上的步骤,就可以对HDFS 文件进行格式化操作,命令如下

[hadoop@hadoop01 hadoop-2.7.2]$ bin/hadoop namenode -format

INFO common.Storage: Storage directory /tmp/hadoop-hadoop/dfs/name
has been successfully formatted.

出现如上的信息,说明格式化成功

格式化成功之后,就可以分别启动,HDFS 的相关进程

1) 启动namenode

sbin/hadoop-daemon.sh start namenode
  1. 启动 datanode
sbin/hadoop-daemon.sh start datanode

启动namenode 与 datanode之后,可以通过web的方式进行访问(前提必须关闭防火墙)

http://10.0.153.228:50070/explorer.html#/

完成以上的操作之后,就可以通过操作HDFS 进行文件的上传并且在HDFS文件系统上对文件进行分析

4.3.2 在Yarn上运行MapReduce程序

首先需要在mapred-site.xml 配置文件,配置如下信息

<configuration>
	<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

接下来在yarn-site.xml 配置文件进行如下配置

<configuration>

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
  </property>

</configuration>

配置完以上的配置之后,可以使用如下命令启动yarn的进行

  1. resoucemanager
[hadoop@hadoop01 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
  1. nodemanager
[hadoop@hadoop01 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

启动成功之后,可以通过jps 查看进程是否启动成功

[hadoop@hadoop01 hadoop-2.7.2]$ jps
5139 Jps
29783 DataNode
29497 NameNode
4766 ResourceManager
5039 NodeManager

执行jps命令之后,可以发现进程中存在ResourceManager与NodeManager两个进程
启动成功之后,就可以通过web浏览器的方式进行查看

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_42694286/article/details/106769512

智能推荐

超全面 struts2 复习总结笔记_struts2框架有哪些内容-程序员宅基地

文章浏览阅读6.8k次,点赞13次,收藏44次。前言What ? 最近怎么开始写后端的博客了? 从去年开始就经常看到别人提“移动开发寒冬”,而年初投简历的时候更是亲身体会,不写3年经验连面试机会都没有,那么没有经验或经验少的人能怎么办呢,从一开就找不到工作怎么可能会有经验? 然而绝望并没有用,我算运气好,勉强找到一份工作。从趋势来看,近几年移动开发待遇不会很好,今年发现到处缺后端,于是决定还是搞后端吧,因为搞安卓不过一年,后端的知识还没忘完(_struts2框架有哪些内容

手机测试移动网速的软件,移动测试网速(中国移动在线测速)-程序员宅基地

文章浏览阅读1.2w次。1.手机性能,支持的网络是什么,2G上网有显示G或E,E时网络连接速度较快,这要看手机里有哪种上网模块。2.运营商,网络覆盖问题,一般移动的E网较多,联通的较少.您好,宽带测速网址:http://www.sc.10086.cn/kdcs/kdcs.x手机测速软件是“测速大师”,他不仅可以让你能够轻松测速手机移动网络的速度同时还支持手机wifi测速,而且操作方便,结果准确,是一款非常不错的手机应用软..._10086gscn测速

wget使用proxy的配置-程序员宅基地

文章浏览阅读6.1k次。在~/.wgetrc中设定代理http_proxy = http://ip_or_domainname:80/ftp_proxy = http://ip_or_domainname:80/use_proxy...

Linux服务器下oracle数据库启动服务操作步骤_linux启动oracle数据库-程序员宅基地

文章浏览阅读1.1w次,点赞5次,收藏45次。一、在Linux下启动Oracle1.登录到Linux服务器,切换到oracle用户权限(命令是:# su –l oracle)2.进入sqlplus界面(命令是:$ sqlplus /nolog 或 sqlplus / as sysdba)原本的画面会变为SQL>接着请输入SQL>conn / as sysdba ;输入SQL> startup (作用:启动数据库实例)另外停止数据库的指令如下:SQL> shutdown immediate复制代码1 [o_linux启动oracle数据库

html5 shadowblur,使用canvas的shadowColor和shadowBlur方法来实现的圆球发光特效-程序员宅基地

文章浏览阅读400次。JavaScript语言:JaveScriptBabelCoffeeScript确定(function() {var canvasBody = document.getElementById("canvas"),canvas = canvasBody.getContext("2d"),w = canvasBody.width = window.innerWidth,h = canvasBody.h...

二分模板_二分 模板-程序员宅基地

文章浏览阅读955次。据说,只有10%10\%10%的程序员能把二分写对算法思路:假设目标值在闭区间[l,r][l, r][l,r]中, 每次将区间长度缩小一半,当l=rl = rl=r时,我们就找到了目标值。第一种:当我们将区间[l,r][l, r][l,r]划分成[l,mid][l, mid][l,mid]和[mid+1,r][mid + 1, r][mid+1,r]时,其更新操作是r=midr = mi..._二分 模板

随便推点

java 字符串从后向前_Java String字符串总结-程序员宅基地

文章浏览阅读2.5k次。前面我们总结了数组操作,这里我们将总结字符串相关的知识,除了总结String的API用法,同时我们还会总结一些相关的知识点,包括字符串常量池、StringBuffer、StringBuilder,以及equals和==的用法。一、String的用法String类在java.lang包中,java使用String类创建一个字符串变量,字符串变量属于对象。java把String类声明的final类,不...

retrofit2设置超时,Retrofit2 SocketTimeOutException-程序员宅基地

文章浏览阅读695次。I setup for Retrofit:private Interceptor interceptor = new Interceptor() {@Overridepublic Response intercept(Chain chain) throws IOException {Request request = chain.request();if (!NetworkUtil.isNetwo..._retrofit2 timeout

Unreal 入门-Unreal 基础知识。_unreal executeconsolecommand-程序员宅基地

文章浏览阅读1.3k次。GameStates通常包括有 游戏分数,比赛是否开始,根据玩家数量生成多少AI 以及其他游戏相关的信息。通常每个玩家机器都有一个GameState实例,服务器实例是最权威的。PlayerState是游戏中参与者的状态,比如玩家或者AI通常包括玩家名称,分数,当前所在关卡,生命值是否死亡等状态。多人游戏中,Play_unreal executeconsolecommand

一起学 Spring 之 RestTemplate_resttemplate课程-程序员宅基地

文章浏览阅读172次。一起学 Spring 之 RestTemplate文章目录一起学 Spring 之 RestTemplate前言认识 `RestTemplate`实战 `RestTemplate`1. 生成 Demo 项目,导入 IDE2. 编写请求控制器类 ProductController3. 编写测试类用 RestTemplate 发送 HTTP 请求GET 请求POST 请求DELETE 请求 和 PU..._resttemplate课程

在VS2010中使用Qt编程,_vs2010对应qt-程序员宅基地

文章浏览阅读5.2k次。一、安装所需软件 1. 下载安装VS2008; 2. 下载qt-win-opensource-4.7.0-vs2008.exe,并安装。这里我们假设安装在C:\Qt4.7.0下; 3. 下载qt-vs-addin-1.1.7.exe,并安装。 这三个软件安装好后,在VS的菜_vs2010对应qt

Table with Letters-2(CF-253D)_cf 253d-程序员宅基地

文章浏览阅读196次。Problem DescriptionVasya has recently started to learn English. Now he needs to remember how to write English letters. He isn't sure about some of them, so he decided to train a little.He found a..._cf 253d