【2023】hadoop基础介绍_hadoop参考文献2023-程序员宅基地

技术标签： python  数据分析  hadoop  分布式  大数据  

目录

Hadoop组成

hadoop安装教程可以看我这篇文章===> hadoop通过docker安装

  • HDFS组件：是Hadoop内的分布式存储组件，可以构建分布式文件系统用于数据存储。
  • MapReduce组件：MapReduce是Hadoop内分布式计算组件。提供编程接口供用户开发分布式计算程序。
  • YARN组件：YARN是Hadoop内分布式资源调度组件。可供用户整体调度大规模集群的资源使用。

HDFS

分布式存储：主从架构——架构角色

  • 主角色：Master（NameNode）
  • 从角色：Slave（DataNode）
  • 主角色的辅助角色：（SecondaryNameNode）
    • 处理合并edits为fsimage：会通过http从NameNode拉取数据（edits和fsimage），然后合并完成后提供给NameNode使用。

HDFS操作

  • HDFS文件系统基本信息

    操作命令添加协议头就会分别是对对应的系统执行，如果不带是会按照

    在这里插入图片描述

  • 操作命令

不同版本命令开头

# 老版本
hadoop fs 
# 新版本
hdfs dfs

在这里插入图片描述

命令使用在这里插入图片描述

  • 上传文件到hdfs文件系统中
# hdfs dfs -put linux路径 HDFS文件路径
hdfs dfs -put ./test2.test /

在这里插入图片描述

  • 下载HDFS文件到linux中
# hdfs dfs -get HDFS文件路径 linux路径
hdfs dfs -get /.test.txt /

在这里插入图片描述

  • 拷贝HDFS文件和移动
#拷贝文件
hdfs dfs -cp 源路径 粘贴路径

#移动文件
hdfs dfs -mv 源路径 粘贴路径

在这里插入图片描述

  • 追加数据到HDFS文件

    HDFS只能追加和删除，不能修改

htfs -dfs -appendToFile

在这里插入图片描述

  • 查看文件和删除文件
#查看文件内容
htfs -dfs -cat 文件
#删除文件和文件夹（删除文件不用加-r，删除文件夹需要加-r）
htfs dfs -rm -r 文件路径

删除文件看是否需要添加回收站

在这里插入图片描述

html查看文件

在这里插入图片描述

产品插件用于使用：Big Data Tools

在这里插入图片描述

配置插件

在这里插入图片描述

HDFS分布式文件存储

hdfs存储的管理单位是叫 block块

通过分布式的方式进行存储5，为了避免block块丢失，一般会进行冗余备份（通过添加副本块的方式备份），避免文件丢失

在这里插入图片描述

NameNode元数据

  • edits文件———流水帐文件

在这里插入图片描述

  • FSlmage文件———最终文件（保存最终结果）

在这里插入图片描述

  • 执行流程

在这里插入图片描述

数据读写流程

在进行读写时，会优先读写到网络距离最近的那台dataNode给客户端进行读写，实现读写的最优解。

  • 数据写入流程

在这里插入图片描述

在这里插入图片描述

  • 数据读取流程

    在这里插入图片描述

YARN和MapReduce

  • 分布式（数据）计算
    • 分散—>汇总模式
      1. 将数据分片，多台服务器负责一部分数据处理
      2. 然后将各种的数据进行汇总
    • 中心调度—>步骤执行模式
      1. 由一个节点作为中心调度管理者
      2. 将任务划分为几个具体步骤
      3. 管理者安排每个机器执行任务
      4. 最终得到结果数据

MapReduce：分布式计算

采用的是分散—>汇总模式进行分布式计算

提供了2个编程接口

  • Map：分散
  • Reduce：汇总

在这里插入图片描述

YARN：资源管控调度

将资源统一管控进行分配可以提供资源利用率

MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源
  • 所以,MapReduce需要YARN配合使用

YARN架构

YARN采用的也是主从架构

核心角色

  • ResourceManager：整个集群的资源调度者，负责协调调度各国程序所需要的资源。
  • NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用

辅助角色

  • ProxyServer：代理服务器
  • JobHistoryServer：历史服务器

在这里插入图片描述

YARN集群启动和停止命令（mapReduce无需启动任何进程）

#一键启动： 
$HADOOP_HOME/sbin/start-yarn.sh
#一键关闭
$HADOOP_HOME/sbin/stop-yarn.sh

#历史服务器启动和停止
mapred --daemon start｜stop historyserver

查看YARN的web页面通过8088端口

在这里插入图片描述

提交任务到YARN中运行

在这里插入图片描述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52315708/article/details/135279405

智能推荐

【生活问题】买房子，采光计算，还有一些生活教育感悟_北京是北纬40度,与南回归线纬度差63度26分。冬至太阳直射南回归线,正午太阳高度由-程序员宅基地

文章浏览阅读7.4k次。冬至，太阳直射南回归线，正午太阳高度由南回归线向南北递减，北京是北纬40度，与南回归线纬度差63度26分，所以北京正午太阳高度，即阳光与地的夹角为26度24分。注：冬至位置是南回归线，夏至是北回归线位置，中国在北回归线以北（所以我们的房子只有南面采光，太阳永远在我们南面）看图就能知道冬至时，太阳离中国位置最远，角度最小，采光最差，所以冬至这段时间，房屋采光如果可以的话，那全年采光没_北京是北纬40度,与南回归线纬度差63度26分。冬至太阳直射南回归线,正午太阳高度由

Docker consul的容器服务更新与发现

服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过接口访问。直到后来出现了多个节点的分布式架构，起初的解决手段是在服务前端负载均衡，这样前端必须要知道所有后端服务的网络位置，并配置在配置文件中。如果需要调用后端服务A-N，就需要配置N个服务的网络位置，配置很麻烦后端服务的网络位置变化，都需要改变每个调用者的配置既然有这些问题，那么服务注册与发现就是解决这些问题的。

vue2 实现echarts图表进入可视区域后再加载动画，以及 使用了resize之后，动画失效问题解决

是一个现代的浏览器 API，用于监测一个或多个目标元素与其祖先元素或视窗（viewport）之间的交叉状态（intersection）的变化。它可以有效地监听元素是否进入或离开可视区域，从而实现一些懒加载、无限滚动、图表加载等需求。

【Kotlin】Channel简介

Channel 是一个并发安全的阻塞队列，可以通过 send 函数往队列中塞入数据，通过 receive 函数从队列中取出数据。当队列被塞满时，send 函数将被挂起，直到队列有空闲缓存；当队列空闲时，receive 函数将被挂起，直到队列中有新数据存入。Channel 中队列缓存空间的大小需要在创建时指定，如果不指定，缓存空间默认是 0。

ORACLE LINUX 7.9 上安装 Caché数据库_cache数据库下载-程序员宅基地

ORACLE LINUX 7.9 上安装 Caché数据库。该文介绍了在LINUX上安装Caché数据库的步骤，包括下载安装介质和访问链接信息。

Matlab数据处理——数据的保存和读取方法操作_matlab中的 store-程序员宅基地

文章浏览阅读2.3k次。原文链接：https://blog.csdn.net/misayaaaaa/article/details/533964031：dlmwrite()函数保存成txt文件使用方法：dlmwrite('filename', M)使用默认分隔符“,”将矩阵M写入文本文件filename中；dlmwrite('filename', M, 'D')..._matlab中的 store

随便推点

OSPF虚链路配置及认证_ospf的vlink开认证-程序员宅基地

文章浏览阅读6.1k次，点赞5次，收藏14次。写在前面：虚链路被视为是骨干区域area0的一个延伸，因此如果在路由器上开启了area0的区域认证，那么要注意虚链路也要参与认证。1.网络拓扑图链接：https://pan.baidu.com/s/1SA7nmvomJziYq5x8U18gtA提取码：8888eNSP链接：https://pan.baidu.com/s/1wP0vHim4yqVV0bc0wmzhFw提取码：88882.网络需求a.R1、R2、R3及R4运行OSPF；b. 由于Area2未与Area0直连，因此网络中OSP_ospf的vlink开认证

Springcloud+ Springsecurity oauth2.0 + jwt简单实现认证_spring cloud oauth 2.0 enablewebsecurity-程序员宅基地

文章浏览阅读3.8k次。基于Springcloud+ Springsecurity oauth2.0 + jwt 实现一个认证授权手脚架一.用户的认证与授权什么是用户身份认证？用户身份认证即用户去访问系统资源时系统要求验证用户的身份信息，身份合法方可继续访问。常见的用户身份认 证表现形式有：用户名密码登录，指纹打卡等方式。什么是用户授权？用户认证通过后去访问系统的资源，系统会判断用户是否拥有访问资源的权限，只允..._spring cloud oauth 2.0 enablewebsecurity

DateTimePicker控件进行时间选择与显示_vb.net datetimepicker 怎么选时间-程序员宅基地

文章浏览阅读490次。1.格式化选python基础教程择时间Start_Time.Format = DateTimePickerFormat.Custom; Start_Time.CustomFormat = "yyyy-MM-dd-HH:mm";2.时间c#教程比较大小DateTime t1 = DateTime.Parse(Start_Time.Text.Trim());DateTime t2 = DateTime.Parse(End_Time.Text.Trim());if (DateTime.Compare_vb.net datetimepicker 怎么选时间

C++11：shared_ptr循环引用问题

详细介绍了引用循环出现的场景及为什么会出现引用循环，以及如何解决引用循环，引入了weak的概念。

Spring Boot的热部署工具“AND”Swagger测试工具

指的是在项目无需重启的情况下，只需要刷新页面，即可获得已经修改的样式或功能。要注意该工具一般用于开发环境，在生产环境中最好不要添加这个工具。对于无需重启便可刷新这么方便的工具，在项目中该如何使用：在spring boot 项目中使用工具的方法就是引入相关依赖，热部署工具的依赖如下：

SpringIoc的注入原理_springioc注入原理-程序员宅基地

文章浏览阅读589次。SpringBean的注入原理spring是在配置类需要指定扫描包,然后递归得到下面所有的文件;(springboot默认启动类和兄弟目录下面所有的包文件)包名+文件名=类全限定名;calss.from加载到内存当中,得到字节码(class);判断这个类的脑门上是否有注解(就是类的头顶上),有注解的话,就把这个类先put到Map里面(ResourcesMap和autowiredMap各一..._springioc注入原理

推荐文章

热门文章

相关标签