hadoop重命名文件_hadoop的常用命令指南-程序员宅基地

技术标签: hadoop重命名文件  

1.start-all.sh开启线程

hadoop fs -ls hdfs://cloud4:9000/user (cloud4表示主机名9000代表端口号/就代表根目录/user就是user文件夹)

hadoop fs -ls /user(hdfs://cloud4:9000可省略)

2. -ls/-lsr 查看目录下的文件信息

hadoop fs -ls /查看根目录下文件与文件夹

hadoop fs -lsr /递归查看根目录下所有文件与文件夹

hadoop fs -ls默认查看hdfs下的/user/例如:/user/root  (很方便的)

3. –touchz 创建文件

可以创建一个文件

hadoop fs -touchz /hello  (创建一个hello文件)

4. –mkdir 创建文件夹

(linux中创建多级目录mkdir –p   p表示parents)

可以创建一个或者多个文件夹(hadoop则不需要-p)

hadoop fs -mkdir /user  (创建一个user文件夹)

5. -text/-cat查看文件内容

hadoop fs -text /hello

hadoop fs -cat /hello

6. -mv 移动/重命名

该命令选项表示移动hdfs的文件到指定的hdfs目录中。后面跟两个路径,第一个表示源文件,第二个表示目的目录

hadoop fs -mv /hello /user(文件到文件夹:是移动)

hadoop fs -mv /hello /user/hello(文件到文件:是重命名)

7. -cp 复制

该命令选项表示复制hdfs指定的文件到指定的hdfs目录中。后面跟两个路径,第

一个是被复制的文件,第二个是目的地

hadoop fs -cp /user/hello /user/root

8. -rm/-rmr 删除文件

-rm:删除文件/空白文件夹

该命令选项表示删除指定的文件或者空目录

hadoop fs -rm /user/hello

-rmr:递归删除

该命令选项表示递归删除指定目录下的所有子目录和文件

hadoop fs -rm /user

9. -put 上传文件

该命令选项表示把linux上的文件复制到hdfs中

hadoop fs -put hadoop-env.sh /user

将当前linux目录下的hadoop-env.sh文件,上传到/user(hdfs服务器上的user目录下)

hadoop fs -put hadoop-env.sh  /你叫起的名字(hello—文件名)

例如:hadoop fs -put hadoop-env.sh /hello

10.-copyFromLocal 从本地复制

用法与-put一样

hadoop fs -copyFromLocal hadoop-env.sh /user

11 -moveFromLocal从本地移动

该命令表示把文件从linux上移动到hdfs中

hadoop fs -moveFromLocal /home/repine/hehe.txt /user

12. -getmerge 合并下载到本地

该命令选项的含义是把hdfs指定目录下的所有文件内容合并到本地linux的文件中

hadoop fs -getmerge /user /home/repine/abc.txt表示把user目录下所有文件内容复制到linux下/home/repine/abc.txt中

13. -setrep/-setrep -R/-setrep -R -w 设置副本数量

该命令选项是修改已保存文件的副本数量,后面跟副本数量,再跟文件路径

hadoop fs -setrep 2 /user/hehe.txt设置/user/hehe.txt副本数量为2

如果最后的路径表示文件夹,那么需要跟选项-R,表示对文件夹中的所有文件都修改副本

hadoop fs -setrep -R 2 /user设置/user下所有文件(不是文件夹)的副本数量为2

还有一个选项是-w,表示等待副本操作结束才退出命令

hadoop fs -setrep -R -w 1 /user/hehe.txt

14. -du统计目录下个文件大小

hadoop fs -du /查看根目录下的各个文件的大小

hadoop fs -dus /汇总统计目录下所有文件的总大小(也就是当前文件夹的大小)

15.-count统计文件(夹)数量

hadoop fs -count /usr递归统计当前文件下的所有信息:数字代表(文件夹总数量、文件总数量、文件总大小信息)

hadoop fs -lsr /usr验证信息

16. –chmod/-chmod -R 修改文件权限

该命令选项的使用类似于linux的shell中的chmod用法,作用是修改文件的权限

hadoop fs - chmod 777 /user/hehe.txt修改该文件的权限

如果加上选项-R,可以对文件夹中的所有文件修改权限

hadoop fs – chmod -R 777 /user修改该文件夹下所有文件的权限

17. hadoop jar 导jar在命令行运行

//打包运行程序必备宝典

job.setJarByClass(WordCountApp.class);

在linux下 :

hadoop jar    /linux下路径/XXX.jar     /hadoop执行jar的文件或者文件夹/hadoop下存放目录

18、报告HDFS的基本统计信息

bin/hadoop dfsadmin -report

19、安全模式

bin/hadoop dfsadmin -safemode leave/enter/get/wait

20、将HDFS中的文件复制到本地系统中

bin/hadoop dfs -get in getin

将HDFS中的in文件复制到本地系统并命名为getin

转自:http://my.oschina.net/repine/blog/268278#OSC_h2_2

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_32491255/article/details/112833706

智能推荐

【实用工具】Visio画时序图组件_visio画fpga时序图-程序员宅基地

文章浏览阅读4.9k次,点赞4次,收藏14次。Visio画时序图组件,实用方法很简单,下载,解压,然后放到一个固定的位置,Visio默认的查找位置为“D:\用户目录\我的文档\我的形状”然后打开Visio,选择更多形状,我的形状,一般就添加进来了,没有添加的话,点击“组织我的形状”,看看下面有没有vss格式的三个文件,如果有的话,关掉重开就有了。..._visio画fpga时序图

cd如何省略空格 linux_如何用Linux 终端指令打开带有空格或特殊符号的目录-程序员宅基地

文章浏览阅读395次。在Linux下使用终端指定打开文件夹,提示目录名称中包含语法错误,此时可以有两个选择:1、按照Linux推荐的文件命名规范,对文件夹名进行修改;2、使用转义符 \;3、成对使用双引号 "";Linux文件命名规范简介Linux系统区分英文字符的大小写。命名目录和命名文件的规则是相同的。除非有特别的原因否则用户创建的文件和目录名要使用小写字符。大多数的Linux命令也使用小写字符。Linux系统下..._linux指令cd进到指定目录,目录有特殊字符

Calendar_import calendar-程序员宅基地

文章浏览阅读161次。Calendar代码:public class Demo01Calendar {public static void main(String[] args) { Calendar c=Calendar.getInstance();//多态。//获取日历信息 System.out.println(c); System.out.println(c.get(Calendar..._import calendar

【漫谈】人工智能那些事儿:还很弱小,但怀期待-程序员宅基地

文章浏览阅读186次。关注:决策智能与机器学习,一篇文章Get一个知识点回顾自从1956年达特茅斯人工智能夏季研讨会首次提出“人工智能”的概念以来,两起两落,到现在第三次浪潮,人工智能已经可以算是完成特定任...

tensorflow/stream_executor/cuda/cuda_dnn.cc:378] Loaded runtime CuDNN library: 7301--2019.5.12-程序员宅基地

文章浏览阅读7.9k次,点赞2次,收藏5次。安装的cudnn的版本是7.1.0.3,而要求的cudnn版本是7.3.0.0。将tensorflow版本从1.5换成1.8,顺利运行程序(升级tensorflow版本来解决)ll 命令查看 连接 /usr/local/cuda/lib64下 把对应的 libcudnn.so.7,3,1连到 libcudnn.so.7 在连到libcudnn.sosudo ln -sf li..._tensorflow/stream_executor/cuda/cuda_dnn.cc:378] loaded runtime cudnn librar

SQL——limit和offset的用法_sql limit-程序员宅基地

文章浏览阅读2k次。【代码】SQL——limit和offset的用法。_sql limit

随便推点

linux-001之头文件signal.h_signal.h头文件-程序员宅基地

文章浏览阅读3.5k次,点赞2次,收藏7次。#ifndef _SIGNAL_H#defing _SIGNAL_H#includetypedef int sig_atomic_t;typedef unsigned int sigset_t;#define _NSIG 32 //定义信号#define NSIG _NSIG#define SIGHUP 1 //hang up 挂断控制终端或进程_signal.h头文件

Java程序设计2023-第四次上机练习_java 上机题-程序员宅基地

文章浏览阅读217次。java 实现三子棋,随机绘制图像,猜数游戏_java 上机题

使用NFS自动挂载文件系统_nfs设置账号密码挂载-程序员宅基地

文章浏览阅读186次。使用NFS自动挂载文件系统便利性大大增强,首先连接网线,传输数据,此外保证服务器和单板能够ping的通。单板上电(开发板已经烧录有u-boot和内核),任意键中止boot进程,q退出菜单,输入print,更改“bootargs=noinitrd root=/dev/mtdblock3 init=/linuxrc console=ttySAC0,115200”这一句。使用 set bootarg..._nfs设置账号密码挂载

使用JAVA获取KAFKA中指定TOPIC的OFFSET-程序员宅基地

文章浏览阅读1.4k次。2019独角兽企业重金招聘Python工程师标准>>> ..._java 通过kafka jmx mbeanserverconnection 获取offset

数论 - 容斥原理-程序员宅基地

文章浏览阅读291次,点赞2次,收藏2次。在计数时,必须注意没有重复,没有遗漏。为了使重叠部分不被重复计算,人们研究出一种新的计数方法,这种方法的基本思想是:先不考虑重叠的情况,把包含于某内容中的所有对象的数目先计算出来,然后再把计数时重复计算的数目排斥出去,使得计算的结果既无遗漏又无重复,这种计数的方法称为容斥原理

goto的应用举例及详解_goto使用-程序员宅基地

文章浏览阅读4.1k次,点赞16次,收藏12次。从理论上 goto语句是没有必要的,实践中没有goto语句也可以很容易的写出代码。但是某些场合下goto语句还是用得着的,最常见的用法就是终止程序在某些深度嵌套的结构的处理过 程。从上我们可以看出,goto语句真正适合的引用场景其实就是:当我们写了很多for循环时,我们需要写很多个break来跳出来for循环时,我们可以直接用goto语句来跳出for循环。综上,我们需要了解goto语句就行,但是goto语句的应用场景不是很多,提及的时候我们还是要会运用。下面我们来简单的写一个有趣的关机小程序。_goto使用

推荐文章

热门文章

相关标签