技术标签: hadoop重命名文件
1.start-all.sh开启线程
hadoop fs -ls hdfs://cloud4:9000/user (cloud4表示主机名9000代表端口号/就代表根目录/user就是user文件夹)
hadoop fs -ls /user(hdfs://cloud4:9000可省略)
2. -ls/-lsr 查看目录下的文件信息
hadoop fs -ls /查看根目录下文件与文件夹
hadoop fs -lsr /递归查看根目录下所有文件与文件夹
hadoop fs -ls默认查看hdfs下的/user/例如:/user/root (很方便的)
3. –touchz 创建文件
可以创建一个文件
hadoop fs -touchz /hello (创建一个hello文件)
4. –mkdir 创建文件夹
(linux中创建多级目录mkdir –p p表示parents)
可以创建一个或者多个文件夹(hadoop则不需要-p)
hadoop fs -mkdir /user (创建一个user文件夹)
5. -text/-cat查看文件内容
hadoop fs -text /hello
hadoop fs -cat /hello
6. -mv 移动/重命名
该命令选项表示移动hdfs的文件到指定的hdfs目录中。后面跟两个路径,第一个表示源文件,第二个表示目的目录
hadoop fs -mv /hello /user(文件到文件夹:是移动)
hadoop fs -mv /hello /user/hello(文件到文件:是重命名)
7. -cp 复制
该命令选项表示复制hdfs指定的文件到指定的hdfs目录中。后面跟两个路径,第
一个是被复制的文件,第二个是目的地
hadoop fs -cp /user/hello /user/root
8. -rm/-rmr 删除文件
-rm:删除文件/空白文件夹
该命令选项表示删除指定的文件或者空目录
hadoop fs -rm /user/hello
-rmr:递归删除
该命令选项表示递归删除指定目录下的所有子目录和文件
hadoop fs -rm /user
9. -put 上传文件
该命令选项表示把linux上的文件复制到hdfs中
hadoop fs -put hadoop-env.sh /user
将当前linux目录下的hadoop-env.sh文件,上传到/user(hdfs服务器上的user目录下)
hadoop fs -put hadoop-env.sh /你叫起的名字(hello—文件名)
例如:hadoop fs -put hadoop-env.sh /hello
10.-copyFromLocal 从本地复制
用法与-put一样
hadoop fs -copyFromLocal hadoop-env.sh /user
11 -moveFromLocal从本地移动
该命令表示把文件从linux上移动到hdfs中
hadoop fs -moveFromLocal /home/repine/hehe.txt /user
12. -getmerge 合并下载到本地
该命令选项的含义是把hdfs指定目录下的所有文件内容合并到本地linux的文件中
hadoop fs -getmerge /user /home/repine/abc.txt表示把user目录下所有文件内容复制到linux下/home/repine/abc.txt中
13. -setrep/-setrep -R/-setrep -R -w 设置副本数量
该命令选项是修改已保存文件的副本数量,后面跟副本数量,再跟文件路径
hadoop fs -setrep 2 /user/hehe.txt设置/user/hehe.txt副本数量为2
如果最后的路径表示文件夹,那么需要跟选项-R,表示对文件夹中的所有文件都修改副本
hadoop fs -setrep -R 2 /user设置/user下所有文件(不是文件夹)的副本数量为2
还有一个选项是-w,表示等待副本操作结束才退出命令
hadoop fs -setrep -R -w 1 /user/hehe.txt
14. -du统计目录下个文件大小
hadoop fs -du /查看根目录下的各个文件的大小
hadoop fs -dus /汇总统计目录下所有文件的总大小(也就是当前文件夹的大小)
15.-count统计文件(夹)数量
hadoop fs -count /usr递归统计当前文件下的所有信息:数字代表(文件夹总数量、文件总数量、文件总大小信息)
hadoop fs -lsr /usr验证信息
16. –chmod/-chmod -R 修改文件权限
该命令选项的使用类似于linux的shell中的chmod用法,作用是修改文件的权限
hadoop fs - chmod 777 /user/hehe.txt修改该文件的权限
如果加上选项-R,可以对文件夹中的所有文件修改权限
hadoop fs – chmod -R 777 /user修改该文件夹下所有文件的权限
17. hadoop jar 导jar在命令行运行
//打包运行程序必备宝典
job.setJarByClass(WordCountApp.class);
在linux下 :
hadoop jar /linux下路径/XXX.jar /hadoop执行jar的文件或者文件夹/hadoop下存放目录
18、报告HDFS的基本统计信息
bin/hadoop dfsadmin -report
19、安全模式
bin/hadoop dfsadmin -safemode leave/enter/get/wait
20、将HDFS中的文件复制到本地系统中
bin/hadoop dfs -get in getin
将HDFS中的in文件复制到本地系统并命名为getin
转自:http://my.oschina.net/repine/blog/268278#OSC_h2_2
文章浏览阅读4.9k次,点赞4次,收藏14次。Visio画时序图组件,实用方法很简单,下载,解压,然后放到一个固定的位置,Visio默认的查找位置为“D:\用户目录\我的文档\我的形状”然后打开Visio,选择更多形状,我的形状,一般就添加进来了,没有添加的话,点击“组织我的形状”,看看下面有没有vss格式的三个文件,如果有的话,关掉重开就有了。..._visio画fpga时序图
文章浏览阅读395次。在Linux下使用终端指定打开文件夹,提示目录名称中包含语法错误,此时可以有两个选择:1、按照Linux推荐的文件命名规范,对文件夹名进行修改;2、使用转义符 \;3、成对使用双引号 "";Linux文件命名规范简介Linux系统区分英文字符的大小写。命名目录和命名文件的规则是相同的。除非有特别的原因否则用户创建的文件和目录名要使用小写字符。大多数的Linux命令也使用小写字符。Linux系统下..._linux指令cd进到指定目录,目录有特殊字符
文章浏览阅读161次。Calendar代码:public class Demo01Calendar {public static void main(String[] args) { Calendar c=Calendar.getInstance();//多态。//获取日历信息 System.out.println(c); System.out.println(c.get(Calendar..._import calendar
文章浏览阅读186次。关注:决策智能与机器学习,一篇文章Get一个知识点回顾自从1956年达特茅斯人工智能夏季研讨会首次提出“人工智能”的概念以来,两起两落,到现在第三次浪潮,人工智能已经可以算是完成特定任...
文章浏览阅读7.9k次,点赞2次,收藏5次。安装的cudnn的版本是7.1.0.3,而要求的cudnn版本是7.3.0.0。将tensorflow版本从1.5换成1.8,顺利运行程序(升级tensorflow版本来解决)ll 命令查看 连接 /usr/local/cuda/lib64下 把对应的 libcudnn.so.7,3,1连到 libcudnn.so.7 在连到libcudnn.sosudo ln -sf li..._tensorflow/stream_executor/cuda/cuda_dnn.cc:378] loaded runtime cudnn librar
文章浏览阅读2k次。【代码】SQL——limit和offset的用法。_sql limit
文章浏览阅读3.5k次,点赞2次,收藏7次。#ifndef _SIGNAL_H#defing _SIGNAL_H#includetypedef int sig_atomic_t;typedef unsigned int sigset_t;#define _NSIG 32 //定义信号#define NSIG _NSIG#define SIGHUP 1 //hang up 挂断控制终端或进程_signal.h头文件
文章浏览阅读217次。java 实现三子棋,随机绘制图像,猜数游戏_java 上机题
文章浏览阅读186次。使用NFS自动挂载文件系统便利性大大增强,首先连接网线,传输数据,此外保证服务器和单板能够ping的通。单板上电(开发板已经烧录有u-boot和内核),任意键中止boot进程,q退出菜单,输入print,更改“bootargs=noinitrd root=/dev/mtdblock3 init=/linuxrc console=ttySAC0,115200”这一句。使用 set bootarg..._nfs设置账号密码挂载
文章浏览阅读1.4k次。2019独角兽企业重金招聘Python工程师标准>>> ..._java 通过kafka jmx mbeanserverconnection 获取offset
文章浏览阅读291次,点赞2次,收藏2次。在计数时,必须注意没有重复,没有遗漏。为了使重叠部分不被重复计算,人们研究出一种新的计数方法,这种方法的基本思想是:先不考虑重叠的情况,把包含于某内容中的所有对象的数目先计算出来,然后再把计数时重复计算的数目排斥出去,使得计算的结果既无遗漏又无重复,这种计数的方法称为容斥原理
文章浏览阅读4.1k次,点赞16次,收藏12次。从理论上 goto语句是没有必要的,实践中没有goto语句也可以很容易的写出代码。但是某些场合下goto语句还是用得着的,最常见的用法就是终止程序在某些深度嵌套的结构的处理过 程。从上我们可以看出,goto语句真正适合的引用场景其实就是:当我们写了很多for循环时,我们需要写很多个break来跳出来for循环时,我们可以直接用goto语句来跳出for循环。综上,我们需要了解goto语句就行,但是goto语句的应用场景不是很多,提及的时候我们还是要会运用。下面我们来简单的写一个有趣的关机小程序。_goto使用