调用MapReduce对文件中各个单词出现的次数进行统计_java mapreduce统计字符出现的次数-程序员宅基地

技术标签： mapreduce hadoop eclipse

要求：

1.将待分析的文件（不少于10000英文单词）上传到HDFS。

2.调用MapReduce对文件中各个单词出现的次数进行统计。

3.将统计结果下载本地。

作业分析:

我们需要实现的是调用MapReduce对文件中各个单词出现的次数进行统计。要求在Linux系统中实现上述操作。首先要安装Ubuntu系统，然后要配置Java环境，安装JDK。Ubuntu提供了一个健壮，功能丰富的计算环境。

简述操作步骤：

1、在eclipse中创建项目

2、导入所需要的jar包

3、创建JAVA文件，并允许，检测功能

4、建立myapp目录，导出jar文件到这个目录下

5、建立wordcout工程，并导入所需的jar包

6、创建JAVA文件，运行，并导出包到myapp目录下

7、启动Hadoop，首先删除HDFS中与当前Linux用户hadoop对应的input和output目录

8、新建input目录，并把需要分析的文件传到该目录下

9、使用hadoop jar命令运行程序，查看分析结果

10、最后，.将统计结果下载至本地

详细步骤：

一：首先在eclipse中创建文件，开始创建一个JAVA工程，单机“NEXt”

二：如图导入工程所需要的JAR包，把剩余的其他JAR包都添加进来。需要注意的是，当需要选中某个目录下的所有JAR包时，可以使用“Ctrl+A”组合键进行全选操作。全部添加完毕以后，就可以点击界面右下角的“Finish”按钮，完成Java工程HDFSExample的创建。

1、在新建好的工程中，右键选择new->Class，如图创建名为“HDFSFileIfExist”的源代码文件

本文链接：https://blog.csdn.net/qq_45287786/article/details/122128596

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Scala日期操作、获取当前时间、获取前一天时间、获取两日期时间差、获取两日期间所有日期_scala获取dt.format前一天-程序员宅基地

文章浏览阅读7.2k次，点赞4次，收藏12次。获取当前时间var dateFormat: SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd")var cal: Calendar = Calendar.getInstance()val nowday = dateFormat.format(cal.getTime())println(nowday)获取前1天日期val date = "2020-09-13"val myformat = new SimpleDateFormat("_scala获取dt.format前一天

ACM/ICPC WORLD FINAL 2015 A题_2015 icpcworld final-程序员宅基地

文章浏览阅读1k次。Fatima Cynara is an analyst at Amalgamated Artichokes (AA). As with any company, AA has had some very good times as well as some bad ones. Fatima does trending analysis of the stock prices for AA, and_2015 icpcworld final

【论文阅读】Deep Learning Workload Scheduling in GPU Datacenters:Taxonomy, Challenges and Vision-程序员宅基地

文章浏览阅读266次，点赞2次，收藏2次。论文阅读笔记Gao W, Hu Q, Ye Z, et al. Deep Learning Workload Scheduling in GPU Datacenters: Taxonomy, Challenges and Vision[J]. 讨论了数据中心负载作业的特征以及相关工作_deep learning workload scheduling in gpu datacenters: taxonomy, challenges a

Linux运维实战：CentOS7.6操作系统（计划任务/日志/系统启动/网络管理）_centos 7.6 计划任务-程序员宅基地

文章浏览阅读1.6k次。1. Linux计划任务与日志的管理2. Linux系统启动原理及故障排除3. Linux网络管理技术_centos 7.6 计划任务

Mybatis批量插入或更新 decimal类型数据精度丢失或四舍五入的问题_javabean批量插入decimal205789变成99999.99-程序员宅基地

文章浏览阅读4.3k次，点赞2次，收藏8次。今天对接招商银行对账单的时候，发现清算金额和交易金额不一致，于是乎。。。1、检查接口返回的数据是否准确，发现没问题，订单金额：2875.74 清算金额：2875.74 退款金额：02、是不是这两个字段类型不一致，检查实体类和数据库表，都没问题，实体类：BigDecimal、数据表：decimal(15,2)3、检查Mybatis执行语句这里只演示有问题的字段 orderAmt、clrAmt、backAmt-----这里只演示有问题的字段orderAmt,clrAmt,backAmt..._javabean批量插入decimal205789变成99999.99

如何用vcs输出fsdb格式的波形_vcs生成fsdb波形的方法-程序员宅基地

文章浏览阅读5.1k次，点赞3次，收藏35次。由于Verdi只能查看fsdb格式的波形，而vcs可以生成供DVE查看的vpd格式波形，如果想要输出fsdb格式的波形，我们就要额外在testbench中加入两个函数，并且用相应的命令进行编译。1.首先了解一些vcs的常用命令：-cm line|cond|fsm|tgl|obc|path 　设定coverage的方式+define+macro=value+ 　　　　　预编译宏定义-f filename 　　　　　　　　　　　 RTL文件列表+incdir+directory+ 　　　　　　　添加_vcs生成fsdb波形的方法

随便推点

C++ vector中resize与reserve的比较_c++ 中的vector resize reserve 的区别-程序员宅基地

文章浏览阅读1.4w次，点赞3次，收藏5次。在介绍resize()与reserve()函数之前，可以先简单了解一下vector1、resize()既修改capacity大小，也修改size大小2、reserve()只修改capacity大小，不修改size大小_c++ 中的vector resize reserve 的区别

损失函数SSIM (structural similarity index) 的PyTorch实现_pytorch ssim-程序员宅基地

文章浏览阅读4w次，点赞33次，收藏182次。SSIM介绍结构相似性指数（structural similarity index，SSIM）, 出自参考文献[1]，用于度量两幅图像间的结构相似性。和被广泛采用的L2 loss不同，SSIM和人类的视觉系统（HVS）类似，对局部结构变化的感知敏感。SSIM分为三个部分：照明度、对比度、结构，分别如下公式所示：将上面三个式子汇总到一起就是SSIM：其中，上式各符号分..._pytorch ssim

小白学习HigherHRNet代码_higherhrnet代码分析-程序员宅基地

文章浏览阅读135次。每个节点都可以执行一部分训练工作，例如处理一部分的训练数据和更新模型的权重。这个函数的目标是将分布式训练的各个环节组织起来，从模型构建、数据加载、训练循环、学习率调整到模型保存，确保训练过程顺利进行。通道数是用来表示模型中不同层次的特征图（feature maps）的维度，它影响着模型的参数量、计算复杂度以及模型的性能。初始化分布式训练环境，包括分布式训练节点数量、分布式训练的进程与 GPU 分配等。根据训练效果，保存模型的检查点，包括当前状态和最好的状态。根据配置中的模型名称，调用相应的函数构建模型。_higherhrnet代码分析