WordCount作业修改 github地址 需求说明 基本需求 功能说明 PSP 代码实现 字符总数查询 单词数查询 行数查询 总结 一.需求说明 1.基本需求 WordCount的需求可以概括为:对程序设计语言源文件统计字符数.单词数.行数,统计结果以指定格式输出到默认文件中,以及其他扩展功能,并能够快速地处理多个文件. 2.功能说明 wc.exe -c file.c //返回文件 file.c 的字符数 wc.exe -w file.c //返回文件 file.c 的单词总数 wc.exe…

搭档:201631062427,201631062627 代码地址:https://gitee.com/oyyyyyy/wordcount 作业地址: 一: 代码互审情况 我们采用的都是c语言的方式完成该次作业,都是将整体分成小问题,然后通过函数逐步实现,最后在在主函数里面调用,所以在代码互审的时候,我们只需要检查对方的函数是否能够正确实现功能(在主函数里调用即可).在检查了对方的代码没有错误的之后,就开始分析谁写的函数更加高效以及精简,最终采纳.我们两个基本上都实现了基本和扩展功能,但是高级功…

本自动化测试的程序用于自动化测试WordCount作业,采用Java开发(基于jdk1.8+),基于Maven来管理项目. 支持的语言和开发进度 语言 进度 Java 已测试并投入运行 C++ 开发完毕,待测试 Python 开发中 NodeJS 待开发 实现的功能 克隆项目 从指定仓库克隆项目,由于访问Github的网络经常不稳定,也支持我们先预备好项目的仓库,不从Github实时下载. 生成测试数据 可以生成指定长度的随机ASCII码字符串 可以将我们指定长度的测试数据写入指定位置的指定数量…

参考 FileInputFormat类中split切分算法和host选择算法介绍  以及 Hadoop2.6.0的FileInputFormat的任务切分原理分析(即如何控制FileInputFormat的map任务数量)  以及 Hadoop中FileInputFormat计算InputSplit的getSplits方法的流程  以及 hadoop作业分片处理以及任务本地性分析(源码分析第一篇) 分析前先介绍一下: ( 这里要注意下, Block 的 hosts 和 Split 的 hosts…

github地址:https:/github.com/muzhailong/wc.git 第一次写博客很不容易,也算是一个好的开始吧. 1.   个人作业要求 作业简述:根据WordCount的需求描述,先编程实现,再编写单元测试,最后撰写博客. 参数及其约定如下: 基本功能: 扩展功能: wc.exe -s //递归处理目录下符合条件的文件 wc.exe -a file.c //返回更复杂的数据(代码行 / 空行 / 注释行) wc.exe -e stopList.txt // 停用词表,统计…

public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); //conf就是作业的配置对象,读取core-site.core-default.hdfs-site/default.mapred-site/default文件里的配置信息 String[] otherArgs = new GenericOptionsParser(conf, args).getRe…

前言 :本文旨在理清在Hadoop中一个MapReduce作业(Job)在提交到框架后的整个生命周期过程,权作总结和日后参考,如有问题,请不吝赐教.本文不涉及Hadoop的架构设计,如有兴趣请参考相关书籍和文献.在梳 理过程中,我对一些感兴趣的源码也会逐行研究学习,以期强化基础. 作者 :Jaytalent 开始日期 :2013年9月9日 参考资料:[1]<Hadoop技术内幕--深入解析MapReduce架构设计与实现原理>董西成                   [2]Hadoop 1.…

合作者:201631062124,201631062423 代码地址:https://gitee.com/yryx/WordCount 作业地址:https://edu.cnblogs.com/campus/xnsy/2018Systemanalysisanddesign/homework/2188 代码互审: 关于代码互审有一点需要说明,在之前实现wordcount的基本功能时我使用的是c++语言实现,而周欣则是使用的是java语言实现,所以在进行结对项目的时候我们商量了关于使用那种语言实现接…

MapReduce作业提交时连接集群是通过Job的connect()方法实现的,它实际上是构造集群Cluster实例cluster,代码如下: private synchronized void connect() throws IOException, InterruptedException, ClassNotFoundException { // 如果cluster为null,构造Cluster实例cluster, // Cluster为连接MapReduce集群的一种工具,提供了一种获取…

序言 合作伙伴 201631062220      201631062120 项目码云地址: https://gitee.com/zhege/WordCount 作业详细要求 系统分析与设计结对项目 正文 1.概述 该项目的PSP表格如下 2.互审代码 李欣 TO 王筱哲 :逻辑写的非常不错,唯一不足的是注释有点少,希望以后多写注释 王筱哲 TO 李欣  :思路很清楚,感觉还不错 基本功能基本一样,扩展功能主要是分成几个class,都有点困扰,代码不是那么清楚,都有所改动,最后基本一致 3.程序…