一.Github项目地址 https://github.com/misterchaos/WordCount 二.解题思路 2.1 基本需求分析 经过仔细阅读题目,分析得出项目的基本需求如下: wc.exe -c //返回文件 file.c 的字符数 wc.exe -c //返回文件 file.c 的字符数 wc.exe -w //返回文件 file.c 的词的数目 wc.exe -l //返回文件 file.c 的行数 wc.exe -a //返回更复杂的数据(代码行 / 空行 / 注释行) w…

Github项目地址:https://github.com/Sabot1203/WordCount 一. 题目描述 实现一个简单而完整的软件工具(源程序特征统计程序). 进行单元测试.回归测试.效能测试,在实现上述程序的过程中使用相关的工具. 进行个人软件过程(PSP)的实践,逐步记录自己在每个软件工程环节花费的时间. 二.项目要求 wc.exe 是一个常见的工具,它能统计文本文件的字符数.单词数和行数.这个项目要求写一个命令行程序,模仿已有wc.exe 的功能,并加以扩充,给出某程序设计语言源…

Github项目地址:https://github.com/linzworld/word-count 项目相关要求 题目描述 Word Count 实现一个简单而完整的软件工具(源程序特征统计程序). 进行单元测试.回归测试.效能测试,在实现上述程序的过程中使用相关的工具. 进行个人软件过程(PSP)的实践,逐步记录自己在每个软件工程环节花费的时间. WC 项目要求 wc.exe 是一个常见的工具,它能统计文本文件的字符数.单词数和行数.这个项目要求写一个命令行程序,模仿已有wc.exe 的功能…

什么是MapReduce 你想数出一摞牌中有多少张黑桃.直观方式是一张一张检查并且数出有多少张是黑桃. MapReduce方法则是: 1.给在座的所有玩家中分配这摞牌 2.让每个玩家数自己手中的牌有几张是黑桃,几张是红桃,然后把这两组数目汇报给你 3.你把所有玩家告诉你的两组数字分别加起来,得到最后的结论 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题. MapReduce是分布式运行的,由两个阶段组成:Map和Reduce,Map阶段是一个…

万事开头难.最近在学习Hadoop,先是搭建各种版本环境,从2.2.0到2.3.0,再到1.2.1,终于都搭起来了,折腾了1周时间,之后开始尝试使用Eclipse编写小demo.仅复制一个现成的WordCount到Eclipse中执行竟然也出现各种错误,一一解决之后也是几个小时过去了. 为避免他人也耽误时间在这些问题上,现将运行成功后的源码分享. 先看下效果图: 图1. 运行成功的截图 图2. 项目结构视图 图3. 修改后的代码 将Hadoop安装目录下WordCount源码拷贝过来之后需要做图…

<Java学习笔记(第8版)>学习指导 目录 图书简况 学习指导 第一章 Java平台概论 第二章 从JDK到IDE 第三章 基础语法 第四章 认识对象 第五章 对象封装 第六章 继承与多态 第七章 接口与多态 第八章 异常处理 第九章 Collection与Map 第十章 输入/输出 第十一章 线程与并行API 第十二章 Lambda 第十三章 时间与日期 第十四章 NIO与NIO2 第十五章 通用API 第十六章 整合数据库 第十七章 反射与类加载器 第十八章 自定义类型.枚举 补充:Ja…

在Hadoop Eclipse开发环境搭建这篇文章中,第15.)中提到权限相关的异常,如下: 15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 15/01/30 10:08:17 ERROR security.UserGroupInformation:…

按这里的教程: http://www.imooc.com/learn/391 试验时,发现在wordcount的最后一步一直提示如下错误: Exception in thread "main" java.lang.ClassNotFoundException:WordCount at java.net.URLClassLoader$.run(URLClassLoader.java:) at java.net.URLClassLoader$.run(URLClassLoader.java…

WordCount是很多分布式计算中,最常用的例子,例如Hadoop.Storm,Iveely Computing也不例外.明白了WordCount在Iveely Computing上的运行原理,就很容易写出新的分布式程序.上一篇中已经知道了如何部署Iveely Computing以及提交任务,现在我们将深入WordCount的代码.        一.代码结构 图3-1 从图3-1中,可以看出,类WordCount中,有两个子类WordInput.WordOutput,以及一个主方法,Word…

首先编写WordCount.java源文件,分别通过map和reduce方法统计文本中每个单词出现的次数,然后按照字母的顺序排列输出, Map过程首先是多个map并行提取多个句子里面的单词然后分别列出来每个单词,出现次数为1,全部列举出来 Reduce过程首先将相同key的数据进行查找分组然后合并,比如对于key为Hello的数据分组为:<Hello, 1>.<Hello,1>.<Hello,1>,合并之后就是<Hello,1+1+1>,分组也可以理解为re…