一.代码地址:https://gitee.com/cainiaoY/WordCount 二.项目分析:代码根据实现的功能不同分为两个模块,一个wcFuctiong类,一个wcTest类,其中wcFuction类实现计算txt文本中的内容的单词数.字符数和行数 wcText类实现根据输入命令的不同来实现wcFuction类中计算结果的展示 三.代码展示 import java.io.*; import java.util.regex.*; public class wcFuction { priv…

一.代码地址:https://gitee.com/cainiaoY/WordCount 二.代码: import java.io.*; import java.util.regex.*; public class wcFuction { private BufferedReader br; //文件词统计函数 int getwordnumber(String filename) throws IOException { int num=0; String[] strword = null; Fi…

0. 说明 Hive 通过 explode()函数 和 split()函数 实现 WordConut 1. Hive 实现 Word Count 方式一 1.1 思路 将每一行文本变为 Array 数组的一个元素 再通过 collection items terminated by ' ' 完成转换单行文本 最后通过表生成函数 explode 分裂 array 数组中的元素变成多行 1.2 实现 1. 创建表 wc create table wc(line array<string>) row…

MapReduce是什么 MapReduce是一种分布式计算编程框架,是Hadoop主要组成部分之一,可以让用户专注于编写核心逻辑代码,最后以高可靠.高容错的方式在大型集群上并行处理大量数据. MapReduce的存储 MapReduce的数据是存储在HDFS上的,HDFS也是Hadoop的主要组成部分之一.下边是MapReduce在HDFS上的存储的图解 HDFS主要有Namenode和Datanode两部分组成,整个集群有一个Namenode和多个DataNode,通常每一个节点一个Data…

我习惯用Maven项目 所以用IDEA新建一个Maven项目 下面是pom文件 我粘上来吧 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocati…

刚接触Strom,记录下执行过程 1.pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mav…