今天学习过程和小结

使用伪分布式进行大数据计算,计算气象站记录气温的平均值

weather

map()方法,key值数据多所以用LongWritable,value值是string类型,string类型包装类是Text。输出value是气温也是Text,key是IntWritable.接下来重写map方法。//获取气象站编号--文件名,从5到10.获取其气温值,从13到19,去空格trim()方法。

reduce()方法,第一步继承int sum=0相同key进行合并在同一个reduce下。int count=0;

sum+=val.get();count++;

Job()方法,继承类,main方法,配置文件,连接namenode

气温计算过程:

气温计算结果:

怎么显示?读出来放进数据库中。读一行放一行。怎么读?用HDFS读写操作读取文件。

读取文件中的数据:

读取之后存入数据库中

建立数据库,ENGINE=INNODB数据引擎,default charset=utf8事物,原子操作,要么都执行要么都不执行。保证数据的一致性。分布式数据库消息中间件回滚。不能用原子操作。因为数据分布在不同的数据库就不是同一个数据源。

insert封装数据输入到数据库中之后进行前端显示。

显示的时候用springMVC框架

框架配置过程:

用到springMVC,servlet用户只能通过URL提交到servlet,service(do Get.doPost)通过转发或重定向。但什么时候用,查询以后用转发。增删改之后用重定向。用转发的话会进行重复操作。查询之后吧数据放入作用域。servlet用类@servlet配地址。用户通过URL到核心拦截器DispatchServlet.拦截所有的请求解析URL。handlerMapping.key与value。URL和handler对象1.通过URL找handler。handlerMapping3.将handler交给handleradaper找handlerAdaper。4.将返回值交还给DispatchServlet.

在web.xml中配置

第三个包,jstl1.2,4.16contect,mvc

 遇到问题汇总

1.在进行气温计算的时候,要通过KEY来确定数据,但一开始从文件中数数据列的时候没有数对列数。而且数据前可能有空格也没有考虑到,要用trim()去空格

2.Setting property 'source' to 'org.eclipse.jst.jee.server:你的站点名'   did not find a matching property。在Tomcat的设置上面出了错。

3.SpringMVC的原理有所了解但是自己搭建springMVC的环境还比较生疏。

4.在用HDFS进行文件操作的时候要注意文件的路径,对于namenote和datanote

 学习技能思维导图

7月13号day5总结的更多相关文章

  1. 2019第一期《python测试开发》课程,10月13号开学

    2019第一期<python测试开发>课程,10月13号开学! 主讲老师:上海-悠悠 上课方式:QQ群视频在线教学,方便交流 本期上课时间:10月13号-12月8号,每周六.周日晚上20: ...

  2. 西安活动 | 2019年1月13号 "拥抱开源, 又见.NET" 线下交流活动报名进行中

    随着.NET Core的发布和开源,.NET又重新回到人们的视野..NET Core的下个3.0即将release,加入非常多的新功能,越来越拥抱变化,DevOps和Microservice的最佳实践 ...

  3. 号外号外:9月13号《Speed-BI云平台案例实操--十分钟做报表》开讲了

    引言:如何快速分析纷繁复杂的数据?如何快速做出老板满意的报表?如何快速将Speed-BI云平台运用到实际场景中?         本课程将通过各行各业案例背景,将Speed-BI云平台运用到实际场景中 ...

  4. java内部类 2016年12月13号

    1.在外部类的任意位置创建内部类对象的方法: 1)从外部类的非静态方法之外的任意位置创建某个内部类的对象,必须指明这个对象所在的外部类和内部类:OuterClassName.InnerClassNam ...

  5. 4月13号的web标准化交流化-开端

    这是实习工作的开始,也是正式踏入北京之后去参加的第一个活动.也算是想着法的去融入这个圈子. 这两个分享都是基于nodejs的.nodejs从11年开始就开始红火.但是真正nodejs能用来干什么? 我 ...

  6. 对5月13号中BaseDao方法进行优化改造,更接近于框架的编写

    /* * 通用查询.更新升级版 * */ public class BaseDao2 { static { try { Class.forName(ConfigUtil.getValue(" ...

  7. 5月25号开学! 第13期《python3自动化测试selenium+接口》课程,python零基础也能学

    2019年 第13期<python3自动化测试selenium+接口>课程,5月25号开学! 主讲老师:上海-悠悠 上课方式:QQ群视频在线教学 本期上课时间:5月25号-7月28号,每周 ...

  8. 补psp进度(11月4号-9号)

    这周psp进度 11月4号 内容 开始时间 结束时间 打断时间 净时间 小伙伴聊天实现 9:45 10:49 0 64m 学习HttpURLConnection 14:13 15:48 10m 85m ...

  9. 《Genesis-3D开源游戏引擎-FQA常见问题解答》2014年01月10号版本

    1.Genesis-3D开源游戏引擎主要面向哪些用户人群?有限制吗? 1.我们的引擎没有限制,只要您想了解和使用我们的引擎,就可以加入Genesis-3D的大家庭.2.我们的主要用户群是各个相关的企业 ...

随机推荐

  1. Java OOP——第八章 File IO

    1.文件:文件可认为是相关记录或放在一起的数据的集合: 2.File类:名命空间:java.io File对象即可表示文件,也可表示目录, 在程序中,一个File对象可以代表一个文件或目录, 利用他可 ...

  2. yii2深入理解之内核解析

    一.前言 首先,yii2最为为数不多的PHP主流开源框架,受欢迎程度不亚于laravel和TP.个人认为,研究这些框架底层代码是非常有助于自身代码编程思想的提升和代码简化程度和质量的提升的. 那么,话 ...

  3. MAC下MySQL初始密码忘记修改初始密码

    解决MAC下MySQL忘记初始密码的方法分享给大家,供大家参考,具体内容如下 第一步: 点击系统偏好设置->最下边点MySQL,在弹出页面中,点击stop MySQL Servier,输入密码关 ...

  4. Aizu:2200-Mr. Rito Post Office

    快递 Time limit 8000 ms Memory limit 131072 kB Problem Description 你是某个岛国(ACM-ICPC Japan)上的一个苦逼程序员,你有一 ...

  5. 7,MongoDB 之 Limit 选取 Skip 跳过 Sort 排序

    我们已经学过MongoDB的 find() 查询功能了,在关系型数据库中的选取(limit),排序(sort) MongoDB中同样有,而且使用起来更是简单 首先我们看下添加几条Document进来 ...

  6. 7 定制10MINs首页2

    1.添加 <div class="ui basic segment"> <h1 class="ui center aligned header" ...

  7. Flash文件在asp页面无法播放,网页上面的Flash文件在火狐浏览器不播放

    第一个问题:Flash文件放到asp页面以后无法播放. 解决方法:用浏览器打开页面->F12,选择Network,如下图: 然后刷新页面,如下图: 点击左侧状态是404的文件,如图: 可以发现F ...

  8. leetcode 【Rotate List 】python 实现

    题目: Given a list, rotate the list to the right by k places, where k is non-negative. For example:Giv ...

  9. 基类VS接口

    该篇引用 CLR via C# 中的13.11节. 应该设计基类还是接口,这个问题不能一概而论,下面提供一些指导性原则: 1. IS_A关系(指属于,例如汽车属于交通工具) vs CAN_DO关系(指 ...

  10. Intellij 设置只更新静态文件(js、view、css)的方法

    1.打开 Tomcat Run/Debug configuration 2.打开Deployment标签 3.在“Deploy at Server Startup” 中,移出现有的.war 包 4.点 ...