7月13号day5总结
今天学习过程和小结
使用伪分布式进行大数据计算,计算气象站记录气温的平均值
weather
map()方法,key值数据多所以用LongWritable,value值是string类型,string类型包装类是Text。输出value是气温也是Text,key是IntWritable.接下来重写map方法。//获取气象站编号--文件名,从5到10.获取其气温值,从13到19,去空格trim()方法。
reduce()方法,第一步继承int sum=0相同key进行合并在同一个reduce下。int count=0;
sum+=val.get();count++;
Job()方法,继承类,main方法,配置文件,连接namenode
气温计算过程:
气温计算结果:
怎么显示?读出来放进数据库中。读一行放一行。怎么读?用HDFS读写操作读取文件。
读取文件中的数据:
读取之后存入数据库中
建立数据库,ENGINE=INNODB数据引擎,default charset=utf8事物,原子操作,要么都执行要么都不执行。保证数据的一致性。分布式数据库消息中间件回滚。不能用原子操作。因为数据分布在不同的数据库就不是同一个数据源。
insert封装数据输入到数据库中之后进行前端显示。
显示的时候用springMVC框架
框架配置过程:
用到springMVC,servlet用户只能通过URL提交到servlet,service(do Get.doPost)通过转发或重定向。但什么时候用,查询以后用转发。增删改之后用重定向。用转发的话会进行重复操作。查询之后吧数据放入作用域。servlet用类@servlet配地址。用户通过URL到核心拦截器DispatchServlet.拦截所有的请求解析URL。handlerMapping.key与value。URL和handler对象1.通过URL找handler。handlerMapping3.将handler交给handleradaper找handlerAdaper。4.将返回值交还给DispatchServlet.
在web.xml中配置
第三个包,jstl1.2,4.16contect,mvc
遇到问题汇总
1.在进行气温计算的时候,要通过KEY来确定数据,但一开始从文件中数数据列的时候没有数对列数。而且数据前可能有空格也没有考虑到,要用trim()去空格
2.Setting property 'source' to 'org.eclipse.jst.jee.server:你的站点名' did not find a matching property。在Tomcat的设置上面出了错。
3.SpringMVC的原理有所了解但是自己搭建springMVC的环境还比较生疏。
4.在用HDFS进行文件操作的时候要注意文件的路径,对于namenote和datanote
学习技能思维导图
7月13号day5总结的更多相关文章
- 2019第一期《python测试开发》课程,10月13号开学
2019第一期<python测试开发>课程,10月13号开学! 主讲老师:上海-悠悠 上课方式:QQ群视频在线教学,方便交流 本期上课时间:10月13号-12月8号,每周六.周日晚上20: ...
- 西安活动 | 2019年1月13号 "拥抱开源, 又见.NET" 线下交流活动报名进行中
随着.NET Core的发布和开源,.NET又重新回到人们的视野..NET Core的下个3.0即将release,加入非常多的新功能,越来越拥抱变化,DevOps和Microservice的最佳实践 ...
- 号外号外:9月13号《Speed-BI云平台案例实操--十分钟做报表》开讲了
引言:如何快速分析纷繁复杂的数据?如何快速做出老板满意的报表?如何快速将Speed-BI云平台运用到实际场景中? 本课程将通过各行各业案例背景,将Speed-BI云平台运用到实际场景中 ...
- java内部类 2016年12月13号
1.在外部类的任意位置创建内部类对象的方法: 1)从外部类的非静态方法之外的任意位置创建某个内部类的对象,必须指明这个对象所在的外部类和内部类:OuterClassName.InnerClassNam ...
- 4月13号的web标准化交流化-开端
这是实习工作的开始,也是正式踏入北京之后去参加的第一个活动.也算是想着法的去融入这个圈子. 这两个分享都是基于nodejs的.nodejs从11年开始就开始红火.但是真正nodejs能用来干什么? 我 ...
- 对5月13号中BaseDao方法进行优化改造,更接近于框架的编写
/* * 通用查询.更新升级版 * */ public class BaseDao2 { static { try { Class.forName(ConfigUtil.getValue(" ...
- 5月25号开学! 第13期《python3自动化测试selenium+接口》课程,python零基础也能学
2019年 第13期<python3自动化测试selenium+接口>课程,5月25号开学! 主讲老师:上海-悠悠 上课方式:QQ群视频在线教学 本期上课时间:5月25号-7月28号,每周 ...
- 补psp进度(11月4号-9号)
这周psp进度 11月4号 内容 开始时间 结束时间 打断时间 净时间 小伙伴聊天实现 9:45 10:49 0 64m 学习HttpURLConnection 14:13 15:48 10m 85m ...
- 《Genesis-3D开源游戏引擎-FQA常见问题解答》2014年01月10号版本
1.Genesis-3D开源游戏引擎主要面向哪些用户人群?有限制吗? 1.我们的引擎没有限制,只要您想了解和使用我们的引擎,就可以加入Genesis-3D的大家庭.2.我们的主要用户群是各个相关的企业 ...
随机推荐
- JavaScript - 库 jQuery
测试 JavaScript 框架库 - jQuery 引用JQuery 如需测试JavaScript库,您需要在网页中引用它. 为了引用某个库,请使用<script>标签,其src属性设置 ...
- stark组件(7):增加分页功能
效果图: 分页部分代码: # 1.分页处理 all_count = self.model_class.objects.all().count() query_params = request.GET. ...
- 解决VM-tools安装后,仍然无法与虚拟机复制
重新安装,不同是运行这个: vmware-install.real.pl 并执行 sudo apt-get install open-vm-tools-desktop 重启
- 在intellij idea 里来回跳转查询方法
在intellij idea 里来回跳转查询方法,在不知道快捷键的时候真是抓狂. 看到key map中的快捷键 后退back ctrl +alt + ← 或者button4 click 前进forw ...
- 05,Python网络爬虫之三种数据解析方式
回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据 ...
- CodeForces 771C Bear and Tree Jumps 树形DP
题意: 给出一棵树,一个人可以在树上跳,每次最多跳\(k(1 \leq k \leq 5)\)个点 定义\(f(s,t)\)为从顶点\(s\)跳到顶点\(t\)最少需要跳多少次 求\(\sum\lim ...
- shell判断文件是否存在[转]
原文出处: http://canofy.iteye.com/blog/252289 shell判断文件,目录是否存在或者具有权限 #!/bin/sh myPath="/var/log/htt ...
- @property后面可以有哪些修饰符?
原子性---nonatomic特质 如果不写默认情况为atomic(系统会自动加上同步锁,影响性能) 在iOS开发中尽量指定为nonatomic,这样有助于提高程序的性能 读/写权限---readwr ...
- 《Cracking the Coding Interview》——第17章:普通题——题目1
2014-04-28 21:45 题目:就地交换两个数,不使用额外的变量. 解法:没说是整数,我姑且先当整数处理吧.就地交换可以用加法.乘法.异或完成,其中乘法和加法都存在溢出问题.三种方法都不能处理 ...
- 《Cracking the Coding Interview》——第8章:面向对象设计——题目7
2014-04-23 23:38 题目:你要如何设计一个聊天服务器,有什么技术难点? 解法:这是基于工作经验的面试题吗?否则,一个new grad碰上这种题目能打点草稿也就算不错了. 代码: // 8 ...