使用Spring-hadoop小结

【使用Spring-hadoop小结】的更多相关文章

spring hadoop 访问hbase入门

1. 环境准备: Maven Eclipse Java Spring 版本 3..2.9 2. Maven pom.xml配置  <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>0.96.1.1-hadoop2</version…

HBase之四--(2)：spring hadoop 访问hbase

1. 环境准备: Maven Eclipse Java Spring 2. Maven pom.xml配置 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.0</version> <exclusions> <exclusion> <arti…

hadoop小结

测试小结:1.如果只需要对数据集进行过滤,筛选则只需要编写Mapper类,不需要Reduce类,此时要执行下面一条语句:job.setNumReduceTesk(0);2.如果需要对处理的数据进行分组(group by).排序(order by).表连接(join).排重(distinct)等操作则需要编写Reducer类,因为这些操作都是基于MapTask的输出键(Key)来完成的;3.如果既有分组又有排序只能使用两个MapReduce作业来串接完成,因为分组和排序会涉及到两次Shuffle过…

Spring归纳小结（山东数漫江湖）

前言如果说有什么框架是Java程序员必然会学习.使用到的,那么Spring肯定是其中之一.本篇博客,将根据博主在日常工作中对Spring的使用做一个系统的归纳小结. Spring的一些概念和思想 Spring的核心:AOP.IOC. 简单点说,就是把对象交给Spring进行管理,通过面向切面编程来实现一些"模板式"的操作,使得程序员解放出来,可以更加关注业务实现. Spring已经是一站式的开源框架解决方案,而且形成了Spring生态. 关于IOC IOC,从操作上来看,要么通过XM…

Spring MVC小结

Spring MVC项目搭建添加依赖 (省略) Spring MVC配置类 @Configuration @EnableWebMvc @ComponentScan("com.sjx.springmvc") public class MyMvcConfig extends WebMvcConfigurerAdapter{ @Bean public InternalResourceViewResolver viewResolver(){ InternalResourceViewResol…

Spring AOP小结

一. AOP介绍 AOP(Aspect-OrientedProgramming,面向方面编程),可以说是OOP(Object-Oriented Programing,面向对象编程)的补充和完善.OOP引入封装.继承和多态性等概念来建立一种对象层次结构,用以模拟公共行为的一个集合.当我们需要为分散的对象引入公共行为的时候,OOP则显得无能为力.也就是说,OOP允许你定义从上到下的关系,但并不适合定义从左到右的关系.例如日志功能.日志代码往往水平地散布在所有对象层次中,而与它所散布到的对象的核心功能…

Spring IoC小结

一. IoC是什么 Ioc—Inversion of Control,即“控制反转”,不是什么技术,而是一种设计思想.在Java开发中,Ioc意味着将你设计好的对象交给容器控制,而不是传统的在你的对象内部直接控制.如何理解好Ioc呢?理解好Ioc的关键是要明确“谁控制谁,控制什么,为何是反转(有反转就应该有正转了),哪些方面反转了”,那我们来深入分析一下: ●谁控制谁,控制什么:传统Java SE程序设计,我们直接在对象内部通过new进行创建对象,是程序主动去创建依赖对象:而IoC是有专门一个容…

Spring JdbcTemplate小结

提供了JdbcTemplate 来封装数据库jdbc操作细节: 包括: 数据库连接[打开/关闭] ,异常转义 ,SQL执行 ,查询结果的转换使用模板方式封装 jdbc数据库操作-固定流程的动作,提供丰富callback回调接口功能,方便用户自定义加工细节,更好模块化jdbc操作,简化传统的JDBC操作的复杂和繁琐过程. 1) 使用JdbcTemplate 更新(insert /update /delete) 1 int k = jdbcTemplate.update("UPDATE tblna…

Spring MVC小结1

由于最近刚开始学Spring MVC,所以来讲一下自己的理解. 首先进行环境配置: 1.jdk 2.myeclipse 3.tomcat 4.maven 配置maven的时候出现了一个小的问题,JAVA_HOME is set to an invalid dictory……,出现这个错误是因为,配置JAVA_HOME的时候,写jdk的路径的时候在后面加了一个;,把它去掉就可以了. 配置好后就可以新建maven项目了. 根据我自己的理解,SpringMVC就是在Spring框架上面的MVC架构,数…

Spring使用小结2

之前做过不少spring想过知识点内容的摘录, Spring框架的特点.模块组成.优缺点 spring相关的bean管理想过知识点及依赖注入方式今天说下近端时间中项目中遇到的相关印象比较深的知识点 1.spring事务管理:要在对应spring配置文件中配置要应用aop切面事务管理的包或具体的类,一般多是对service包下面的具体实现类应用事务管理,但要注意此时不能函数中捕获对应的数据库操作异常,否则spring不知道事事务是否执行成功无法做回滚操作.同时注意在应用事务的类中spring对象…

Spring RestTemplate 小结

关于RestTemplate 首先,你可以把它理解为一个发起请求并接收响应的工具类(功能类似浏览器). 其次,它其实是一个壳,具体还是通过调用别的接口来实现(如jdk自带的连接,或者HttpClient之类的,需要设置). 官方介绍 Spring's central class for synchronous client-side HTTP access. It simplifies communication with HTTP servers, and enforces RESTful p…

关于Spring Test 小结

1.>public class CustomerPackagePrealertControllerTest extends WebSpringBaseTest{} 2.> @WebAppConfigurationpublic class WebSpringBaseTest extends SpringBaseTest { } 3.> //@RunWith(SpringJUnit4ClassRunner.class)//@RunWith(SpringJUnit4ClassRunner.c…

Spring知识点小结汇总

Spring部分 1.谈谈你对spring IOC和DI的理解,它们有什么区别? IoC Inverse of Control 反转控制的概念,就是将原本在程序中手动创建UserService对象的控制权,交由Spring框架管理,简单说,就是创建UserService对象控制权被反转到了Spring框架 DI:Dependency Injection 依赖注入,在Spring框架负责创建Bean对象时,动态的将依赖对象注入到Bean组件面试题: IoC 和 DI的区别? IoC 控制反转,指…

Spring知识点小结(四)

一.JdbcTemplate(jdbc模版--抽取的工具) web阶段DBUtils: QueryRunner runner = new QueryRunner(dataSource); runner.update()/query(); spring的JdbcTemplate JdbcTemplate jdbcTemplate = new JdbcTemplate(); jdbcTemplate.setDataSour…

Spring知识点小结(三)

一.aop的简介 aop:面向切面编程 aop是一种思想,面向切面编程思想,Spring内部提供了组件对aop进行实现 aop是在运行期间使用动态代理技术实现的思想 aop是oop延续面向过程:C 面向对象:Java 面向切面:AOP 面向服务架构:SOA aop的底层实现:动态代理基于JDK:目标对象必须有接口(proxy是接口的实现) 基于cglib:目标对象不需要…

Spring知识点小结(二)

一.配置非自定义的Bean(数据源DataSource模型) DBCP数据源: 导入dbcp的jar包:dbcp+pool+connector 代码实现: //创建数据源对象 BasicDataSource dataSource = new BasicDataSource(); //设置数据库的基本参数 dataSource.setDriverClassName("…

Spring知识点小结(一)

一.Spring的简介 1.spring是一个full-stack轻量级开源框架 2.spring的两大核心 IoC: inverse of control 控制反转:反转是对象的创建权,由原来自己new方式变成让spring容器(IoC容器)创建对象作用:完成解耦合 AOP: 面向切面编程(底层实现:动态代理) 作用:不修改源码的情况下,对目标方法进行增强 3.spring优点方便解耦简化开发:IoC aop编程支…

spring技术小结

1.DI和IOC 依赖注入(Dependency Injection)还是控制反转(Inversion of Conctrol) bean通过依赖注入,注册到spring容器里面.spring容器通过控制反转,调用bean. 2.DI的方法这里网上很多配置注入,构造方法注入,类参数注入,get/set注入等等,一点总结能力都没有啊. 其实就两种,配置注入和方法注入.java8支持多注解(annotations)之后,方法注入多了灵活的注解注入. 3.bean的作用域 singleton:单例模…

Spring错误小结

之前在做项目的时候发现无法解析xml文件导致项目运行失败的问题,其实是无法找到导入的Schema约束,在配置Schema约束的时候在XML Catalog 中key配置*.xsd网址,location中配置Schema的位置,在 key type中配置选择为Schema Loaction就可以了.…

Spring 事务小结

@Override@Transactionalpublic void add() { this.in();} public void in(){ NyOrder nyOrder=new NyOrder(); nyOrder.setOrderStatus((byte)1); nyOrder.setOrderNum("hello"); nyOrder.setOutTradeNo("world"); nyOrder.setNCoin(10); nyOrder.setPay…

Spring使用小结

…

hbase+hadoop+hdfs集群搭建集成spring

序言最近公司一个汽车项目想用hbase做存储,然后就有了这篇文字,来,来,来, 带你一起征服hbase,并推荐一本书<hbase权威指南> 这是一本极好的hbase入门书籍,我花了一个晚上看完觉得这书蛮好的! 本文分上下两篇,上篇是hbase+hadoop+hdfs+zookeeper集群环境的安装,下篇讲解hbase如何集成spring来使用.hbase是个什么鬼?不知道不要紧,本文是我三天的成果,拿去,不谢! Hbase+hadoop+hdfs+zookeeper集群环境的安装 had…

hadoop data 相关开源项目（近期学习计划）

计划学习几个hadoop相关的开源项目: 1.spring hadoop 2.spring batch 3.spring redis 4.spring mongo 相关项目样例:https://github.com/spring-projects/spring-hadoop-samples…

Hadoop MapReduce开发最佳实践（上篇）

body{ font-family: "Microsoft YaHei UI","Microsoft YaHei",SimSun,"Segoe UI",Tahoma,Helvetica,Sans-Serif,"Microsoft YaHei", Georgia,Helvetica,Arial,sans-serif,宋体, PMingLiU,serif; font-size: 10.5pt; line-height: 1.5;}…