spark版本:spark-1.6.0-bin-hadoop2.6hive版本:hive 1.2.1 1.hive-site.xml<property>  <name>hive.metastore.uris</name>  <value>thrift://master:9083</value></property> 2.配置将hadoop中core-site.xml,hdfs-site.xml, 放在spark中conf下面将hive…

一.Spark 架构与优化器 1.Spark架构 (重点) 2.Spark优化器 二.Spark+SQL的API (重点) 1.DataSet简介 2.DataFrame简介 3.RDD与DF/DS的创建 4.常用操作 5.类型转换 三.Spark外部数据源操作 (重点) 1.Parquet文件(默认文件) 2.Hive表 3.MySQL表(MySQL) 四.Spark+SQL的函数 1.内置函数(org.apache.spark.sql.funtions.scala) 2.自定义函数 五.Sp…

前一篇文章“Apache Spark学习:将Spark部署到Hadoop 2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包,而本文则在此基础上,介绍如何利用Eclipse构建Spark集成开发环境. (1) 准备工作 在正式介绍之前,先要以下软硬件准备: 软件准备: Eclipse Juno版本(4.2版本),可以直接点击这里下载:Eclipse 4.2 Scala 2.9.3版本,Window安装程序可以直接点击这里下载:Scala 2…

你家小区下面有没有快递柜 近两年来,我们收取快递的方式好像变了,变得我们其实并不需要见到快递小哥也能拿到自己的快递了.对,我说的就是类似快递柜.菜鸟驿站这类的代收点的出现,把我们原来快递小哥必须拿着快递让你签收的形式,变为了你下班后去指定地方输入验证码取出你的快递就行了,再也不用麻烦保安大哥或者寄到公司后再带回家去,这个改变你不感觉大大方便了我们这些剁手党么?并且如果你买的是什么见不得人的东西,如什么情趣.什么娃娃的也并不那么尴尬了. 更神奇的是,去年有段时间我们公司的早餐都是有早餐柜子的,你提…

从上一篇开始说起 上一篇从零开始学 Java - Spring 集成 ActiveMQ 配置(一)文章中讲了我关于消息队列的思考过程,现在这一篇会讲到 ActivMQ 与 Spring 框架的整合配置,以及我们的多队列配置.断线重连机制,当然还有的生产者及消费监听者的具体代码实现. ActiveMQ 是 Apache 出品,最流行的.能力强劲的开源消息总线.ActiveMQ 是一个完全支持 JMS1.1 和 J2EE 1.4 规范的 JMS Provider 实现,可以很容易内嵌到使用Sprin…

1. 环境配置 a)  java环境配置: JDK版本为1.7,64位: 环境变量配置如下: JAVA_HOME为JDK安装路径,例如D:\software\workSoftware\JAVA 在path中添加“%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;” 在CLASSPATH中添加“.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;” b)  scala环境配置 scala版本为2.10,因为Spark 1.6.…

问题: spark集成hive,启动spark-shell或者spark-sql的时候,报错: INFO MetaStoreDirectSql: MySQL check failed, assuming we are not on mysql: Lexical error at line 1, column 5. Encountered: "@" (64), after : "". 环境: spark-1.4 hive-1.2.1 mysql-5.1 jdbc驱动…

MongoDB的API提供了DBObject接口来实现BSONObject的操作方法,BasicDBObject是具体实现.但是并没有提供DBObject与BeanObject的转换.在还没有了解到与spring集成之前,我做了一个简单的转换,要通过映射和动态调用实现两个对象的存取. 代码要处理Bean中的各种类型,并且要控制持久化时的深度: 基础类型(int, float, boolean...) 基础扩展类型(Integer, Float, Boolean) 枚举 ObjectId 普通对象…

http://www.cnblogs.com/davidwang456/p/5032766.html windows下spark开发环境配置 --本篇随笔由同事葛同学提供. windows下spark开发环境配置 特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe.hadoop.dll等文件,前提是你已经安装了eclipse.maven.jdk等软件 spark支持jdk版本建议是1.8及以上,如果开发spark建议将jdk编译版本设置为1.8 我…

Jenkins结合GIT Maven持续集成环境配置   by:授客 QQ:1033553122 安装Git插件 1 安装Git客户端 1 安装JAVA JDK及MAVEN 2 Jenkins JDK,MAVEN,GIT配置 2 新建项目与项目配置 3 [全局属性] 4 [源码管理] 4 [构建环境] 6 SSH服务器配置 6 构建环境 7 [构建] 8   测试环境 Jenkins2.32.1 CentOS Linux 7 git-1.8.3.1.tar.gz 下载地址:https://www…