[error] at com.mongodb.connection.CommandProtocol.execute(CommandProtocol.java:) [error] at com.mongodb.connection.DefaultServer$DefaultServerProtocolExecutor.execute(DefaultServer.java:) [error] at com.mongodb.connection.DefaultServerConnection.exec…

个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述. 背景 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hi…

摘要:Spark是继Hadoop之后的新一代大数据分布式处理框架,由UC Berkeley的Matei Zaharia主导开发.我只能说是神一样的人物造就的神器,详情请猛击http://www.spark-project.org/ Created 2012-05-09 Modified 2012-08-13 1 Scala安装 当前,Spark最新版本是0.5,由于我写这篇文档时,版本还是0.4,因此本文下面的所有描述基于0.4版本. 不过淘宝的达人已经尝试了0.5,并写了相关安装文档在此htt…

最佳参考链接 https://opensourceteam.gitbooks.io/bigdata/content/spark/install/spark-160-bin-hadoop26an_zhuang.html Apache Spark1.1.0部署与开发环境搭建 Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构.与MapReduce不同,Spark并不局限于编写map和reduce两个方法,其提供了更为强大的…

[From] https://blog.csdn.net/w405722907/article/details/77943331 Spark快速入门指南 – Spark安装与基础使用 2017年09月12日 11:35:27 阅读数:104 本教程由给力星出品,转载请注明. Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象.Spark 正如其名,最大的特点就是快(Lightning-fast),可比 Hadoop MapReduce 的处理速度快 100 倍.此外…

标签(空格分隔): Spark 学习中的知识点:函数式编程.泛型编程.面向对象.并行编程. 任何工具的产生都会涉及这几个问题: 现实问题是什么? 理论模型的提出. 工程实现. 思考: 数据规模达到一台机器无法处理的时候,如何在有限的时间内对整个数据集进行遍历及分析? Google针对大数据问题提出的一些解决方案: MapReduce: 计算框架: GFS:数据存储 BigTable:NoSQL始祖. Hadoop是根据MapReduce和GFS两大论文所做的开源实现,因此,它主要解决2大问题:数…

安装软件: openfire3.9.3 spark2.6.3 安装环境: WindowsXP JDK1.6.0_21 Oracle 一.openfire安装 1.安装openfire3.9.3,下载地址:http://www.igniterealtime.org/downloads/index.jsp#spark 2.安装界面选择中文 3.安装结束启动openfire服务器 4.到此已安装成功,输入http://localhost:9090即可访问管理页面. 二.openfire配置 1.浏览器…

安装mongodb 1.下载,解压mongodb(下载解压目录为/opt) 在/opt目录下执行命令 wget fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.4.tgz tar xzvf mongodb-linux-x86_64-2.6.4.tgz 2.创建mongodb的数据文件和日志文件存放路径 mkdir -p /data/mongodb_data/{mongodb_log,mongodb_db} 创建数据文件路径 /data/mong…

第一眼spark安装文件夹lib\spark-assembly-1.0.0-hadoop2.2.0.jar\org\apache\spark\sql下有没有hive文件夹,假设没有的话先下载支持hive版的spark. 安装mysql lsb_release -a  查看虚拟机版本号 http://dev.mysql.com/downloads/mysql#downloads  官网上下载对应版本号 下载三个 MySQL-server-5.6.20-1.el6.i686.rpm MySQL-cl…

注:学习为主,平台为WIN7 32位系统 一.Mongo的安装 1.1 下载 到官方下载地址(http://www.mongodb.org/downloads)去下载所需要的版本 1.2 安装与运行 1.        在任意目录新建一个文件夹作为Mongo的主目录(如:在E盘根目录下新建“MongoDB”); 2.        在上步新建的主目录的下级新建以下几个目录:bin(存放Mongo的二进制可执行文件).conf(存放配置文件).log(存放日志文件).data(存放数据文件): 3…