Spark简介安装和简单例子 Spark简介 Spark是一种快速.通用.可扩展的大数据分析引擎,目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL.Spark Streaming.GraphX.MLlib等子项目,Spark是基于内存计算的大数据并行计算框架.简单来说Spark是 内存迭代计算,每个算子将计算结果保存在内存中,其他算子,读取这个结果,继续计算. Spark的四个特性: 1.快 Spark实现了高效的DAG执行引擎,可以通过基于内存来高效处理数…

libmemcached安装及简单例子 1.下载安装libmemcached  $ wget http://launchpad.net/libmemcached/1.0/0.44/+download/libmemcached-0.44.tar.gz $ tar xvzf libmemcached-0.44tar.gz  $ cd libmemcached-0.44 $ ./configure $ make $ sudo make install libmemcached 默认安装在/usr/lo…

spark和mapreduce差不多,都是一种计算引擎,spark相对于MapReduce来说,他的区别是,MapReduce会把计算结果放 在磁盘,spark把计算结果既放在磁盘中有放在内存中,mapreduce把可能会把一个大任务分成多个stage,瓶颈发生在IO,spark有一个叫DAG(有向无环图)的东西,可以把多个算子都放在一个stage进行合并. spark shuffle的时候一定会把数据放在磁盘中,因为如果在shuffle的时候数据丢失,代价特别的昂贵 spark和mapredu…

注意:将mysql的驱动包拷贝到spark/lib下,将hive-site.xml拷贝到项目resources下,远程调试不要使用主机名 import org.apache.spark._ import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.hive.HiveContext import java.io.FileNotFoundException im…

一: 适合初学者的最佳Linux发行版:Linux Mint 老旧硬件的最佳Linux发行版:Ubuntu MATE 安全行业的最佳Linux发行版:Kali Linux 专属游戏的Linux发行版:Steam OS 用于编程的Linux发行版:Debian 美丽的Linux发行版:elementary OS 儿童专属Linux发行版:Ubermix 隐私和匿名的Linux发行版:Tails Linux服务器发行版:CentOS 强大PC和笔记本电脑推荐的Linux发行版:Ubuntu 二 三:…

spark的安装 先到官网下载安装包 注意第二项要选择和自己hadoop版本相匹配的spark版本,然后在第4项点击下载.若无图形界面,可用windows系统下载完成后传送到centos中. 本例中安装文件的存放目录为:/home/demo/src 注:这里的demo为安装大数据系统工具的专用账号. 安装spark 解压压缩包 cd /home/demo/bd tar -zxf /home/demo/src/spark--bin-hadoop2..tgzmv ./spark-2.1.0-bin-…

一 .Spark概述 官网:http://spark.apache.org 1.        什么是spark Spark是一种快速.通用.可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目.项目是用Scala进行编写. 目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL.Spark Streaming.GraphX.MLib.SparkR等子…

来源:http://www.cnblogs.com/shishanyuan/p/4700615.html 1.简介 1.1 Spark简介Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发通用内存并行计算框架.Spark在2013年6月进入Apache成为孵化项目,8个月后成为Apache顶级项目,速度之快足见过人之处,Spark以其先进的设计理念,迅速成为社区的热门项目,围绕着Spark推出了Spark SQL.Spark…

每次接触一个新的知识之前我都抱有恐惧之心,因为总认为自己没有接触到的知识都很高大上,比如上篇介绍到的Hadoop的安装与使用与本篇要介绍的Spark,其实在自己真正琢磨以后才发现本以为高大上的知识其实也不过如此. 由于Spark是最新火起来的处理大数据的框架,国内教程资源少之甚少,所以本篇文章是本人在看了Spark官网的快速入门教程后总结下来的经验,由于Spark同Hadoop一样可以运行在多种模式下,而本人又比较穷只有一台电脑,所以本篇文章为大家介绍如何在mac系统的本地模式下安装Spark以…

一.前言 发下牢骚,这段时间要做项目,又要学框架,搞得都没时间写笔记,但是觉得这知识学过还是要记录下.进入主题了 1.1.Hibernate简介 什么是Hibernate?Hibernate有什么用? Hibernate是开放源代码的对象关系映射框架,用来把java的对象映射到数据库中的关系数据中,以便永久保存数据. (简单说来,我们都知道Java语言是面向对象的语言,数据库是面向关系的,我们每次要往数据库中添加数据的时候,是不是每次都需要写SQL语句,进行CRUD,而优秀的开发人员 他们想出了…

requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的: python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码. 我也看了下requests的文档,确实很简单,适合我这种懒人.下面就是一些简单指南. 插播个好消息!刚看到requests有了中文翻译版,建议英文不好的看看,内容也比我的博客好多了,具体链接是:http://cn…

requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的: python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码. 我也看了下requests的文档,确实很简单,适合我这种懒人.下面就是一些简单指南. 1. 安装 安装很简单,我是win系统,就在这里下载了安装包(网页中download the tarball处链接),然后$…

spark的安装简单,去官网下载与集群hadoop版本相一致的文件即可. 解压后,主要需要修改spark-evn.sh文件. 以spark standlone为例,配置dn1,nn2为master,使用zookeeper的方式进行HA. 配置如下: export JAVA_HOME=/app/jdk17079 export SCALA_HOME=/app/scala2105 export SPARK_MASTER_IP=nn2 export SPARK_WORKER_MEMORY=512m ex…

原文:memcache的windows下的安装和简单使用 memcache是为了解决网站访问量大,数据库压力倍增的解决方案之一,由于其简单实用,很多站点现在都在使用memcache,但是memcache缺点之一却是缺少安全性验证,所以一般而言我们都会把一些访问量大,但是不需要验证的数据放在这里,需要用的时候来这里取,就给数据库减少了很多的负担.一般而言设定个更新时间就好了,1个小时左右更新一次. windows下安装和测试memcache最为方便,Linux只是需要相应的编译包就行了,需要包括m…

版本说明 使用当前版本:3.5.4 安装与启动 在官网上下载其Server二进制安装包,在Windows上的安装时简单的,与一般软件没什么区别. 安装前会提示你,还需要安装Erlang,并打开下载页面.把他们都下载安装就ok了.(当然也可先行下载安装) 安装完,服务默认是启动的. Erlang,应该是一个在并发编程方面很厉害的语言吧. 后期可通过开始菜单启动. 简单的Java客户端连接 编码中有些配置需要特别注意配置,比如: 选择什么交换器,各种交换器的分发策略不一样. 是否自动确认消息.如果R…

NHibernate的简单例子 @(编程) [TOC] 因为项目需求,搭了一个NHibernate的例子,中间遇到了一些问题,通过各种方法解决了,在这里记录一下最后的结果. 1. 需要的dll Common.Logging.dll 1.2.0.0 Common.Logging.Log4Net.dll 1.2.0.2 log4net.dll 1.2.10.0 MySql.Data.dll 6.9.8.0 NHibernate.dll 3.0.0.400 Spring.Aop.dll 1.3.1.4…

一.简介 JVM采用分代垃圾回收.在JVM的内存空间中把堆空间分为年老代和年轻代.将大量(据说是90%以上)创建了没多久就会消亡的对象存储在年轻代,而年老代中存放生命周期长久的实例对象.年轻代中又被分为Eden区(圣经中的伊甸园).和两个Survivor区.新的对象分配是首先放在Eden区,Survivor区作为Eden区和Old区的缓冲,在Survivor区的对象经历若干次收集仍然存活的,就会被转移到年老区. 简单讲,就是生命期短的对象放在一起,将少数生命期长的对象放在一起,分别采用不同的回收…

最好的学习方式是什么?模仿.有人会问,那不是山寨么?但是我认为,那是模仿的初级阶段,当把别人最好的设计已经融化到自己的血液里,变成自己的东西,而灵活运用的时候,才是真正高级阶段.正所谓画虎画皮难画骨.但初级阶段仍然是必须经历的过程,他会使你在达到高级阶段的过程中少走很多弯路,下面我们来迈出这一步.先研究一下别人的简单例子. 最好的例子莫过于Vector本身的Demo了,这个在安装完CANoe之后就会被自动安装.先看最简单的一个,名字叫Easy,但并不简单哦,比我们之前介绍的所有的东西都整合再一起…

interbase C++Builder  的例子,网上找了半天也没找到合适的,下面是一般能搜索到的文章,现在整理下: 下面我以interbase―――C++Builder,介绍一个简单的例子(不过很详细). 为什么选择interbase呢?因为它的安装很简单,但配置等各方面却跟其它数据库差不了多少.选择C++Builder,一来是它更容易跟interbase结合,二来它的数据库编程比较简单易学. 一.建立自己的数据库(这里先只是建立一个数据库文件,为连接之用,后边在建立它的table) 首先在…

来源:http://www.cnblogs.com/dongdonghuihui/archive/2012/09/26/2704623.html 最好的学习方式是什么?模仿.有人会问,那不是山寨么?但是我认为,那是模仿的初级阶段,当把别人最好的设计已经融化到自己的血液里,变成自己的东西,而灵活运用的时候,才是真正高级阶段.正所谓画虎画皮难画骨.但初级阶段仍然是必须经历的过程,他会使你在达到高级阶段的过程中少走很多弯路,下面我们来迈出这一步.先研究一下别人的简单例子. 最好的例子莫过于Vector…

首先是JUnit的百度百科介绍: 接下来是JUnit4的最简单例子,使用的开发软件为Eclispe(里面集成了JUnit): 1.建立一个java project: 2.建立一个java class:Calculate.java并编写一个方法: 3.在项目名Calculate上右键,添加JUnit的library: 点击Finish,则为项目添加了JUnit库: 4.在包上右键,新建一个JUnit Test Case类->Next->添加名称->Finish,然后仿照已有的方法编写测试类…

根据摩尔定律,每18个月,硬件的速度翻一番.纵使CPU的主频会越来越高,但是其核数受到了极大的限制,目前来说,最多只有8个或者9个核.相比之下,GPU具有很大的优势,他有成千上万个核,能完成大规模的并行计算,势必影响未来计算机发展的潮流. 运行GPU的计算机语言有很多种,但是NVIDIA的CUDA程序较为普遍.本博文主要介绍CUDA编程,分为两部分来阐释,第一部分简单配置一下编程环境,第二部分编写一个源程序并实现一个简单的功能. 一.环境配置 根据计算机系统,直接下载安装CUDA6.0的tool…

一.简介 TortoiseGit是Tortoise基于git的可视化管理工具.本文即将介绍这个工具的安装和简单使用教程(本文均是基于Windows 64位操作系统). git的管理工具有很多.Tortoise有以下优点. 1. 可视化管理,非命令行操作 2. 支持简体中文 3. 和资源管理器紧密结合 4. 操作简单 二.安装 需要说明的是,在安装TortoiseGit之前必须先安装Git Bash. 1. 安装Git Bash,在安装的时候我们可以不勾选Git GUI(Git GUI是git自己…

redis的安装与简单使用: Redis简介: redis的应用场景: 1．关于关系型数据库和nosql数据库 关系型数据库是基于关系表的数据库,最终会将数据持久化到磁盘上,而nosql数据     库是基于特殊的结构,并将数据存储到内存的数据库.从性能上而言,nosql数据库 要优于关系型数据库,从安全性上而言关系型数据库要优于nosql数据库,所以在实    际开发中一个项目中nosql和关系型数据库会一起使用,达到性能和安全性的双保证. 下载redis: https://pan.baidu…

本文转自http://ifeve.com/a-simple-example-demo-jvm-allocation-and-gc/ http://www.idouba.net/a-simple-example-demo-jvm-allocation-and-gc/ 原文链接:最简单例子图解JVM内存分配和回收 一.简介 JVM采用分代垃圾回收.在JVM的内存空间中把堆空间分为年老代和年轻代.将大量(据说是90%以上)创建了没多久就会消亡的对象存储在年轻代,而年老代中存放生命周期长久的实例对象.年…

MySQL数据库初识 MySQL数据库 本节目录 一 数据库概述 二 MySQL介绍 三 MySQL的下载安装.简单应用及目录介绍 四 root用户密码设置及忘记密码的解决方案 五 修改字符集编码 六 初识sql语句 一 数据库概述 1. 数据库??? 什么是数据库呢? 先来看看百度怎么说的 数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增.截取.更新.删除等操作. 所谓“数据库”系以一定方式储存在一起.能予多个用户共享.具有尽可能小的冗余度.与应用程序…

Python 简介 Python 是一个高层次的结合了解释性.编译性.互动性和面向对象的脚本语言. Python 的设计具有很强的可读性,相比其他语言经常使用英文关键字,其他语言的一些标点符号,它具有比其他语言更有特色语法结构. Python 是一种解释型语言: 这意味着开发过程中没有了编译这个环节.类似于PHP和Perl语言. Python 是交互式语言: 这意味着,您可以在一个Python提示符,直接互动执行写你的程序. Python 是面向对象语言: 这意味着Python支持面向对象的风格…

requests是Python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢? 官方文档中是这样说明的: python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码. 插播个好消息!刚看到requests有了中文翻译版,建议英文不好的看看,内容也比我的博客好多了,具体链接是:http://cn.python-requests.org/en/latest/(不过是v1.1.0版…

AMD规范简介 AMD(异步模块定义),是实现JavaScript模块化规范之一,它采用异步方式加载模块,模块的加载不影响后面语句的运行.require.js和curl.js都是实现AMD规范的优秀加载器.本文采用require.js. 1. define用于模块定义             define(模块ID,依赖模块数组,实例化模块函数):模块ID和依赖模块数组为可选. 如: define("color",["jquery"],function($){ +f…

Eclipse中Tomcat的配置及简单例子 Eclipse中Tomcat的配置是很简单的一个工作 一. 工具下载 Eclipse,最新版的eclipse为Mars版本.下载地址为: http://www.eclipse.org/downloads/ Tomcat,最新版本为9.0.下载地址为: https://tomcat.apache.org/ 我使用的是Eclipse Luna版本,Tomcat为8.0版. 二. Tomcat Tomcat是绿色免安装软件,将下载的Tomcat直接解压到某…