HBase: http://hbase.apache.org/ Hadoop hadoop.apache.org spark http://spark.apache.org/…

背景 MapReduce和Spark对外提供了上百个配置参数,用户可以为作业定制这些参数以更快,更稳定的运行应用程序.本文梳理了最常用的一些MapReduce和Spark配置参数. MapReduce重要配置参数 1.  资源相关参数 (1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限(单位:MB),默认为1024.如果Map Task实际使用的资源量超过该值,则会被强制杀死. (2) mapreduce.reduce.memory.mb: 一个Red…

很全的spark资料下载,包含pdf书籍和培训学校视频教程, 1.spark多语言编程:spark多语言开发 2.tachyon:tachyon 3.sparkR:sparkR 所有内容请点击:所有内容 其它正在整理上传中…

spark-shell/spark-submit/pyspark等关系如下: #spark-submit 逻辑: ################################################ #从spark-shell调用之后,传进来--class org.apache.spark.repl.Main --name "Spark shell" --master spark://ip:7077 #先检测spark_home,然后去调用spark_home/bin/sp…

    CRM 2013的安装文件,软件开发工具包(Sdk)以及实施指南,在微软官方网站已经有下载了.     具体地址如下: Name Url 发布日期 语言版本 说明 CRM Server http://www.microsoft.com/en-us/download/details.aspx?id=40341 9/24/2013 有中文版   SDK http://www.microsoft.com/en-us/download/details.aspx?id=40321 9/25/201…

首先说,我跟作者没有任何关系,只是偶然发现这个东西,努力了1个多小时才有下载,现在友情提供出来. 其次,我找到的是v2.0.4 MS这个是最新的版本,更新日期是2012年10月. 再次,本文原本是准备发布到贴吧的,但是贴吧吞贴太厉害了,所以保存到博客上,做以备份. 官网是这里:cosmissy.com 现在看域名已经过期,跳转到广告上了.下载是在googlecode.com,但是googlecode.com国内访问有问题,我用别的方法从googlecode.com上面下载了一部分内容,然后传到网…

非常好的spark分析博客,我们team的,哈哈:http://jerryshao.me/ spark programming guide: https://github.com/mesos/spark/wiki/Spark-Programming-Guide ------------------------------------------------------------- scala安装: $ wget http://www.scala-lang.org/files/archive/s…

前面介绍了Spark开发环境的搭建,下面将在实际开发过程中遇到的一些问题汇总一下: 1.Exception in thread "main" com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version' 这种情况,我出现的是原因提交job到spark集群中,采用的是java -jar的方式. 正确的做法是:用spark-submit 命令的方式提交jo…

首先已经安装好XMAPP和Workbench. 1.打开MySQL,然后打开Workbench: 然后我们需要下载MySQL的JDBC驱动. 1.进入MySQL官网:http://dev.mysql.com 2.点击download: 3.选择Community: 4.找到MySQL Connectors (或者直接点击这个链接也是可以进入的): 5.点击进入MySQL Connectors,然后选择点击 Connector/J 6.这样就进入了JDBC的下载页面: 因为这个选项卡下触发的是谷歌…

Windows Server 2016官网下载:https://msdn.microsoft.com/zh-cn/subscriptions/downloads/default.aspx#searchTerm=&ProductFamilyId=665&Languages=en,cn&PageSize=10&PageIndex=0&FileId=0 MSDN下载中心:https://msdn.microsoft.com/zh-cn/subscriptions/down…

MongoDB 下载:http://www.mongodb.org/ 本实例中MongoDB的C#驱动,支持linq:https://github.com/samus/mongodb-csharp MongoDB的基本配置可以参考:http://www.cnblogs.com/lipan/archive/2011/03/08/1966463.html 本实例中使用的MongoDB 版本是:mongodb-win32-i386-2.0.2-rc1.zip samus 驱动版本:samus-mong…

写在前面: 好久没有登录博客了,意外看到之前的几篇文章都有不错的阅读量,开心极了,不过没有什么点赞和评论,大概是没有给大家带来什么切实的帮助吧.o(*////▽////*)q. 最近在NTU负责一个国家研究基金委支持的智能城市交通的项目,第一步就是获取道路交通各种信息,收集分析数据.因为各种原因这次选择了Scrapy这个框架,也是我自己第一次接触python爬虫,圆满完成需求数据爬取之后,我在四台电脑上搭建了Scrapy环境,遇到了各种各样的问题,借此写一篇总结,也希望能够给大家提供一丝丝的帮助…

redis-4.0.1.gem下载网址 https://rubygems.org/gems/redis/ rubyinstaller-2.3.3-x64.exe下载网址 http://dl.bintray.com/oneclick/rubyinstaller/…

面试回来之后把其中比较重要的问题记了下来写了个总结: (答案在后面) 1.简答说一下hadoop的map-reduce编程模型 2.hadoop的TextInputFormat作用是什么,如何自定义实现 3.hadoop和spark的都是并行计算,那么他们有什么相同和区别 4.为什么要用flume导入hdfs,hdfs的构架是怎样的 5.map-reduce程序运行的时候会有什么比较常见的问题 6.简单说一下hadoop和spark的shuffle过程 以下是自己的理解,如果有不对的地方希望各位…

Spark为什么会比mapreduce快? 1.Spark减少了中间过程的磁盘读写,数据很多时候不需要落地,从而提升了效率. 2.Spark基于内存的读写,减少了磁盘IO.node数据交互的通信时间. 3.Spark并非mapreduce心跳的模式,任务调度性能比mapreduce快,适合迭代计算. 4.JVM的优化:Hadoop每次MapReduce操作,启动一个Task便会启动一次JVM,基于进程的操作.而Spark每次MapReduce操作是基于线程的,只在启动Executor是启动一次J…

Jenkins官网:https://jenkins.io/ 下载rpm安装包:   https://pkg.jenkins.io     http://mirrors.jenkins-ci.org/status.html 插件和jenkins.war包下载地址:http://updates.jenkins-ci.org 下载插件:https://plugins.jenkins.io/…

ubuntu64位 18.04(开发使用桌面版本) Nginx PHP7.3 开发工具:PHPStorm 其他技术栈:laravel.VUE.NodeJs https://laravel.com/ https://laravelacademy.org/laravel-docs-5_5 框架文档 https://learnku.com/docs/laravel/5.5/deployment/1287 Nginx 部署 部署工具 https://learnku.com/docs/laravel/5.…

本文环境说明 centos服务器 jupyter的scala核spylon-kernel spark-2.4.0 scala-2.11.12 hadoop-2.6.0 本文主要内容 spark读取hive表的数据,主要包括直接sql读取hive表:通过hdfs文件读取hive表,以及hive分区表的读取. 通过jupyter上的cell来初始化sparksession. 文末还有通过spark提取hdfs文件的完整示例 jupyter配置文件 我们可以在jupyter的cell框里面,对spar…

spark工作机制,哪些角色,作用. spark yarn模式下的cluster模式和client模式有什么区别.…

Android studio  http://www.androiddevtools.cn/ Oracle的VirtulBox https://www.virtualbox.org/wiki/Downloads genymotion  https://www.genymotion.com/download/…

http://wiki.opencv.org.cn/index.php/Download…

下载地址:SqlServer2008为例 SqlServer2008:https://www.microsoft.com/en-us/download/details.aspx?id=1695 SqlServer2008 R2:https://www.microsoft.com/en-us/download/details.aspx?id=30438    PS:注意切换语言选择需要的版本 官方数据库产品相关下载界面: https://www.microsoft.com/zh-cn/sql-se…

Apache Spark简介 Apache Spark是一个高速的通用型计算引擎,用来实现分布式的大规模数据的处理任务. 分布式的处理方式可以使以前单台计算机面对大规模数据时处理不了的情况成为可能. Apache Spark安装及配置(OS X下的Ubuntu虚拟机) 学习新东西最好是在虚拟机下操作,以免对现在的开发环境造成影响,我的系统是OS X,安装的是VirtualBox虚拟机,然后在虚拟机里安装的Ubuntu系统. VirtualBox安装方法请查看教程: YouTube: Instal…

更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo apt-get update 若出现如下 "Hash校验和不符" 的提示,可通过更改软件源来解决.若没有该问题,则不需要更改.从软件源下载某些软件的过程中,可能由于网络方面的原因出现没法下载的情况,那么建议更改软件源.在学习Hadoop过程中,即使出现"Hash校验和不符"…

Apache Spark源码剖析(全面系统介绍Spark源码,提供分析源码的实用技巧和合理的阅读顺序,充分了解Spark的设计思想和运行机理) 许鹏 著   ISBN 978-7-121-25420-8 2015年3月出版 定价:68.00元 304页 16开 编辑推荐 Spark Contributor,Databricks工程师连城,华为大数据平台开发部部长陈亮,网易杭州研究院副院长汪源,TalkingData首席数据科学家张夏天联袂力荐 1.本书全面.系统地介绍了Spark源码,深入浅出,…

简述 本文,意在以最小的篇幅,来帮助对大数据和Spark感兴趣的小伙伴,能尽快搭建一个可用的Spark开发环境.力求言简意赅.文章,不敢自称BMR的最佳实践,但绝对可以帮助初学者,迅速入门,能够专心于Spark本身的学习和实践.不服的童鞋,可以先自己折腾下BMR,再返回来读这篇文章O(∩_∩)O哈! 创建 BMR 实例 假定,你已经有了一个经过认证的百度开发者账号,就像系列第一篇文章讲的那样.什么?没有?那基本,没有必要继续往下读了,明天再来吧.没有经过认证的百度开发者账号,应该是没有权限创建…

自己牺牲了7个月的周末和下班空闲时间,通过研究Spark源码和原理,总结整理的<深入理解Spark:核心思想与源码分析>一书现在已经正式出版上市,目前亚马逊.京东.当当.天猫等网站均有销售,欢迎感兴趣的同学购买.我开始研究源码时的Spark版本是1.2.0,经过7个多月的研究和出版社近4个月的流程,Spark自身的版本迭代也很快,如今最新已经是1.6.0.目前市面上另外2本源码研究的Spark书籍的版本分别是0.9.0版本和1.2.0版本,看来这些书的作者都与我一样,遇到了这种问题.由于研究和…

hadoop shell运行的时候不会报这个错误,因为我已经重新在64位机上编译了源文件,并把so文件复制到hadoop的native目录下,而且环境变量也设置正确了,所以hadoop本身没有问题. 但在启动spark相关的shell时就会报这个问题. 经过查找,发现知乎上有人问了这个问题,我尝试照回答操作了,问题解决. 主要是jre目录下缺少了libhadoop.so和libsnappy.so两个文件.具体是,spark-shell依赖的是scala,scala 依赖的是JAVA_HOME下的…

Spark Contributor,Databricks工程师连城,华为大数据平台开发部部长陈亮,网易杭州研究院副院长汪源,TalkingData首席数据科学家张夏天联袂力荐1.本书全面.系统地介绍了Spark源码,深入浅出,细致入微2.提供给读者一系列分析源码的实用技巧,并给出一个合理的阅读顺序3.始终抓住资源分配.消息传递.容错处理等基本问题,抽丝拨茧4.一步步寻找答案,所有问题迎刃而解,使读者知其然更知其所以然 内容简介 书籍计算机书籍 <Apache Spark源码剖析>以Spark…

spark集群中的节点可以只处理自身独立数据库里的数据,然后汇总吗? 修改 我将spark搭建在两台机器上,其中一台既是master又是slave,另一台是slave,两台机器上均装有独立的mongodb数据库.我是否可以让它们只统计自身数据库的内容,然后将结果汇总到一台服务器上的数据库里?目前我的代码如下,但是最终只统计了master里的数据,另一个worker没有统计上. val config = new Configuration() //以下代码表示只统计本机数据库上的数据,猜测问题可能…