见连接: http://blog.csdn.net/HardReceiver/article/details/52650303…

在上一篇文章中,介绍了hadoop-2.6.0源码编译的一般流程,因个人计算机环境的不同, 编译过程中难免会出现一些错误,下面是我编译过程中遇到的错误. 列举出来并附上我解决此错误的方法,希望对大家有所帮助. 问题1: Detected JDK Version: ,} 原因:我当时的执行mvn package 操作时,我安装的jdk版本是1.8.0_144,从问题描述就可以看出,应该使用jdk1.7.0-----jdk1.7.1000这个范围. 解决:更改ldk版本.这里很简单,就不在列举更换步…

问题导读:1.如何对Spark1.0.0源码编译?2.如何生成Spark1.0的部署包?3.如何获取包资源? Spark1.0.0的源码编译和部署包生成,其本质只有两种:Maven和SBT,只不过针对不同场景而已:Maven编译SBT编译IntelliJ IDEA编译(可以采用Maven或SBT插件编译),适用于开发人员部署包生成(内嵌Maven编译),适用于维护人员编译的目的是生成指定环境下运行Spark本身或开发Spark Application的JAR包,本次编译的目的生成运行在hadoo…

更新一篇知识星球里面的源码分析文章,去年写的,周末自己录了个视频,大家看下效果好吗?如果好的话,后面补录发在知识星球里面的其他源码解析文章. 前言 之前自己本地 clone 了 Flink 的源码,编译过,然后 share 到了 GitHub 上去了,自己也写了一些源码的中文注释,并且 push 到了 GitHub 上去了.这几天阿里开源了宣传已久的 Blink,结果我那个分支不能够继续 pull 下新的代码,再加上自己对 Flink 研究了也有点时间了,所以打算将这两个东西对比着来看,这样可能…

以下为在CentOS-6.4下hadoop-1.2.0源码编译步骤. 1. 安装并且配置ant 下载ant,将ant目录下的bin文件夹加入到PATH变量中. 2. 安装git,安装autoconf,安装automake,安装libtool 3. 修改saveVersion.sh文件 修改hadoop工程目录src目录下的saveVersion.sh文件,将user=‘whoami’中的‘whoami’改为实际的名字(如我的名字maybob,则改为:user=maybob). 4. 执行ant编…

OK,在前面两篇博客中我们分别介绍了WmS中的token,同时也向小伙伴们区分了Window和窗口的区别,并且按照type值的不同将Android系统中的窗口分为了三大类,那么本篇博客我们就来看看应用窗口(即Activity所对应的窗口)到底是怎么创建出来的,如果小伙伴们尚不理解WmS中的token,或者不清楚Window和窗口的区别,可以先看看下面两篇博客,可以帮助你理解本文: 1.WmS详解(一)之token到底是什么?基于Android7.0源码 2.WmS详解(二)之如何理解Window…

上篇博客(WmS详解(一)之token到底是什么?基于Android7.0源码)中我们简要介绍了token的作用,这里涉及到的概念非常多,其中出现频率最高的要数Window和窗口这一对搭档了,那么我们今天就来看看到底我们该如何理解Android系统中的Window和窗口. 窗口这个概念,从不同的角度来看它的含义不一样,如果我们从WmS(WindowManagerService)的角度来看窗口,那么这个窗口并不是一个Window类,而是一个View.用户发来的消息被WmS接收之后并不能直接发给各个…

目前网络上都是针对老版EOS2.0源码编译的文章,我在mac上参考这些文章编译,最后发现根本就不对,最新版本只需一条命令(./eosio_build.sh,依赖库会自动安装的)即可.我根据这些文章手动安装的库还导致如下问题,最后大部分时间都花在解决这个问题上.[官网安装文档传送门] ItleaksDeMacbook-Pro:eos itleaks$ ./eosio_build.sh fatal: destination path 'mongo-cxx-driver' already exists…

参考:https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html Ambari 是什么 Ambari 的作用来就是创建.管理.监视 Hadoop 集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop.用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使…

参考这篇博客 经过测试,8.0源码下载及编译之后,占用100多G的硬盘空间,尽量给ubantu系统多留一些硬盘空间,如果后续需要在编译好的源码上进行开发,需要预留更多的控件,为了防止后续出现文件权限问题,建议使用root用户进行开发 分为4个流程 源码下载 构建编译环境 编译源码 运行 源码下载 安装git并且配置 //安装git sudo apt-get install git //配置git用户名称和邮箱 git config --global user.name "your name&qu…

准备: 1.jmeter4.0源码 - apache-jmeter-4.0_src.zip 2.IDE Eclipse - Oxygen.3 Release (4.7.3) 3.JDK - 1.8.0_122 开始: 1.新建java project 2.导入jmeter4.0源码 导入源码后项目结构: 3.Ant 下载编译依赖的jar,下载后的jar包会在 %eclipse_workspace%\jmeter_leocnx\MyJmeter\lib目录下 首先去除掉install,选择down…

更新一篇知识星球里面的源码分析文章,去年写的,周末自己录了个视频,大家看下效果好吗?如果好的话,后面补录发在知识星球里面的其他源码解析文章. 前言 之前自己本地 clone 了 Flink 的源码,编译过,然后 share 到了 GitHub 上去了,自己也写了一些源码的中文注释,并且 push 到了 GitHub 上去了.这几天阿里开源了宣传已久的 Blink,结果我那个分支不能够继续 pull 下新的代码,再加上自己对 Flink 研究了也有点时间了,所以打算将这两个东西对比着来看,这样可能…

编译环境: OS:RHEL 6.3 x64 Maven:3.2.1 Eclipse:Juno SR2 Linux x64 libprotoc:2.5.0 JDK:1.7.0_51 x64 步骤: 1. 下载Hadoop2.2.0源码包  http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz 2. 解压缩到Eclipse的workspace中.这里最好解压缩到workspace中,编译完…

准备编译hadoop-2.0.0-mr1-cdh4.2.0的同学们要谨慎了.首先看一下这篇文章: Hadoop作业提交多种方案 http://www.blogjava.net/dragonHadoop/archive/2012/10/22/389993.html 关于mapreduce远程将任务提交至云端,也就是打完jar包要往项目的哪个地方,实际上就是把jar包扔到你的项目中的任位置,然后加入项目的classpath中就可以了, 再次run in java application...  ok…

Hive默认使用MapReduce作为执行引擎,即Hive on mr,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark.由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比MapReduce快很多.默认情况下,Hive on Spark 在YARN模式下支持Spark. 因为本人在之前搭建的集群中,部署的环境为:hadoop2.7.3 hive2.3.4 scala2.12.8 kafka2…

最近打算开始研究一下Tomcat的工作原理,拜读一下源码.所以先从编译源码开始了.尽管网上有那么多的资料,但是总是觉得,自己研究一遍,写一遍,在动手做一遍能够让我们更加深入的了解.现在整个社会都流行着浮躁的风气,各种速成班,催熟剂的让我们难易静下心来去好好的研究一下技术.现在想想高中时候虽然很累,但是很充实.知道自己每天都干了些什么,再想想现在,是否还经常写字,写文章?是否还经常读书.我在经过了很长一段时间沉浸在只是上下班,重复以往的无聊日子后,终于明白了,学习读书依然要继续,要好好为自己充电来…

如果是自己通过repo和git直接从google官网上download的源码,请忽略这个问题,但是由于google在国内被限制登录,通过这一种方法不是每个人都能download下来源码,通常的做法就是从别人那拷贝,然后自己编译,那么通常会出现下面的错误: No rule to make target 'external/chromium_org/third_party/angle/.git/index', need by ..... 进入相应的目录,发现在angle目录下根本没有.git的目录,…

开发环境说明: Ubuntu 12.04 LTS 32bit 源码文件目录: 勤研光盘2013-5-4\4.0 https://github.com/jackyh (建议在Linux环境下通过git下载) 编译过程说明: 编译uboot (qt210_ics_uboot.bz2) 交叉编译环境: tar jxf arm-2009q3-67-arm-none-linux-gnueabi-i686-pc-linux-gnu.tar.bz2 -C /usr/local/arm 注:必须解压到/usr/…

运行hadoop环境时,常常会出现这种提示 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 意思是无法加载本地native库. 这里就需要我们自己本地进行编译hadoop源码,用生成的文件来替换原有的native库. 下面就是我整理的hadoop编译流程 首先介绍一下我的环境 cento…

参考链接官方文档:https://github.com/Microsoft/vscode/wiki/How-to-Contribute 一.准备环境 Git Node.js(64位,>= 8.12.0, < 9.0.0) Python(最好还是2.7版本,不支持3.0及其以上版本) 设置PYTHON指向您的环境变量python.exe.例如:C:\Python27\python.exe 为VSCode依赖的本机模块安装编译器 选项1(推荐):使用Windows Build Tools npm模…

环境及工具 JDK12 Gradle5.6.2 GIT 源码及预处理 到github将代码clone下来,可以根据自己的需求来获取版本,例如 git checkout v7.5.0 提前下载gradle5.6.2 zip文件 从https://services.gradle.org/distributions/gradle-5.6.2-all.zip copy gradle-5.6.2-all.zip 到C:\Users\username\Documents\GitHub\elasticsear…

下载源码请参考上一篇博文Kettle4.4.2源码分析 Kettle 5.0以前的库文件通过ant管理,5.0+的库文件通过ant+ivy管理.Eclipse一般都是安装ant插件,不安装ivy插件,在编译之前先在eclipse安装ivyde插件. 安装ivyde插件 启动Eclipse,Help -> Install New Software..,输入http://www.apache.org/dist/ant/ivyde/updatesite 全部安装,安装完毕重启Eclipse,在wind…

平台 ubuntu 16.04 参考文档: https://dev.mysql.com/doc/dev/connector-cpp/8.0/building.html 下载源码 访问 https://dev.mysql.com/downloads/connector/cpp/ ,选择source code 下载 依赖 编译 MySQL Connector/C++ 需要 依赖于openssl,mysql,cmake ,boost,libz 等组件,需要事先安装 步骤 以下 以编译jdbc 静态库…

一.下载源码 高通芯片代码下载地址:https://chipcode.qti.qualcomm.com/ . *_amss_standard_oem : 高通私有源码(*为sdm845-la--. *. CAF : 高通对应的谷歌源码 二.编译源码: 1.将高通私有部分源码拷贝到谷歌源码(caf)对应目录下: cp -rf amss_standard_oem/LINUX/android/vendor/qcom/proprietary caf/vendor/qcom/ 2.拷贝camx部分代码到对…

前言 最近看了看Apache Flume,在虚拟机里跑了一下flume + kafka + storm + mysql架构的demo,功能很简单,主要是用flume收集数据源(http上报信息),放入到kafka队列里,然后用storm消费kafka里的资源,计算结果并存入到mysql中: 在这期间遇到了很多问题,也学到了一些知识,打算做个笔记吧,帮助自己也帮助别人: 先从Flume源码的编译开始: 下载 下载源码很简单,去官网或者去github下载,Apache Flume 1.7.0的git…

一.下载源码并解压 二.检查以下几项 必须有网络!!! JDK 1.7+ 安装方法 java -version Maven 3.0 or later 安装方法 mvn -version Findbugs 1.3.9,需要解压到/usr/share/目录下,并添加环境变量 安装方法 ProtocolBuffer 2.5.0 必须是这个版本,官方文档的方法会安装最新版本2.6.1 安装方法 protoc --version Native libraries $ sudo apt-get -y ins…

操作系统:Centos 所需条件:能上网 编译所需工具: apache-ant-1.9.2-bin.tar.gz apache-maven-3.0.5-bin.tar.gz findbugs-2.0.2.tar.gz protobuf-2.5.0.tar.gz 编译工具还需配置环境变量到 /etc/profile,并加入的环境变量PATH中:         手动设置下载源:/etc/yum.repos.d/CentOS-Base.repo 或者 直接执行:yum update 完成上步操作后,…

做Android有些年头了,Framework层三大核心View系统,WmS.AmS最近在研究中,这三大块,每一块都够写一个小册子来介绍,其中View系统的介绍,我之前有一个系列的博客(不过由于时间原因,该系列尚未收尾,后续分析仍在探究中),小伙伴们自行查找.WmS和AmS这两个也需要我们一个小块一个小块来啃,那么今天我们就先来看看WmS中涉及到的一个小小的变量token,这个东西到底是什么? 缘起 token这个东西有过几年开发经验的小伙伴应该都清楚,即使没有认真研究过也至少遇到过,在我们使用…

vscode默认是英文,如果你想让其变为中文,可参考这个链接:https://blog.csdn.net/testcs_dn/article/details/75070415 最近发现一个很奇怪的问题,vscode打包前和打包后存在很大的不同的,正常来说,比如我们开发项目,实际上来说,本地怎么样,线上就怎么样,当然了,也不排除一些线上导致的bug. 比如vscode源码已经启用了中文语言包插件,同时也修改了locale.json文件(将文件中的en改为zh-CN),但是还是是英文,后来我转念一想…

最近想对自己学的东西做些回顾,想到写博客是个不错的方式,方便他人也有利自己,刚开始写不足之处大家多担待. 编译前需要安装JDK1.6以上.scala.Maven.Ant.hadoop2.20 如下图(/etc/profile): Spark编译有提供了两种方式: Maven编译:在 /etc/profile文中添加:export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" 执行命令:mv…