基础环境准备: 系统:(VirtualBox) ubuntu-12.04.2-desktop-i386.iso hadoop版本:hadoop-0.20.203.0rc1.tar.gz jdk版本:jdk-6u26-linux-i586.bin 安装ssh服务 sudo apt-get install openssh-server 在Ubuntu下创建hadoop用户组和用户 $ sudo addgroup hadoop $ sudo adduser --ingroup hadoop hadoo…

Hadoop学习笔记(10) ——搭建源码学习环境 上一章中,我们对整个hadoop的目录及源码目录有了一个初步的了解,接下来计划深入学习一下这头神象作品了.但是看代码用什么,难不成gedit?,单步调试呢? 看程序不能调那多痛苦啊,想看跟踪一下变量,想看一下执行路径都难. 所以这里,我们得把这个调试环境搭建起来.Hadoop的主要代码是用java编写的,所以这里就选用eclipse作为环境. Hadoop目录下,本身就可以为作eclipse的一个工程来操作,但这里我不想,我想自己来建一个工程,…

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的,所以要开发Hadoop相应的程序就得用JAVA.在linux下开发JAVA还数eclipse方便. 下载 进入官网:http://eclipse.org/downloads/. 找到相应的版本进行下载,我这里用的是eclipse-SDK-3.7.1-linux-gtk版本. 解压 下载下来一般是tar.gz文件,运行: $tar -zxvf eclipse-SDK-3.7.1-linu…

想往大数据方向转, 难度肯定是有的. 基础知识肯定是要有的,如果是熟悉JAVA开发的人,转向应该优势大. 像我这样的,只有Linux基础以及简单的PHP基础的人,转向难度很大.但是事在人为,努力学习多加练习,寻找机会应该可以的. 以下是学习笔记,自己的笔记自己看懂,所以尽量简短 : T440P上装了Vm12, 添加三台Centos6.5 各1G内存,按照下方的笔记内容设置网络和环境. 前面部分的都是centos的基本操作.涉及vim, 以及一些Linux命令. 设置时间.主机名.IP.关闭防火墙…

回到目录 Redis学习笔记已经告一段落,Redis仓储也已经实现了,对于key/value结构的redis我更愿意使用它来实现数据集的缓存机制,而对于结构灵活,查询效率高的时候使用redis就有点不太合适了,对于以文档结构(document)实现存储的MongoDB来实现数据集的查询更合适一些,并且MongoDB有自己的负载均衡机制及MapReduce机制,不公可能分但查询的压力,而且还可以进行分布式计算,这个功能应该是最要命的! MongoDB支持的数据结构非常松散,是类似Json的BJso…

0.环境搭建 笔者使用的是deepin/mac两种系统,因为两个电脑经常切换用.环境搭建没什么区别. 0.1 node安装 按照node官网叙述安装 # Using Debian, as root curl -sL https://deb.nodesource.com/setup_10.x | bash - apt-get install -y nodejs 0.2 yarn 安装 有时使用node安装后续脚手架时会出错,排错可能比较费时间,所以也推荐使用yarn,部署yarn与node及其使用…

前言 Python是一个高层次的结合了解释性.编译性.互动性和面向对象的脚本语言. Python的设计具有很强的可读性,相比其他语言经常使用英文关键字,其他语言的一些标点符号,它具有比其他语言更有特色语法结构. Python 是一种解释型语言: 这意味着开发过程中没有了编译这个环节.类似于PHP和Perl语言. Python 是交互式语言: 这意味着,您可以在一个Python提示符,直接互动执行写你的程序. Python 是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的…

Spring框架是一个轻量级的框架,不依赖容器就能够运行,像重量级的框架EJB框架就必须运行在JBoss等支持EJB的容器中,核心思想是IOC,AOP,Spring能够协同Struts,hibernate等其他众多的框架. 具体描述Spring: 1.轻量级:Spring是非侵入性的,基于Spring来开发的应用中的对象可以不依赖于SpringAPI. 2.依赖注入(DI) 3.面向切面编程(AOP) 4.容器,Spring是一个容器,包含并且管理应用对象的生命周期. 下面介绍环境的搭建,首先下…

DVWA是一款渗透测试的演练系统,在圈子里是很出名的.如果你需要入门,那么就选它了. 我们通常将演练系统称为靶机,下面请跟着我一起搭建DVWA测试环境.  安装PHP集成环境 我这里用的是phpstudy 2016,这个使用起来比较方便.. http://www.phpstudy.net/phpstudy/phpStudy20161103.zip 下载后然后放在安装好的Win7种执行. 安装起来比较容易,一直点下一步.然后会有初始化的提示点击是. 安装DVWA  从这里面进行下载.https:/…

打开终端 输入命令 sudo apt-get install gcc git wget make libncurses-dev flex bison gperf python python-serial 会提示需要输入密码 输入密码后有可能会提示 使用下面的命令解锁一下就行了 sudo rm /var/lib/dpkg/lock 成功以后就是下面的界面 乐鑫是默认将工具链安装在 ~/esp/ 目录的,我也将工具链安装到这里吧. 先创建并进入该目录: mkdir -p ~/esp cd ~/esp…