Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver).同时,这台主机,我们就用第一章中搭建好的环境来. 我们采用与第一章中相似的步骤来操作: 运行环境搭建 在前面,我们知道,运行hadoop是在linux上运行的.所以我们单机就在…

Nutch1.7学习笔记:基本环境搭建及使用 作者:雨水,时间:2013-10-31博客地址:http://blog.csdn.net/gobitan 说明:Nutch有两个主版本1.x和2.x,它们的主要区别是2.x引入了Gora作为存储抽象层,从而支持各种NoSQL数据库,如HBase,Cassandra等.本文是以1.x的最新版Nutch1.7 (发布于2013年6月25日)为例. 环境准备: 一台Ubuntu Linux服务器,可以装在VMware虚拟机中. 下载Nutch1.7版本的二…

目录 第一步  安装JDK 第二步 下载Eclipse 第三步 在Eclipse中安装TestNG 第四步 下载Selenium IDE.SeleniumRC.IEDriverServer 第五步 下载Firefox.安装Selenium IDE.firebug.Xpath checker.Xpath finder插件 第六步 启动SeleniumRC 第七步 Eclipse执行Selenium的Java实例 第八步 TestNG执行Selenium的Java实例 下载地址 第一步  安装JDK…

Java开发环境搭建 一:安装JDK: 1.下载地址:http://www.oracle.com/technetwork/java/javase/downloads 非常显眼的下载界面 2.点击下载后我们选择Accept License Agreement (接受许可协议) 3.选择需要的版本 我这里选择windows版本所以选最后一个 4.点击jdk.exe即可下载 5.下载完毕后按照提示安装即可也就是直接点击下一步 二:配置环境变量: 1.安装完成后,右击桌面图标“我的电脑(此电脑)”,点击…

今天起开始学习Java,学习用书为Core Java.之前有过C的经验.准备把自己学习这一本书时的各种想法,不易理解的,重要的都记录下来.希望以后回顾起来能温故知新吧.也希望自己能够坚持把自己学习这本书的整个过程记录下来. I want to put a ding in the universe. 基本术语:       Object Oriented Programming——OOP——面向对象编程 Application Programming Interface——API——应用程序编程接…

高级语言运行机制 高级语言按程序的执行方式分为编译型和解释型两种. java语言比较特殊,Java程序的执行必须经过先编译后解释的步骤. 1 编译生成字节码,只面向JVM(.class) 2Jvm执行解释 JVM:(Java virtual machine) java虚拟机负责解释执行字节码文件,是java程序跨平台的关键部分. 跨平台原理:所有平台的JVM向上提供给java字节码程的接口完全相同-+,向向适应不同平台的接口互不相同. 小贴士:windows操作系统(不区分大小写)通过Path环…

本文地址:http://www.cnblogs.com/archimedes/p/java-study-note1.html,转载请注明源地址. 1.Java程序设计语言 Java程序设计语言是一种高级语言,它用我们熟悉的字词.句等表述需要计算机为我们做的事情.大多数程序设计语言,都要经过编译或解释以便能在计算机上运行. 在Java程序设计语言中,所有源代码写在一个扩展名是.java的纯文本文件里.这些源文件通过Java编译器(javac.exe)编译成.class文件..class文件不包含本…

最近因为架构中引入了kafka,一些之前在代码中通过RPC调用强耦合但是适合异步处理的内容可以用kafka重构一下. 考虑从头学一下kafka了解其特性和使用场景. 环境选择 首先是测试环境的搭建,平时使用的是win,但kafka以及zk在win上会存在一些bug(例如 https://issues.apache.org/jira/browse/KAFKA-1194),最好还是在linux平台上搭建. 虚拟机是一个不错的选择但开销比较大,日常使用的笔记本8G内存开启虚拟机不是很方便,bash o…

一.Mybatis概述 1.1 Mybatis介绍 MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code,并且改名为MyBatis .2013年11月迁移到Github. MyBatis是一个优秀的持久层框架,它对jdbc的操作数据库的过程进行封装,使开发者只需要关注 SQL 本身,而不需要花费精力去处理例如注册驱动.创建connection.创建statement.手动设置参数.结…

本文为<Flink大数据项目实战>学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习课程: Flink大数据项目实战:http://t.cn/EJtKhaz 1. 创建Flink项目及依赖管理 1.1创建Flink项目 官网创建Flink项目有两种方式: https://ci.apache.org/projects/flink/flink-docs-release-1.6/quickstart/java_api_quickstart.html 方式一: mvn a…

学习的开始先剧透一下,本人有点笨,本来想用oracle vbox,装个red hat+oracle,但是虚拟机一直报错,0x00000000内存不能written.所以便想到其他的办法,刚好接触了golang,然后就知道了docker这个伟大的项目,所以本环境使用docker来搭建.省去了一大部分时间可以直接开始Oracle的学习. 特此留下笔记,以供参考.... 工具:一共需要三个工具 docker-install.exe DockerToolbox-1.12.0.exe SecureCRT.…

在Java的世界里,项目的管理与构建,有两大常用工具,一个是Maven,另一个是Gradle,当然,还有一个正在淡出的Ant.Maven 和 Gradle 都是非常出色的工具,排除个人喜好,用哪个工具来构建项目,都是很不错的选择.本人从事开发工作多年了,一般不喜欢被绑定在某一个IDE上面,所以,我这里主要是总结一些使用命令行来完成项目构建的方法,当然,这也有利于后期往Jenkins 等持续集成工具迁移时作为参考. 1.Java 基础环境搭建 Oracle的官网上找到合适的JDK下载,链接http…

MyBatis-Plus是一个 MyBatis的增强工具,在 MyBatis 的基础上只做增强不做改变,使用MyBatis-Plus时,不会影响原来Mybatis方式的使用. SpringBoot+MyBatis-Plus环境搭建 SQL脚本: CREATE TABLE `tb_user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `real_name` varchar(20) DEFAULT NULL, `email` varchar(50) DEFAUL…

将学习到的JAVA基础用xmind记录了下来,需要原件的可以私信…

从字面上来看,ZooKeeper表示动物园管理员,这是一个十分奇妙的名字,我们又想起了Hadoop生态系统中,许多项目的Logo都采用了动物,比如Hadoop采用了大象的形象,所以我们可以猜测ZooKeeper就是对这些动物进行一些管理工作的. 一.ZooKeeper基础介绍 1.1 动物园也要保障安全 zookeeper是hadoop下面的一个子项目,用来协调跟hadoop相关的一些分布式的框架,如hadoop, hive, pig等, 其实他们都是动物,所以叫zookeeper ——“动物园…

php开发环境搭建:apache + php + mysql1.下载apache,php及mysql安装包2.安装apache:下载的apache若是.msi可直接双击,按指示一步一步安装:(若操作系统为win8则,不能通过双击安装.msi,需要以管理员身份运行cmd,在cmd中进入.msi安装包所在目录,然后运行该.msi文件方可安装)若是压缩包,则先解压然后以管理员身份运行cmd,在cmd中进入到apache解压后的目录,进入bin子目录,找到httpd.exe,在cmd中输入httpd -…

http://www.cnblogs.com/nick-huang/p/3859353.html 使用Java API发送 get请求或post请求的步骤: 1. 通过统一资源定位器(java.net.URL)获取连接器(java.net.URLConnection)2. 设置请求的参数3. 发送请求4. 以输入流的形式获取返回的内容 5. 关闭输入流 接收端的处理可以使用servlet的doGet和doPost方法 发送端 get示例 import java.io.BufferedReader…

以下内容摘自:  https://www.cnblogs.com/crazylqy/p/4172324.html import java.sql.Timestamp; import java.text.ParsePosition; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; import java.util.GregorianCalendar; import java.u…

一:环境搭建 1:开发环境:JDK安装.Eclipse安装 2:数据库:Mysql.Sequel Pro(数据库可视化操作工具) 3:web服务器:Tomcat下载,并且把tomcat配置到Eclipse的Server选项中 4:其他辅助工具:jar包反编译工具JD-GUI.J2EE常用jar包下载 二:安装Spring辅助插件——Spring tool suite 分为离线安装和在线安装. 离线安装如果遇到“cannot perform opration......”报错的话,点击 Add 按…

  关于对象与引用之间的一些基本概念. 初学Java时,在很长一段时间里,总觉得基本概念很模糊.后来才知道,在许多Java书中,把对象和对象的引用混为一谈.可是,如果我分不清对象与对象引用, 那实在没法很好地理解下面的面向对象技术.把自己的一点认识写下来,或许能让初学Java的朋友们少走一点弯路. 为便于说明,我们先定义一个简单的类: class Vehicle { int passengers; int fuelcap; int mpg; } 有了这个模板,就可以用它来创建对象: Vehicl…

一.java脚本引擎 java脚本引擎是沟通java和脚本语句之间的桥梁,可以通过对应的脚本引擎在java中调用各种脚本语言. 二.脚本引擎执行脚本代码 ScriptEngineManager:为ScriptEngine提供实例化机制. 方法:getEngineByName(String shortName);//查找并创建指定名称的脚本引擎 ScriptEngine:是一个接口,该接口提供了基本的脚本功能(包括执行脚本,设置和获取值的方法). 方法:get(String key);//获取指定…

上次提前说了java中的面向对象,主要是为了使用这些常见类做打算,毕竟Java中一切都是对象,要使用一些系统提供的功能必须得通过类对象调用方法.其实Java相比于C来说强大的另一个原因是Java中提供了大量可用的标准库 字符串 字符串可以说是任何程序都离不开的东西,就连一个简单的hello world程序都用到了字符串,当时C语言中对字符串的支持并不太好,C语言中的字符串实质上是一个字符数组.为了方便不同的C/C++库都有自己的字符串实现.而Java中内置了对字符串的支持,Java中的字符串是一…

1.JDK下载并安装,以jdk-7u45-windows-i586.exe为例(注意JDK的安装和JRE的安装是分开的) 2.“我的电脑”右键属性,找到“高级系统设置”,找到“高级”tab下的“环境变量” 3."系统变量"中新建JAVA_HOME变量,内容填写JDK安装路径(D:\Java\jdk) 4.“系统变量”中查找Path变量,在变量值最后输入%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; (注意如果Path中已有的内容最后没有分号,需要先补上一个分号…

本程序媛搞前端的,上班偶有空闲,不妨来学习学习,不然怎么包养小白脸,走上人生巅峰? 说实话,每个语言都相通,有了javascript的基础,并且有了两三年跟java打交道的经验,简单学习下java想必不会特别困难.好了,废话不多说,开搞! 环境的配置 首先我是个小白,对java啥都不懂,就随意从我学的地方开始叙说 jdk 软件开发工具包 java开发的核心 包含java的运行环境,java工具和java基础的类库 jre 运行环境,jvm标准实现及核心类库 JDK=JRE+开发工具集(例如jav…

1.环境变量包括: JAVA_HOME,CLASSPATH,PATH 2.设置环境变量的目的: 路径搜索,方便查找到jdk的安装路径.方便搜索用到的类文件.方便搜索用到的可执行文件如java,javac等. 3.各环境变量的含义: ①.JAVA_HOME,指向jdk的安装目录,通过搜索JAVA_HOME来找到jdk. ②.CLASSPATH,指定类文件的搜索路径,通过搜索CLASSPATH,看是否能找到使用的类文件. ③,PATH,指定命令的搜索路径,通过搜索PATH,看是否能找到要执行的命令.…

好长时间不用Java,今天看了下,Maven集成成主流了,在技术水平与日俱进的同时,感叹下IT行业必须有活到老学到老的精神. 先说下环境: Maven:Maven 3.0.5 解压后路径:F:\Maven\apache-maven-3.0.5-bin JDK:jdk1.7.0_11 安装路径:C:\Program Files\Java\jdk1.7.0_11 一.下载Maven Maven主页: http://maven.apache.org/ 下载地址: http://maven.apache…

2.1 环境变量的配置   2.1.1 path环境变量配置的作用 程序的执行需要使用外部指令javac,但是javac指令仅仅能在JDK安装目录下的bin目录下运行,因此程序只能写入bin目录程序开发过程中,不能将源代码写入JDK的安装目录,因此需要将源程序保存到任意位置的指定目录(英文目录),所以需要使javac指令在任意目录下可以运行.   2.1.2 path环境变量配置方式1 通过配置path环境变量,将javac指令所在目录也就是JDK安装目录下的bin目录配置到path变量下,即可…

1.环境变量包括: JAVA_HOME,CLASSPATH,PATH 2.设置环境变量的目的: 路径搜索,方便查找到jdk的安装路径.方便搜索用到的类文件.方便搜索用到的可执行文件如java,javac等. 3.各环境变量的含义: ①.JAVA_HOME,指向jdk的安装目录,通过搜索JAVA_HOME来找到jdk. ②.CLASSPATH,指定类文件的搜索路径,通过搜索CLASSPATH,看是否能找到使用的类文件. ③,PATH,指定命令的搜索路径,通过搜索PATH,看是否能找到要执行的命令.…

最近抽时间在学习Java,目前有了一点心得,在此记录下来. 由于我自己之前学过C/C++,而Java的语法与C/C++基本类似,所以这一系列文章我并不想从基础一点点的写,我想根据我已有的C/C++经验,补充一些需要注意的点,或者java中独特的内容,或者将C/C++进行对比来总结一下学习的内容. 为什么要学习java 最开始接触到Java还是在学校中开设的一门java编程语言的课,那个时候感觉java很麻烦,写个helloworld要那么多代码.后来学到web编程,我自己搭建的环境总是报错,而且…

1.Java体系: JavaSE:标准版,其他两个体系的基础 JavaEE:企业版 JavaME:微型版,适用于消费类型的微型设备 2.Java三大特性:封装.继承.多态 3.Java的特点:面向对象.可移植.安全.动态.多线程 可移植,一次编译,到处运行 JVM:Java虚拟机(翻译官) 4.搭建环境 (1)下载jdk:去oracle的官网下载 注意:jdk 分为很多版本,1.1-1.10 选择比较稳定的版本1.7或者1.8 建议选择1.8版本 (2)安装jdk: jdk:Java开发工具包,…