hadoop学习之旅2

集群搭建文档1.0版本

1. 集群规划

所有需要用到的软件：

链接：http://pan.baidu.com/s/1jIlAz2Y
密码：kyxl

2.0 系统安装

2.1 主机名配置

    2.1. vi /etc/sysconfig/network

        NETWORKING=yes

    2.1. vi /etc/sysconfig/network

        NETWORKING=yes

        HOSTNAME=ys02

    2.1. vi /etc/sysconfig/network

        NETWORKING=yes

    2.1. vi /etc/sysconfig/network

        NETWORKING=yes

        HOSTNAME=ys04

2.2 host文件修改

    2.2. vi /etc/hosts

        10.1.1.149 ys01

        10.1.1.148 ys02

        10.1.1.146 ys03

        10.1.1.145 ys04

2.3 关闭防火墙(centos 7默认使用的是firewall，centos  默认是iptables)

    2.3. systemctl stop firewalld.service （停止firewall）

    2.3. systemctl disable firewalld.service （禁止firewall开机启动）

    2.3. firewall-cmd --state （查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

2.4 免密登录(ys01 ->ys02,,)

    ssh-keygen -t rsa

    ssh-copy-id ys02(随后输入密码)

    ssh-copy-id ys03（随后输入密码）

    ssh-copy-id ys04（随后输入密码）

    ssh ys02(测试是否成功)

    ssh ys03(测试是否成功)

    ssh ys04(测试是否成功)

2.5 系统时区与时间同步

    tzselect（生成日期文件）

    cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime（将日期文件copy到本地时间中）

3. 软件安装

3.0 安装目录规划（软件为所有用户公用）

    3.0.0所有软件的安装放到/usr/local/ys/soft目录下(mkdir /usr/local/ys/soft)

    3.0.1所有软件安装到/usr/local/ys/app目录下(mkdir /usr/local/ys/app)

 3.1 JDK（jdk1.）安装

    3.1. alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下

    3.1.2解压jdk

      cd /usr/local/ys/soft

        #解压

        tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local/ys/app

    3.1.3将java添加到环境变量中

    vim /etc/profile

    #在文件最后添加

    export JAVA_HOME= /usr/local/ys/app/ jdk-7u80

    export PATH=$PATH:$JAVA_HOME/bin

    3.1. 刷新配置

    source /etc/profile

3.2 Zookeeper安装

    3.2.0解压

    tar -zxvf zookeeper-3.4..tar.gz -C /usr/local/ys/app（解压）

    3.2. 重命名

    mv zookeeper-3.4. zookeeper（重命名文件夹zookeeper-3.4.5为zookeeper）

    3.2.2修改环境变量

    vi /etc/profile(修改文件)

    添加内容：

    export ZOOKEEPER_HOME=/usr/local/ys/app/zookeeper

    export PATH=$PATH:$ZOOKEEPER_HOME/bin

    3.2. 重新编译文件：

    source /etc/profile

    注意：3台zookeeper都需要修改

    3.2.4修改配置文件

    cd zookeeper/conf

    cp zoo_sample.cfg zoo.cfg

    vi zoo.cfg

    添加内容：

    dataDir=/usr/local/ys/app/zookeeper/data

    dataLogDir=/usr/local/ys/app/zookeeper/log

    server.=ys01:: (主机名, 心跳端口、数据端口)

    server.=ys02::

    server.=ys04::

    3.2. 创建文件夹

    cd /usr/local/ys/app/zookeeper/

    mkdir -m  data

    mkdir -m  log

    3.2. 在data文件夹下新建myid文件，myid的文件内容为：

    cd data

    vi myid

    添加内容：

    将集群下发到其他机器上

    scp -r /usr/local/ys/app/zookeeper ys02:/usr/local/ys/app/

    scp -r /usr/local/ys/app/zookeeper ys04:/usr/local/ys/app/

    3.2.7修改其他机器的配置文件

    到ys02上：修改myid为：

    到ys02上：修改myid为：

    3.2.8启动（每台机器）

    zkServer.sh start

    查看集群状态

    jps（查看进程）

    zkServer.sh status（查看集群状态，主从信息）

3.3 Hadoop（HDFS+Yarn）

    3.3. alt+p 后出现sftp窗口，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下

    3.3. 解压jdk

      cd /usr/local/ys/soft

        #解压

        tar -zxvf cenos--hadoop-2.6..tar.gz -C /usr/local/ys/app

    3.3. 修改配置文件

core-site.xml

hdfs-site.xml

yarn-sifite.xml

svales

ys02

ys03

ys04

3.3.3集群启动（严格按照下面的步骤）

    3.3..1启动zookeeper集群（分别在ys01、ys02、ys04上启动zk）

        cd /usr/local/ys/app/zookeeper-3.4./bin/

        ./zkServer.sh start

        #查看状态：一个leader，两个follower

        ./zkServer.sh status

    3.3..2启动journalnode（分别在在mini5、mini6、mini7上执行）

        cd /usr/local/ys/app/hadoop-2.6.

        sbin/hadoop-daemon.sh start journalnode

        #运行jps命令检验，ys02、ys03、ys04上多了JournalNode进程

    3.3..3格式化HDFS

        #在ys01上执行命令:

        hdfs namenode -format

        #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/usr/local/ys/app/hadoop-2.6./tmp，然后将/usr/local/ys/app/hadoop-2.6./tmp拷贝到ys02的/usr/local/ys/app/hadoop-2.6./下。

        scp -r tmp/ ys02:/usr/local/ys /app/hadoop-2.6./

        ##也可以这样，建议hdfs namenode -bootstrapStandby

    3.3..4格式化ZKFC(在ys01上执行一次即可)

        hdfs zkfc -formatZK

    3.3..5启动HDFS(在ys01上执行)

        sbin/start-dfs.sh

    3.3..6启动YARN

        sbin/start-yarn.sh

.3MySQL-.6安装

    略过

3.4 Hive

    3.4. alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下

    3.4.2解压

    cd /usr/local/ys/soft

tar -zxvf hive-0.9..tar.gz -C /usr/local/ys/app

    3.4. .配置hive

        3.4..1配置HIVE_HOME环境变量  vi conf/hive-env.sh 配置其中的$hadoop_home

        3.4..2配置元数据库信息   vi  hive-site.xml

3.4. 安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下

    如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行)

    mysql -uroot -p

    #(执行下面的语句  *.*:所有库下的所有表   %：任何IP地址或主机都可以连接)

    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

    FLUSH PRIVILEGES;

    3.4. Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /usr/local/ys/app/hadoop-2.6./share/hadoop/yarn/lib/jline-0.9..jar

    3.4.6启动hive

    bin/hive

3.5 Kafka

    3.5. 下载安装包

    http://kafka.apache.org/downloads.html

    在linux中使用wget命令下载安装包

    wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz

  3.5. 解压安装包

    tar -zxvf /usr/local/ys/soft/kafka_2.-0.8.2.2.tgz -C /usr/local/ys/app/

cd /usr/local/ys/app/

ln -s kafka_2.-0.8.2.2 kafka

  3.5. 修改配置文件

    cp

    /usr/local/ys/app/kafka/config/server.properties

   /usr/local/ys/app/kafka/config/server.properties.bak

    vi  /usr/local/ys/kafka/config/server.properties

输入以下内容

3.5. 分发安装包

    scp -r /usr/local/ys/app/kafka_2.-0.8.2.2 ys02: /usr/local/ys/app/

    scp -r /usr/local/ys/app/kafka_2.-0.8.2.2 ys03: /usr/local/ys/app/

    scp -r /usr/local/ys/app/kafka_2.-0.8.2.2 ys04: /usr/local/ys/app/

    然后分别在各机器上创建软连

    cd /usr/local/ys/app/

    ln -s kafka_2.-0.8.2.2 kafka

 3.5. 再次修改配置文件（重要）

   依次修改各服务器上配置文件的的broker.id，分别是0,,2不得重复。

 3.5. 启动集群

    依次在各节点上启动kafka

    bin/kafka-server-start.sh  config/server.properties

3.6 Spark

    3.6. alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下

    3.6.  解压安装包

tar -zxvf /usr/local/ys/soft/ spark-1.6.-bin-hadoop2..tgz -C /usr/local/ys/app/

    3.6. 修改Spark配置文件(两个配置文件spark-env.sh和slaves)

    cd /usr/local/ys/soft/spark-1.6.-bin-hadoop2.

    进入conf目录并重命名并修改spark-env.sh.template文件

    cd conf/

    mv spark-env.sh.template spark-env.sh

    vi spark-env.sh

    在该配置文件中添加如下配置

    export JAVA_HOME=/usr/java/jdk1..0_45

    export SPARK_MASTER_PORT=

    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ys01,ys02,ys04 -Dspark.deploy.zookeeper.dir=/spark"

    保存退出

    重命名并修改slaves.template文件

    mv slaves.template slaves

    vi slaves

    在该文件中添加子节点所在的位置（Worker节点）

    Ys02

    Ys03

    Ys04

    保存退出

    3.6. 将配置好的Spark拷贝到其他节点上

    scp -r spark-1.6.-in-hadoop2./ ys02:/usr/local/ys/app

    scp -r spark-1.6.-bin-hadoop2./ ys03:/usr/local/ys/app

    scp -r spark-1.6.-bin-hadoop2./ ys04:/usr/local/ys/app

    3.6. 集群启动

    在ys01上执行sbin/start-all.sh脚本

    然后在ys02上执行sbin/start-master.sh启动第二个Master

3.7 Azkaban

    3.7. azkaban web服务器安装

        解压azkaban-web-server-2.5..tar.gz

        命令: tar –zxvf /usr/local/ys/soft/azkaban-web-server-2.5..tar.gz -C /usr/local/ys/app/azkaban

       将解压后的azkaban-web-server-2.5. 移动到 azkaban目录中,并重新命名 webserver

     命令: mv azkaban-web-server-2.5. ../azkaban

       cd ../azkaban

        mv azkaban-web-server-2.5.   webserver

     3.7. azkaban 执行服器安装

         解压azkaban-executor-server-2.5..tar.gz

         命令:tar –zxvf /usr/local/ys/soft/azkaban-executor-server-2.5..tar.gz -C /usr/local/ys/app/azkaban

     将解压后的azkaban-executor-server-2.5. 移动到 azkaban目录中,并重新命名 executor

   命令:mv azkaban-executor-server-2.5.  ../azkaban

   cd ../azkaban

   mv azkaban-executor-server-2.5.  executor

    3.7. azkaban脚本导入

        解压: azkaban-sql-script-2.5..tar.gz

        命令:tar –zxvf azkaban-sql-script-2.5..tar.gz

        将解压后的mysql 脚本,导入到mysql中:

        进入mysql

        mysql> create database azkaban;

        mysql> use azkaban;

        Database changed

        mysql> source /usr/local/ys/soft/azkaban-2.5./create-all-sql-2.5..sql;

    3.7. 创建SSL配置

    参考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL

    命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA

    运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下(此处我输入的密码为：)

    输入keystore密码：

    再次输入新密码:

    您的名字与姓氏是什么？

    [Unknown]：

    您的组织单位名称是什么？

    [Unknown]：

    您的组织名称是什么？

    [Unknown]：

    您所在的城市或区域名称是什么？

    [Unknown]：

    您所在的州或省份名称是什么？

    [Unknown]：

    该单位的两字母国家代码是什么

     [Unknown]：  CN

    CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？

    [否]：  y

输入<jetty>的主密码（如果和 keystore 密码相同，按回车）：

再次输入新密码

完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver

    3.7. 配置文件

    注：先配置好服务器节点上的时区

    先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可

    拷贝该时区文件，覆盖系统本地时区配置

    cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime  

    3.7. azkaban web服务器配置

    进入azkaban web服务器安装目录 conf目录

    修改azkaban.properties文件

    命令vi azkaban.properties

内容说明如下：

*Azkaban Personalization Settings

azkaban.name=Test                           #服务器UI名称,用于服务器上方显示的名字

azkaban.label=My Local Azkaban                               #描述

azkaban.color=#FF3601                                                 #UI颜色

azkaban.default.servlet.path=/index                         #

web.resource.dir=web/                                                 #默认根web目录

default.timezone.id=Asia/Shanghai                           #默认时区,已改为亚洲/上海 默认为美国

*Azkaban UserManager class

user.manager.class=azkaban.user.XmlUserManager   #用户权限管理默认类

user.manager.xml.file=conf/azkaban-users.xml              #用户配置,具体配置参加下文

*Loader for projects

executor.global.properties=conf/global.properties    # global配置文件所在位置

azkaban.project.dir=projects                                                #

database.type=mysql                                                              #数据库类型

mysql.port=                                                                       #端口号

mysql.host=localhost                                                      #数据库连接IP

mysql.database=azkaban                                                       #数据库实例名

mysql.user=root                                                                 #数据库用户名

mysql.password=Root123456                                                        #数据库密码

mysql.numconnections=                                                  #最大连接数

* Velocity dev mode

velocity.dev.mode=false

* Jetty服务器属性.

jetty.maxThreads=                                                               #最大线程数

jetty.ssl.port=                                                                   #Jetty SSL端口

jetty.port=                                                                         #Jetty端口

jetty.keystore=keystore                                                          #SSL文件名

jetty.password=                                                             #SSL文件密码

jetty.keypassword=                                                      #Jetty主密码 与 keystore文件相同

jetty.truststore=keystore                                                                #SSL文件名

jetty.trustpassword=                                                   # SSL文件密码

* 执行服务器属性

executor.port=                                                               #执行服务器端

*邮件设置

mail.sender=xxxxxxxx@.com                                       #发送邮箱

mail.host=smtp..com                                                       #发送邮箱smtp地址

mail.user=xxxxxxxx                                       #发送邮件时显示的名称

mail.password=**********                                                 #邮箱密码

job.failure.email=xxxxxxxx@.com                              #任务失败时发送邮件的地址

job.success.email=xxxxxxxx@.com                            #任务成功时发送邮件的地址

lockdown.create.projects=false                                           #

cache.directory=cache                                                            #缓存目录

         3.7.7azkaban 执行服务器executor配置

         进入执行服务器安装目录conf,修改azkaban.properties

         vi azkaban.properties

*Azkaban

default.timezone.id=Asia/Shanghai                                              #时区

* Azkaban JobTypes 插件配置

azkaban.jobtype.plugin.dir=plugins/jobtypes                   #jobtype 插件所在位置

*Loader for projects

executor.global.properties=conf/global.properties

azkaban.project.dir=projects

*数据库设置

database.type=mysql                                                                       #数据库类型(目前只支持mysql)

mysql.port=                                                                                #数据库端口号

mysql.host=192.168.20.200                                                           #数据库IP地址

mysql.database=azkaban                                                                #数据库实例名

mysql.user=root                                                                       #数据库用户名

mysql.password=Root23456                                #数据库密码

mysql.numconnections=                                                           #最大连接数

*执行服务器配置

executor.maxThreads=                                                                #最大线程数

executor.port=                                                               #端口号(如修改,请与web服务中一致)

executor.flow.threads=                                                                #线程数

 3.7. web服务器启动

    在azkaban web服务器目录下执行启动命令

    bin/azkaban-web-start.sh

    注:在web服务器根目录运行

    或者启动到后台

    nohup  bin/azkaban-web-start.sh  >/tmp/azstd.out  >/tmp/azerr.out &

    3.7.10执行服务器启动

    在执行服务器目录下执行启动命令

    bin/azkaban-executor-start.sh

    注:只能要执行服务器根目录运行

    启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443 ,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击 login

3.8 Zeppelin

参照如下文件：

http://blog.csdn.net/chengxuyuanyonghu/article/details/54915817

http://blog.csdn.net/chengxuyuanyonghu/article/details/54915962

3.9 HBase

    3.9.1解压

    tar –zxvf  /usr/local/ys/soft/hbase-0.99.-bin.tar.gz  -C /usr/local/ys/app

    3.9.2重命名

    cd  /usr/local/ys/app

    mv hbase-0.99. hbase

    3.9.3修改配置文件

     每个文件的解释如下：

    hbase-env.sh

    export JAVA_HOME=/usr/local/ys/app/jdk1..0_80   //jdk安装目录

    export HBASE_CLASSPATH=/usr/local/ys/app/hadoop-2.6./etc/hadoop  //hadoop配置文件的位置

    export HBASE_MANAGES_ZK=false #如果使用独立安装的zookeeper这个地方就是false（此处使用自己的zookeeper）

hbase-site.xml

Regionservers    //是从机器的域名

Ys02

ys03

ys04

注：此处HBase配置是针对HA模式的hdfs

    3.9.4将Hadoop的配置文件hdfs-site.xml和core-site.xml拷贝到HBase配置文件中

    cp /usr/local/ys/app/Hadoop-2.6./etc/hadoop/hdfs-site.xml /usr/local/ys/app/hbase/conf

    cp /usr/local/ys/app/hadoop-2.6./etc/hadoop/core-site.xml /usr/local/ys/app/hbase/conf

    3.9.5发放到其他机器

    scp –r /usr/local/ys/app/hbase ys02: /usr/local/ys/app

    scp –r /usr/local/ys/app/hbase ys03: /usr/local/ys/app

    scp –r /usr/local/ys/app/hbase ys04: /usr/local/ys/app

    3.9.6启动

    cd  /usr/local/ys/app/hbase/bin

    ./ start-hbase.sh

    3.9.7查看

    进程：jps

    进入hbase的shell：hbase shell

    退出hbase的shell：quit

    页面：http://master:60010/ 

.10KAfkaOffsetMonitor(Kafka集群的监控程序，本质就是一个jar包)

    3.10.1上传jar包

    略

3.10. 运行jar包

nohup java -cp KafkaOffsetMonitor-assembly-0.2..jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk ys01,ys02,ys04 --refresh .minutes --retain .day --port  $

4. 集群调优

4.1 辅助工具尽量不安装到数据或者运算节点，避免占用过多计算或内存资源。

4.2 dataNode和spark的slave节点尽量在一起；这样运算的时候就可以避免通过网络拉取数据，加快运算速度。

4.3 Hadoop集群机架感知配置，配置之后可以使得数据在同机架的不同机器2份，然后其他机架机器1份，可是两台机器四台虚机没有必要配感知个人感觉。

4.4 配置参数调优

可以参考http://blog.csdn.net/chndata/article/details/46003399

第三阶段（辅助工具工学习阶段）

11）Sqoop（CSDN，51CTO ，以及官网）—20小时

数据导出概念介绍
Sqoop基础知识
Sqoop原理及配置说明
Sqoop数据导入实战
Sqoop数据导出实战、
Sqoop批量作业操作

推荐学习博客：http://student-lp.iteye.com/blog/2157983
官网：http://sqoop.apache.org/

12）Flume（CSDN，51CTO ，以及官网）—20小时

FLUME日志采集框架介绍。
FLUME工作机制。
FLUME核心组件。
FLUME参数配置说明。
FLUME采集nginx日志案例（案例一定要实践一下）

推荐学习博客：http://www.aboutyun.com/thread-8917-1-1.html
官网：http://flume.apache.org

13）Oozie（CSDN，51CTO ，以及官网）–20小时

任务调度系统概念介绍。
常用任务调度工具比较。
Oozie介绍。
Oozie核心概念。
Oozie的配置说明。
Oozie实现mapreduce/hive等任务调度实战案例。

14）Hue（CSDN，51CTO ，以及官网）–20小时

推荐学习博客：http://ju.outofmemory.cn/entry/105162
官网：http://gethue.com/

第四阶段（不断学习阶段）

每天都会有新的东西出现，需要关注最新技术动态，不断学习。任何一般技术都是先学习理论，然后在实践中不断完善理论的过程。

备注

1）如果你觉得自己看书效率太慢，你可以网上搜集一些课程，跟着课程走也OK 。如果看书效率不高就很网课，相反的话就自己看书。

2）企业目前更倾向于使用Spark进行微批处理，Storm只有在对时效性要求极高的情况下，才会使用，所以可以做了解。重点学习Spark Streaming。

3）快速学习的能力、解决问题的能力、沟通能力**真的很重要。

4）要善于使用StackOverFlow和Google（遇到解决不了的问题，先Google，如果Google找不到解决方能就去StackOverFlow提问，一般印度三哥都会在2小时内回答你的问题）。

5）视频课程推荐：

可以去万能的淘宝购买一些视频课程，你输入“大数据视频课程”，会出现很多，多购买几份（100块以内可以搞定），然后选择一个适合自己的。个人认为小象学院的董西成和陈超的课程含金量会比较高。

四、持续学习资源推荐

Apache 官网（http://apache.org/）
Stackoverflow（https://stackoverflow.com/）
Github(https://github.com/)
Cloudra官网(https://www.cloudera.com/)
Databrick官网(https://databricks.com/)
About 云：http://www.aboutyun.com/
CSDN，51CTO （http://www.csdn.net/，http://www.51cto.com/）
至于书籍当当一搜会有很多，其实内容都差不多。

五、项目案例分析

1）点击流日志项目分析（此处借鉴CSDN博主的文章，由于没有授权，所以就没有贴过来，下面附上链接）—-批处理

http://blog.csdn.net/u014033218/article/details/76847263

2）Spark Streaming在京东的项目实战（京东的实战案例值得好好研究一下，由于没有授权，所以就没有贴过来，下面附上链接）—实时处理
http://download.csdn.net/download/csdndataid_123/8079233

最后但却很重要一点:每天都会有新的技术出现，要多关注技术动向，持续学习。

以上内容不保证一年以后仍适用。

【GitChat达人课】

前端恶棍 · 大漠穷秋：《Angular 初学者快速上手教程》
Python 中文社区联合创始人 · Zoom.Quiet ：《GitQ: GitHub 入味儿》
前端颜值担当 · 余博伦：《如何从零学习 React 技术栈》
GA 最早期使用者 · GordonChoi：《GA 电商数据分析实践课》
技术总监及合伙人 · 杨彪：《Gradle 从入门到实战》
混元霹雳手 · 江湖前端：《Vue 组件通信全揭秘》
知名互联网公司安卓工程师 · 张拭心：《安卓工程师跳槽面试全指南》

参考资料：https://blog.csdn.net/qq_23832313/article/details/81115964?tdsourcetag=s_pcqq_aiomsg

hadoop学习之旅2的更多相关文章

Hadoop学习之旅二：HDFS
本文基于Hadoop1.X 概述分布式文件系统主要用来解决如下几个问题: 读写大文件加速运算对于某些体积巨大的文件,比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整 ...
Hadoop学习之旅三：MapReduce
MapReduce编程模型在Google的一篇重要的论文MapReduce: Simplified Data Processing on Large Clusters中提到,Google公司有大量的 ...
hadoop学习之旅1
大数据介绍大数据本质也是数据,但是又有了新的特征,包括数据来源广.数据格式多样化(结构化数据.非结构化数据.Excel文件.文本文件等).数据量大(最少也是TB级别的.甚至可能是PB级别).数据增长 ...
Hadoop学习之旅一：Hello Hadoop
开篇概述随着计算机网络基础设施的完善,社交网络和电商的发展以及物连网的推进,产生了越来越多的大数据,使得人工智能最近几年也有了长足的发展(可供机器学习的样本数据量足够大了),大数据的存储和处理也越来 ...
WCF学习之旅—第三个示例之四（三十）
上接WCF学习之旅—第三个示例之一(二十七) WCF学习之旅—第三个示例之二(二十八) WCF学习之旅—第三个示例之三(二十九) ...
Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
WCF学习之旅—第三个示例之二（二十八）
上接WCF学习之旅—第三个示例之一(二十七) 五.在项目BookMgr.Model创建实体类数据第一步,安装Entity Framework 1) 使用NuGet下载最新版的Entity Fram ...
WCF学习之旅—第三个示例之三（二十九）
上接WCF学习之旅—第三个示例之一(二十七) WCF学习之旅—第三个示例之二(二十八) 在上一篇文章中我们创建了实体对象与接口协定,在这一篇文章中我们来学习如何创建WCF的服务端代码.具体步骤见下面. ...
WCF学习之旅—WCF服务部署到IIS7.5（九）
上接 WCF学习之旅—WCF寄宿前的准备(八) 四.WCF服务部署到IIS7.5 我们把WCF寄宿在IIS之上,在IIS中宿主一个服务的主要优点是在发生客户端请求时宿主进程会被自动启动,并且你可以 ...

随机推荐

文艺平衡树（Splay）
题目背景这是一道经典的Splay模板题——文艺平衡树. 题目描述您需要写一种数据结构(可参考题目标题),来维护一个有序数列,其中需要提供以下操作:翻转一个区间,例如原有序序列是5 4 3 2 1, ...
Spring Cloud服务的注册与发现
Spring Cloud简介: Spring Cloud为开发人员提供了快速构建分布式系统中的一些通用模式(例如配置管理,服务发现,断路器,智能路由,微代理,控制总线,一次性令牌,全局锁,领导选举,分 ...
Ubuntu 16.04安装字体管理工具
注意:这个字体管理工具只是简化了字体的安装和卸载,并没有快速下载字体去自动安装,所有的字体都是需要自行下载,因为字体本身是有版权的. 安装: sudo apt-get install font-man ...
如何设置tomcat服务器编码为utf-8编码
原文:http://blog.csdn.net/u014079773/article/details/52637057 在实际开发中我们经常遇到request请求的中文乱码,那么如何解决中文乱码问题? ...
Xcode搭建真机调试环境图文实例
本文介绍的Xcode搭建真机调试环境图文实例,图文并茂,使我们学习起来更方便些,我们先来看内容. AD: 2013云计算架构师峰会超低价抢票中 Xcode搭建真机调试环境是本文要介绍的内容,不多说 ...
Android Base64转图片
最近做一个项目里面有关于图片展示的需求,但是任性的后台跟我说没有图片服务器,只能给我base64让我自己转成图片,好吧,我忍,转就转吧.. 首先第一步咱还是谦虚点上百度查查别人咋转的,结果似乎各位码友 ...
netd ResponseCode
100 Requestion action was initiated; expect another reply before proceeding with a new command. 200 ...
iOS 推送获取手机设备的 deviceToken
第一步:申请证书: 第二步:申请app ids,应用名字必须一致.然后再进入进行编辑.使其enable,绿灯. 第三步:申请provisioning profile,生成.mobileprovisio ...
Android_自己定义切换控件SwitchView
1.示意图 watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvemltbzIwMTM=/font/5a6L5L2T/fontsize/400/fill/I0JB ...
ionic 修改应用名称、启动页出现黑白屏及修改百度离线地图点聚合图标
1.ionic 修改应用名称 2.启动页打开后会在图片消失会出现一小段黑屏的时间解决方法: 首先,启动页的图片消失时间默认是在config.xml配置的 <preference name=&q ...

hadoop学习之旅2

【GitChat达人课】

hadoop学习之旅2的更多相关文章

随机推荐

热门专题