一.分布式HDFS的安装和启动①在$HADOOP_HOME/etc/hadoop/core-site.xml文件<property> <name>fs.defaultFS</name> <!-- 告知NN在哪个机器,NN使用哪个端口号接收客户端和DN的RPC请求. --> <value>hdfs://mypc:9000</value></property><property> <name>hadoo…

公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分布式集群的安装步骤及基本操作,包括:Hadoop HDFS的安装.配置.基本操作等内容. 参考文档 <Hadoop: Setting up a Single Node Cluster.> http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dis…

分布式消息队列RocketMQ 一.RocketMQ简介 RocketMQ(火箭MQ) 出自于阿里,后开源给apache成为apache的顶级开源项目之一,顶住了淘宝10年的 双11压力 是电商产品的不二选择 (略微有点夸张) 1.MQ概述 Message Queue,是一种提供消息队列服务的中间件,也成为消息中间件,是一套提供了消息生产.存储.消费全过程API的软件系统 2.MQ用途 (1).限流削峰 系统A每秒只能处理50请求 一般来讲如过收到请求大于处理请求,则多余请求会舍去.如果加入MQ…

第四百零二节,Django+Xadmin打造上线标准的在线教育平台—生产环境部署,uwsgi安装和启动,nginx的安装与启动,uwsgi与nginx的配置文件+虚拟主机配置 软件版本  uwsgi-2.0.15nginx-1.12.1 1.用Navicat Premium远程登录Linux系统数据库,创建网站需要的数据库 2.数据库创建好后,将开发环境的数据库传输到刚才创建的数据库 传输数据 如果在传输数据时,怎么都传输不了,老报错误,有可能是传输数据太大,要在软件设置一下,改一个变量,将参数…

安装并启动Kafka 1.下载最新版Kafka(当前为kafka_2.12-2.3.0)并解压: > wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz > tar zxvf kafka_2.12-2.3.0.tgz 2. 检查Java 环境是否正确: > cd kafka_2.12-2.3.0 > bin/kafka-topics.sh 若是无法成功执行,则检查 Java 环境是否正确配置(此…

一.导读 最近开始学习大数据分析,说到大数据分析,就必须提到Hadoop与Spark.要研究大数据分析,就必须安装这两个软件,特此记录一下安装过程.Hadoop使用V2版本,Hadoop有单机.伪分布式.分布式三种部署方案,这里使用分布式部署方案.而Spark有三种部署方案:Standalone, Mesos, YARN,而本文采用在YARN上的分布式集群部署方案. 具体软件环境: Ubuntu LTS (GNU/Linux --generic x86_64) jdk: 1.7.0_95 sca…

一,环境 1,  主节点一台: ubuntu desktop 16.04 zhoujun      172.16.12.1 从节点(slave)两台:ubuntu server 16.04 hadoop2      172.16.12.131 hadoop3      172.16.12.129 2,  hadoop 分布式环境安装 hadoop版本,2.8.2 ,集群的安装请参考:查看 hadoop 集群安装 3, hbase 版本: 1.2.6 这里我使用的hbase自带的 二, 安装hba…

Hbase入门简介 HBase是一个分布式的.面向列的开源数据库,该技术来源于 FayChang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统".就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力.HBase是Apache的Hadoop项目的子项目.HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase…

Linux Hadoop2.7.3 安装(单机模式) 一 Linux Hadoop2.7.3 安装(单机模式) 二 YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster. 其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理. 创建一个words.txt…

注:本文的主要目的是为了记录自己的学习过程,也方便与大家做交流.转载请注明来自: http://blog.csdn.net/ab198604/article/details/8250461 要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了. 说来简单,但是应该怎么做呢?不急,本文的主要目的就是让新手看了之后也能够亲自动手实施这些…