1. 大数据和Hadoop 研究学习大数据,自然要从Hadoop开始. Hadoop不是一个简单的软件,而是有一些列软件形成的生态,其核心思想来自Google当初发布的三篇论文,后来做了开源的实现, 谷歌的实现和Hadoop的实现大致可以做这样的对应: Google Map/Reduce <---> Hadoop MapReduceGoogle GFS <---> Hadoop HDFSGoogle BigTable <---> Hadoop HBase Hadoop生…

友情提示:对于初次接触k8s的同学,强烈建议先看看本文最后的参考文章. 环境: mac os(Mojave) 前提:先安装好kubectl (brew install kubectl) .docker desktop(建议最新版本) 步骤: 一.安装VirtualBox 下载地址: https://www.virtualbox.org/ (目前最新版本: 6.0) 一路next就好,要注意的是:安装过程中,可能会弹出一个系统安全相关的对话框,一定要允许,并在Security&Privacy这里,…

本来这一节想写Hadoop的分布式高可用环境的搭建,写到一半,发现还是有必要先介绍一下ZooKeeper这个东西. ZooKeeper理念介绍 ZooKeeper是为分布式应用来提供协同服务的,而且ZooKeeper本身也是分布式的,由分布在至少三台机器上,这几台机器形成一个Quorum,就想一个剧团一样.这个团里有个团长,就是leader的角色,其他的是follower.这个剧团里的每个人脑子里都记住同样的东西(ZooKeeper是基于内存的),并且及时和leader保持同步,所有client…

1. 在主机Macbook上设置HOST 前文书已经把虚拟机的静态IP地址设置好,以后可以通过ip地址登录了.不过为了方便,还是设置一下,首先在Mac下修改hosts文件,这样在ssh时就不用输入ip地址了. sudo vim /etc/hosts 或者 sudo vim /private/etc/hosts 这两个文件其实是一个,是通过link做的链接.注意要加上sudo, 以管理员运行,否则不能存盘. ### Host Database## localhost is used to conf…

1. Java安装与环境配置 Hadoop是基于Java的,所以首先需要安装配置好java环境.从官网下载JDK,我用的是1.8版本. 在Mac下可以在终端下使用scp命令远程拷贝到虚拟机linux中. danieldu@daniels-MacBook-Pro- ~/Downloads scp jdk-8u121-linux-x64.tar.gz root@hadoop100:/opt/software root@hadoop100's password: danieldu@daniels-Ma…

错误现象 不知道什么原因,今天发现我的hadoop集群启动后datanode只有一台了,我的集群本来有三台的,怎么只剩一台了呢? 用jps命令检查一下,发现果然有两台机器的DataNode没有启动. 可能原因: 1. 我之前遇到过的问题,由于多次运行hdfs namenode -format, 造成了clusterId不一致,检查一下:进入到/opt/modules/hadoop-2.7.3/data/tmp/dfs/data/current目录下,cat显示一下VERSION文件的内容,检查集…

1.配置ssh免登陆 #进入到我的home目录 cd ~/.ssh ssh-keygen -t rsa 执行完这个命令后,会生成两个文件id_rsa(私钥).id_rsa.pub(公钥) 将公钥拷贝到要免密登陆的目标机器上 ssh-copy-id localhost --------------------------- ssh免登陆: 生成key: ssh-keygen 复制从A复制到B上: ssh-copy-id B 验证: ssh localhost/exit,ps -e|grep ssh…

下载 wget http://mirrors.shuosc.org/apache/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz tar -zxvf zookeeper-3.3.6.tar.gz mv zookeeper-3.3.6 zookeeper 修改环境变量,每个节点服务器都需要修改 vim /etc/profile export ZOOKEEPER_HOME=/home/hadoop/zookeeper export PATH=$PAT…

一.前言 Hadoop原理架构本人就不在此赘述了,可以自行百度,本文仅介绍Hadoop-3.1.2完全分布式环境搭建(本人使用三个虚拟机搭建). 首先,步骤: ① 准备安装包和工具: hadoop-3.1.2.tar.gz jdk-8u221-linux-x64.tar.gz(Linux环境下的JDK) CertOS-7-x86_64-DVD-1810.iso(CentOS镜像) 工具:WinSCP(用于上传文件到虚拟机),SecureCRTP ortable(用于操作虚拟机,可复制粘贴Linu…

这一篇介绍Hive的安装及操作.版本是Hive3.1.2. 调整部署节点 在Hadoop篇里,我用了5台虚拟机来搭建集群,但是我的电脑只有8G内存,虚拟机启动之后卡到没法操作,把自己坑惨了. Hive的运行是基于Hadoop集群的,为了操作的流畅性,我把Hadoop集群全部重新搭建了,一共只有3台虚拟机. 主机 NN RM ZKFC DN NM JN ZK MySQL Hive服务端 Hive客户端 server01  •  •   •  •  •  •  •       server02  •…