一.容器启动 默认存储大小: 1.一种在启动项 docker.service 中配置. 2.在启动项配置调用的 docker-storage 配置文件中配置: 二.Docker 容器默认启动文件: /usr/lib/systemd/system/docker.service # cat /usr/lib/systemd/system/docker.service [Unit] Description=Docker Application Container Engine Documentatio

基于Docker搭建大数据集群(六)Hive搭建 前言 之前搭建的都是1.x版本,这次搭建的是hive3.1.2版本的..还是有一点细节不一样的 Hive现在解析引擎可以选择spark,我是用spark做解析引擎的,存储还是用的HDFS 我是在docker里面搭建的集群,所以都是基于docker操作的 一.安装包准备 Hive官网下载 微云下载 | 在 tar 目录下 二.版本兼容 我使用的相关软件版本 Hadoop ~ 2.7.7 Spark ~ 2.4.4 JDK ~ 1.8.0_221 S

基于Docker搭建大数据集群(七)Hbase搭建 一.安装包准备 Hbase官网下载 微云下载 | 在 tar 目录下 二.版本兼容 三.角色分配 节点 Master Regionserver cluster-master yes no cluster-slave1 backup yes cluster-slave2 no yes cluster-slave3 no yes 四.配置修改 hbase-env.sh export JAVA_HOME=/opt/jdk/jdk1.8.0_221 h

本篇文章是基于Docker搭建大数据集群系列的开篇之作 主要内容 docker搭建 docker部署CentOS 容器免密钥通信 容器保存成镜像 docker镜像发布 环境 Linux 7.6 一.Docker安装 安装工具包 bash yum install -y yum-utils #安装工具包,缺少这些依赖将无法完成 设置远程仓库 bash yum-config-manager --add-repo https://download.docker.com/linux/centos/dock

Docker搭建大数据集群 给出一个完全分布式hadoop+spark集群搭建完整文档,从环境准备(包括机器名,ip映射步骤,ssh免密,Java等)开始,包括zookeeper,hadoop,hive,spark,eclipse/idea安装全过程,3-4节点,集群部署自己确定,比如集群涉及的多种角色namenode,secondary namenode, datanode,resourcemanager等的节点分配,并用表格形式给出.给出可访问的ip,用户名密码.(阿里云直接给公网ip,校园

前言 好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分.第一个部分就是基础的平台搭建.例如Hadoop集群.Kafka集群. 第二个部分就是上层应用的建设,例如基于大数据平台的数据分析,以及大屏展示之类的可视化应用.前者提供了基础平台能力,让整个设计加入大数据元素:后者提供了上层应用能力,主要是让别人明白你利用大数据平台做了什么. 前些日子闲得无聊,在一台虚拟机上基于docke

普通情况下,XFS出现丢数据的情况为海量小文件IO场景.在该场景下,inode占用教大. 通过上文的方式进行格式化,inode数量较小.通过大量測试,能够使用例如以下方法提升mkfs.ext4后文件系统性能. 方法主要内容:在/etc/mke2fs.conf文件,ext4配置中去开启64位功能. [root@node21 ~]# cat /etc/mke2fs.conf [defaults]  base_features = sparse_super,filetype,resize_inode,

设置gpt硬盘 parted /dev/sdb (parted) mklabel gpt (parted) mkpart primary xfs 0 -1 (Ignore) (parted) quit 安装xfs工具 yum install xfsprogs 格式化xfs分区 mkfs.xfs -f /dev/sdb1 查看xfs分区uuid ls -lh /dev/disk/by-uuid 更新/etc/fstab ...... UUID=62ca3df2-4ad4-43ea-94ba-0c8

1. bootloader  当我们拿到一款手机,第一件事应该就是按下电源键开机,那么从开机到进入到桌面程序这中间发生了些什么呢,我们从下面这张简化了的手机结构图开始: 注意:该结构图并不反映手机的实际分区顺序和位置,只是一个逻辑结构图. 大家可以简单的把手机的ROM存储类比为我们电脑上的硬盘,这个硬盘被分成了几个分区:bootloader分区,boot分区,system分区等等.后面我们会逐渐介绍各个分区的用途.所谓的刷机我们可以简单的理解成把软件安装在手机的某些分区中,类似于我们在电脑上安装

容器中的文件系统是独立的, 一旦容器被删除, 则文件系统也会被删除. 如果想容器和实体机在文件系统层面打通, 可以把指定目录挂载到容器当中: docker run -d -p 5000:22 -v /home/zys/temp:/root/volumn zys:common 使用 -v 参数, 就可以把多个实体机目录挂载到容器的文件系统中. 上面是直观的目录挂载. docker 还有自己的一个 数据卷 的概念. 它可以在容器中定义一些目录, 这些目录不使用层级的 AUFS 文件系统, 并且这些目

主要内容 mlsql部署 前提 zookeeper正常使用 spark正常使用 hadoop正常使用 安装包 微云下载 | tar包目录下 mlsql-cluster-2.4_2.11-1.4.0.tar.gz mlsql-console-1.4.0.tar.gz mlsql-engine_2.4-1.4.0.tar.gz 一.环境准备 上传到docker镜像 docker cp mlsql-cluster-2.4_2.11-1.4.0.tar.gz cluster-master:/root/t

主要内容 jdk环境搭建 scala环境搭建 zookeeper部署 mysql部署 前提 docker容器之间能免密钥登录 yum源更换为阿里源 安装包 微云分享 | tar包目录下 JDK 1.8.221 Scala 2.12.9 Zookeeper 3.5.5 Mysql 手动安装较复杂,使用yum安装 一.安装包处理 发送文件到容器 docker cp 文件地址 容器ID:容器地址 创建解压目录 mkdir /opt/jdk mkdir /opt/scala mkdir /opt/zoo

主要内容 Hadoop安装 前提 zookeeper正常使用 JAVA_HOME环境变量 安装包 微云下载 | tar包目录下 Hadoop 2.7.7 角色划分 角色分配 NN DN SNN cluster-master 是 否 否 cluster-slave1 否 是 是 cluster-slave1 否 是 否 cluster-slave1 否 是 否 一.环境准备 上传到docker镜像 docker cp hadoop-2.7.7.tar.gz cluster-master:/root

主要内容 spark部署 前提 zookeeper正常使用 JAVA_HOME环境变量 HADOOP_HOME环境变量 安装包 微云下载 | tar包目录下 Spark2.4.4 一.环境准备 上传到docker镜像 docker cp spark-2.4.4-bin-hadoop2.7.tar.gz cluster-master:/root/tar 解压 tar xivf spark-2.4.4-bin-hadoop2.7.tar.gz -C /opt/hadoop 二.配置文件 spark-

docker网络官网 https://docs.docker.com/network/ Docker容器和服务如此强大的原因之一是您可以将它们连接在一起,或将它们连接到非Docker工作负载.Docker容器和服务甚至不需要知道它们已部署在Docker上,也不必知道它们的对等对象是否也是Docker工作负载.无论您的Docker主机运行Linux,Windows还是两者结合,您都可以使用Docker以与平台无关的方式管理它们. 计算机网络模型: 根据网络的七层模型 以及四层模型来看,最后数据的传

[root@VM000000518 ~]# parted /dev/xvde GNU Parted 2.1 Using /dev/xvde Welcome to GNU Parted! Type 'help' to view a list of commands. (parted) p Error: /dev/xvde: unrecognised disk label (parted) mklabel gpt (parted) print Model: Xen Virtual Block Dev

红帽/CentOS 6.5的e2fsprogs版本号为1.41.12较低.无法创建16TB以上的文件系统 下载最新的e2fsprogs,编译安装 ftp://ftp.ntu.edu.tw/linux/kernel/people/tytso/e2fsprogs/ tar zxvf e2fsprogs-1.42.10.tar.gz cd e2fsprogs-1.42.10 mkdir build cd build/ ../configure make make install    mke2fs -

当虚拟机服务器运行Docker久了后,发现Docker的文件越来越大,某天发现此台机上的数据库访问不了了,再重启数据库等日志,提示空间不足,查看磁盘空间: root分区满载啊,前段时间还有不少空间的,查下什么大文件内容占了空间. find / -xdev -size +100M -exec ls -l {} \; 最近用的docker越来越大 才导致磁盘满了. 那下面要么清理docker,要么扩展磁盘. 两步都做吧,先简单清理docker,或许可以清理一些空间出来. 先 docker image

首先看一个需要缩小C盘或需要减少分区空间的一个例子:“我的电脑里C盘剩余空间为530GB,除了C盘外还有一个D盘,但D盘的空间不到30GB,另外还有两个隐藏分区,一个200MB,一个15GB.我想把C盘压缩空间拿出来单独建立一个分区,但在Windows 7的磁盘管理器里提示分区压缩已达到上限.想把C盘的多余空间划分一些给D盘,但在压缩C盘空间后,多出来的空间并不能分配给D盘使用.请问以上的问题如何解决?” 个别用户的电脑可能是就C盘有很多空间,而其它盘空间不太多.这时就需要从C盘里划分一些空间出

笔者在海外工作多年,所以文中多用英文单词,有些时候是为了更精准的描述,请见谅.希望这篇随笔能帮大家入门docker.由于在海外连博客园有些慢,所以我图片用的比较少,以后再考虑一下如何更好的解决图片上传问题. docker 已经是比较成熟的技术了,尤其是现在搭配kubernetes,swarm 让企业级部署更加轻松.以前主要是虚拟机技术,在host os上通过hypervisor连多个guest os,比较heavy.Docker则是在host os上直接联通多个container(相关联的con

一.磁盘根目录被占满 [test@localhost docker]$ df -lh Filesystem Size Used Avail Use% Mounted on /dev/mapper/centos-root 50G 50G 0G % / devtmpfs .7G .7G % /dev tmpfs .8G .8G % /dev/shm tmpfs .8G 34M .7G % /run tmpfs .8G .8G % /sys/fs/cgroup /dev/sda1 494M 126M