背景: Hadoop的HDFS文件系统的挂载, 默认指定的文件目录是/mnt/disk{N}. 当运维人员, 不小心把磁盘挂载于其他目录, 比如/mnt/data, /mnt/disk01, /mnt/diska时, HDFS会选择根分区, 当往HDFS里灌数据时, 导致的结果往往是根分区被快速的消耗尽, 而其他分区未见使用. 在CDH版本中, HDFS的配置如下所示: dfs.datanode.data.dir => /mnt/disk{N}/dfs/dn dfs.datanode.data.…

前言: 添加linux用户帐号,这个相对简单, 在面对集群, 许多机器的时候, 我们该如何去做和实现? 这篇短文, 简单讲解一些思路, 尽可能地涉及周边的一些知识点. 不光是运维人员会面临这个问题, 对一个基于linux平台的集群服务或软件(比如hadoop集群), 有时也会涉及到这块. 应用场景: 是以centos 6.4作为演示的系统, 其他的系统有类同, 也有差异, 且以实战演练, 一步步的讲述下流程. *) 实战演练 查阅useradd的使用和参数选项useradd --help -d,…

Linux磁盘分区和挂载 分区 分区的方式: mbr分区 最多支持4个主分区 系统只能安装到主分区上 扩展分区要占用一个主分区 MBR最大支持2TB,但拥有最好的兼容性 gtp分区 支持无线多个主分区(操作系统可能限制) 最大支持18EB的大容量(1EB=1024PB.1PB=1024TB) Linux分区 Linux无论有几个分区,分给哪一目录使用,还是只有一个根目录,一个独立且唯一的文件结构,Linux每个分区都是用来组成整个文件系统的一部分. Linux采用一种叫 '载入' 的处理方法,它…

目录 Linux 磁盘分区.挂载 1 分区基础知识 1.1 分区的方式: 1.2 windows 下的磁盘分区 2 Linux分区 2.1 原理分析 2.2 磁盘说明 2.3 使用lsblk指令查看当前系统的分区情况 3 挂载的经典案例 3.1 如何增加一块硬盘 4 具体的操作步骤整理 4.1 虚拟机增加硬盘步骤1 4.2 虚拟机增加硬盘步骤2 4.3 虚拟机增加硬盘步骤3 4.4 虚拟机增加硬盘步骤4 4.5 虚拟机增加硬盘步骤5 5 磁盘情况查询 5.1 查询系统整体磁盘使用情况 5.2 查…

快速查看系统文件大小命令 du -ah --max-depth=1 后面可以添加文件目录 ,如果不添加默认当前目录. 下面进入正题~~ 磁盘分区.挂载 引言: ①.分区的方式 a)mbr分区: 最多支持四个主分区.系统只能安装在主分区.扩展分区要占一个主分区.MBR最大支持2TB,但拥有最好的兼容性 b)gtp分区: 支持无限多个主分区(说是这么说,但是操作系统可能会限制,比如Windows下最多128个分区).最大支持18EB的大容量.Windows7 64以后支持gtp 1)Linux分区…

目录 Linux 磁盘分区和挂载 windows 下的分区 磁盘管理 相关命令 分区及挂载实现步骤 添加硬盘 分区步骤 步骤 挂载步骤 卸载分区步骤 补充: Linux 磁盘分区和挂载 windows 下的分区 磁盘管理 Linux系统中磁盘管理就是将硬盘通过挂载的方式挂载到Linux文件系统中 相关命令 lsblk:用于列出所有可用块设备的信息,而且还能显示他们之间的依赖关系数据来源-/sys/dev/block df -h:df可显示磁盘的文件系统与使用情形,-h是格式化输出 分区命令: f…

1). 背景: 集群部署的时候, 需要一致的配置和环境设置. 对于虚拟机集群, 可以借助镜像拷贝, 复制和还原集群机器. 对与物理机集群而言, 则不一样, 如果机器一多, 多人去操作和配置, 对于成熟精干的团队还好, 对于不熟悉环境的小团队, 由于水平的参差不齐, 往往会导致不一致的环境. 因此无论如何, 写脚本进行自动化的配置和环境校验总是最佳实践. 2). 假设应用场景:*) 系统环境: 安装CDH5, 集群规模为16台机器, 每台机器16CPU, 内存16G, 2块SATA盘共500G,…

实战: 34    查看本机所有磁盘                 fdisk -l 35    查看磁盘挂载情况                lsblk -f 36            39:54                 lsblk 38            45:01                 lsblk -f 40            45:23                 lsblk 43                                  fd…

Linux磁盘分区类型 磁盘存储术语CHS head:磁头  磁头数=盘面数 track:磁道  磁道=柱面数 sector:扇区,512bytes cylinder:柱面 1柱面=512*sector数/track*head数=512*63*255=7.84M CentOS 5 之前版本 Linux 以柱面的整数倍划分分区,CentOS 6之后可以支持以扇区划分分区 管理存储 适用磁盘空间过程 设备文件 创建文件系统 挂载新的文件系统 1.磁盘分区 1.1为什么分区 优化I/O性能 实现磁盘空…

前言: 通过对spark集群脚本的研读, 对一些重要的shell脚本技巧, 做下笔记. *). 取当前脚本的目录 sbin=`dirname "$0"` sbin=`cd "$sbin"; pwd` 代码评注:# 以上代码为获取执行脚本所在的目录的常用技巧# sbin=$(dirname $0) 返回可能是相对路径, 比如./ # sbin=$(cd $sbin; pwd) 采用pwd, 来返回脚本所在目录的绝对路径 *). 循环遍历脚本参数 while (( &q…

分区基础知识 分区的方式:   1) mbr分区:     1.最多支持四个主分区     2.系统只能安装在主分区     3.扩展分区要占一个主分区     4.MBR最大只支持2TB,但拥有最好的兼容性   2) gtp分区:     1.支持无限多个主分区(但操作系统可能限制,比如 windows下最多128个分区)     2.最大支持18EB的大容量(1EB=1024 PB,1PB=1024 TB )     3.windows7 64位以后支持gtp 硬盘说明 1) Linux硬盘…

Linux fdisk 和 mount 命令操作指南,linux磁盘管理.新增磁盘.挂载新硬盘(linux运维入门) 首先列出文件系统的整体磁盘空间使用情况.可以用来查看磁盘已被使用多少空间和还剩余多少空间. df -h ​ lsblk 列出所有可用块设备的信息,显示他们之间的依赖关系 ​ 有一块 3T 的磁盘 vdb,我们现在将它进行磁盘分区 fdisk /dev/vdb ​ 输入 m 获取帮助,p 查看分区表 ​ 当前分区里面没有任何信息,继续操作,输入 n 创建一个新的分区 ​ 选择默认…

一.分区介绍 mbr分区: 1.最多支持四个主分区 2.系统只能安装在主分区上 3.扩展分区要占一个主分区 4.mbr最大只支持2TB,但拥有最好的兼容性 gpt分区: 1.支持无限多个主分区(但操作系统会限制,比如windows下最多支持128个主分区) 2.最大支持18EB的容量(1EB=1024PB) 3.windows7 64位后支持gpt模式 二.linux中分区 1.Linux 来说无论有几个分区,分给哪一目录使用,它归根结底就只有一个根目录,一个独立且唯一的文件结构 , Linux…

原理介绍 在Linux世界中,一切皆目录,每一块硬盘分区对应Linux的一个目录,所以我们可以通过管理目录来管理硬盘分区,而将硬盘分区与文件目录关联的操作就成为"挂载"[mount],反之为"卸载"[unmount] 查看磁盘挂载情况 相关指令 lsblk:显示磁盘信息[listblock] lsblk -f:显示详细信息 硬盘说明 分类:IDE\SCSI\SATA 四位表示符,如"sda1" 前两位:磁盘类型.sd:SICI; hd:IDE 第…

分区及挂载目录 以CentOS7.2为例,一般我们服务端应用部署前需要确认部署机的磁盘空间及挂载目录.操作如下: 如上图,如果操作系统是新装的,未挂盘的话需要先挂载盘.操作如下: fdisk -l #查看磁盘及分区情况 如图所示: 看到/dev/sdb盘大小是214.7GB,并且没有分区.需要执行分区命令: fdisk /dev/sdb #对数据盘进行分区 如图所示: 如果上图所示步骤操作完成及分区完毕,查看一下分区结果: 其实这个时候,建立好的分区还不能用,还需要挂载才可以用.但是挂载之前,必…

前言: linux中安装mysql以及配置的管理, 基础的运维和管理还是需要会一些的. 这边作下笔记, 以求天天向上(^_^). 安装流程:*). 安装mysql-server1). 借助yum检索相关的mysql rpm包yum search mysqlmysql-server.x86_64 正是我们想要的 2). 安装mysql-serveryum install mysql-server.x86_64 -y默认mysql-client也安装好 3). 启动mysql服务/etc/init.…

在linux shell编程中, 随着脚本处理规模的变大, 会嵌套调用子进程. 但父进程以不同的方式调用子进程, 其结果和背后的机制不尽相同.这边就简单描述下source/fork/exec调用子进程的区别. 编写如下脚本 executor.sh #! /bin/bash echo "script:$0, pid: $$" 分别以source/fork/exec调用子脚本的代码片段 echo "script:$0 pid: $$, tag 1" source ./e…

在linux环境下, 相信大家对环境变量PATH, 多多少少有所接触, 这边讲讲PATH的在linux的前世因缘. 先讲讲一个列子 假如我们在为一个新的应用配置其PATH路径中时,  不小心忽略了原先的$PATH内容, 把原本的PATH=/path/to/newcmd:$PATH, 写成了PATH=/path/to/newcmd, 并不小心写入了~/.bashrc, 并且source ~/.bashrc. 这时会发生什么? 我们如何去处理这种情况? 所有的命令都不能用了, 想回去编辑~/.bas…

前言: ssh命令, 没有指定密码的参数. 以至于在脚本中使用ssh命令的时候, 必须手动输入密码, 才能继续执行. 这样使得脚本的自动化执行变得很差, 尤其当ssh对应的机器数很多的时候, 会令人抓狂.本文讲解了两种方式, 一种借助expect脚本, 一种借助sshpass来实现. *) 借助expect脚本来实现1. expect不是系统自带的工具, 需要安装yum install expect -y 2. expect脚本的编写规则 1. ［#!/usr/bin/expect] 告知系统脚…

前言: 对网络相关的知识, 做下笔记. 包括IP地址A/B/C的分类, 静态地址的配置/DNS配置, 以及网卡相关信息查看. *) A/B/C/D类网络地址的划分 IP地址=网络地址+主机地址 或 IP地址=主机地址+子网地址+主机地址 IPv4的地址划分, 可以分为5种类型, A/B/C/D/E类 A类地址: 由1字节的网络地址和3字节主机地址组成, 网络地址最高位必须是"0", 地址范围从1.0.0.0到126.0.0.0. A类网络有126个, 每个网络能容纳1亿多个主机. B类…

背景: 有些分布式服务(比如HBase服务), 依赖于系统时间戳, 如果集群各个节点, 系统时间不一致, 导致服务出现诡异的情况. 解决方案: 那如何同步集群各个节点之间的时间? 采用NTP(Network Time Protocol)方式来实现, 选择一台机器, 作为集群的时间同步服务器, 然后分别配置服务端和集群其他机器 1.NTP服务端 *) 安装ntp服务 yum install ntp *) 配置/etc/ntp.conf 这边采用本地机器作为时间的原点 注释server列表 #ser…

背景: 由于访问国外站点资源, 有时特别慢. 偶尔一次下载, 肯定还能忍受, 对于多次使用或者小团队内部使用, 搭建一个镜像站点, 无疑是个明智的决定. 这边以搭建CDH5的yum源镜像, 作为例子, 具体阐述如何借助apache2搭建一个目录镜像服务, 以及如何复制站点资源. 1) 搭建apache2服务器*) 安装apache2yum install httpdyum info httpd *) 确认配置项/etc/httpd/conf/httpd.conf DocumentRoot "/v…

[前言] 本文将要讲解的功能为Linux环境下对磁盘进行操作.包括分区.格式化.挂载外接移动存储设备等. 该文的写作背景为本人的树莓派需要外接一个固态硬盘作为存储设备,因此,便开始了一系列的折腾. [开发及部署环境] 开发环境:Raspberry Linux 部署环境:Rspberry Pi3 [实现过程] 一个新磁盘要经过分区.格式化.挂载以后才可以给linux读写文件,如果磁盘已经分区且格式化过,那只要挂载即可. 准备工作 首先我们需要先将我们的移动硬盘或U盘插入我们的设备,然后稍等片刻,使…

⒈Linux下磁盘说明 1)Linux硬盘分IDE硬盘和SCSI硬盘,目前基本上是SCSI硬盘. 2)对于IDE硬盘,使用“hdx~”标识符,“hd”代表IDE硬盘.   对于SCSI硬盘,使用“sdx~”标识符,“sd”代表SCSI硬盘.   “x”为盘号(若电脑有多块硬盘,则依次排列,a为基本盘,b为基本从属盘,c为辅助主盘,d为辅助从属盘)   “~”代表分区号,前4个分区用数字1到4表示,它们是主分区或者是扩展分区,从5开始就是逻辑分区. ★查看所有设备的挂载情况 lsblk或者lsbl…

一 Linux磁盘分区与文件系统 在Linux中常见的操作系统有:ext2 ext3 ext4 xfs btrfs reiserfs等文件系统的作用主要是明确磁盘或分区上的文件存储方法以及数据结构,Linux系统中数据分为元数据区和数据区,元数据区用于表示数据的属主属组,时间戳,访问权限,数据大小以及数据块指针等,每个文件的元数据会使用一个inode来标识.在数据区中每个数据都会给它分配相应的数据块并通过inode来指向所对应的数据块.为了能够加快对数据块的索引,同时还会创建一个块位图来标识可用…

  昨天数据入库时,一直报错,说磁盘满了,,df -h    一看,发现/目录下只有50G空间,已使用49G:我的程序和dbss都安装在/目录下,ftp到的数据放在/data下的一个子目录下,分解完的数据也放在/data子目录之下:现在空间紧张:只有俩种方法,要么增加/目录空间,要么挪位置:如果是在本地用虚拟机登陆的虚拟机,建议用第一种,方法如下: 在工具栏中找到虚拟机选项 点击虚拟机,下拉菜单中有个设置,然后点击设置. 选择硬盘选项,之后,在弹出框的右边可以看到扩展..点击扩展磁盘就可以了 注…

一.crond任务调度 1.基本语法 crontab [选项] -e : 编辑 crontab定时任务 -l : 查询crontab -r : 删除当前用户所有的crontab任务 例子: 每分钟执行查看一次/etc目录,把目录内容写进/tmp/a.txt下 具体实现步骤: 1.crontab –e 2.*/ 1 * * * * ls -l /etc >> /tmp/a.txt 3.保存退出 2.参数细节说明 时间参数案例: 1.每天22点45分执行 45 22 * * * 2.每周一的17点…

Linux磁盘分区(三)之查看磁盘分区常用命令转自https://blog.csdn.net/x356982611/article/details/77893264 1.df     df -T 总的来说df查看分区类型是最方便的了.df命令只会列出已挂载的文件系统信息,对于没有挂载的文件系统是查看不到的.2.fsck      fsck -N3.lsblk      lsblk -f4.partd      partd -l5.mount      mount6.fdisk      fdis…

Linux磁盘分区(一)之fdisk命令转自:https://www.cnblogs.com/machangwei-8/p/10353683.html 一.fdisk 的介绍fdsik 能划分磁盘成为若干个区,同时也能为每个分区指定分区的文件系统,比如linux.fat32.linux.linux swap.fat16以及其实类Unix类操作系统的文件系统等:当然我们用fdisk对磁盘操作分区时,并不是一个终点,我们还要对分区进行格式化所需要的文件系统:这样一个分区才能使用:这和DOS中的fdi…

linux磁盘分区模式 模式一:MBR 1)主分区不超过四个 2)单个分区容量最大2TB 模式二:GPT 1)主分区个数"几乎"没有限制(原因:在GPT的分区表中最多可以支持128个主分区) 2)单个分区的容量"几乎"没有限制(原因:单个分区的容量可以达到18EB=18*1024PB=18*1024*1024TB) 3)缺点:在GPT的主分区中不适合安装X86架构的系统(即32位的操作系统) linux分区及格式化: MBR分区命令:fdisk GPT分区命令:pa…