前言 centos7.0开始默认文件系统是xfs,centos6是ext4,centos5是ext3 ext3介绍 ext3和ext4的最大区别在于,ext3在fsck时需要耗费大量时间(文件越多,时间越长),而ext4在fsck时用的时间会少非常多 ext4介绍 ext4是第四代扩展文件系统(英语:Fourth EXtended filesystem,缩写为ext4)是linux系统下的日志文件系统,是ext3文件系统的后继版本ext4的文件系统容量达到1EB,而文件容量则达到16TB,这是一

centos Linux下磁盘管理   parted,df ,du,fdisk,partprobe,mkfs.ext4,mount,/etc/fstab,fsck,e2fsck,mk2efs,tmpfs ,nr_inodes, LVM,传统方式扩容文件系统   第七节课 fdisk 设备名 ‘p’, ‘n’, ‘d’, ‘w’, ‘q’,‘l’. partprobe mount //查看当前挂载情况 mount -a //挂载/etc/fstab mkfs.ext4 /dev/sdb1 mkfs

  Linux磁盘表示方式 Linux以字母标识磁盘的个数 a:第一块 b:第二块 Linux用数字标识分区:1-4标识主分区或扩展分区 逻辑分区从5开始 例如:sda.sda1.sda2 低级格式化:划分磁道 高级格式化:为分区装载文件系统 文件系统:内核功能(FAT32 NTFS EXT2 EXT3 EXT4 XFS等) EXT2 EXT3 EXT4:低容量 XFS:高容量 TB级   查看系统磁盘分区情况   parted 使用 parted 命令可以查看系统采用什么类型的分区表 gpt/

hadoop 性能调优与运维 . 硬件选择 . 操作系统调优与jvm调优 . hadoop运维 硬件选择 1) hadoop运行环境 2)  原则一: 主节点可靠性要好于从节点 原则二:多路多核,高频率cpu.大内存, namenode 100万文件的元数据要消耗800M内存,内存决定了集群保存文件数的总量, resourcemanager同时运行的作业会消耗一定的内存. datanode 的内存需要根据cpu的虚拟核数(vcore) 进行配比,CPU的vcore数计算公式为=cpu个数 * 单

1. 这几个文件系统可以在挂载的时候使用 discard  选项:ext4, xfs, jfs, vfat 2. 使用 fstrim 命令可以实现周期性的 trim,挂载时使用discard标记可以实现连续的trim. 3. 外话,设置 swappiness 的值为1,可以减少与ram中的数据进行交换 查看当前 swappiness 的值: cat /proc/sys/vm/swappiness 临时设置 swappiness 的值: sysctl vm.swappiness= 永久设置 swa

    只有nfs和rbd的,本人翻译确实很渣         在容器中磁盘文件寿命是短暂的,当在容器中运行一些重要程序时,这会产生一些问题. 首先,当一个容器崩溃后,kubelet将重新启动该容器,但是文件将会丢失 - 容器将会以最初的状态启动. 第二,当在一个Pod中运行多个容器的时候,它需要在多个容器中共享文件. k8s的Volume就是为了解决这些问题     Background   Docker也有  volumes的概念, 尽管它点失败和缺乏有效的管理. 在Docker里, 一个v

Mysql优化已经讲过很多篇教程了,而且网上也很多相关内容,但是本文我们是讲Linux下Mysql运行环境如何进行优化,有些地方与以往有所不同,也具有参考价值.具体mysql教程 如下: 一.修改Linux默认的IO调度算法. linux默认的IO调度算法为cfq,需要修改为dealine,如果是SSD或者PCIe-SSD设备,需要修改为noop,可以使用下面两种修改方式. 1.在线动态修改,重启失效. echo “deadline” > /sys/block/sda/queue/schedul

Linux的文件系统有点像MySQL的存储引擎,它支持各种各样的文件系统.它最上层是通过 virtual files system虚拟文件系统作为一个抽象接口层来对外提供调用的.然后下层的各种文件系统实现这些调用接口就行了. 1. Linux 中的 日志文件系统和非日志文件系统 文件内容的修改涉及到两部分:实际文件内容的修改 和 文件元(metadata)信息的修改.所以在修改一个成功之后,修改另一个之前,此时系统崩溃,就会导致两者的不一致.所以提出了日志文件系统的概念. 所谓的日志文件系统(J

dm.fs 参数dm.fs可以指定容器的rootfs的文件系统,但只支持ext4/xfs: func NewDeviceSet(root string, doInit bool, options []string) (*DeviceSet, error) { ... case "dm.fs": if val != "ext4" && val != "xfs" { return nil, fmt.Errorf("Unsup

译注: 本文是翻译MongoDB Manuel中的MongoDB Production Notes一节内容.这节内容重点关注生产环境中影响性能和可靠性的各种注意事项,值得正在部署MongoDB的工作者们关注.以下是正文. 本文详细描述了影响MongoDB,特别是生产环境的关键系统配置. 注意:MongoDB管理服务(MMS)是一个托管监控服务,它收集并聚合诊断数据,为MongoDB部署集提供更直观的性能和操作情况概览.更多内容请查看MMS网站和MMS文档. 安装包 MongoDB 确保你安装了最

本文主要内容来自MongoDB官方文档http://docs.mongodb.org/manual/administration/production-notes/.并结合了实际工作情况进行分享. 1)软件包的选择 确保使用最新的稳定版本.目前我们线上使用的版本是2.4.6.MongoDB软件包下载页面http://www.mongodb.org/downloads. 确保线上环境总是使用64位版本.32位版本只能用于测试和开发使用,因为32位版本最大只能存储2GB的数据.启动MongoDB的时

基本部分 1. 系统硬件 1.1. 主板 获取序列号 $ sudo dmidecode -t system |grep -i Serial Serial Number: CNU9032T3N 获取厂商和型号 $ sudo dmidecode -t system = dmidecode 2.11 SMBIOS 2.4 present. Handle 0x0001, DMI type 1, 27 bytes System Information Manufacturer: Hewlett-Packa

DRBD 数据镜像软件 一.DRBD介绍 1.1.数据镜像软件DRBD介绍 分布式块设备复制(Distributed Relicated Block Deivce,DRBD),是一种基于软件.基于网络的块复制存储解决方案,主要用于对服务器之间的磁盘.分区.逻辑卷等进行数据镜像,当用户将数据写入本地磁盘时,还会将数据发送到网络中另一台主机的磁盘上,这样的本地主机(主节点)与远程主机(备节点)的数据就可以保证实时同步,当本地主机出现问题,远程主机上还保留着一份相同的数据,可以继续使用,保证了数据的安

简介 本文会介绍Docker存储驱动的特性,别列出现在已经支持的存储驱动,最后,会介绍如果选型适合你的存储驱动. 可插拔的存储驱动架构 Docker的存储驱动架构是可插拔的,可以让你很方便的将适合你环境和用例的存储驱动"插进"Docker.每个Docker存储驱动都建立在一种Linux文件系统或者卷管理系统之上,也可以很自由地按照其自己的方法去实现镜像层和容器层的管理.也就是说一些存储驱动在不同的场景下会比其他的驱动性能更好. 一旦你决定了哪种驱动最合适,你就可以Docker daem

分区管理工具有:fdisk, parted, sfdisk fdisk:对于一块硬盘来讲,最多只能管理15分区: # fdisk -l [-u] [device...]  查看硬盘设备分区信息 # fdisk device 进入硬盘设备分区管理 子命令:管理功能 p: print, 显示已有分区: n: new, 创建 d: delete, 删除 w: write, 写入磁盘并退出 q: quit, 放弃更新并退出 m: 获取帮助 l: 列表所分区id t: 调整分区id 查看内核是否已经识别新

磁盘,提供持久的数据存储,它不像我们的内存,如果突然断电了,在内存中的数据一般都会被丢掉了,内存中的数据在保存的时候,会被写到硬盘里面,磁盘也是一种I/O设备. 我们都知道磁盘分区完成之后,还要进行格式化,这个格式化操作就是指定文件系统,文件系统的本质就是对一个存储设备上的元数据和数据就行组织,最终把数据有组织的放在可以长期存储的设备中. 本次博客主要是介绍可linux中的磁盘分区和文件系统管理. 磁盘的接口类型: IDE:一种较老的接口技术,价格低廉,兼容性强,传输速度可达133MB/s: S

原文链接:http://www.sysnote.org/2016/08/19/ceph-bluestore/ ceph后端支持多种存储引擎,以插件式的方式来进行管理使用,目前支持filestore,kvstore,memstore以及最新的bluestore,目前默认使用的filestore,但是因为filestore在写数据前需要先写journal,会有一倍的写放大,并且filestore一开始只是对于机械盘进行设计的,没有专门针对ssd做优化考虑,因此诞生的bluestore初衷就是为了减少

  小编以前写过一篇软件的源码编译安装,今天小编再给大家带来一篇内核的编译安装.   今天,就以centos7 编译安装最新版本4.13.2 内核为例,给大家详解.编译安装之前,检查一下自己的磁盘空间,大约需10G左右. 一.去官网(www.kernel.org)下载最新版本4.13.2 ① rz上传 ② 创建一个放内核的空目录 /app/kernel4.13,mv linux-4.13.2.tar.xz /app/kernel4.13/ ③ tar xvf linux-4.13.2.tar.x

Ceph官方版本目前支持的纠删码很有限,实验室这块希望能够整合我们自主开发的纠删码BRS(Binary Reed–Solomon encoding),所以需要编译Ceph环境.Ceph官方目前推荐的安装方式都是通过Ceph-deploy的工具来安装配置,搭建起来十分简单.目前直接通过Ceph源码进行编译安装的中文教程有太多坑了.笔者亲身通过编译Ceph搭建环境之后,对这个流程进行了一个完整的小结,后续的童鞋可以做一个简单的参考. 1.Ceph简介 Ceph 的初创来自Sage Weil 博士的

上篇小编给大家讲解了磁盘结构和分区的介绍,这篇小编就给大家演示如何管理分区和文件系统类型格式化. 小编上篇已经提到如何使用磁盘,今天这两步,就是其中很重要的两步.(前几天写的有点急,有点乱,今天又整理了下) 一.管理分区   列出块设备 lsblk     fdisk -l /dev/sda     cat /proc/partitions 创建分区使用的命令: (1) fdisk  创建MBR 分区(7里也可以创建GPT 分区,但不推荐,contos 6 -l 时候gpt多个分区只显示1个)

MySQL存储引擎介绍 文件系统 操作系统组织和存取数据的一种机制. 文件系统是一种软件. 文件系统类型 ext2  ext3  ext4  xfs 数据 不管使用什么文件系统,数据内容不会变化 不同的是,存储空间.大小.速度 MySQL引擎 可以将MySQL引擎理解为:MySQL的“文件系统”,只不过功能更加强大. MySQL引擎的功能 除了可以提供基本的存取功能,还有更多功能事务功能.锁定.备份和恢复.优化以及特殊功能. MySQL 提供以下存储引擎: – InnoDB – MyISAM –