很多线上服务器为了提供文件系统IO性能,会在挂载文件系统的时候指定“noatime,nodiratime”参数,意味着当访问一个文件和目录的时候,access time都不会更新.但是如果未指定上面的参数,atime则会更新.那么具体差异在哪里? 未指定 noatime,nodiratime $ touch test ; stat test ; ... Access: -- :: Modify: -- :: Change: -- :: $ echo hello >> test ; stat t

TIDB 数据库集群 一.TiDB数据介绍 1.1.TiDB数据简介 TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库,结合了传统的 RDBMS 和 NoSQL 的最佳特性.TiDB 兼容 MySQL,支持无限的水平扩展,具备强一致性和高可用性.TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Ana

TiDB集群安装主要操作 参考资料:https://www.cnblogs.com/plyx/archive/2018/12/21/10158615.html 一.TiDB数据简介 TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库,结合了传统的 RDBMS 和 NoSQL 的最佳特性. TiDB 兼容 MySQL,支持无限的水平扩展,具备强一致性和高可用性.TiDB 的目标是为

1. NFS客户端挂载深入 1.1 NFS客户端挂载参数说明 在NFS服务端,可以通过cat /var/lib/nfs/etab查看NFS服务器端配置参数的细节. 在NFS客户端,可以通过cat /proc/mounts 查看mount的挂载参数细节. 1.1.1 mount挂载及fstab文件说明 通过查看/proc/mounts文件查看挂载参数: [root@web01-8 mnt]# grep "192.168.0.31" /proc/mounts 192.168.0.31:/d

磁盘挂载查看已经挂载磁盘数 cat /proc/scsi/scsi | grep HostHost: scsi1 Channel: 00 Id: 00 Lun: 00Host: scsi2 Channel: 00 Id: 00 Lun: 00# 或者ll /dev/disk/by-path | grep -v partlrwxrwxrwx. 1 root root 9 Dec 2 00:25 pci-0000:00:1f.2-ata-2.0 -> ../../sdalrwxrwxrwx. 1 r

atime.mtime.ctime的区别及如何降低atime更新 mount时的option  noatime http://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400742435&idx=1&sn=d5fa0776ebce30be1de897cd7d1eb295&scene=0#wechat_redirect 一.每个文件内节点和目录内节点都有三个与之相关的时间戳: ctime — 最后一次修改inode属性的时间m

一:缩小/home空间 1.1:备份/home内容 cp -r /home/* /homebak 1.2:删除挂载/home umount /home 1.3:删除/home所在lv lvremove /dev/mapper/centos-home 1.4:重新创建home的lv lvcreate -L 6G -n home centos   L表示大小,默认单位为M:n表示卷名:这里的centos是CentOS7安装系统的时候就默认建立好的卷组名 1.5:文件系统格式为xfs mkfs.xfs

 在线安装TiDB集群 服务器准备 说明:TiDB8需要能够连接外网,以便下载各类安装包 TiDB4非必须,但最好是有一台,因为后续测试Mysql数据同步或者进行性能比较时,都要用到 TiKV最好是采用Ext4文件格式,所以使用挂载盘的方式增加(如果没有数据盘,那么不配置也能安装成功) 机器名 IP 操作系统 配置 用途 TiDB1 ***.62 CentOS7.4 X64 4C+8G+60G+200G扩展 TiKV+TiSpark TiDB2 ***.63 CentOS7.4 X64 4C+8

NFS介绍 什么是NFS? NFS是Network File System的缩写,即网络文件系统.它的主要功能是通过网络(一般是局域网)让不同的主机系统之间可以共享文件或目录.NFS客户端(一般为应用服务器,例如web)可以通过挂载(mount)的方式将NFS服务端共享的数据目录挂载到NFS客户端本地系统中(就是某一个挂载点下).从NFS客户端的机器本地看,NFS服务端共享的目录就好像是客户自己的磁盘分区或者目录一样,而实际上确是远端的NFS服务端的目录. NFS网络文件系统类似windows系

简介 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库, 结合了传统的 RDBMS 和 NoSQL 的最佳特性.TiDB 兼容 MySQL,支持无限的水平扩展,具备强一致性和高可用性. TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analyt

集群现状: 共有五个节点,配置为16核32g内存,数据节点为1T ssd盘,非数据节点为100g ssd盘: 角色规划: node1 tidb tipd node2 tidb tipd node3 tikv tipd node4 tikv node5 tikv 1.每次操作都需要更改配置文件inventory.ini,都是在tidb用户下进行: 2.初始化,打通新增节点与已有节点间免密码登录(tidb)用户: 3.扩容tidb节点两个 ## TiDB Cluster Part [tidb_ser

1 NFS简介 1.1 什么是NFS NFS=Network File System=网络文件系统.主要功能是通过网络(一般是局域网)让不同的主机系统之间可以共享文件或目录.NFS客户端(一般为应用服务器,例如web)可以通过挂载(mount)的方式将NFS服务器端共享的数据目录挂载到NFS客户端本地系统中(就是某一个挂载点下).从客户端本地看,NFS服务器端共享的目录就好像是客户端自己的磁盘分区或者目录一样,而实际上却是远端的NFS服务器的目录.分布式文件系统:Moosefs(mfs).Glu

架构图 节点规划 120.52.146.213 Control Machine 120.52.146.214 PD1_TiDB1 120.52.146.215 PD2_TiDB2 120.52.146.216 PD3 120.52.146.217 TiKV1 120.52.146.218 TiKV2 120.52.146.219 TiKV3 软件要求 CentOS 7.3 (64 bit) or later with Python 2.7 installed 1.在控制节点上安装依赖软件 # y

一.我们可以且应该优化什么? 硬件 操作系统/软件库 SQL服务器(设置和查询) 应用编程接口(API) 应用程序 -------------------------------------------------------------------------------- 二.优化硬件 如果你需要庞大的数据库表(>2G),你应该考虑使用64位的硬件结构,像Alpha.Sparc或即将推出的IA64.因为MySQL内部使用大量64位的整数,64位的CPU将提供更好的性能. 对大数据库,优化的次

本文介绍了对 Linux IO 子系统性能进行优化时需要考虑的因素,以及一些 IO 性能检测工具. 本文的大部分内容来自 IBM Redbook - Linux Performance and Tuning Guidelines FileSystem VFS(Virtual FileSystem) 虚拟文件系统 文件系统是内核的功能,是一种工作在内核空间的软件,访问一个文件必须要需要文件系统的存在才可以.Linux 可以支持多达数十种不同的文件系统,它们的实现各不相同,因此 Linux 内核向用

本文介绍了对 Linux IO 子系统性能进行优化时需要考虑的因素,以及一些 IO 性能检测工具. 本文的大部分内容来自 IBM Redbook - Linux Performance and Tuning Guidelines FileSystem VFS(Virtual FileSystem) 虚拟文件系统 文件系统是内核的功能,是一种工作在内核空间的软件,访问一个文件必须要需要文件系统的存在才可以.Linux 可以支持多达数十种不同的文件系统,它们的实现各不相同,因此 Linux 内核向用

1.        MapReduce程序开发步骤 编写map 和 reduce 程序–> 单元测试 -> 编写驱动程序进行验证-> 本地数据集调试 ->  部署到集群运行 用到的工具: Junit.Mockito.Ant 2.        使用Configuration 关键点: 1.  Configuration类可以加载配置文件,包括系统的和自定义的 2.  addResource方法后面的配置文件会覆盖前面的 3.  配置文件的几个特性:name.value.descri

MySQL优化案例 Mysql5.1大表分区效率测试 Mysql5.1大表分区效率测试MySQL | add at 2009-03-27 12:29:31 by PConline | view:60, comment:0 mysql5.1开始支持数据表分区了,原来的分表可以不用了,分表的不足在于多表查询不方便.呵呵,下面来简单测试下表分区的查询效率. 1.用来测试的数据为discuz论坛的数据库,表为cdb_posts表,数据量为1500多万条mysql> select count(*) fro

http://blog.sina.com.cn/s/articlelist_1029388674_11_1.html Linux 性能优化之 IO 子系统(一) 本文介绍了对 Linux IO 子系统性能进行优化时需要考虑的因素,以及一些 IO 性能检测工具. 本文的大部分内容来自 IBM Redbook - Linux Performance and Tuning Guidelines FileSystem VFS(Virtual FileSystem) 虚拟文件系统 文件系统是内核的功能,是

一:各模块属性 模块名称 状态 建议实例数 功能 负载均衡组件 TiDB 无状态 2 接收SQL请求,处理SQL相关逻辑,并通过PB找到存储数据的TiKV地址 LVS.HAProxy.F5 PB 集群 3 奇数个节点,推荐>3 整个集群的管理模块,存储元信息.对TiKV集群进行调度和负载均衡.分配全局事务ID  Raft TiKV 集群 3 负责存储数据  Raft 二:环境要求 2.1:开发测试环境: 组件 CPU 内存 本地存储 网络 实例数量(最低要求) TiDB 8核+ 16 GB+ 无

Linux命令--磁盘管理 命令df 作用:查看已挂载磁盘的总容量.使用容量.剩余容量等 参数:-i,查看inodes的使用状况 参数:-h,使用合适的单位显示(推荐) 命令du 作用:查看某个目录或者文件所占空间的大小 参数:-a,列出全部文件和目录 参数:-h,使用合适的单位显示(推荐) 参数:-s,只列出总和 命令fdisk 作用:磁盘划分工具 格式:fdisk [选项] [设备名称] 参数:-l,后不跟设备名称,列出全部磁盘设备及其分区 示例:fdisk -l /dev/sda 说明 进