最近建设新机房,趁项目时间空余较多,正好系统的测试一下CEPH集群性能随OSD数目的变化情况, 新ceph集群测试结果如下: 1)4k随机读在3/6/9osd host下的性能差不多,吞吐量约50~60MB/s,IOPS约为14000,延时约4ms:osd数增加,上涨幅度很小 2)512k顺序读在3/6/9osd host下吞吐量均能达到900MB/s 3)ceph写性能较低,但是随着osd数量的增加,写性能均直线上涨 4)对比老ceph集群,新ceph集群osd主机换用ssd磁盘当日志卷,性能

先说一下按日期产生,不解释,大家都懂,这种方法的缺点就是很吃硬盘空间 log4j.rootLogger=INFO,logfile,stdout log4j.logger.java.sql=DEBUG,sqllog #log4j.additivity.java.sql=false #velocity print out log4j.logger.org.apache.velocity=ERROR,velocityfile log4j.additivity.org.apache.velocity=f

目录 支持多进程日志按大小分割 多进程日志大小分割handler配置实例 支持多进程日志按大小分割 由于python内置模块logging.handlers.RotatingFileHandler是不支持多进程下日志分割的,存在进程间竞争同一文件.在网上找到了支持多进程的日志分割方案. 参考 中文博客 参考 英文mrfh 多进程日志大小分割handler配置实例 安装mrfh模块 pip install mrfh 由于mrfh用到了fcntl模块,只有linux才有所以在win下是不可用的 下面

最近对xamarin有点兴趣,虽然网上的评论嘘声一片, 对于只想试一试的心态来说,对于网上所说的什么开发后的程序卡顿,可以用的三方库很少等, 我只想说,你们说的我不信,我要试一试看 我本来已经安装了vs2017的,当时由于只用来做web开发,所以只选择了web部分安装, 再次打开vs2017的安装工具, 结果发现需要二十多个G的空间,但是C盘当初装系统的时候就只有100G,已经用得七七八八了, 其实说到改变C盘的空间大小,很早之前我就用过一个软件,EaseUS Partition, 记得当时wi

说在最先的话,logrotate要设置按照文件大小来配置日志切分,需要通过三个东西. 1.配置logrotate 的配置文件 命名未任意文件,在启动的时候指定,例如/etc/weblog.conf 参考一般logrotate的配置格式,只是加了size 10K/M 2.编写logrotate.sh脚本启动logrotate 先用rpm -ql logrotate 查询启动路径 脚本内容 ｀/usr/bin/logrotate /etc/weblog.conf｀ 3.编写定时任务 touch lo

基于脚本配置来过滤log信息 除了通过程序实现对log环境的配置之外.log4cplus通过PropertyConfigurator类实现了基于脚本配置的功能.通过 脚本能够完毕对logger.appender和layout的配置.因此能够解决如何输出,输出到哪里的问题.我将在全文的最后 一部分中提到多线程环境中怎样利用脚本配置来配合实现性能測试.本节将重点介绍基脚本实现过滤log信息的功能. 首先简介一下脚本的语法规则: 包含Appender的配置语法和logger的配置语法.当中: 1.Ap

首先说说生成按日期.不解释,大家都懂的,这种方法的缺点是很吃硬盘空间 log4j.rootLogger=INFO,logfile,stdout log4j.logger.java.sql=DEBUG,sqllog #log4j.additivity.java.sql=false #velocity print out log4j.logger.org.apache.velocity=ERROR,velocityfile log4j.additivity.org.apache.velocity=f

设计思路: 1 用一个INI配置文件管理日志目录,日志文件限制的大小,特殊的日志名,特殊日志的大小限制. 2 读取INI文件中的所有信息:每一个日志目录对应的大小限制,每一个特殊日志对应的大小限制.如特殊日志在既定的日志目录中需去除. 3 按设置的大小循环检测并清理每一个日志文件. 4 监听有名管道的信号,如读取到了修改了INI文件的信号,则重新开始读取,循环. 代码: LogSizeLimit.h #ifndef LOGSIZELIMIT_H_ #define LOGSIZELIMIT_H_

1.查看当前归档日志目录 SQL> show parameter recovery NAME TYPE VALUE ------------------------------------ ----------- ------------------------------ db_recovery_file_dest string /u01/app/oracle/fast_recovery_ area db_recovery_file_dest_size big integer 4182M re

//path/to/socket指向某个osd的admin socket文件#> ceph --admin-daemon {path/to/socket} config show | grep rbd下面对其中的某些配置参数进行详细说明: rbd cache: 是否使能缓存,默认情况下开启.rbd cache size:最大的缓存大小,默认32MBrbd cache max dirty:缓存中脏数据的最大值,用来控制回写,不能超过rbd cache size,默认24MBrbd cache ta

框架图 介绍 一种为优秀的性能.可靠性和可扩展性而设计的统一的.分布式文件系统 特点 CRUSH算法 Crush算法是ceph的两大创新之一,简单来说,ceph摒弃了传统的集中式存储元数据寻址的方案,转而使用CRUSH算法完成数据的寻址操作. Crush确定PG和osd之间的多对多关系 CRUSH在一致性哈希基础上很好的考虑了容灾域的隔离,能够实现各类负载的副本放置规则,例如跨机房.机架感知等. Crush算法有相当强大的扩展性,理论上支持数千个存储节点 高可用 Ceph中的数据副本数量可以由管

Ceph Hammer版(0.94.10)手动部署for CentOS 7.x --lin.wang 20190310 环境有三个节点node-1,node-2,node-3,每个节点三个ssd盘作为osd 1.添加yum源ceph.base.epel 2.所有节点添加互信如:root用户,及hosts(/etc/hosts)列表 3./etc/ssh/ssh_config中: # StrictHostKeyChecking ask 注释去掉值改成no 4.关闭firewalld.selinux

1)Ceph简单概述Ceph是一个分布式存储系统,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目.Ceph源码下载:http://ceph.com/download/.随着云计算的发展,ceph乘上了OpenStack的春风,进而成为了开源社区受关注较高的项目之一.Ceph可以将多台服务器组成一个超大集群,把这些机器中的磁盘资源整合到一块儿,形成一个大的资源池(PB级别),然后按需分配给应用使用.Ceph分布式存储的优势: 1)CRUSH算法 Crush算法是ceph的两大创新

一.ceph概述本质上是rados:可靠的.自动的.分布式对象存储特性:高效性(大型的网络raid,性能无限接近raid).统一性(支持文件存储.块存储.对象存储).可扩展性数据库的一个弱点:查表ceph中没有数据库,集群状态全靠cluster map展示三种存储类型与rados的关系 补充云主机创建:nova-->libvirtd:虚拟机控制程序-->qemu(其他硬件的虚拟化)-kvm(cpu.内存的虚拟化)驱动-->云主机块存储创建:cinder-->backend驱动---

一次ceph recovery经历 背景 这是一个測试环境. 该环境中是cephfs 一共12个节点, 2个client.2个mds.8个osd mds: 2颗CPU,每一个4核.一共是8核. 128G内存, 单独的两个节点,仅仅作为mds cpu型号: Intel(R) Xeon(R) CPU E5-1620 v3 @ 3.50GHz osd节点, 每一个24核, 8 × 4T SATA盘, 1 SSD:INTEL SSD SC2BB48 (480G) 64G内存 cpu型号: Intel(R

1.1 Ceph概述 官网地址:https://docs.ceph.com/docs/master/ 1.Ceph简介 概述:Ceph是可靠的.可扩展的.统一的.分布式的存储系统.同时提供对象存储RADOSGW(Reliable.Autonomic.Distributed.Object Storage Gateway).块存储RBD(Rados Block Device).文件系统存储CephFS(Ceph Filesystem)3种功能,以此来满足不同的应用需求. 2.Ceph发展:略 3.C

                                                                        ceph概述   基础知识 什么是分布式文件系统 •  分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定 直接连接在本地节点上,而是通过计算机网络与节点相连 •  分布式文件系统的设计基于客户机/服务器模式 常用分布式文件系统 •  Lustre •  Hadoop •  FastDFS •  Ceph

本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 1. 测试环境 为了深入学习 Ceph 以及 Ceph 和 OpenStack 的集成,搭建了如下的测试环境: 硬件环境: System

版权声明:尊重博主劳动成果,欢迎转载,转载请注明出处 --爱技术的华仔 Log & Checkpoint Innodb的事务日志是指Redo log,简称Log,保存在日志文件ib_logfile*里面.Innodb还有另外一个日志Undo log Undo log是存放在共享表空间里面的(ibdata*文件). 由于Log和Checkpoint紧密相关,因此将这两部分合在一起分析. 名词解释:LSN,日志序列号,Innodb的日志序列号是一个64位的整型. 写入机制 Log写入 LSN实际上对

当一切正常时,没有必要特别留意什么是事务日志,它是如何工作的.你只要确保每个数据库都有正确的备份.当出现问题时,事务日志的理解对于采取修正操作是重要的,尤其在需要紧急恢复数据库到指定点时.这系列文章会告诉你每个DBA应该知道的具体细节. 在这篇文章里,我们会回顾下当运行在完整恢复模式时,为什么和如何进行日志备份,还有如何使用这些日志备份文件和完整数据库备份一起,进行数据库恢复.完整恢复模式支持数据库数据库还原到有效日志备份里的任何时间点,在尾日志已经备份的情况下,直到上一个提交事务的时间,在灾难