mfs测试
续1
6. 参考文献:
6.1 文献
http://sery.blog.51cto.com/10037/263515 田逸
http://bbs.chinaunix.net/thread-1643863-1-1.html ltgzs777
http://www.moosefs.org/ 官网
http://bbs.chinaunix.net/thread-1643015-1-2.html 测试工具
6.1 测试数据
性能测试模型1
一个不知道名字的哥们的测试结果,我先贴出来,那哥们看到了密我.
小文件性能测试 |
||||||||
二级100*100文件夹 |
创建 |
列表 |
删除 |
|||||
单片15k.5 |
real |
real |
real |
|||||
单片15k.5 |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
real |
real |
real |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
二级1000*1000文件夹 |
创建 |
列表 |
删除 |
|||||
单片15k.5 |
real |
real |
real |
|||||
单片15k.5 |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
real |
real |
real |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
三级100*100*100文件夹 |
创建 |
列表 |
删除 |
|||||
单片15k.5 |
real |
real |
real |
|||||
单片15k.5 |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
real |
real |
real |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
三级100*100*100文件夹 |
1 |
2 |
3 |
4 |
5 |
|||
变更日志/元数据大小 |
55M左右 |
60M左右 |
60M左右 |
60M左右 |
60M左右 |
|||
连续创建耗时 |
real |
real |
real |
real |
real |
|||
注: |
单盘多进程性能没有提升,因为都在io wait,甚至增加进程会消耗大量调度时间 |
|
MFS多进程时性能会提升,主要性能消耗集中在CPU系统时间。因此实际海量小文件性能要大大强于本地文件系统 |
性能测试模型2 (感谢 qq群战友 痞子白 提供)
两个Client同时dd测试
数据块1M 文件大小20G
Client1 写:68.4MB/s 读:25.3MB/s
Client2 写:67.5MB/s 读:24.7MB/s
总吞吐:写:135.9MB/s 读:50.0MB/s
写命令:dd if=/dev/zero of=/mfs/test.1 bs=1M count=20000
读命令:dd if=/mfs/test.1 of=/dev/null bs=1M
7. 感谢
田逸
一个不知道名字的哥们(看到请联系我)
8. 附录
8.1 1000 * 1000 * 1 client 脚本
#!/bin/bash
for ((i=0;i<1000;i++))
do
mkdir ${i}
cd ${i}
for ((j=0;j<1000;j++))
do
cp /mnt/test ${j}
done
cd ..
done
8.2 1000 * 1000 * ( 100,200 ,1000 client ) 脚本
#!/bin/bash
declare -f make_1000_dir_file
cd `pwd`
function make_1000_dir_file {
start=${1}
stop=${2}
for ((i=${start};i<${stop};i++))
do
mkdir ${i}
for ((j=0;j<1000;j++))
do
cp /mnt/test ${i}/${j}
done
done
}
i=1
while [ ${i} -le 1000 ]
do
((n=${i}+1))
make_1000_dir_file ${i} $ &
((i=${i}+1))
done
wait
mfs测试的更多相关文章
- MFS分布式文件系统【3】存储节点 CHUNK SERVER 部署
[root@ky_hs_252 mfs-1.6.27]# mkdir /usr/local/mfs [root@ky_hs_252 mfs-1.6.27]# useradd mfs -s /sbin/ ...
- mfs-用户
http://blog.csdn.net/liuyunfengheda/article/details/5260278 MFS总结 http://bbs.chinaunix.net/thread-16 ...
- MooseFS及其高可用部署
MooseFS的工作原理分析 MooseFS(下面统一称为MFS)由波兰公司Gemius SA于2008年5月30日正式推出的一款Linux下的开源存储系统,是OpenStack开源云计算项目的子项目 ...
- MooseFS 分布式存储
一.MooseFS介绍 MooseFS主要由管理服务器(master).元日志服务器(Metalogger).数据存储服务器(chunkserver)构成. 管理服务器:主要作用是管理数据存储服务器, ...
- MFS学习总结
MFS学习总结 MFS概述.特性和新版改进 MFS 工作原理和设计架构 MFS的安装.部署.配置 MFS的高级特性 MFS的性能测试 MFS集群的维护 MFS的常见问题和建议对策 一.MFS概述.特性 ...
- 分布式文件系统MFS(moosefs)实现存储共享(第二版)
分布式文件系统MFS(moosefs)实现存储共享(第二版) 作者:田逸(sery@163.com) 由于用户数量的不断攀升,我对访问量大的应用实现了可扩展.高可靠的集群部署(即lvs+keepali ...
- ETL测试教程
在我们了解ETL测试之前,先了解有关商业智能和数据仓库的重要性. 让我们开始吧 - 什么是BI? 商业智能是收集原始数据或业务数据并将其转化为有用和更有意义的信息的过程. 原始数据是一个组织每日事务的 ...
- mfs 使用心得
CentOS的安装方法: To install MooseFS from officially supported repository on EL7, follow the steps below: ...
- MFS故障测试及维护总结
一.测试环境说明: 10.2.2.230 mfsmaster VIP:10.2.2.130 10.2.2.231 mfsbackup 10.2.2.253 mfsdata01 10.2.2.2 ...
随机推荐
- 深度学习实战-----0001(移植反向传播Python to c++)
1. https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/ 老外教程 2. https://github. ...
- 【MFC】MFC绘制动态曲线,用双缓冲绘图技术防闪烁
摘自:http://zhy1987819.blog.163.com/blog/static/841427882011614103454335/ MFC绘制动态曲线,用双缓冲绘图技术防闪烁 2011 ...
- poj 3517
题目链接 http://poj.org/problem?id=3517 题意 约瑟夫环 要求最后删掉的那个人是谁: 方法 理解递推公式就行了 考虑这样一组数据 k ...
- 剑指offer-第四章解决面试题思路(字符串的排序)
题目:输入一个字符串,打印出该字符串的全排列. 思路:将整个字符串分成两部分,第一部分为一个字符,将该字符和该字符后面的字符(直到最后一个字符)依次交换,确定第一个字符:然后固定第一个字符,将后面的字 ...
- Info.plist字段列表详解
常用字段: 1.获取版本信息: NSDictionary*infoDic = [[NSBundle mainBundle] infoDictionary]; NSString *localVersio ...
- LeetCode Next Closest Time
原题链接在这里:https://leetcode.com/problems/next-closest-time/description/ 题目: Given a time represented in ...
- 对Tornado异步操作Sqlalchemy方法的选定 不错
使用原因 在一个实时通讯的项目中,由于需要使用Websocket这一协议,便在Python框架中选定了Tornado,也同时使用了Sqlalchemy这一ORM框架. 大家都知道Tornado有异步非 ...
- C语言 产生随机数
rand()函数 #include <stdlib.h> int rand(void); rand()是根据某个种子,以特定的算法,计算出一系列数的函数.返回的数在0和RAND_MAX之间 ...
- 学习动态性能表(2)--v$sesstat
学习动态性能表 第二篇--v$sesstat 2007.5.25 按照OracleOnlineBook中的描述,v$sesstat存储session从login到logout的详细资源使用统计. 类 ...
- OLAP和OLTP的区别(基础知识)
联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则.OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理 ( ...