前段时间搞优化,最后瓶颈发现都在数据库单点上。 问DBA,给我的写入答案是在1W(机械硬盘)左右。
联想起前几天infoQ上一篇文章说他们最好的硬件写入速度在2W后也无法提高(SSD硬盘)
但这东西感觉从来没证实过,故一时兴起,弄台虚拟机压测起来。
 
想搞清下面的问题:
 
1,mysql支撑多少连接数?
2,写入瓶颈到底是多少?
3,求QPS
 
畅想: 
足够的CPU, load>远小于核数*2
足够的内存, 基本只用到物理内存
瓶颈在硬盘,写入速度应该能到90-100M/S(机械硬盘,7200转)。 故:预计kB_wrtn/s在90M左右
 
 
准备阶段:
 
硬件:
压测机I5双核,8G内存, 开一个虚拟机+mysql,一个eclipse,一个jmeter
 
 
MYSQL准备
 
mysql基本命令
停止:
root@ubuntu:/home/hejinbin# /etc/init.d/mysql stop 
Stopping mysql (via systemctl): mysql.service. 
 
启动:
root@ubuntu:/home/hejinbin# /etc/init.d/mysql start 
Starting mysql (via systemctl): mysql.service.
 
重启:
/etc/init.d/mysql restart  重启mysql
 
查看当前mysq端口的连接数
netstat -apn|grep "3306"
 
 
查看mysql基本状态 
show processlist;  查看当前连接
show status;   查看当前数据库状态
show variables like 'max_connections'  mysql当前最大连接数
 
set global max_connections=1000;  设置当前最大连接数为1000
这个设置会马上生效,但是当mysql重启时这个设置会失效,需要长期生效在my.ini 添加 max_connections=1000
 
 
 

jmeter准备:
 
 
1,测试空压测, 测试压测客户端能承受的线程数, 
 
只开聚合报告,其它图形和结果树输出关闭。
 
 
经过测试,打开监视器图形结果和结果树输出,本机空压测也只能到1500附近,所以特别注意关闭这两个,只开聚合报告,我的机器100个线程空压测可以到压测到6W吞吐量(throughput/sec)
 
后面也用100个线程进行mysql的插入压测
 
 
JAVA测试类准备
 
用C3P0进行压测:
 
C3P0:
 
1, 在classpath下放入 c3p0-config.xml 配置如下:
<c3p0-config>
<default-config>
<property name="user">root</property>
<property name="password">hejinbin</property>
<property name="driverClass">com.mysql.jdbc.Driver</property>
<property name="jdbcUrl">jdbc:mysql://172.25.20.14:3306/Test?useUnicode=true
</property> 

<property name="initialPoolSize">5</property>
<property name="maxIdleTime">5</property>
<property name="maxPoolSize">150</property>
<property name="minPoolSize">5</property>
</default-config> 

</c3p0-config>

  

2,JAVA测试代码

 package org.test;

 import java.sql.Connection;
 import java.sql.ResultSet;
 import java.util.concurrent.atomic.AtomicLong;

 import com.mchange.v2.c3p0.ComboPooledDataSource;
 import com.mchange.v2.c3p0.impl.NewProxyPreparedStatement;

 /**
  * hejinbin , QQ 107966750, C3P0的测试用例 2016-10-13
  */
 public class C3P0Test {
     public static AtomicLong id = new AtomicLong(1000000);
     private static ComboPooledDataSource cpds = new ComboPooledDataSource();

     public static Long queryTest() throws Exception {
         Long aid = null;
         Connection con = null;
         try {
             // 从C3P0获取连接
             con = cpds.getConnection();
             NewProxyPreparedStatement prepare = (NewProxyPreparedStatement) con
                     .prepareStatement("select * from tbl_account_info where account_id = ?");
             prepare.setLong(1, 1001203);
             ResultSet result = prepare.executeQuery();
             if (result.next()) {
                 aid = (result.getLong("aid"));
             }
         } catch (Exception e) {
             throw e;
         } finally {
             // 此处关闭已经被C3P0重写, 只是返还连接池
             con.close();
         }

         return aid;
     }

     public static void insertTest() throws Exception {

         Connection con = null;
         try {
             // 从C3P0获取连接
             con = cpds.getConnection();
             NewProxyPreparedStatement prepare = (NewProxyPreparedStatement) con.prepareStatement(
                     "INSERT INTO `tbl_account_info` VALUES (?, '1231232132', '何锦彬测试', '12312312', '15018711111', 'hejinbin@qq.com', '1', 'hjb_recharge', 'yyUid:12312312', '1', '', '', '', '1399882974', '1429785062', '183.60.177.229', '1464658277', '14.29.83.74', '0', '0', '1', '0', '2', '1', '0', '1', '1', '1', '1', '1', '1', '1', '', '', '2000', '0', '0', '0', '2000', '6', '0', '0', '1', '0', '1456308697', '658', null, '广东广州', '0', '0', '0', '0', '20', null, null, '1', null, '');");
             prepare.setLong(1, id.incrementAndGet());
             prepare.execute();
         } catch (Exception e) {
             throw e;
         } finally {
             // 此处关闭已经被C3P0重写, 只是返还连接池

             con.close();
         }

     }

     public static void main(String[] args) throws Exception {
         for (int i = 0; i < 100000; i++)
             insertTest();
     }
 }

3,jmeter压测相关代码

package org.test.bin;

import org.apache.jmeter.config.Arguments;
import org.apache.jmeter.protocol.java.sampler.AbstractJavaSamplerClient;
import org.apache.jmeter.protocol.java.sampler.JavaSamplerContext;
import org.apache.jmeter.samplers.SampleResult;
import org.test.C3P0Test;
import org.test.JDBCWthoutDBPoolTest;

/**
 * hejinbin , QQ 107966750, C3P0的测试用例,放入jmeter中 2016-10-13
 */
public class JDBWithC3P0JmertRuning extends AbstractJavaSamplerClient {
    // 填参数
    public Arguments getDefaultParameters() {
        Arguments params = new Arguments();

        return params;
    }

    // 测试查询
//    public SampleResult runTest(JavaSamplerContext arg0) {
//        SampleResult sr = new SampleResult();
//        try {
//            sr.sampleStart();
//            Long aid = C3P0Test.queryTest();
//            // Long aid = 741l;
//            // 逾期值
//            if (aid == 741) {
//                // 只有是预期值才判断查询成功
//                sr.setSuccessful(true);
//            } else {
//                sr.setSuccessful(false);
//            }
//        } catch (Exception e) {
//            sr.setSuccessful(false);
//            e.printStackTrace();
//        } finally {
//            sr.sampleEnd();
//        }
//        return sr;
//    }
    public SampleResult runTest(JavaSamplerContext arg0) {
        SampleResult sr = new SampleResult();
        try {
            sr.sampleStart();
            C3P0Test.insertTest();

            // 只有是预期值才判断查询成功
            sr.setSuccessful(true);

        } catch (Exception e) {
            sr.setSuccessful(false);
            e.printStackTrace();
        } finally {
            sr.sampleEnd();
        }
        return sr;
    }

}

整个工程地址等下放留言区.

一切就绪, 开始死磕

第一次压测配置(虚拟机):
 
数据库服务器:1G内存+20G硬盘+1个CPU,单核
jmeter本地 
 
压测结果
3100 左右
负载在6.77附近,判断是CPU问题,加4核
 
 
第二次压测配置(虚拟机):
 
1G内存+20G硬盘+1个CPU,4核
 直接到了5700附近,
 
 
total used free shared buffers cached 
Mem: 984  974           9 1 132 455 
-/+ buffers/cache: 386 597 
Swap: 2044 31      2013 
只有9M剩余,预测增加物理内存可以继续提高
 
 

第三次发现物理内存使用
4G内存+20G硬盘+1个CPU,4核
直接压测到了 7500附近,IOWA% 在10附近,使用CPU 30%
 
 
 
此时服务器状态, 9的WA
 
top - 00:55:47 up 15 min, 1 user, load average: 7.63, 2.61, 1.09 
Tasks: 175 total, 1 running, 174 sleeping, 0 stopped, 0 zombie 
%Cpu(s): 15.1 us, 40.6 sy, 0.0 ni, 28.3 id, 9.0 wa, 0.0 hi, 7.0 si, 0.0 st 
KiB Mem: 4038340 total, 1837716 used, 2200624 free, 151648 buffers 
KiB Swap: 2094076 total, 0 used, 2094076 free. 1224640 cached Mem

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 
2345 mysql 20 0 2539240 274992 13540 S 279.5 6.8 4:48.13 mysqld 

 
 
 
 
机器信息:
 
top - 01:02:07 up 21 min, 1 user, load average: 6.48, 6.91, 3.77 
Tasks: 175 total, 1 running, 174 sleeping, 0 stopped, 0 zombie 
%Cpu(s): 14.2 us, 33.2 sy, 0.0 ni, 35.0 id, 11.3 wa, 0.0 hi, 6.3 si, 0.0 st 
KiB Mem: 4038340 total, 2605868 used, 1432472 free, 152740 buffers 
KiB Swap: 2094076 total, 0 used, 2094076 free. 1965808 cached Mem

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 
2345 mysql 20 0 2540260 278508 13540 S 247.7 6.9 21:44.32 mysqld        

 
CPU 4核,  负载 6.48,   没到瓶颈
内存,  swap使用率是0, 也没压力
硬盘,
通过监控发现
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn 
sda 688.00 0.00 17356.00 0 17356
 
硬盘写入速度在 17M/s, 感觉还没到瓶颈, 7200转机械硬盘的是 90M
 
如何进一步优化,让写入速度达到瓶颈。 想到是配置mysql的参数了,下次继续尝试,有活要做了.
 
https://github.com/bensonHe/Test4DBInsert 代码地址
 

mysql每秒最多能插入多少条数据 ? 死磕性能压测的更多相关文章

  1. mysql存储过程命令行批量插入N条数据命令

    原文:http://blog.csdn.net/tomcat_2014/article/details/53377924 delimiter $$ create procedure myproc () ...

  2. mysql一次插入多条数据

    mysql一次插入多条数据: INSERT INTO hk_test(username, passwd) VALUES ('qmf2', 'qmf2'),('qmf3', 'qmf3'),('qmf4 ...

  3. PHP MySQL 插入多条数据

    PHP MySQL 插入多条数据 使用 MySQLi 和 PDO 向 MySQL 插入多条数据 mysqli_multi_query() 函数可用来执行多条SQL语句. 以下实例向 "MyG ...

  4. sql每五秒插入一条数据 一次插入N条数据

    1建立数据表 create table projectManage ( ID int identity primary key not null, projectName )not null, man ...

  5. mysql根据查询结果批量更新多条数据(插入或更新)

    mysql根据查询结果批量更新多条数据(插入或更新) 1.1 前言 mysql根据查询结果执行批量更新或插入时经常会遇到1093的错误问题.基本上批量插入或新增都会涉及到子查询,mysql是建议不要对 ...

  6. MySQL往表里插入千条数据 存储过程

    工作中遇到的问题,先记录一下,方便以后查看 存在两张表,user表和friend表 user表部分字段,如上图 friend表部分字段,如上图 往friend表插入千条数据,friend表中的user ...

  7. mysql命令行批量插入100条数据命令

    先介绍一个关键字的使用: delimiter 定好结束符为"$$",(定义的时候需要加上一个空格) 然后最后又定义为";", MYSQL的默认结束符为" ...

  8. 用一条mysql语句插入多条数据

    这篇文章主要介绍了在mysql中使用一条sql语句插入多条数据,效率非常高,但是原理其实很简单,希望对大家有所帮助 假如有一个数据表A: id name title addtime 如果需要插入n条数 ...

  9. 你向 Mysql 数据库插入 100w 条数据用了多久?

    阅读本文大概需要 2 分钟. ▌目录 多线程插入(单表) 多线程插入(多表) 预处理 SQL 多值插入 SQL 事务( N 条提交一次) ▌多线程插入(单表) 问:为何对同一个表的插入多线程会比单线程 ...

随机推荐

  1. 自定义基于 VLC 的视频播放器

    前言(蛋疼的背景故事) 前段时间,接了一个小项目,有个需求是要在系统待机一段时间以后,循环播放 MV(类似于 Windows 系统的屏幕保护). 听到这个需求,我首先想到的是 MediaPlayer ...

  2. 谈谈如何使用Netty开发实现高性能的RPC服务器

    RPC(Remote Procedure Call Protocol)远程过程调用协议,它是一种通过网络,从远程计算机程序上请求服务,而不必了解底层网络技术的协议.说的再直白一点,就是客户端在不必知道 ...

  3. Dreamweaver 扩展开发:C-level extensibility and the JavaScript interpreter

    The C code in your library must interact with the Dreamweaver JavaScript interpreter at the followin ...

  4. 写出易调试的SQL

    h4 { background: #698B22 !important; color: #FFFFFF; font-family: "微软雅黑", "宋体", ...

  5. IteratorPattern(迭代子模式)

    /** * 迭代子模式 * @author TMAC-J * 聚合:某一类对象的集合 * 迭代:行为方式,用来处理聚合 * 是一种行为模式,用于将聚合本身和操作聚合的行为分离 * Java中的COLL ...

  6. 整理下.net分布式系统架构的思路

    最近看到有部分招聘信息,要求应聘者说一下分布式系统架构的思路.今天早晨正好有些时间,我也把我们实际在.net方面网站架构的演化路线整理一下,只是我自己的一些想法,欢迎大家批评指正. 首先说明的是.ne ...

  7. ActionContext.getContext().getSession()

    ActionContext.getContext().getSession() 获取的是session,然后用put存入相应的值,只要在session有效状态下,这个值一直可用 ActionConte ...

  8. web 前端(轮番插件)

    <!DOCTYPE html> <html lang="zh-cn"> <head> <meta charset="UTF-8& ...

  9. Visual Studio Code——Angular2 Hello World 之 2.0

    最近看到一篇用Visual Studio Code开发Angular2的文章,也是一篇入门教程,地址为:使用Visual Studio Code開發Angular 2專案.这里按部就班的做了一遍,感觉 ...

  10. MySQL常用命令

    数据库登陆命令: mysql -uroot -p 2.提示输入密码: 3.登陆成功: 4.数据库修改相关命令: 修改数据库的编码格式: 语法格式为:ALTER {DATABASE|SCHEMA}  [ ...