SMProxy,让你的数据库操作快三倍!
SMProxy
GITHUB:https://github.com/louislivi/smproxy
喜欢请star
中文 | English
/$$$$$$ /$$ /$$ /$$$$$$$
/$$__ $$| $$$ /$$$| $$__ $$
| $$ \__/| $$$$ /$$$$| $$ \ $$ /$$$$$$ /$$$$$$ /$$ /$$ /$$ /$$
| $$$$$$ | $$ $$/$$ $$| $$$$$$$//$$__ $$ /$$__ $$| $$ /$$/| $$ | $$
\____ $$| $$ $$$| $$| $$____/| $$ \__/| $$ \ $$ \ $$$$/ | $$ | $$
/$$ \ $$| $$\ $ | $$| $$ | $$ | $$ | $$ >$$ $$ | $$ | $$
| $$$$$$/| $$ \/ | $$| $$ | $$ | $$$$$$/ /$$/\ $$| $$$$$$$
\______/ |__/ |__/|__/ |__/ \______/ |__/ \__/ \____ $$
/$$ | $$
| $$$$$$/
\______/
Swoole MySQL Proxy
一个基于 MySQL 协议,Swoole 开发的MySQL数据库连接池。
原理
将数据库连接作为对象存储在内存中,当用户需要访问数据库时,首次会建立连接,后面并非建立一个新的连接,而是从连接池中取出一个已建立的空闲连接对象。
使用完毕后,用户也并非将连接关闭,而是将连接放回连接池中,以供下一个请求访问使用。而连接的建立、断开都由连接池自身来管理。
同时,还可以通过设置连接池的参数来控制连接池中的初始连接数、连接的上下限数以及每个连接的最大使用次数、最大空闲时间等等。
也可以通过其自身的管理机制来监视数据库连接的数量、使用情况等。超出最大连接数会采用协程挂起,等到有连接关闭再恢复协程继续操作。
特性
- 支持读写分离
- 支持数据库连接池,能够有效解决 PHP 带来的数据库连接瓶颈
- 支持 SQL92 标准
- 采用协程调度
- 支持多个数据库连接,多个数据库,多个用户,灵活搭配
- 遵守 MySQL 原生协议,跨语言,跨平台的通用中间件代理
- 支持 MySQL 事务
- 支持 HandshakeV10 协议版本
- 完美兼容 MySQL4.1 - 8.0
- 兼容各大框架,无缝提升性能
设计初衷
PHP 没有连接池,所以高并发时数据库会出现连接打满的情况,Mycat 等数据库中间件会出现部分 SQL 无法使用,例如不支持批量添加等,而且过于臃肿。
所以就自己编写了这个仅支持连接池和读写分离的轻量级中间件,使用 Swoole 协程调度 HandshakeV10 协议转发使程序更加稳定,不用像 Mycat 一样解析所有 SQL 包体,增加复杂度。
环境
- Swoole 2.1+
- PHP 7.0+
安装
(推荐)直接下载最新发行版的 PHAR 文件,解压即用:
https://github.com/louislivi/smproxy/releases/latest
或者使用 Git 切换任意版本:
git clone https://github.com/louislivi/smproxy.git
composer install --no-dev # 如果你想贡献你的代码,请不要使用 --no-dev 参数。
运行
需要给予 bin/SMProxy 执行权限。
SMProxy [ start | stop | restart | status | reload ] [ -c | --config <configuration_path> ]
SMProxy -h | --help
SMProxy -v | --version
Options:
- start 运行服务
- stop 停止服务
- restart 重启服务
- status 查询服务运行状态
- reload 平滑重启
- -h --help 帮助
- -v --version 查看当前服务版本
- -c --config <configuration_path> 设置配置项目录
SMProxy连接测试
测试SMProxy与测试MySQL完全一致,MySQL怎么连接,SMProxy就怎么连接。
推荐先采用命令行测试:
(请勿使用MYSQL8.0客户端链接测试)
mysql -uroot -p123456 -P3366 -h127.0.0.1
也可采用工具连接。
没用框架的 PHP 7.2.6
没用:0.15148401260376,用了:0.040808916091919
未使用连接池: 0.15148401260376
使用连接池: 0.040808916091919
ThinkPHP 5.0
未使用连接池:
使用连接池:
Laravel 5.7
未使用连接池:
使用连接池:
MySQL 连接数
未使用连接池:
使用连接池:
请以实际压测为准,根数据量,网络环境,数据库配置有关。
测试中因超出最大连接数会采用协程挂起 等到有连接关闭再恢复协程继续操作,
所有并发量与配置文件maxConns设置的不合适,会导致比原链接慢,主要是为了控制连接数。
交流
QQ群:722124111
配置文件
- 配置文件位于
smproxy/conf
目录中,其中大写ROOT
代表当前 SMProxy 根目录。
database.json
{
"database": {
"account": {
"自定义用户名": {
"user": "必选,数据库账户",
"password": "必选,数据库密码"
},
"...": "必选1个,自定义用户名 与serverInfo中的account相对应"
},
"serverInfo": {
"自定义数据库连接信息": {
"write": {
"host": "必选,写库地址 多个用[]表示",
"port": "必选,写库端口",
"timeout": "必选,写库连接超时时间(秒)",
"account": "必选,自定义用户名 与 account中的自定义用户名相对应"
},
"read": {
"host": "可选,读库地址 多个用[]表示",
"port": "可选,读库端口",
"timeout": "可选,读库连接超时时间(秒)",
"account": "可选,自定义用户名 与 account中的自定义用户名相对应"
}
},
"...": "必选1个,自定义数据库连接信息 与databases中的serverInfo相对应,read读库可不配置"
},
"databases": {
"数据库名称": {
"serverInfo": "必选,自定义数据库连接信息 与serverInfo中的自定义数据库连接信息相对应",
"maxConns": "必选,该库服务最大连接数,支持计算",
"maxSpareConns": "必选,该库服务最大空闲连接数,支持计算",
"startConns": "可选,该库服务默认启动连接数,支持计算",
"maxSpareExp": "可选,该库服务空闲连接数最大空闲时间(秒),默认为0,支持计算",
"charset": "可选,该库编码格式"
},
"...": "必选1个,数据库名称 多个数据库配置多个"
}
}
}
maxConns
,maxSpareConns
,startConns
- 推荐设置为
server.json
中配置的worker_num
的倍数swoole_cpu_num()*N
- 推荐设置为
- 多个读库,写库
- 目前采取的是随机获取连接,推荐将
maxConns
,startConns
,startConns
至少设置为max(读库,写库)*worker_num
的1倍以上
- 目前采取的是随机获取连接,推荐将
server.json
{
"server": {
"user": "必选,SMProxy服务用户",
"password": "必选,SMProxy服务密码",
"charset": "可选,SMProxy编码,默认utf8mb4",
"host": "可选,SMProxy地址,默认0.0.0.0",
"port": "可选,SMProxy端口,默认3366 如需多个以`,`隔开",
"mode": "可选,SMProxy运行模式,SWOOLE_PROCESS多进程模式(默认),SWOOLE_BASE基本模式",
"sock_type": "可选,sock类型,SWOOLE_SOCK_TCP tcp",
"logs": {
"open":"必选,日志开关,true 开 false 关",
"config": {
"system": {
"log_path": "必选,SMProxy系统日志目录",
"log_file": "必选,SMProxy系统日志文件名",
"format": "必选,SMProxy系统日志目录日期格式"
},
"mysql": {
"log_path": "必选,SMProxyMySQL日志目录",
"log_file": "必选,SMProxyMySQL日志文件名",
"format": "必选,SMProxyMySQL日志目录日期格式"
}
}
},
"swoole": {
"worker_num": "必选,SWOOLE worker进程数,支持计算",
"max_coro_num": "必选,SWOOLE 协程数,推荐不低于3000",
"pid_file": "必选,worker进程和manager进程pid目录",
"open_tcp_nodelay": "可选,关闭Nagle合并算法",
"daemonize": "可选,守护进程化,true 为守护进程 false 关闭守护进程",
"heartbeat_check_interval": "可选,心跳检测",
"heartbeat_idle_time": "可选,心跳检测最大空闲时间",
"reload_async": "可选,异步重启,true 开启异步重启 false 关闭异步重启",
"log_file": "可选,SWOOLE日志目录"
},
"swoole_client_setting": {
"package_max_length": "可选,SWOOLE Client 最大包长,默认16777216MySQL最大支持包长"
},
"swoole_client_sock_setting": {
"sock_type": "可选,SWOOLE Client sock 类型,默认tcp 仅支持tcp"
}
}
}
user
,password
,port,host
- 为
SMProxy
的账户|密码|端口|地址(非Mysql数据库账户|密码|端口|地址) - 可随意设置用于
SMProxy
登录验证 - 例如默认配置登录为
mysql -uroot -p123456 -P 3366 -h 127.0.0.1
SMProxy
登录成功MySQL COMMIT会提示Server version: 5.6.0-SMProxy
- 为
worker_num
- 推荐使用
swoole_cpu_num()
或swoole_cpu_num()*N
- 推荐使用
MySQL8.0
SMProxy1.2.4
及以上可直接使用SMProxy1.2.4
以下需要做兼容处理
MySQL-8.0
默认使用了安全性更强的caching_sha2_password
插件,其他版本如果是从5.x
升级上来的, 可以直接使用所有MySQL
功能, 如是新建的MySQL
, 需要进入MySQL
命令行执行以下操作来兼容:
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'password';
flush privileges;
将语句中的 'root'@'%'
替换成你所使用的用户, password
替换成其密码.
如仍无法使用, 应在my.cnf中设置 default_authentication_plugin = mysql_native_password
其他学习资料
- MySQL协议分析 :https://www.cnblogs.com/davygeek/p/5647175.html
- MySQL官方协议文档 :https://dev.MySQL.com/doc/internals/en/connection-phase-packets.html#packet-Protocol::Handshake
- Mycat源码 :https://github.com/MyCATApache/Mycat-Server
- Swoole :https://www.swoole.com/
SMProxy,让你的数据库操作快三倍!的更多相关文章
- 如何在高并发环境下设计出无锁的数据库操作(Java版本)
一个在线2k的游戏,每秒钟并发都吓死人.传统的hibernate直接插库基本上是不可行的.我就一步步推导出一个无锁的数据库操作. 1. 并发中如何无锁. 一个很简单的思路,把并发转化成为单线程.Jav ...
- PHP 数据库操作类:ezSQL
EZSQL类介绍: 下载地址:http://www.jb51.net/codes/26393.htmlezsql是一个小型的快速的数据库操作类,可以让你很容易地用PHP操作各种数据库( MySQL.o ...
- android中的数据库操作
如何在android中调用数据库资源 在android中主要有两种方法来实现对数据库的访问,一种是adb shell方式,另一种是通过相关的android 的java类来间接的对数据库来进行操作.其中 ...
- 安卓 SQLite数据库操作实例
前段时间写了个安卓平台下SQLite数据库操作的实例 ,一直没得时间总结 ,今天把它弄出来了. 在Android 运行时环境包含了完整的 SQLite. 首先介绍一下SQLite这个数据库: SQLi ...
- 在安卓开发中使用SQLite数据库操作实例
前段时间写了个安卓平台下SQLite数据库操作的实例 ,一直没得时间总结 ,今天把它弄出来了. 在Android 运行时环境包含了完整的 SQLite. 首先介绍一下SQLite这个数据库: SQLi ...
- android中的数据库操作(转)
android中的数据库操作 android中的应用开发很难避免不去使用数据库,这次就和大家聊聊android中的数据库操作. 一.android内的数据库的基础知识介绍 1.用了什么数据库 an ...
- 3.数据库操作相关术语,Oracle认证,insert into,批量插入,update tablename set,delete和truncate的差别,sql文件导入
1相关术语 语句 含义 操作 DML语句 (Data Manipulation Language) 数据库操作语言 insert update delete select DDL语言 (Date ...
- SQL 2005 中查询或执行另外的数据库操作的方法
原文:SQL 2005 中查询或执行另外的数据库操作的方法 摘要: 如果,你想在一台数据库服务器上,查询另一个台数据服务器的数据该如何做呢?如果,你想在同一台数据服务器上,在不同的数据库之间查询数据, ...
- moodle笔记之-数据库操作
<?php require_once('../config.php'); // config.php under root folder require_once($CFG->dirroo ...
随机推荐
- Git基础使用
前言 Git是版本控制系统,由Linux开源社区开发.与其他的版本系统相比,Git更加快速,便捷.主要是Git存储的是快照,而非差异性比较.并且绝大数操作都是访问本地文件和资源,没有网络时也可以直接提 ...
- day 2上午 elect 选举 背包
#include<iostream> using namespace std; int n; ; ]; long long p[maxn]; long long dp[maxn][maxn ...
- java.io.StreamCorruptedException: invalid stream header: 00000000
Caused by: java.io.StreamCorruptedException: invalid stream header: 00000000 at java.io.ObjectInputS ...
- Box 黑科技 —— 支持手机端反编译 !Box 黑科技 —— 支持手机端反编译 !
项目地址: Box 文末扫码获取最新安装包 . 前言 有将近一个月没有更新文章了,一方面在啃 AOSP ,消化起来确实比较慢.在阅读的过程中,有时候上来就会陷入源码细节,其实这是没有必要的.刚开始更多 ...
- 2.基础:Vue组件的核心概念
一.组件基础和注册 组件概念 组件系统是 Vue 的另一个重要概念,他的核心就是封装和复用. 细节 组件的name必须是全局唯一. 二.属性.事件和插槽 组件的三大核心概念:属性.事件和插槽. 属性, ...
- 易初大数据 2019年11月10日 spss习题 王庆超
◆1.一个数据文件包含下列数据,5个家庭没有汽车(编码为0),20个家庭有一辆汽车(编码唯1),10个家庭拥有两辆汽车(编码为2)指出下列哪种统计量适用于描述该数据并计算出统计量的值.A A拥有汽车数 ...
- PHP file_get_contents 读取js脚本的问题
PHP file_get_contents 读取js脚本的问题 如果文件中带有js脚本 会触发 比方说alert 这个时候 你不用去管他
- VS链接文件设置
右键点击文件夹,添加现有项,选中文件,添加为链接 ,点击确定,那么在修改源文件后这个目录的文件也会同步修改.如果更改源文件目录,就需要重新指定一次链接.
- Leetcode算法【114. 二叉树展开为链表】
上周通过一位小伙伴,加入了一个氛围很好的小群,人不多,但是大家保持着对知识的渴望,让我很感动. 我自己也有一个群,人数也不多,但是能真正互动起来一起学习,一起进步的,还是太少.所以,现在也在学习如何让 ...
- nyoj 198-数数 (python, string[::-1])
198-数数 内存限制:64MB 时间限制:3000ms 特判: No 通过数:16 提交数:25 难度:2 题目描述: 我们平时数数都是喜欢从左向右数的,但是我们的小白同学最近听说德国人数数和我们有 ...