简介

TCPCopy是一种请求复制(所有基于tcp的packets)工具,可以把在线流量导入到测试系统中去。
曾经应用于网易的广告投放系统,urs系统,nginx hmux协议等系统,避免了上线带来的很多问题。
现在此工具已经广泛应用于各大互联网公司。
 

特点介绍

1)实时
2)效果真实
3)低负载,不影响在线
4)操作简单
5)分布式
6)零成本
7)意义非凡
 

功能

1)分布式压力测试工具,利用在线数据,可以测试系统能够承受的压力大小(远比ab压力测
试工具真实地多),也可以提前发现一些bug
 
2)普通上线测试,可以发现新系统是否稳定,提前发现上线过程中会出现的诸多问题,让开
发者有信心上线
 
3)对比试验,同样请求,针对不同或不同版本程序,可以做性能对比等试验
 
4)流量放大功能,可以利用多种手段构造无限在线压力,满足中小网站压力测试要求
 
5)利用TCPCopy转发传统压力测试工具发出的请求,可以增加网络延迟,使其压力测试更加真实
 
6)热备份
 
7)实战演习(架构师必备) 
 

使用方法

TCPCopy分为TCPCopyclient和TCPCopyserver。
 
其中TCPCopyclient运行在在线服务器上面,用来捕获在线请求数据包;
 
TCPCopyserver(监听端口为36524)运行在测试机器上面,在测试服务器的响应包丢弃之前截获测试服务器
的响应包,并通过TCPCopyclient和TCPCopyserver之间的tcp连接传递响应包的tcp和ip
头部信息给TCPCopyclient,以完成TCP交互。
 
使用方法如下:
 
TCPCopyserver (root用户执行)
 
1)启动内核模块ip_queue (modprobe ip_queue)
2)设置要截获的端口,并且设置对output截获
iptables -I OUTPUT -p tcp --sport port -j QUEUE
3)./interception (<0.5)or./intercept (>=0.5)
注意(如果已经启动ip_queue和已经设置iptables,只需要运行第3项;测试完以后要记得删除上面设置的iptables条目)
TCPCopyclient (root用户执行)
 
tcpcopy 0.5之前版本:
./tcpcopy 本地ip地址1[:本地ip地址2:…] 本地port 远程ip地址远程port
注意(本地ip地址列表其实就是客户端所认为的服务器ip地址,如果前面有lvs,一般就是lvs的虚拟ip地址)
tcpcopy 0.5及其以后版本
./tcpcopy -x 服务器应用端口号-测试服务器ip地址:测试服务器应用端口
 

注意事项

(源代码转移到了github,敬请注意)
1)Linux平台,内核2.6+,需要支持netlink机制
 
2)TCPCopy中的tcpcopy和interception orintercept程序运行需要root权限
 
3)interception(intercept 0.5+)在同一台机器只需要运行一个实例,多个实例不支持
 
4)TCPCopyclient需要连接测试服务器的36524端口,所以要对外开放36524端口
 
5)TCPCopy由于依赖于抓包函数,压力大的时候,抓包函数本身不可靠,所以会丢包,进而丢失请求
 
6)由于interception(intercept 0.5+)程序密切跟ip queue内核模块相关,
所以当压力很大的时候请求丢失率很高,需要优化sysctl系统参数才能达到好的效果
(通过cat /proc/net/ip_queue,查看ip queue运行情况,如果Queuedropped的数值
不断增大,则需要修改ip_queue_maxlen参数,比如echo 4096>/proc/sys/net/ipv4/ip_queue_maxlen;
如果Netlinkdroppedde的数值不断增大,修改net.core.rmem_max和net.core.wmem_max
参数,比如sysctl -w net.core.rmem_max=16777216和sysctl -w net.core.wmem_max=16777216)
 
7)对于0.5版本以下的版本,复制同一台机器进程之间的请求,也即LocalRequests,
如果出现Messagetoo long,请设置lo MTU不超过1500,并且在配置文件中不要
设置127.0.0.1地址,要设置内网或者外网地址;0.5版本没有此问题
 
8)对于0.5版本以下的版本,TCP segmentation offloading相关问题(要注意网卡tso和gro
要关闭)如果tcpcopy所抓的数据包大小超过MTU(比如出现Messagetoo long),那么
由于raw socket output的原因,需要你改变在线设置,比如:ethtool -K eth1 tso off ;
ethtool -K eth1 gro off
 
9)对于0.5版本及其以上版本,如果要复制127.0.0.1发出的请求到另外一台机器,需要设置-c参数
 
10)测试环境最好和在线环境一致,比如连接都保持keepalive
 
11)TCPCopy只与ip、tcp层的数据有关,如果请求验证与tcp层以上的协议有关,则系统不能正常运行。
例如:mysql连接协议,由于权限认证与tcp层上面的mysql协议有关,所以复制过去的请求会被目
标测试服务器认为非法请求,这个时候需要针对mysql协议作具体针对性的处理,tcpcopy程序才能正常运行
 
12)多层架构环境下,测试系统一定要独立,与在线系统没有业务关联,否则会影响在线
 
13)丢失请求率跟网络状况有关,最好在内网内复制请求
 
14)本系统不支持域名,只支持ip地址
 
15)针对长请求(比如上传文件),0.5版本以下不是很支持,0.5版本及其以上没有此问题
 
16)为了避免不必要的麻烦,关闭的时候先关闭tcpcopy,然后再关闭interception
 

总结

如果你对上线没有信心,如果你的单元测试不够充分,如果你对新系统不够有把握,如果你对
未来的请求压力无法预测,如果你想对比诸如apache和nginx的性能,如果你想放大在线流量,TCPCopy可以帮助你解决上述难题。

性能测试:tcpcopy的更多相关文章

  1. 基于TCPCopy的Dubbo服务引流工具-DubboCopy

    TCPCopy顾名思义,就是一个可以将tcp流量复制的工具(其实也可以复制UDP).有了这样一个工具,我们就可以真实的复制线上流量,然后将这些流量复制到我们的测试服务器上.这样就可以很容易模拟线上真实 ...

  2. 数据库性能测试---前阿里数据库团队资深DBA杨奇龙

    杨奇龙 前阿里数据库团队资深DBA 主要负责淘宝业务线,经历多次11.11,有海量业务访问DB架构设计经验. 目前就职于有赞科技DBA,负责数据库运维工作,熟悉MySQL 性能优化,故障诊断,性能压测 ...

  3. goreplay,tcpcopy

    流量拷贝工具试用 https://github.com/buger/goreplaynginx mirror openresty 通过lua tcpcopy 支持 HTTP 请求的录制和重放,可以在线 ...

  4. Ignite性能测试以及对redis的对比

    测试方法 为了对Ignite做一个基本了解,做了一个性能测试,测试方法也比较简单主要是针对client模式,因为这种方法和使用redis的方式特别像.测试方法很简单主要是下面几点: 不作参数优化,默认 ...

  5. 性能测试工具 wrk 安装与使用

    介绍 今天给大家介绍一款开源的性能测试工具 wrk,简单易用,没有Load Runner那么复杂,他和 apache benchmark(ab)同属于性能测试工具,但是比 ab 功能更加强大,并且可以 ...

  6. .NET Core性能测试组件BenchmarkDotNet 支持.NET Framework Mono

    .NET Core 超强性能测试组件BenchmarkDotNet 支持Full .NET Framework, .NET Core (RTM), Mono. BenchmarkDotNet支持 C# ...

  7. C#中实现并发的几种方法的性能测试

    C#中实现并发的几种方法的性能测试 0x00 起因 去年写的一个程序因为需要在局域网发送消息支持一些命令和简单数据的传输,所以写了一个C/S的通信模块.当时的做法很简单,服务端等待链接,有用户接入后开 ...

  8. 「视频直播技术详解」系列之七:直播云 SDK 性能测试模型

    ​关于直播的技术文章不少,成体系的不多.我们将用七篇文章,更系统化地介绍当下大热的视频直播各环节的关键技术,帮助视频直播创业者们更全面.深入地了解视频直播技术,更好地技术选型. 本系列文章大纲如下: ...

  9. PostgreSql性能测试

    # PostgreSql性能测试 ## 1. 环境+ 版本:9.4.9+ 系统:OS X 10.11.5+ CPU:Core i5 2.7G+ 内存:16G+ 硬盘:256G SSD ## 2. 测试 ...

随机推荐

  1. C语言之main方法解析(知识点1)

    1.注释       /*自带注释*/2.引包       #include <stdio.h>3.主方法    void main{}4.执行体     printf("打印& ...

  2. (stm32f103学习总结)—待机唤醒实验

    一.STM32待机模式介绍 1.1 STM32低功耗模式介绍 很多单片机具有低功耗模式,比如MSP430.STM8L等,我们的STM32 也不例外.默认情况下,系统复位或上电复位后,微控制器进入运行模 ...

  3. 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

    问题描述:在使用python爬取斗鱼直播的数据时,使用str(读取到的字节,编码格式)进行解码时报错:'utf-8' codec can't decode byte 0x8b in position ...

  4. 解决vscode开发react项目没有html标签自动补全

    怎么设置自动补全: 左下角齿轮按钮--设置-- 在搜索框中输入Include Languages,选择Emmet,并在Emmet:include language下点击在setting.json中编辑 ...

  5. IO流的简单实现

    IO流的几种实现方式 学习目标: 例题: 字节输出流 字节输入流 字符输入流 字符输出流 学习目标: 熟练掌握IO流的基本实现方式 例题: 字节输出流 代码如下: public class Outpu ...

  6. css使Img图片居中显示

    <div class="flex-center listing-img"> <img v-if="item.imgUrl" v-bind:sr ...

  7. Java实现单链表的合并(保证数据的有序性)

    一.思路 1.比较两个链表的大小 2.将小链表插入到大链表中 3.使用插入保证链表数据的有序性 二.核心代码 /** * 合并两个链表,并且按照有序合并 * @param singleLinkedLi ...

  8. FreeRTOS+CubeMX编程实践

    一.关于FreeRTOS 1.什么是FreeRTOS? FreeRTOS是一个轻量级的操作系统.FreeRTOS提供的功能包括:任务管理.时间管理.信号量.消息队列.内存管理.记录功能等,可基本满足较 ...

  9. 『现学现忘』Git基础 — 10、配置Git用户签名说明

    目录 1.为什么要创建用户签名 2.为什么要在Git中配置这些信息 3.创建用户签名的方式 4.总结 1.为什么要创建用户签名 作为版本控制系统的客户端,每台客户机对版本库的所有提交操作,都需要注明操 ...

  10. WEB安全信息收集

    目录 信息收集 子域名&敏感信息 敏感信息收集--Googlehack 敏感信息收集--收集方向 空间测绘引擎域名资产收集 子域名收集 WEB指纹 端口扫描 IP查询 cms识别 WAF识别 ...