HTTP引流神器Goreplay详解【官译】
0.背景
校验系统的正确性和可靠性时，仅靠用例场景无法覆盖全生产环境下的所有场景，需要一套引流工具，在系统正式上线前，用线上的请求测试待上线系统，在正常请求下，是否有报错；在数倍请求下，系统的性能瓶颈。引流工具有goreplay, tcpcopy等，下面介绍goreplay，原名叫gor，因为其易上手，且功能比较全。
关于
GoReplay是在投入生产之前使用真实流量测试您的应用的最简单和最安全的方式。
随着应用程序的增长，测试所需的工作量也呈指数增长。GoReplay为您提供了重复使用现有流量进行测试的简单想法，这使得它非常强大。我们的先进技术可让您分析和记录您的应用程序流量，而不会对其造成影响。这消除了将第三方组件置于关键路径中带来的风险。
GoReplay增加了您对代码部署，配置更改和基础设施更改的信心。我们有没有提到不需要编码？
这里是基本的工作流程：侦听器服务器捕获http流量并将其发送到重放服务器或保存到文件。重播服务器将流量转发给给定的地址。
检查最新的文档。
安装
从https://github.com/buger/goreplay/releases下载最新的二进制文件或自行编译。
入门
最基本的设置将是sudo ./gor --input-raw :8000 --output-stdouttcpdump。如果你已经有测试环境，你可以开始重播：sudo ./gor --input-raw :8000 --output-http http://staging.env:80。如果要保留domain/host，请用：
./goreplay --input-raw :80 --output-http x.x.x.x:port --http-original-host
通讯
订阅我们的通讯，随时了解Gor项目的最新功能和变化。
想要升级？
我们创建了一个GoReplay PRO扩展，它提供了其他功能，例如支持Thrift或ProtocolBuffers等二进制协议，从云存储中进行保存和重放，TCP会话复制等.PRO版本还包括适用于商业的许可证，专用支持和它也可以让你支持高质量的开源开发。
问题？
如果您遇到问题，请查看FAQ和故障排除 wiki页面。为问题搜索问题也是一个好主意。
所有的错误报告和建议应该通过Github问题或我们的Google小组（您可以发送电子邮件到gor-users@googlegroups.com）。如果您有私人问题，请随时发送电子邮件至support@gortool.com。
特约
- 把它叉起来
- 创建你的功能分支（git checkout -b my-new-feature）
- 提交您的更改（git commit -am'添加了一些功能'）
- 推到分支（git push origin my-new-feature）
- 创建新的请求
依赖
要开始使用Gor，您需要在您的机器上运行Web服务器，并且需要终端来运行命令。如果您只是在四处漫游，您可以通过调用快速启动服务器gor file-server :8000，这将启动当前目录在端口上的简单文件服务器8000。
安装Gor
从https://github.com/buger/gor/releases下载最新的Gor二进制文件（我们为Windows，Linux x64和Mac OS提供预编译的二进制文件），或者您可以自己编译编译。
一旦档案被下载并解压缩，您可以从当前目录运行Gor，或者您可能想要将二进制文件复制到您的PATH（可用于Linux和Mac OS /usr/local/bin）。
捕获网络流量
现在在终端中运行这个命令： sudo ./gor --input-raw :8000 --output-stdout
该命令表示监听端口8000上发生的所有网络活动并将其记录到stdout。如果您熟悉tcpdump，我们将实施类似的功能。
您可能会注意到它使用
sudo并要求输入密码：要分析网络，Gor需要只有超级用户才能使用的权限。但是，可以将Gor配置为针对非root用户运行。
通过http://localhost:8000在浏览器中打开或通过在终端中调用curl来发出一些请求curl http://localhost:8000。您应该看到将gor所有HTTP请求输出到正在运行的终端窗口。请注意，默认GoReplay不会跟踪回复，您可以使用--output-http-track-response选项启用它们。
Gor不是代理人：你不需要将第三方工具放到关键路径上。相反，Gor只是默默地分析你的应用程序的流量，并不影响它。
重播
现在是时候将您的原始流量重放到其他环境。让我们开始使用同一个文件Web服务器，但是在不同的端口上：gor file-server :8001。
而不是--output-stdout我们将使用--output-http并提供第二台服务器的URL：sudo ./gor --input-raw :8000 --output-http="http://localhost:8001"
向第一台服务器发出少量请求。你应该看到他们复制到第二个，瞧！
将请求保存到文件并稍后重播
有时候不可能实时重放请求; Gor允许您保存对文件的请求并稍后重播。
首先用它--output-file来保存它们：sudo ./gor --input-raw :8000 --output-file=requests.gor。这将创建新文件并不断向其写入所有捕获的请求。
让我们重新运行Gor，但现在重播来自文件的请求：./gor --input-file requests.gor --output-http="http://localhost:8001"。您应该看到所有记录到第二台服务器的请求，并且它们将以相同的顺序重播，并且与录制的时间完全相同。
基础
Gor架构试图遵循UNIX哲学：所有东西都由管道组成，各种输入将数据复用到输出。
您可以[速率限制]（速率限制），[过滤器]（请求过滤），[重写]（请求重写）请求，甚至使用您自己的中间件来实现定制逻辑。此外，还可以以较高的速率重播请求，以进行[负载测试]（保存和从文件中重放）。
可用的输入和输出插件
可用输入：
--input-raw- 用于捕获HTTP流量，您应该指定IP地址或接口和应用程序端口。有关捕获和重放流量的更多信息。--input-file- 接受之前使用的文件--output-file。更多关于保存和从文件重播--input-tcp- 如果您决定将来自多个转发器Gor实例的流量转发给它，则由Gor聚合实例使用。阅读关于使用Aggregator-forwarder设置。
可用输出：
--output-http- 重放HTTP流量到给定的端点，接受基础URL。阅读[关于它的更多信息]（重播HTTP流量）--output-file- 记录传入的流量到文件。更多关于保存和从文件重播--output-tcp- 将传入数据转发给另一个Gor实例，并与其一起使用--input-tcp。阅读关于Aggregator-forwarder设置的更多信息。--output-stdout- 用于调试，输出所有数据到stdout。
捕获和重放流量
想想Gor更像网络分析器或tcpdump类固醇，它不是代理，不会影响你的应用程序。您指定应用程序端口，它将捕获并重放传入数据。
最简单的设置将是：
＃在您想要捕获流量的服务器上运行。你可以在每台“网络”机器上运行它。
sudo gor --input-raw：80 --output-http http://staging.com
它将记录和重放来自同一台机器的流量。但是，当您的Web计算机上的Gor将流量转发到在单独的服务器上运行的Gor聚合器实例时，可以使用Aggregator-forwarder设置。
您可能会注意到它需要
sudo：分析仅适用于root用户的网络Gor需求权限。但是，可以配置Gor [为非root用户运行beign]（以非root用户身份运行）。
转发到多个地址
您可以将流量转发到多个端点。
gor --input-tcp :28020 --output-http "http://staging.com" --output-http "http://dev.com"
分割交通
默认情况下，它会将相同的流量发送到所有输出，但您可以使用选项来平分它（循环） --split-output。
gor --input-raw :80 --output-http "http://staging.com" --output-http "http://dev.com" --split-output true
跟踪回复
默认情况下input-raw不拦截回复，只是请求。您可以使用--input-raw-track-response选项打开回复跟踪。启用时，您将能够访问中间件和中间件中的响应信息output-file。
交通拦截引擎
默认情况下，Gor将libpcap用于拦截流量，它应该在大多数情况下工作。如果你有任何问题，你可以尝试替代引擎：raw_socket。
sudo gor --input-raw :80 --input-raw-engine "raw_socket" --output-http "http://staging.com"
您可以阅读关于重播HTTP流量的更多信息。
跟踪原始IP地址
您可以使用--input-raw-realip-header选项指定标题名称：如果不是空白，则将具有给定名称和真实IP值的标题注入请求有效内容。通常，这个标题应该被命名为：X-Real-IP，但是你可以指定任何名字。
gor --input-raw :80 --input-raw-realip-header "X-Real-IP" ...
重播HTTP流量
Gor可以使用--output-http选项重播HTTP流量：
sudo ./gor --input-raw：8000 --output-http = “ http：//staging.env ”
您可以即时[过滤]（请求过滤），[速率限制]（速率限制）和[重写]（请求重写）请求。
HTTP输出工作者
默认情况下，Gor创建一个动态工作池：它从10开始，并在HTTP输出队列长度大于10时创建更多的HTTP输出工作者。创建的工人数量（N）等于该工作时间的队列长度检查并发现其长度大于10.每次将消息写入HTTP输出队列时都检查队列长度。在产生N名工人的请求得到满足之前，不会再有工人产卵。如果动态工作人员当时不能处理消息，它将睡眠100毫秒。如果动态工作人员无法处理消息2秒钟，则会死亡。您可以使用--output-http-workers=20选项指定固定数量的工人 。
重定向之后
默认情况下，Gor会忽略所有重定向，因为它们是由使用您的应用的客户端处理的，但在重播环境引入新重定向的情况下，您可以像这样启用它们：
gor --input-tcp replay.local:28020 --output-http http://staging.com --output-http-redirects 2
给出的示例将跟随每个请求最多2个重定向。
HTTP超时
默认情况下，http请求和响应的超时时间为5秒。你可以像这样覆盖它：
gor --input-tcp replay.local:28020 --output-http http://staging.com --output-http-timeout 30s
响应缓冲区
默认情况下，为了减少内存消耗，内部HTTP客户端将获取响应主体的最大200kb（在使用中间件时使用），通过使用--output-http-response-buffer选项可增加限制（接受字节数）。
基本身份验证
如果您的开发或登台环境受基本身份验证保护，那么可以在重放期间注入这些凭据：
gor --input-raw :80 --output-http "http://user:pass@staging.com"
注意：这将覆盖原始请求中的任何授权标头。
多域支持
如果你的应用程序接受来自多个域的流量，并且你想保留原始头文件，具体--http-original-host告诉Gor不要触摸Host头文件。
保存并从文件中重放
您可以将请求保存到文件，并在稍后重播。重播时将保留请求之间的原始时间差异。如果您在两个请求之间应用[基于百分比的限制]（速率限制）时间点，则会适当减少或增加：此方法可开启负载测试等可能性，请参见下文。
＃写入文件
gor --input-raw：80 --output-file requests.log ＃从文件读取
gor --input-file requests.gor --output-http “ http://staging.com ”
默认情况下，Gor以块的形式写入文件。这个可配置的使用--output-file-append选项：刷新的块被附加到存在文件或不附加。默认值是false。默认情况下，--output-file将每个块刷新到不同的路径。
gor ... --output-file％Y％m％d.log
＃ append false
20140608_0.log
20140608_1.log
20140609_0.log
20140609_1.log
这使并行文件处理变得容易。但是如果你想禁用这种行为，你可以通过添加--output-file-append选项来禁用它：
gor ... --output-file％Y％m％d.log --output-file-append
＃ append true
20140608.log
20140609.log
如果您多次运行gor并找到现有文件，它将从最后一个已知索引继续。
块大小
您可以使用--output-file-size-limit和--output-file-queue-limit选项设置块限制。块队列的长度和每个块的大小。默认值分别是256和32mb。可以使用后缀“k”（KB），“m”（MB）和“g”（GB）output-file-size-limit。如果你只想要大小限制，你可以设置--output-file-queue-limit为0，反之亦然。
gor --input-raw：80 --output-file％Y-％m-％d.gz --output-file-size-limit 256m --output-file-queue-limit 0
在文件名中使用日期变量
例如，您可以告诉每小时创建一个新文件：--output-file /mnt/logs/requests-%Y-%m-%d-%H.log 它将为每个小时创建一个新文件：requests-2016-06-01-12.log，requests-2016-06-01-13.log，...
用作文件名称一部分的时间格式。创建文件时，以下字符将替换为实际值：
%Y：包括世纪在内的年份（至少4位数字）%m：一年中的月份（01..12）%d：月中的某天（01..31）%H：一天中的小时，24小时制（00..23）%M：小时（00..59）%S：二分钟（00..60）
默认格式是%Y%m%d%H，每小时创建一个文件。
GZIP压缩
要读取或写入GZIP压缩文件，请确保文件扩展名以“.gz”结尾： --output-file log.gz
从多个文件重播
--input-file接受文件模式，例如：--input-file logs-2016-05-*。GoReplay足够聪明，保持请求的原始顺序。它通过并行读取所有文件并通过时间戳在多个文件之间对请求进行排序来实现。它不会读取内存中的所有文件，而是根据需要在流媒体中读取它们。
缓冲的文件输出
Gor写入文件时拥有内存缓冲区，并持续刷新文件更改。如果缓冲区已满，则每隔1秒强制刷新一次，或者如果Gor关闭，则会发生冲突至文件。您可以使用--output-file-flush-interval选项更改它。大多数情况下它不应该被触及。
文件格式
按原样存储HTTP请求，纯文本：标题和正文。请求按 Linux自带神器logrotate详解 散尽浮华 运维 3天前 作者:散尽浮华 链接:https://www.cnblogs.com/kevingrace/p/6307298.html 对于 L ... WeTest 导读 全新的全局流控实现方案,既解决了目前流控的实现难点,同时保证运行稳定且流控准确的前提下,实现更简单,部署成本更低,容灾能力更强. 该方案组件化之后,可以推广到别的有需要的部门使用, ... 阿里用的方案是在nginx中配置限流(限流功能模块是自己开发的),流量统计线上是有监控打通的,具体的限流值是通过线上流量表现+线下性能测试(模拟线上场景)测试得出的. 全新的全局流控实现方案,既解决了 ... Gluserfs详解 排版看着不舒服的,可以查看[我的简书](https://www.jianshu.com/p/0340e429431b) doc home:https://docs.gluster ... 本篇文章主要围绕下面几个问题来深入源码: 用户认证流程 认证结果如何在多个请求之间共享 获取认证用户信息 一.用户认证流程 上节中提到Spring Security核心就是一系列的过滤器链,当一个请求 ... 一 从TS流开始 从MPEG-2到DVB,看着看着突然就出现了一大堆表格,什么PAT.PMT.CAT……如此多的表该怎样深入了解呢? 我们知道,数字电视机顶盒接收到的是一段段的码流,我们称之为TS(T ... 介绍 参考自:https://github.com/dodola/android_waterfall,因为原来的代码封装不好,所以,我根据源码的思路,重新写了一遍,所以有了现在这个项目:https:/ ... sed是stream editor的简称,也就是流编辑器.它一次处理一行内容,处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内 ... 最近有时间研究了一下RecyclerView,果然功能强大啊,能实现的效果还是比较多的,那么今天给大家介绍一个用RecyclerView实现的瀑布流效果. 先来一张效果图: 看看怎么实现吧: 整体工程 ... 正常情况下向已回收的对象发送消息时灵时不灵,具体要看该对象所占内存有没有被覆写.cocoa提供了僵尸对象(Zombie Object)这个功能,简单的说:启用该调试功能后,运行时会将所有已回收的实例转 ... 参考资源下载:http://pan.baidu.com/s/1ntwUij3视频安装教程:hadoop安装.flvVirtualBox虚拟机:hadoop.part1-part5.rarhadoop文 ... 这节,我们继续上,中(以前的日志有)篇目进行分析,结合一个真实的驱动案例来描述linux内核中驱动的中断机制,首先我们先了解一下linux内核中提供的中断接口. 这个接口我们需要包含一个头文件:#in ... Xcode 6 正式版里面没有Empty Application这个模板,这对于习惯了纯代码编写UI界面的程序员来说很不习惯. 有网友给出了一个解决方法是,把Xcode 6 beta版里面的模板复制过 ... 应用环境 windows7 pycharm2018 profession python3.6 django2.0 我们在pycharm 启动django项目时,常常有这么一个命令操作: python ... 1. 通过jquery动态的创建一个表格,随机生成(id自增,name随机2-3个中文汉字(10个姓,20个名字),age随机100以内整数)大于50小于100行的数据(用户对象:id,name,ag ... Firebug中的出错提示: element.dispatchEvent is not a function element.dispatchEvent(event); prototype.js (第 ... 使用下面指令添加了一个源: sudo add-apt-repository ppa:webupd8team/java 然后update的时候提示: W: Failed to fetch http:// ... django 1.8之后推出的migrations机制使django的数据模式管理更方便容易,现在简单谈谈他的机制和一些问题的解决方法: 1.谈谈机制:migrations机制有两个指令,第一个是ma ... 近期困惑于团队成员代码风格迥异,代码质量不可控,作为一名老司机,忧患于后期服务的可维护性,多次一对一的代码Review,耗时耗力不说,效果也不明显.痛定思痛,多次反思之后得出结论:无规矩不成方圆,可靠 ...\n
HTTP引流神器Goreplay详解【官译】的更多相关文章
随机推荐