菜鸟nginx源代码剖析数据结构篇(八) 缓冲区链表ngx_chain_t
菜鸟nginx源代码剖析数据结构篇(八) 缓冲区链表 ngx_chain_t
Author:Echo Chen(陈斌)
Email:chenb19870707@gmail.com
Date:Nov 6th, 2014
1.缓冲区链表结构ngx_chain_t和ngx_buf_t
nginx的缓冲区链表例如以下图所看到的。ngx_chain_t为链表。ngx_buf_t为缓冲区结点:
2.源码位置
头文件:http://trac.nginx.org/nginx/browser/nginx/src/core/ngx_buf.h
源文件:http://trac.nginx.org/nginx/browser/nginx/src/core/ngx_buf.c
3.数据结构定义
ngx_buf_t为缓冲区结点。其定义例如以下:
1: typedef struct ngx_buf_s ngx_buf_t;
2: typedef void *ngx_buf_tag_t;
3: struct ngx_buf_s {
4: /*
5: * pos一般是用来告诉使用者本次应该从pos这个位置開始处理内存中的数据,这样设置是由于同一个
6: * ngx_buf_t可能被多次重复处理。当然,pos的含义是由使用它的模板定义的
7: */
8: u_char *pos;
9:
10: /* last通常表示有效的内容到此为止,注意。pos与last之间的内存是希望nginx处理的内容 */
11: u_char *last;
12:
13: /*
14: * 处理文件时。file_pos与file_last的含义与处理内存时的pos与last同样。
15: * file_pos表示将要处理的文件位置,file_last表示截至的文件位置。
16: */
17: off_t file_pos;
18: off_t file_last;
19:
20: /* 假设ngx_buf_t缓冲区用于内存。那么start指向这段内存的起始地址 */
21: u_char *start;
22:
23: /* 与start成员相应,指向缓冲区内存的末尾 */
24: u_char *end;
25:
26: /* 表示当前缓冲区的类型,比如由哪个模块使用就指向这个模块ngx_module_t变量的地址 */
27: ngx_buf_tag_t tag;
28:
29: /* 引用的文件 */
30: ngx_file_t *file;
31:
32: /*
33: * 当前缓冲区的影子缓冲区。该成员非常少用到。当缓冲区转发上游server的响应时才使用了shadow成员,
34: * 这是由于nginx太节约内存了。分配一块内存并使用ngx_buf_t表示接收到的上游server响应后,
35: * 在向下游client转发时可能会把这块内存存储到文件里,也可能直接向下游发送,此时nginx绝对不会
36: * 又一次复制一份内存用于新的目的,而是再次建立一个ngx_buf_t结构体指向原内存,这样多个ngx_buf_t
37: * 结构体指向了同一份内存。它们之间的关系就通过shadow成员来引用。一般不建议使用。
38: */
39: ngx_buf_t *shadow;
40:
41: /* 暂时内存标志位,为1时表示数据在内存中且这段内存能够改动 */
42: unsigned temporay:1;
43:
44: /* 标志位。为1时表示数据在内存中且这段内存不能够改动 */
45: unsigned memory:1;
46:
47: /* 标志位,为1时表示这段内存是用nmap系统调用映射过来的,不能够改动 */
48: unsigned mmap:1;
49:
50: /* 标志位。为1时表示可回收 */
51: unsigned recycled:1;
52:
53: /* 标志位。为1时表示这段缓冲区处理的是文件而不是内存 */
54: unsigned in_file:1;
55:
56: /* 标志位,为1时表示须要运行flush操作 */
57: unsigned flush:1;
58:
59: /*
60: * 标志位。对于操作这块缓冲区时是否使用同步方式,需慎重考虑。这可能会堵塞nginx进程。nginx中全部
61: * 操作差点儿都是异步的,这是它支持高并发的关键。有些框架代码在sync为1时可能会有堵塞的方式进行I/O
62: * 操作。它的意义视使用它的nginx模块而定。
63: */
64: unsigned sync:1;
65:
66: /*
67: * 标志位,表示是否是最后一块缓冲区。由于ngx_buf_t能够由ngx_chain_t链表串联起来。因此为1时。
68: * 表示当前是最后一块待处理的缓冲区。
69: */
70: unsigned last_buf:1;
71:
72: /* 标志位,表示是否是ngx_chain_t中的最后一块缓冲区 */
73: unsigned last_in_chain:1;
74:
75: /* 标志位。表示是否是最后一个影子缓冲区,与shadow域配合使用。通常不建议使用它 */
76: unsigned last_shadow:1;
77:
78: /* 标志位,表示当前缓冲区是否属于暂时文件 */
79: unsigned temp_file:1;
80: }
ngx_chain_t为缓冲区链表,其结构例如以下:
1: typedef struct ngx_chain_s ngx_chain_t;
2: struct ngx_chain_s {
3: ngx_buf_t *buf; //buf指向当前的ngx_buf_t缓冲区
4: ngx_chain_t *next; //next则用来指向下一个ngx_chain_t,假设这是最后一个ngx_chain_t。则须要把next置为NULL。
5: };
4.暂时buffer创建ngx_create_tmp_buf
1: ngx_buf_t *ngx_create_temp_buf(ngx_pool_t *pool, size_t size)
2: {
3: ngx_buf_t *b;
4:
5: b = ngx_calloc_buf(pool); //分配ngx_buf_t
6: if (b == NULL) {
7: return NULL;
8: }
9:
10: b->start = ngx_palloc(pool, size); //给ngx_buf_t分配buffer
11: if (b->start == NULL) {
12: return NULL;
13: }
14:
15: /*
16: * set by ngx_calloc_buf():
17: *
18: * b->file_pos = 0;
19: * b->file_last = 0;
20: * b->file = NULL;
21: * b->shadow = NULL;
22: * b->tag = 0;
23: * and flags
24: */
25:
26: //设置起始位置pos和结束位置last,end指向缓冲区的末尾,暂时标志设置为1
27: b->pos = b->start;
28: b->last = b->start;
29: b->end = b->last + size;
30: b->temporary = 1;
31:
32: return b;
33: }
5.创建缓冲区链表ngx_alloc_chain_link
1: ngx_chain_t *ngx_alloc_chain_link(ngx_pool_t *pool)
2: {
3: ngx_chain_t *cl;
4:
5: cl = pool->chain;
6:
7: if (cl)
8: {
9: pool->chain = cl->next;
10: return cl;
11: }
12:
13: cl = ngx_palloc(pool, sizeof(ngx_chain_t));
14: if (cl == NULL)
15: {
16: return NULL;
17: }
18:
19: return cl;
20: }
6.缓冲区链表构建ngx_create_chain_of_bufs
构建例如以下的缓冲区链表,代码比較简单。非常easy理解:
1: ngx_chain_t *ngx_create_chain_of_bufs(ngx_pool_t *pool, ngx_bufs_t *bufs)2: {3: u_char *p;4: ngx_int_t i;5: ngx_buf_t *b;6: ngx_chain_t *chain, *cl, **ll;7:8: //分配buf内存9: p = ngx_palloc(pool, bufs->num * bufs->size);10: if (p == NULL)11: {12: return NULL;13: }14:15: ll = &chain;16:17: for (i = 0; i < bufs->num; i++)18: {19: //分配ngx_buf_t内存20: b = ngx_calloc_buf(pool);21: if (b == NULL)22: {23: return NULL;24: }25:26: /*27: * set by ngx_calloc_buf():28: *29: * b->file_pos = 0;30: * b->file_last = 0;31: * b->file = NULL;32: * b->shadow = NULL;33: * b->tag = 0;34: * and flags35: *36: */37:38: b->pos = p;39: b->last = p;40: b->temporary = 1;41:42: b->start = p;43: p += bufs->size;44: b->end = p;45:46: //分配ngx_chain_t47: cl = ngx_alloc_chain_link(pool);48: if (cl == NULL)49: {50: return NULL;51: }52:53: //54: cl->buf = b;55: *ll = cl;56: ll = &cl->next;57: }58:59: //最后一个结点指向NULL60: *ll = NULL;61:62: return chain;63: }
7.将其他缓冲区拷贝添加到已有缓冲区末尾ngx_chain_add_copy
1: ngx_int_t ngx_chain_add_copy(ngx_pool_t *pool, ngx_chain_t **chain, ngx_chain_t *in)
2: {
3: ngx_chain_t *cl, **ll;
4:
5: ll = chain;
6:
7: //找到缓冲区末尾。即为NULL
8: for (cl = *chain; cl; cl = cl->next)
9: {
10: ll = &cl->next;
11: }
12:
13: while (in)
14: {
15: //遍历in。依次拷贝每个结点
16: cl = ngx_alloc_chain_link(pool);
17: if (cl == NULL)
18: {
19: return NGX_ERROR;
20: }
21:
22: cl->buf = in->buf;
23: *ll = cl;
24: ll = &cl->next;
25: in = in->next;
26: }
27:
28: //缓冲区末尾赋值为NULL
29: *ll = NULL;
30:
31: return NGX_OK;
32: }
8.从空暇缓冲区列表中获取一个未使用的buf ngx_get_free_buf
ngx_chain_get_free_buf 得到链表中未使用的buf,假设没有,则分配一个。1: ngx_chain_t *ngx_chain_get_free_buf(ngx_pool_t *p, ngx_chain_t **free)2: {3: ngx_chain_t *cl;4:5: //若空暇链表中有结点,直接返回6: if (*free)7: {8: cl = *free;9: *free = cl->next;10: cl->next = NULL;11: return cl;12: }13:14: //否则分配ngx_chain_t15: cl = ngx_alloc_chain_link(p);16: if (cl == NULL) {17: return NULL;18: }19:20: //并给ngx_chain_t分配buf21: cl->buf = ngx_calloc_buf(p);22: if (cl->buf == NULL)23: {24: return NULL;25: }26:27: cl->next = NULL;28:29: return cl;30: }
9. buf释放 ngx_chain_update_chains
1:
2: void ngx_chain_update_chains(ngx_pool_t *p, ngx_chain_t **free, ngx_chain_t **busy,
3: ngx_chain_t **out, ngx_buf_tag_t tag)
4: {
5: ngx_chain_t *cl;
6:
7: //让busy指向out
8: if (*busy == NULL)
9: {
10: *busy = *out;
11:
12: }
13: else
14: {
15: for (cl = *busy; cl->next; cl = cl->next) { /* void */ }
16:
17: cl->next = *out;
18: }
19:
20: *out = NULL;
21:
22: while (*busy)
23: {
24: cl = *busy;
25:
26: //这个结点内存有占用。不满足释放条件,跳出
27: if (ngx_buf_size(cl->buf) != 0)
28: {
29: break;
30: }
31:
32: //缓冲区类型不同,直接释放
33: if (cl->buf->tag != tag)
34: {
35: *busy = cl->next;
36: ngx_free_chain(p, cl);
37: continue;
38: }
39:
40: //将该结点放入free
41: cl->buf->pos = cl->buf->start;
42: cl->buf->last = cl->buf->start;
43:
44: *busy = cl->next;
45: cl->next = *free;
46: *free = cl;
47: }
48: }
-
Echo Chen:Blog.csdn.net/chen19870707
-
菜鸟nginx源代码剖析数据结构篇(八) 缓冲区链表ngx_chain_t的更多相关文章
- 菜鸟nginx源代码剖析数据结构篇(一)动态数组ngx_array_t
菜鸟nginx源代码剖析数据结构篇(一)动态数组ngx_array_t Author:Echo Chen(陈斌) Email:chenb19870707@gmail.com Blog:Blog.csd ...
- 菜鸟nginx源代码剖析数据结构篇(十) 自旋锁ngx_spinlock
菜鸟nginx源代码剖析数据结构篇(十) 自旋锁ngx_spinlock Author:Echo Chen(陈斌) Email:chenb19870707@gmail.com Blog:Blog.cs ...
- 菜鸟nginx源代码剖析数据结构篇(六) 哈希表 ngx_hash_t(上)
菜鸟nginx源代码剖析数据结构篇(六) 哈希表 ngx_hash_t(上) Author:Echo Chen(陈斌) Email:chenb19870707@gmail.com Blog:Blog. ...
- 菜鸟nginx源代码剖析数据结构篇(九) 内存池ngx_pool_t
菜鸟nginx源代码剖析数据结构篇(九) 内存池ngx_pool_t Author:Echo Chen(陈斌) Email:chenb19870707@gmail.com Blog:Blog.csdn ...
- 菜鸟nginx源代码剖析数据结构篇(七) 哈希表 ngx_hash_t(下)
菜鸟nginx源代码剖析数据结构篇(七) 哈希表 ngx_hash_t(下) Author:Echo Chen(陈斌) Email:chenb19870707@gmail.com Blog:B ...
- 菜鸟nginx源代码剖析 框架篇(一) 从main函数看nginx启动流程
菜鸟nginx源代码剖析 框架篇(一) 从main函数看nginx启动流程 Author:Echo Chen(陈斌) Email:chenb19870707@gmail.com Blog:Blog.c ...
- 新秀nginx源代码分析数据结构篇(四)红黑树ngx_rbtree_t
新秀nginx源代码分析数据结构篇(四)红黑树ngx_rbtree_t Author:Echo Chen(陈斌) Email:chenb19870707@gmail.com Blog:Blog.csd ...
- 新秀nginx源代码分析数据结构篇(两) 双链表ngx_queue_t
nginx源代码分析数据结构篇(两) 双链表ngx_queue_t Author:Echo Chen(陈斌) Email:chenb19870707@gmail.com Blog:Blog.csdn. ...
- 菜鸟nginx源代码剖析 配置与部署篇(一) 手把手实现nginx "I love you"
菜鸟nginx源代码剖析 配置与部署篇(一) 手把手配置nginx "I love you" Author:Echo Chen(陈斌) Email:chenb19870707@gm ...
随机推荐
- Linux常用命令3(压缩和解压缩总结)
tar命令 解包:tar zxvf FileName.tar 打包:tar czvf FileName.tar DirName gz命令 解压1:gunzip FileName.gz 解压2:gzip ...
- python flask安装
windows环境上,打开命令行,输入pip list 检查列表中是否安装过flask 安装flask命令:pip install flask 出现Successfully installed等提 ...
- 浏览器桌面通知Notification实践
一言不合就上图: 最近常常在浏览器看到这样的消息推送,还有QQ.com的推送,现在我对这个不了解,不知道叫消息自动推送对不对,这个时chrome浏览器的截图,出现在右下角,其他浏览器的样式可能有些微差 ...
- 使用 IIS 在 Windows 上托管 ASP.NET Core
参考微软文档: https://docs.microsoft.com/zh-cn/aspnet/core/host-and-deploy/iis/index?tabs=aspnetcore2x 将as ...
- 安装sass报错
ERROR in Cannot find module 'node-sass' 执行:npm install sass-loader node-sass webpack --save-dev即可
- webpack文件笔记
webpack.prod.conf.js里面的ExtractTextPlugin,把css文件提取出来,专门进行打包minify :压缩 依赖的第三方库打包到vendor.js里面 每次项目打包的时候 ...
- 在vscode成功配置Python环境
注意:如果您希望在Visual Studio Code中开始使用Python,请参阅教程.本文仅关注设置Python解释器/环境的各个方面. Python中的“环境”是Python程序运行的上下文.环 ...
- java ServerSocket
public Socket accept() //等待连接,该方法阻塞 public void close() //关闭服务器套接字 ServerSocket只连一次的程序 /* this is se ...
- 《剑指offer》-栈的压入、弹出序列
输入两个整数序列,第一个序列表示栈的压入顺序,请判断第二个序列是否为该栈的弹出顺序.假设压入栈的所有数字均不相等.例如序列1,2,3,4,5是某栈的压入顺序,序列4,5,3,2,1是该压栈序列对应的一 ...
- MyBatis之Hello world(Mybatis入门)
MyBatis中文网,超详细的:http://www.mybatis.org/mybatis-3/zh/index.html MyBatis英文网:http://www.mybatis.org/myb ...