Linux线程 之 线程 线程组 进程 轻量级进程(LWP)
Thread Local Storage,线程本地存储,大神Ulrich Drepper有篇PDF文档是讲TLS的,我曾经努力过三次尝试搞清楚TLS的原理,均没有彻底搞清楚。这一次是第三次,我沉浸glibc的源码和 kernel的源码中,做了一些实验,也有所得。对Linux的线程有了进一步的理解。
线程是有栈的,我们知道,普通的一个进程,它的栈空间是8M,我们可以通过ulmit -a查看:
- stack size (kbytes, -s) 8192
线程也不例外,线程也是需要栈空间的这句话是废话,呵呵。对于属于同一个进程(或者说是线程组)的多个线程他们是共享一份虚拟内存地址的,如下图所示。
这也就决定了,你不能无限制创建线,因为纵然你什么都不做,每个线程默认耗费8M的空间(事实上还不止,还有管理结构,后面陈述)。Ulrich
Drepper大神有篇文章《Thread numbers and
stacks》,分析了线程栈空间方面的计算。如果我们真的需要很多个线程的话,幸好我们还是可以做一些事情。我们可以通过
pthread_attr_setstacksize,设定好stack size属性然后在pthread_create.
- int pthread_attr_setstacksize(pthread_attr_t *attr, size_t stacksize);
- int pthread_create(pthread_t *thread, const pthread_attr_t *attr,
- void *(*start_routine) (void *), void *arg);
线程栈如上图所示,共享进程(或者称之为线程组)的虚拟地址空间。既然多个线程聚集在一起,我怎么知道我要操作的那个线程栈的地址呢。要解决这个问题,必须要领会线程和进程以及线程组的概念。我不想写一堆片汤话,下面我运行我的测试程序,然后结合现象分析原因:
- #include <stdio.h>
- #include <pthread.h>
- #include <sys/syscall.h>
- #include <assert.h>
- #define gettid() syscall(__NR_gettid)
- pthread_key_t key;
- __thread int count = 2222;
- __thread unsigned long long count2 ;
- static __thread int count3;
- void echomsg(int t)
- {
- printf("destructor excuted in thread %x,param=%x\n",pthread_self(),t);
- }
- void * child1(void *arg)
- {
- int b;
- int tid=pthread_self();
- printf("I am the child1 pthread_self return %p gettid return %d\n",tid,gettid());
- char* key_content = malloc(8);
- if(key_content != NULL)
- {
- strcpy(key_content,"ACACACA");
- }
- pthread_setspecific(key,(void *)key_content);
- count=666666;
- count2=1023;
- count3=2048;
- printf("I am child1 , tid=%x ,count (%p) = %10d,count2(%p) = %10llu,count3(%p) = %6d\n",tid,&count,count,&count2,count2,&count3,count3);
- asm volatile("movl %%gs:0, %0;"
- :"=r"(b) /* output */
- );
- printf("I am child1 , GS address %x\n",b);
- sleep(2);
- printf("thread %x returns %x\n",tid,pthread_getspecific(key));
- sleep(50);
- }
- void * child2(void *arg)
- {
- int b;
- int tid=pthread_self();
- printf("I am the child2 pthread_self return %p gettid return %d\n",tid,gettid());
- char* key_content = malloc(8);
- if(key_content != NULL)
- {
- strcpy(key_content,"ABCDEFG");
- }
- pthread_setspecific(key,(void *)key_content);
- count=88888888;
- count2=1024;
- count3=2047;
- printf("I am child2 , tid=%x ,count (%p) = %10d,count2(%p) = %10llu,count3(%p) = %6d\n",tid,&count,count,&count2,count2,&count3,count3);
- asm volatile("movl %%gs:0, %0;"
- :"=r"(b) /* output */
- );
- printf("I am child2 , GS address %x\n",b);
- sleep(1);
- printf("thread %x returns %x\n",tid,pthread_getspecific(key));
- sleep(50);
- }
- int main(void)
- {
- int b;
- pthread_t tid1,tid2;
- printf("hello\n");
- pthread_key_create(&key,echomsg);
- asm volatile("movl %%gs:0, %0;"
- :"=r"(b) /* output */
- );
- printf("I am the main , GS address %x\n",b);
- pthread_create(&tid1,NULL,child1,NULL);
- pthread_create(&tid2,NULL,child2,NULL);
- printf("pthread_create tid1 = %p\n",tid1);
- printf("pthread_create tid2 = %p\n",tid2);
- sleep(60);
- pthread_key_delete(key);
- printf("main thread exit\n");
- return 0;
- }
这是一个比较综合的程序,因为我下面要多次从不同的侧面分析。对于现在,我们要展示的是进程 线程 线程组的关系。在一个终端运行编译出来的test2程序,显示的信息如下:
另一个终端看ps信息,ps显示的信息如下:
直接ps,是看不到我们创建的线程的。只有3658一个进程。当我们采用ps -eLf的时候,我们看到了三个线程3658/3659/3660,或者称之为轻量级进程(LWP)。Linux到底是怎么看待这三者的关系的呢:
Linux下多线程程序,一般都是有一个主进程通过调用pthread_create创建了一个或者多个子线程,如同我们的程序,主进程在main中创建了两个子进程。那么Linux到底是怎么看待这些事情的呢?
- pid_t pid;
- pid_t tgid;
- ...
- struct task_struct *group_leader; /* threadgroup leader */
上面三个变量是进程描述符的三个成员变量。pid字面意思是process id,其实叫thread id会更合适。tgid 字面含义是thread group ID。对于存在多个线程的程序而言,每个线程都有自己的pid,没错pid,如同我们例子中的3658/3659/3660,但是都有个共同的线程组ID (TGID):3658 。
好吧,我们再重新说一遍,对于普通进程而言,我们可以称之为只有一个LWP的线程组,pid是它自己的pid,tgid还是它自己,线程组里面只有他自
己一个光杆司令,自然group_leader也是它自己。但是多线程的进程(线程组更恰当)则不然。开天辟地的main函数所在的进程会有自己的
PID,也会有也TGID,group_leader,都是他自己。注意,它自己也是LWP。后面他使用ptherad_create创建了2个线程,或
者LWP,这两个新创建的线程会有自己的PID,但是TGID会沿用创建自己的那个进程的TGID,group_leader也会尊创建自己的进程的进程
描述符(task_struct)为自己的group_leader。copy_process函数中有如下代码:
- p->pid = pid_nr(pid);
- p->tgid = p->pid;//普通进程
- if (clone_flags & CLONE_THREAD)
- p->tgid = current->tgid;//线程选择叫起它的进程的tgid作为自己的tgid
- ....
- p->group_leader = p;//普通进程
INIT_LIST_HEAD(&p->thread_group); - ...
- if (clone_flags & CLONE_THREAD) {
current->signal->nr_threads++;
atomic_inc(¤t->signal->live);
atomic_inc(¤t->signal->sigcnt);
p->group_leader = current->group_leader;//线程选择叫起它的进程作为它的group_leader
list_add_tail_rcu(&p->thread_group, &p->group_leader->thread_group);
}
OK,ps -eLf中有个字段叫NLWP,就是线程组中LWP的个数,对于我们的例子,main函数所在LWP+两个线程 = 3.
我们传说的getpid函数,本质取得是进程描述符的TGID,而gettid系统调用,取得才是每个LWP各自的PID。请看上面的图片输出,上面连个线程gettid返回的是3873和3874,是自己的PID。稍微有点毁三观
除此外,需要指出的是用户态pthread_create出来的线程,在内核态,也拥有自己的进程描述符
task_struct(copy_process里面调用dup_task_struct创建)。这是什么意思呢。意思是我们用户态所说的线程,一样是
内核进程调度的实体。进程调度,严格意义上说应该叫LWP调度,进程调度,不是以前面提到的线程组为单位调度的,本质是以LWP为单位调度的。这个结论乍
一看惊世骇俗,细细一想,其是很合理。我们为什么多线程?因为多CPU,多核,我们要充分利用多核,同一个线程组的不同LWP是可以同时跑在不同的CPU
之上的,因为这个并发,所以我们有线程锁的设计,这从侧面证明了,LWP是调度的实体。
我们用systemtap去观察下test2程序相关的调度:systemtap脚本如下:
- #! /usr/bin/env stap
- #
- #
- global time_offset
- probe begin
- {
- time_offset = gettimeofday_us()
- printf("monitor begin==========\n")
- }
- probe scheduler.cpu_off
- {
- if(task_execname(task_next)=="test2")
- {
- t = gettimeofday_us();
- printf("%9d : %20s(%6d)->%10s(%6d:%6d)\n",
- t-time_offset,
- task_execname(task_prev),
- task_pid(task_prev),
- task_execname(task_next),
- task_pid(task_next), #返回的是内核中的TGID
- task_tid(task_next)) #返回的内核中的PID
- }
- }
我们的二进制可执行程序叫做 test2, 一个终端叫起systemtap,另一个终端叫起test2,查看下输出:
上面三个LWP都是CPU友好型的,如果同属一个线程组的多个线程(或者称之为LWP)都是CPU消耗型,你可以看到激烈的争夺CPU资源。
本想继续写下去,无奈太长了,不想变成滚轮杀手,在下一篇写其他内容吧。参考文献提到的文章,非常的好,甚至提到了线程组里面信号的处理,信号不是我这篇博文的重点,所以我略过不提了。
参考文献
1 Linux 2.6 内核中的线程组初探 (好文章,强烈推荐)
转自: http://blog.chinaunix.net/uid-24774106-id-3650136.html
Linux线程 之 线程 线程组 进程 轻量级进程(LWP)的更多相关文章
- Linux线程 之 线程 线程组 进程 轻量级进程(LWP) -systemtap -mysql
http://blog.chinaunix.net/uid-24774106-id-3650136.html http://blog.itpub.net/15480802/viewspace-7627 ...
- linux内核——进程,轻量级进程,线程,线程组
1.进程.轻量级进程.线程.线程组之间的关系 2.及它们的标识相关说明 一.进程.轻量级进程.线程.线程组之间的关系 借助上图说明: 进程P0有四条执行流,即线程, 主线程t0是它的第一个线程,且与进 ...
- Linux下的进程类别(内核线程、轻量级进程和用户进程)--Linux进程的管理与调度(四)
本文中出现的,内核线程,轻量级进程,用户进程,用户线程等概念,如果不太熟悉, 可以参见 内核线程.轻量级进程.用户线程三种线程概念解惑(线程≠轻量级进程) Linux进程类别 虽然我们在区分Linux ...
- 进程、线程、轻量级进程、协程与 go 的 goroutine【转载+整理】
本文内容 进程 线程 协程 Go 中的 goroutine 参考资料 最近,看一些文章,提到"协程"的概念,心想,进程,线程,协程,前两个很容易,任何一本关于操作系统的书都有说,开 ...
- 进程、线程、轻量级进程、协程和go中的Goroutine
进程.线程.轻量级进程.协程和go中的Goroutine 那些事儿电话面试被问到go的协程,曾经的军伟也问到过我协程.虽然用python时候在Eurasia和eventlet里了解过协程,但自己对协程 ...
- Go语言 进程、线程、轻量级进程、协程和go中的Goroutine 那些事儿
原文:http://www.cnblogs.com/shenguanpu/archive/2013/05/05/3060616.html 电话面试被问到go的协程,曾经的军伟也问到过我协程.虽然用py ...
- 进程、轻量级进程(LWP)、线程
进程.轻量级进程(LWP).线程 进程:程序执行体,有生命期,用来分配资源的实体 线程:分配CPU的实体. 用户空间实现,一个线程阻塞,所有都阻塞. 内核实现,不会所用相关线程都阻塞.用LWP实现,用 ...
- 进程、线程、轻量级进程、协程与 go 的 goroutine
本文内容 进程 线程 协程 Go 中的 goroutine 参考资料 最近,看一些文章,提到“协程”的概念,心想,进程,线程,协程,前两个很容易,任何一本关于操作系统的书都有说,开发时也经常用,但是协 ...
- (转)linux下进程的进程最大数、最大线程数、进程打开的文件数和ulimit命令修改硬件资源限制
ulimit命令查看和更改系统限制 ulimit命令详解 ulimit用于shell启动进程所占用的资源,可以用来设置系统的限制 语法格式 ulimit [-acdfHlmnpsStvw] [size ...
随机推荐
- GLEW_ERROR_NO_GL_VERSION的解决方法
关于 GLenum err = glewInit(); if (GLEW_OK != err) fprintf(stderr, "error initializaing GLew %s\n& ...
- 避免内存重叠memmove()性能
#include <iostream> #include <string.h> using namespace std; void* memmove(void *dst, co ...
- Visual Studio 2015使用EF6的DBFirst模式操作Sqlite数据库
什么是DBFirst 1:到官方下载并安装32位驱动(如果你是旧版的驱动,卸载掉,然后下载最新版的,否则操作数据时会出现异常) 2:通过Nuget获取System.Data.SQLite(会默认把下面 ...
- Team Foundation Server 2015使用教程--团队项目删除
- iOS第三方库
热门iOS第三方库:看完,还敢自称”精通iOS开发”吗? 综合github上各个项目的关注度与具体使用情况,涵盖功能,UI,数据库,自动化测试,编程工具等类型,看完,还敢自称”精通iOS开发”吗? h ...
- Akka 简介与入门
Akka 简介与入门 http://www.thinksaas.cn/group/topic/344095/ 参考官网 http://akka.io/ 开源代码 https://github.co ...
- Oracle SQL操作计划基线总结(SQL Plan Baseline)
一.基础概念 Oracle 11g開始,提供了一种新的固定运行计划的方法,即SQL plan baseline,中文名SQL运行计划基线(简称基线),能够觉得是OUTLINE(大纲)或者SQL PRO ...
- 《TCP/IP具体解释》读书笔记(18章)-TCP连接的建立与中止
TCP是一个面向连接的协议.不管哪一方向还有一方发送数据之前.都必须在两方之间建立一条连接.这样的两端间连接的建立与无连接协议UDP不同.UDP向还有一端发送数据报时,无需不论什么预告的握手. 1.建 ...
- requirejs实现模块化
使用requirejs实现模块化编程 > 序言 - -# 公司大了,业务多了,前端代码量也逐渐增大,我们渐渐的依赖js实现的交互越来越多,长期以来会导致我们的代码维护越来越困难,所以依赖的插件也 ...
- zoj 3537 Cake (凸包确定+间隔dp)
Cake Time Limit: 1 Second Memory Limit: 32768 KB You want to hold a party. Here's a polygon-sha ...