C语言精要总结-内存地址对齐与struct大小判断篇
在笔试时,经常会遇到结构体大小的问题,实际就是在考内存地址对齐。在实际开发中,如果一个结构体会在内存中高频地分配创建,那么掌握内存地址对齐规则,通过简单地自定义对齐方式,或者调整结构体成员的顺序,可以有效地减少内存使用。另外,一些不用边界对齐、可以在任何地址(包括奇数地址)引用任何数据类型的的机器,不在本文讨论范围之内。
什么是地址对齐
计算机读取或者写入存储器地址时,一般以字(因系统而异,32位系统为4个字节)大小(N)的块来执行操作。数据对齐就是将数据存储区的首地址对齐字大小(N)的某个整数倍地址。为了对齐数据,有时需要在物理上相邻的两个数据之间保留或者插入一些无意义的字节。内存对齐本事编译器考虑是事情,但在C、C++语言中,可以人为修改对齐方式。
为什么要地址对齐
计算机会保证存储器字的大小,至少要大于等于计算机支持的最大原始数据类型的大小。
这样,一个原始数据类型就一定可以存放在一个存储器字中,如果保证了数据是地址对齐的,那么访问一个原始数据就可以保证只访问一个存储器字,这有利于提高效率。如下图
反之,如果一个数据不是按字大小内存对齐的(也就是最高字节与最低字节落在两个字中),那么,这个数据很可能落在两个存储器字中。如下图
这时,计算机必须将数据访问分割成多个存储器字访问,这需要更多复杂的操作。甚至,当这两个字都不存在一个存储器页中是,处理器还必须在执行指令之前验证两个页面是否存在,否则可能会发生未命中错误。另外,对一个存储器字的操作是原子的,如果拆分成两次访问,也可能引发一些并发问题,比如从两个字读出来的数据段拼起来可能不是真实的数据,因为有另外的设备在写。
起始地址约束(对齐系数)
C++11 引入 alignof 运算符,该运算符返回指定类型的对齐系数(以字节为单位),其中宏__alignof在linux gcc或者windows都有定义。
下面一段程序取几个常用的基本数据类型。
#include <stdio.h>
#include <stdlib.h>
int main(){
printf("char: %d\n",__alignof(char));
printf("short: %d\n",__alignof(short));
printf("int: %d\n",__alignof(int));
printf("long: %d\n",__alignof(long));
printf("double: %d\n",__alignof(double));
return ;
}
分别在linux和windows下编译运行,得到如下结果
类型 | Linux | Windows |
char | 1 | 1 |
short | 2 | 2 |
int | 4 | 4 |
long | 8 | 4 |
double | 8 | 8 |
可以看到Linux下与Windows下,long类型对齐系数不一样。并且对齐系数与类型自身所占的大小也基本一致。
地址对齐对struct大小的影响
地址对齐主要影响到一些复杂的数据结构,比如struct结构体,因为有了内存地址对齐,大多数的struct实际占用的大小显得有些诡异。(注意,一个结构体的大小很可能超过存储器字大小,这时跨字读取数据已不可避免。但结构体本身及其成员还是需要继续遵守对齐规则)
拿一个很简单的结构体align1为例
struct align1
{
char a;
int b;
char c;
} sim[2];
如果不考虑任何对齐问题,只考虑结构体中每个成员应该占用的大小,很显然每个结构align1定义的变量是1(char)+4(int)+1(char)共6个字节。但是实际上(至少在windows上)它占用了12个字节,原因就在于它有按照一定的规则进行内存地址对齐。下面是笔者参考各方面资料总结的四点结构体边界对齐需满足的要点:
- 结构体变量本身的起始位置,必须是结构成员中对边界要求最严格(对齐系数最大)的数据类型所要求的位置
- 比如double类型的起始地址约束(对齐系数)为8 ,那如果一个结构体包含double类型,则结构体变量本身的起始地址要能被8整除
- 成员必须考虑起始地址约束(对齐系数)和本身的大小,在windows和linux下,都可以使用__alignof(type)来查看type类型(原始基本类型)的起始地址约束(对齐系数)。
- 如果成员也是struct union之类的类型,则整体要照顾到部分,整体要满足成员能符合起始地址约束
- 结构体可能需要在其所有成员之后填充一些字节,以保证在分配结构体数组之后,每个数组元素要满足起始地址约束。
让我们再来仔细研究下结构体 align1定义的实例数组 sim[2]。我们先约定:占用即表示本身大小及其后的空余空间。
按要点1,则sim[0]的起始地址必须能被4整除,假设这个其实地址是4n,其中成员a的起始地址也是sim[0]的起始地址(按要点2,因为a 为char类型,对齐系数为1,放哪都可以),a占用一个字节。
按要点2,成员b的起始地址必须能被4整除,很显然不能直接放在成员a的后面(起始地址是4n+1,不能被4整除),所以需要跳过3个字节存放b,那么成员a实际占用了4个字节(我们的约定)。
同理,成员c可以直接放在b成员后面(起始地址是(4(n+2)),而且肯定可以被1整除)。
至此,sim[0]已经占用了9个字节了,但按照要点4,因为数组是连续的,为了保证其后的数组成员sim[1]也符合首地址能被4整除,必须将sim[0]的空间先后延长3个字节至(4(n+3))。所以sim[0]实际要占用12个字节。
当然一个结构体不能有两个大小,哪怕其后不再放align1类型的变量,系统也要为这个变量分配最大的12个字节空间。
用一个简单的占位符来表示存储,可表示为
// --sim[0]---- ----sim[1]--
// a---bbbbc--- a---bbbbc---
用图片描述如图(一个正方形表示一个字节空间)
很显然,这个结构体对空间利用率不高,有50%的空间浪费。通过调整成员定义的顺序,完全可以优化空间利用。个人的经验是,本身占用空间大的(如double类型)应该尽量往前面放。下面我们将int b;调整到第一位定义
struct align2
{
int b;
char a;
char c;
} sim[];
通过分析不难发现,新的结构占用8个字节的空间。如图
空间利用率提高到75%。当一个结构体足够复杂时,通过调整顺序或者自定义对齐方式,压缩带来的空间是非常可观的。虽然,随着内存越做越大,一般情况下开发已经不需要考虑这种问题。但是在海量服务下,如何死抠性能和减少资源占用依然是开发需要考虑的问题。就像现在单机几十万并发tcp连接已经不难做到,为什么还是有很多人在研究C10M(单机千万连接)。
下面的程序是基于以上四项要点做的测试,特别注意MyStruct7,因为其中的成员包含数组。至于成员包含union的就比较简单了,一般可以直接把union用union中最大的成员替换考虑,另外注意考虑要点3。另外,在一个位段定义中使用非int 、signed int 、或者unsigned int类型,位段定义将变成一个普通的结构体,对齐原则也就遵从结构体的对齐原则。
#include <stdio.h>
#include <stdlib.h>
#include <stddef.h>
/************************************************************************/
/* 这里约定:占用即表示本身大小及其后的空余空间
/************************************************************************/
struct MyStruct1 // 起始地址能被8整除
{
char a; //
double b; //
float c; //
int d; //
} m1; // struct MyStruct2 // 起始地址能被8整除
{
int a; //
float b; //
char c; // 8 // 后面 double的起始地址要能被8 整除,所以c补齐8个字节
double d; // 8
} m2; // struct MyStruct3 // 起始地址能被8整除
{
short a; //
char b; // 6 // 同理,后面的元素的起始地址要能被 8 整除,所以b只要占用6
double c; //
int d; // 8 // 需要在其后填充一些字节,以保证在分配数组之后,每个数组元素要满足起始地址约束
} m3; // struct MyStruct4
{
char a; // 2 // 能被4整除的地址 +2之后能被2整除,所以a只要补1个字节
short b; // 2
int c; //
} m4; // struct MyStruct5 // 起始地址能被8整除
{
double a; //
float b; //
int c; // 4
short d; //
char e; // 6 因为后面紧紧挨着的MyStruct5 变量(在分配数组的时候)起始地址也要能被8整除,所以这个结构体总的大小必须是8的整数倍
} m5; // struct MyStruct6 // 除4对齐
{
short a; //
char b; //
long c; //
short d; // 4 // 保证数组后面的元素也符合规则 (结构体首地址可以除4)
} m6; // struct MyStruct7 // 4 对齐
{
int a; //
char b; //
short c; //
char d[]; //
} m7; // int main(){
printf("m1 size : %d\n",sizeof m1);
printf("m2 size : %d\n",sizeof m2);
printf("m3 size : %d\n",sizeof m3);
printf("m4 size : %d\n",sizeof m4);
printf("m5 size : %d\n",sizeof m5);
printf("m6 size : %d\n",sizeof m6);
printf("m7 size : %d\n",sizeof m7); // offsetof 函数用来计算成员离结构体首地址偏移的字节数
printf("MyStruct1 b offset : %d\n",offsetof(struct MyStruct1,b)); // b偏移8个字节,所以成员a占用8个字节
printf("MyStruct2 d offset : %d\n",offsetof(struct MyStruct2,d)); // d偏移了16个字节
printf("MyStruct3 c offset : %d\n",offsetof(struct MyStruct3,c)); // 偏移8
printf("MyStruct4 b offset : %d\n",offsetof(struct MyStruct4,b)); // 偏移2
printf("MyStruct5 e offset : %d\n",offsetof(struct MyStruct5,e)); // 偏移16
printf("MyStruct6 c offset : %d\n",offsetof(struct MyStruct6,c)); // 偏移4
printf("MyStruct7 c offset : %d\n",offsetof(struct MyStruct7,c)); // 偏移
system("pause");
return ;
}
测试代码
文中所用的windows为windows7 64位, gcc版本为:gcc version 5.1.0 (tdm64-1);linux为CentOSLinux release 7.2.1511 (Core),gcc版本是gcc version 4.8.5 20150623 (Red Hat 4.8.5-11) (GCC)
参考文章:https://en.wikipedia.org/wiki/Data_structure_alignment
C语言精要总结-内存地址对齐与struct大小判断篇的更多相关文章
- 嵌入式C语言自我修养 07:地址对齐那些事儿
7.1 属性声明:aligned GNU C 通过 __atttribute__ 来声明 aligned 和 packed 属性,指定一个变量或类型的对齐方式.这两个属性用来告诉编译器:在给变量分配存 ...
- 用C语言给指定的内存地址赋值(通过指针)
这两天找工作,做面试题的时候,碰到这样的题:指定了一个地址,比如说0x0012ff7c这样一个地址,要求是给这个指定的地址赋一个确定的值,比如说100,当时就是一个郁闷啊,在汇编里这样用过,在c中还真 ...
- 11.用C对32位内存地址的访问方式
使用一个32位处理器,要对一个32位的内存地址进行访问,可以这样定义 #define RAM_ADDR (*(volatile unsigned long *)0x0000555F) ...
- 关于AVALON总线动态地址对齐
在NIOS的使用中,我们往往要用到自定义外设,然后通过AVALON交换架构和NIOSII进行通信. AVALON总线,其实是一种交换架构的协议,在自定义外设挂在AVALON总线上时,一定要注意地址对齐 ...
- C语言结构体变量内存分配与地址对齐
地址对齐简单来说就是为了提高访问内存的速度. 数组的地址分配比较简单,由于数据类型相同,地址对齐是一件自然而然的事情. 结构体由于存在不同基本数据类型的组合,所以地址对齐存在不同情况,但总体来说有以下 ...
- C语言:内存字节对齐详解[转载]
一.什么是对齐,以及为什么要对齐: 1. 现代计算机中内存空间都是按照byte划分的,从理论上讲似乎对任何类型的变量的访问可以从任何地址开始,但实际情况是在访问特定变量的时候经常在特定的内存地址访问, ...
- C语言内存地址基础
来源:http://blog.jobbole.com/44845/ 从计算机内存的角度思考C语言中的一切东东,是挺有帮助的.我们可以把计算机内存想象成一个字节数组,内存中每一个地址表示 1 字节.比方 ...
- C语言 结构体的内存对齐问题与位域
http://blog.csdn.net/xing_hao/article/details/6678048 一.内存对齐 许多计算机系统对基本类型数据在内存中存放的位置有限制,它们会要求这些数据的首地 ...
- C语言地址对齐(转)--网络编程之结构体大小的计算
什么是地址对齐? 现代计算机中内存空间都是按照字节(byte)划分的,从理论上讲似乎对任何类型的变量的访问可以从任何地址开始,但实际情况是在访问特定变量的时候经常在特定的内存地址访问,这就需要各类型数 ...
随机推荐
- Dell M102ZD-128 —— 拿XP拯救你
查过新浪博客上的记录: http://blog.sina.com.cn/s/articlelist_1259160330_7_1.html 2011年6月买了这台 Dell Inspiron M102 ...
- OpenvSwitch Port Mirror in OpenStack Neutron
前言 最近使用搭建了一个基于VXLAN的OpenStack 环境,发现要去dump ovs interfaces的包其实还是蛮麻烦的, 经过多番努力,找到了如下的在openstack下网络环境的一些t ...
- Codeforces Gym 100269E Energy Tycoon 贪心
题目链接:http://codeforces.com/gym/100269/attachments 题意: 有长度为n个格子,你有两种操作,1是放一个长度为1的东西上去,2是放一个长度为2的东西上去 ...
- mysql创建数据表时如何判断是否已经存在?
>>> create table if not exists people(name text,age int(2),gender char(1)); 如上代码表示创建一个名为peo ...
- 简单实用的JQuery弹出层
效果: 初始状态时滚动条是可以滚动的 弹出层出现之后:1.弹窗始终居于整个窗口的中间 2.滚动条不可滚动 实现代码: HTML代码: <div class="container&quo ...
- 时效性福利:MindManager2017 破解攻略
本文目的只是为了长期关注公众的活粉来谋个福利,24小时失效,没有提供盗版的意思 本文贡献的链接只存放2天,要下载的请从速~ 经过几个小时的奋斗,终于搞定了他,逆天我也终于可以从2016升级至2017~ ...
- 函数调用过程&生成器解释
摘自马哥解答,感谢. 函数调用过程: 假设程序是单进程,单执行流,在某一时刻,能运行的程序流只能有一个.但函数调用会打开新的执行上下文,因此,为了确保main函数可以恢复现场,在main函数调用其它函 ...
- 学习smart gwt 的一些好的网站
最近在学smart gwt,这个框架和我们比较熟悉的SSH实现思路上有点不一样,因为技术是外国的,所以好多东西都是英文的,正因为是英文的,我们学到的东西才是最多最好的,好了,网站如下: gwt api ...
- NTP时间服务器
1. NTP简介 NTP(Network Time Protocol,网络时间协议)是用来使网络中的各个计算机时间同步的一种协议.它的用途是把计算机的时钟同步到世界协调时UTC,其精度在局域网内可达0 ...
- MYSQL优化_MYSQL分区技术[转载]
MySQL分区技术是用来减轻海量数据带来的负担,解决数据库性能下降问题的一种方式,其他的方式还有建立索引,大表拆小表等等.MySQL分区按照分区的参考方式来分有RANGE分区.LIST分区.HASH分 ...