有时需要使用python二进制数据,实例,件。socket操作时.这时候。能够使用python的struct模块来完毕.能够用 struct来处理c语言中的结构体.

struct模块中最重要的三个函数是pack(), unpack(), calcsize()

pack(fmt, v1, v2, ...)     依照给定的格式(fmt),把数据封装成字符串(实际上是类似于c结构体的字节流)

unpack(fmt, string)       依照给定的格式(fmt)解析字节流string,返回解析出来的tuple

calcsize(fmt)                 计算给定的格式(fmt)占用多少字节的内存

struct中支持的格式例如以下表:

Format C Type Python 字节数
x pad byte no value 1
c char string of length 1 1
b signed char integer 1
B unsigned char integer 1
? _Bool bool 1
h short integer 2
H unsigned short integer 2
i int integer 4
I unsigned int integer or long 4
l long integer 4
L unsigned long long 4
q long long long 8
Q unsigned long long long 8
f float float 4
d double float 8
s char[] string 1
p char[] string 1
P void * long

注1.q和Q仅仅在机器支持64位操作时有意思

注2.每一个格式前能够有一个数字,表示个数

注3.s格式表示一定长度的字符串,4s表示长度为4的字符串,可是p表示的是pascal字符串

注4.P用来转换一个指针,其长度和机器字长相关

注5.最后一个能够用来表示指针类型的。占4个字节

为了同c中的结构体交换数据,还要考虑有的c或c++编译器使用了字节对齐,一般是以4个字节为单位的32位系统,故而struct依据本地机器字节顺序转换.能够用格式中的第一个字符来改变对齐方式.定义例如以下:

Character Byte order Size and alignment
@ native native            凑够4个字节
= native standard        按原字节数
< little-endian standard        按原字节数
> big-endian standard       按原字节数
! network (= big-endian)

standard       按原字节数

用法是放在fmt的第一个位置。就像'@5s6sif'

演示样例一:

比方有一个结构体

struct Header

{

unsigned short id;

char[4] tag;

unsigned int version;

unsigned int count;

}

通过socket.recv接收到了一个上面的结构体数据。存在字符串s中,如今须要把它解析出来,能够使用unpack()函数.

import struct

id, tag, version, count = struct.unpack("!H4s2I", s)

上面的格式字符串中。!表示我们要使用网络字节顺序解析,由于我们的数据是从网络中接收到的,在网络上传送的时候它是网络字节顺序的.后面的H表示 一个unsigned short的id,4s表示4字节长的字符串。2I表示有两个unsigned int类型的数据.





就通过一个unpack,如今id, tag, version, count里已经保存好我们的信息了.

相同,也能够非常方便的把本地数据再pack成struct格式.

ss = struct.pack("!H4s2I", id, tag, version, count);

pack函数就把id, tag, version, count依照指定的格式转换成了结构体Header,ss如今是一个字符串(实际上是类似于c结构体的字节流)。能够通过 socket.send(ss)把这个字符串发送出去.



演示样例二:

import struct

a=12.34

#将a变为二进制

bytes=struct.pack('i',a)

此时bytes就是一个string字符串,字符串按字节同a的二进制存储内容同样。

再进行反操作

现有二进制数据bytes,(事实上就是字符串)。将它反过来转换成python的数据类型:

a,=struct.unpack('i',bytes)

注意。unpack返回的是tuple

所以假设仅仅有一个变量的话:

bytes=struct.pack('i',a)

那么。解码的时候须要这样

a,=struct.unpack('i',bytes) 或者 (a,)=struct.unpack('i',bytes)

假设直接用a=struct.unpack('i',bytes),那么 a=(12.34,) ,是一个tuple而不是原来的浮点数了。

假设是由多个数据构成的。能够这样:

a='hello'

b='world!'

c=2

d=45.123

bytes=struct.pack('5s6sif',a,b,c,d)

此时的bytes就是二进制形式的数据了。能够直接写入文件比方 binfile.write(bytes)

然后,当我们须要时能够再读出来,bytes=binfile.read()

再通过struct.unpack()解码成python变量

a,b,c,d=struct.unpack('5s6sif',bytes)

'5s6sif'这个叫做fmt,就是格式化字符串。由数字加字符构成。5s表示占5个字符的字符串,2i,表示2个整数等等。以下是可用的字符及类型,ctype表示能够与python中的类型一一相应。



注意:二进制文件处理时会碰到的问题

我们使用处理二进制文件时,须要用例如以下方法

binfile=open(filepath,'rb')    读二进制文件

binfile=open(filepath,'wb')    写二进制文件

那么和binfile=open(filepath,'r')的结果究竟有何不同呢?

不同之处有两个地方:

第一。使用'r'的时候假设碰到'0x1A'。就会视为文件结束,这就是EOF。使用'rb'则不存在这个问题。即,假设你用二进制写入再用文本读出的话,假设当中存在'0X1A'。就仅仅会读出文件的一部分。

使用'rb'的时候会一直读到文件末尾。

第二,对于字符串x='abc\ndef',我们可用len(x)得到它的长度为7,\n我们称之为换行符,实际上是'0X0A'。

当我们用'w'即文本方式写的时候,在windows平台上会自己主动将'0X0A'变成两个字符'0X0D','0X0A'。即文件长度实际上变成8.。当用'r'文本方式读取时,又自己主动的转换成原来的换行符。假设换成'wb'二进制方式来写的话。则会保持一个字符不变,读取时也是原样读取。

所以假设用文本方式写入,用二进制方式读取的话,就要考虑这多出的一个字节了。'0X0D'又称回车符。

linux下不会变。

由于linux仅仅使用'0X0A'来表示换行。

附加:

import struct 



# native byteorder 

buffer = struct.pack("ihb", 1, 2, 3) 

print repr(buffer) 

print struct.unpack("ihb", buffer) 



# data from a sequence, network byteorder 

data = [1, 2, 3] 

buffer = struct.pack("!ihb", *data)

print repr(buffer) 

print struct.unpack("!ihb", buffer)

Output:

'\x01\x00\x00\x00\x02\x00\x03'

(1, 2, 3)

'\x00\x00\x00\x01\x00\x02\x03'

(1, 2, 3)

首先将參数1,2,3打包。打包前1,2,3明显属于python数据类型中的integer,pack后就变成了C结构的二进制串,转成 python的string类型来显示就是  '\x01\x00\x00\x00\x02\x00\x03'。

因为本机是小端('little- endian',关于大端和小端的差别请參照这里,故而高位放在低地址段。

i
代表C struct中的int类型,故而本机占4位,1则表示为01000000;h 代表C struct中的short类型,占2位。故表示为0200;同理b 代表C struct中的signed char类型,占1位,故而表示为03。

其它结构的转换也类似,有些特别的能够參考Manual。

在Format string 的首位,有一个可选字符来决定大端和小端。列表例如以下:

     
@ native native
= native standard
< little-endian standard
> big-endian standard
! network (= big-endian) standard

假设没有附加,默觉得@,即使用本机的字符顺序(大端or小端)。对于C结构的大小和内存中的对齐方式也是与本机相一致的(native),比方有的机器integer为2位而有的机器则为四位;有的机器内存对其位四位对齐,有的则是n位对齐(n未知。我也不知道多少)。

另一个标准的选项。被描写叙述为:假设使用标准的。则不论什么类型都无内存对齐。

比方刚才的小程序的后半部分,使用的format string中首位为!。即为大端模式标准对齐方式,故而输出的为'\x00\x00\x00\x01\x00\x02\x03',间高并且它们中的存储器的高位地址。

版权声明:本文博主原创文章,博客,未经同意不得转载。

Python采用struct处理二进制的更多相关文章

  1. Python使用struct处理二进制

    有的时候需要用python处理二进制数据,比如,存取文件,socket操作时.这时候,可以使用python的struct模块来完成.可以用 struct来处理c语言中的结构体. struct模块中最重 ...

  2. Python使用struct处理二进制(pack和unpack用法)

    转载自:http://www.cnblogs.com/gala/archive/2011/09/22/2184801.html 这篇文章写的很好,所以无耻的转了.. 有的时候需要用python处理二进 ...

  3. C++和python使用struct传输二进制数据结构来实现

    网络编程问题往往涉及二进制数据的传输.在C++经常使用的传输是文本字符串和分组结构. 假设该数据可以预先送入连续的内存区域,然后让send函数来获得的第一个地址,这一块连续的内存区就能完成传输数据.文 ...

  4. Pytho, struct处理二进制(pack和unpack)

    [转]Python使用struct处理二进制(pack和unpack用法) Leave a reply 转载自:http://www.cnblogs.com/gala/archive/2011/09/ ...

  5. python之struct详解

    python之struct详解 2018-05-23 18:20:29 醉小义 阅读数 20115更多 分类专栏: python   版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议 ...

  6. 使用struct处理二进制

    有的时候需要用python处理二进制数据,比如,存取文件.socket操作时.这时候,可以使用python的struct模块来完成. struct模块中最重要的三个函数是pack(), unpack( ...

  7. Python学习——struct模块的pack、unpack示例

    he struct module includes functions for converting between strings of bytes and native Python data t ...

  8. c语言write与python的struct模块交互

    以下讲的都是用二进制形式打开文件.网上有很多struct模块的文章,下面是我做的小实验. 1.对于c里面的fwrite写入一个单字节,写的就是它的二进制.如3,写入文件就是二进制0x03,它并不是3的 ...

  9. python中struct模块及packet和unpacket

    转自:http://www.cnblogs.com/gala/archive/2011/09/22/2184801.html 我们知道python只定义了6种数据类型,字符串,整数,浮点数,列表,元组 ...

随机推荐

  1. Altium Designer布局移动原件的问题

  2. angular 响应式表单(登录实例)

    一.表单验证 1. 只有一个验证规则: this.myGroup = this.fb.group({ email:['hurong.cen@qq.com',Validators.required], ...

  3. ZOJ 2421 Recaman's Sequence

    http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemId=1421 题目大意: 定义a^m为 a^m = a^(m-1) - m  如果a^ ...

  4. 【AtCoder ABC 075 A】One out of Three

    [链接] 我是链接,点我呀:) [题意] 在这里输入题意 [题解] 用map轻松搞定 [代码] #include <bits/stdc++.h> using namespace std; ...

  5. ios本地相册 照像 本地视频

    -(IBAction)btnClick{ UIActionSheet* actionSheet = [[UIActionSheet alloc] initWithTitle:nil delegate: ...

  6. 17、MJPG编码和AVI封装

    一.JPEG和MJPG编码介绍 1.JPEG编码 我个人简单的理解是,JPEG即是Joint Photographic Experts Group(联合图像专家组)的缩写,更是一种图像压缩编码算法.J ...

  7. Android使用BitmapFactory.Options解决加载大图片内存溢出问题

    由于Android对图片使用内存有限制,若是加载几兆的大图片便内存溢出.Bitmap会将图片的所有像素(即长x宽)加载到内存中,如果图片分辨率过大,会直接导致内存溢出(java.lang.OutOfM ...

  8. A Guide to Python's Magic Methods

    Book Source:[https://rszalski.github.io/magicmethods/] magic methods: 名称前后有双下划线的方法 构造函数和初始化 初始化类实例时, ...

  9. [RxJS] Split an RxJS Observable into groups with groupBy

    groupBy() is another RxJS operator to create higher order observables. In this lesson we will learn ...

  10. Android 5.0中使用JobScheduler

    在这篇文章中,你会学习到在Android 5.0中怎样使用JobScheduler API. JobScheduler API同意开发人员在符合某些条件时创建运行在后台的任务. 介绍 在Android ...