str和unicode类

在py2中,分为两类,str和unicode 而在py3中,分为两类,byte和str py2中的str等同于py3中的byte 首先明确一点,我们编辑好一段文本,python并不知道我们的文本是以什么格式编码的.如果是纯英文字符还好说,如果这段代码中有汉字,则会报错了. 所以我们要显式的告诉python此文本的编码格式. 为了说明问题,首先将以下测试代码以utf-8格式编辑保存 # -*- coding:utf-8 -*- #告知python我这个文件里的文本是用utf-8编码的,如果不加,而…

python知识：json格式文本；异常处理；字符串处理；unicode类型和str类型转换

python进程中的实例和json格式的字符串之间的映射关系是非常直接的,相当于同一个概念被编码成不同的表示: stream in json form ----json.loads(str)-----> python object stream in json form <----json.dumps(obj)----- python object 不过需注意类型的匹配,否则会报错.比如说json格式中大括号中的键值应当写成字符串.概念上json文本和python数据类型之间的对应关系是: 有…

python的str，unicode对象的encode和decode方法

python的str,unicode对象的encode和decode方法 python中的str对象其实就是"8-bit string" ,字节字符串,本质上类似java中的byte[]. 而python中的unicode对象应该才是等同于java中的String对象,或本质上是java的char[]. 对于 s="你好" u=u"你好" s="你好" u=u"你好" 1. s.decode方法和u.enc…

python的str，unicode对象的encode和decode方法（转）

python的str,unicode对象的encode和decode方法(转) python的str,unicode对象的encode和decode方法 python中的str对象其实就是"8-bit string" ,字节字符串,本质上类似java中的byte[]. 而python中的unicode对象应该才是等同于java中的String对象,或本质上是java的char[]. 对于 s="你好" u=u"你好" s="你好&quo…

python的str，unicode对象的encode和decode方法, Python中字符编码的总结和对比bytes和str

python_2.x_unicode_to_str.py a = u"中文字符"; a.encode("GBK"); #打印: '\xd6\xd0\xce\xc4\xd7\xd6\xb7\xfb' print(a.encode("GBK")); 打印: ��ַ� a.encode("utf-8") 打印: '\xe4\xb8\xad\xe6\x96\x87\xe5\xad\x97\xe7\xac\xa6' 每三个byte…

[转]Python中的str与unicode处理方法

早上被python的编码搞得抓耳挠腮,在搜资料的时候感觉这篇博文很不错,所以收藏在此. python2.x中处理中文,是一件头疼的事情.网上写这方面的文章,测次不齐,而且都会有点错误,所以在这里打算自己总结一篇文章. 我也会在以后学习中,不断的修改此篇博客. 这里假设读者已有与编码相关的基础知识,本文不再再次介绍,包括什么是utf-8,什么是unicode,它们之间有什么关系. str与字节码首先,我们完全不谈unicode. s = "人生苦短" s是个字符串,它本身存储的就是字节…

[Python] 中文编码问题：raw_input输入、文件读取、变量比较等str、unicode、utf-8转换问题

最近研究搜索引擎.知识图谱和Python爬虫比较多,中文乱码问题再次浮现于眼前.虽然市面上讲述中文编码问题的文章数不胜数,同时以前我也讲述过PHP处理数据库服务器中文乱码问题,但是此处还是准备简单做下笔记.方便以后查阅和大家学习. 中文编码问题的处理核心都是——保证所有的编码方式一致即可,包括编译器.数据库.浏览器编码方式等,而Python通常的处理流程是将unicode作为中间转换码进行过渡.先将待处理字符串用unicode函数以正确的编码转换为Unicode码,在程序中统一用U…

Python中的str与unicode处理方法

Python中的str与unicode处理方法 2015/03/25 · 基础知识 · 3 评论· Python 分享到:42 原文出处: liuaiqi627 的博客 python2.x中处理中文,是一件头疼的事情.网上写这方面的文章,测次不齐,而且都会有点错误,所以在这里打算自己总结一篇文章. 我也会在以后学习中,不断的修改此篇博客. 这里假设读者已有与编码相关的基础知识,本文不再再次介绍,包括什么是utf-8,什么是unicode,它们之间有什么关系. str与字节码首先,我们完全…

PYTHON编码处理-str与Unicode的区别

一篇关于STR和UNICODE的好文章整理下python编码相关的内容注意: 以下讨论为Python2.x版本, Py3k的待尝试开始用python处理中文时,读取文件或消息,http参数等等一运行,发现乱码(字符串处理,读写文件,print) 然后,大多数人的做法是,调用encode/decode进行调试,并没有明确思考为何出现乱码所以调试时最常出现的错误错误1 Traceback (most recent call last): File "<stdin>"…

python中的str，unicode和gb2312

实例1: v1=u '好神奇的问题!?' type(v1)->unicode v1.decode("utf-8")# not work,because v1 is unicode already v1.encode("gb2312")#work,convert from unicode into gbk2312 [发现] decode是把指定的对象转化为unicode(unicode包含utf-8,utf-16),并且指明了待转化对象的编码方式. encode…

bytes、str与unicode

1.Python3字符序列的类型 bytes -> 原始的8位值(既字节) str -> Unicode字符 2.Python2字符序列的类型 str -> 原始的8位值(既字节) unicode -> Unicode字符即Python3的bytes对应Python2的str,而Python3的str对应Python2的unicode 写代码的时候不要对字符编码做任何的假设. 编写两个辅助函数来进行转换. 接受str或bytes,总是返回str: def to_str(bytes…

python 字符串编码 str和unicode 区别以及相互转化 decode('utf-8') encode('utf-8')

…

python unicode to str and str to unicode

@staticmethod def unicode2str(p_unicode): v = p_unicode.encode('unicode-escape').decode('string_escape') if p_unicode is not None else None return v @staticmethod def str2unicode(p_str): v = p_str.decode('unicode-escape') if p_str is not None else No…

转 PYTHON2 编码处理-str与Unicode的区别

https://www.cnblogs.com/long2015/p/4090824.html…

[转]Python的ASCII, GB2312, Unicode , UTF-8

2007-12-13 10:50:47| 分类: Python实用软件编|举报|字号订阅 ASCII 是一种字符集,包括大小写的英文字母.数字.控制字符等,它用一个字节表示,范围是 0-127 Unicode分为UTF-8和UTF-16.UTF-8变长度的,最多 6 个字节,小于 127 的字符用一个字节表示,与 ASCII 字符集的结果一样,ASCII 编码下的英语文本不需要修改就可以当作 UTF-8 编码进行处理. Python 从 2.2 开始支持 Unicode ,函数 de…

Python的ASCII, GB2312, Unicode , UTF-8 相互转换

ASCII 是一种字符集,包括大小写的英文字母.数字.控制字符等,它用一个字节表示,范围是 0-127 Unicode分为UTF-8和UTF-16.UTF-8变长度的,最多 6 个字节,小于 127 的字符用一个字节表示,与 ASCII 字符集的结果一样,ASCII 编码下的英语文本不需要修改就可以当作 UTF-8 编码进行处理. Python 从 2.2 开始支持 Unicode ,函数 decode( char_set )可以实现其它编码到 Unicode 的转换,函数 encode( c…

python编码基础知识

http://www.javaeye.com/topic/560229 一预备知识字符集1, 常用字符集分类ASCII及其扩展字符集作用:表语英语及西欧语言.位数:ASCII是用7位表示的,能表示128个字符:其扩展使用8位表示,表示256个字符.范围:ASCII从00到7F,扩展从00到FF.ISO-8859-1字符集作用:扩展ASCII,表示西欧.希腊语等.位数:8位,范围:从00到FF,兼容ASCII字符集.GB2312字符集作用:国家简体中文字符集,兼容ASCII.位数:使用2个字节…

关于python 2.7要求输出汉字问题

对于python 2.7,使用print u'好好学习'会出现异常.可用以下作为汉字输出,获取数据(字符串)时,用unicode(str, "utf8")生成unicode对象 print unicode('在python关于输出汉字的问题?',"utf-8") python中使用 unicode的关键:unicode是一个类,函数unicode(str,"utf8")从utf8编码(当然也可以是别的编码)的字符串str生成 unicode类的…

python编码（四）

一.预备知识字符集 1, 常用字符集分类 ASCII及其扩展字符集作用:表语英语及西欧语言.位数:ASCII是用7位表示的,能表示128个字符:其扩展使用8位表示,表示256个字符.范围:ASCII从00到7F,扩展从00到FF.ISO-8859-1字符集作用:扩展ASCII,表示西欧.希腊语等.位数:8位,范围:从00到FF,兼容ASCII字符集.GB2312字符集作用:国家简体中文字符集,兼容ASCII.位数:使用2个字节表示,能表示7445个符号,包括6763个汉字,几乎覆盖所有高频率汉…

还是关于编码——decode & encode的探究

最近被py3.4中的编码折磨的不要不要的,decode & encode的使用.功能貌似在2.7—3.0有一个巨大的变化.网上查询的一些解答很多是基于2.7中的unicode功能,给出的解答是下面: decode(解码)的作用是将其他编码的字符串转换成unicode编码,如str1.decode('gb2312'),表示将gb2312编码的字符串转换成unicode编码. encode(编码)的作用是将unicode编码转换成其他编码的字符串,如str2.encode('gb2312'),表示将…

【转】python 字符编码与解码——unicode、str和中文：UnicodeDecodeError: 'ascii' codec can't decode

原文网址:http://blog.csdn.net/trochiluses/article/details/16825269 摘要:在进行python脚本的编写时,如果我们用python来处理网页数据或者进行与中文字符有关的处理工作,经常出现这样的出错信息:SyntaxError: Non-ASCII character '\xe6' in file ./filename.py on line 3, but no encoding declared.本文主要讲解python中与unicode和中…