上文提到了python开发中非常重要的两处设置。

一个是编解码器的默认设置defaultencoding

>>> import sys
>>> sys.getdefaultencoding()
'ascii'

另一个是声明在python文件头部的代码编码方式coding

# -*- coding: utf-8 -*-

这两处设置在python的str,unicode对象的encode和decode方法中,有非常重要的作用,直接影响到结果。下面的代码按照目前的设置进行,即defaultencoding为ascii,coding为utf-8

str和unicode

str是普通字符串,使用一般需要解码成unicode。unicode是unicode 字符串,默认使用unicode方式编码,使用一般需要解码成指定的格式。

使用str()方法创建字符串。

s = str('你们') #存储时按utf-8存储
print repr(s) #打印结果为'\xe4\xbd\xa0\xe4\xbb\xac'

使用unicode()方法创建的是unicode字符串,也可使用u标记。创建unicode字符串时,需指定字符串编码方式,否则按defaultencoding对字符串进行编码。

u1=u'你们'
u2= unicode('你们')
print u1 #输出正确
print u2 #存储时按utf-8存储,再按ascii编码,出错
#UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128) u3 = unicode('你们','utf-8') #先按utf-8编码存储,再按utf-8解码
print u3 #输出正确
print repr(u3) #打印结果是 u'\u4f60\u4eec' u4 = unicode('你们','gbk') #先按utf-8编码存储,再按gbk解码
print u4 #打印结果是 浣犱滑
print repr(u4) #打印结果是 u'\u6d63\u72b1\u6ed1' 是 浣犱滑 三个字的unicode编码

总结,任何字符串在存储是按照指定的coding进行存储,在解码时如不指定编码方式,将按照defaultencoding对字符串进行编码。

decode()和encode()

str.decode()  用于将字符串解码成指定的格式,如果不指定编码方式,将使用默认的ascii编码方式进行编码。

s = str('你们')
print s.decode('utf-8') #输出正确
print s.decode() #出错
#UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

unicode.encode() 用于将标准的unicode编码成指定的格式,如果不指定编码方式,将使用默认的 defaultencoding进行编码。

u=u'你们'
print u.encode('utf-8') #输出正确
print u.encode('gbk') #输出乱码,编码时为utf-8,解码时为gbk
print u.encode() #出错,编码时为utf-8,解码时为ascii
#UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

总结,str字符串存储和unicode字符串存储时,按照coding设置编码,str.decode() 把本身解码成指定格式,unicode.encode()把本身编码成指定格式,如果不指定编解码格式,将使用defaultencoding进行编解码。如果编码解码方式不一致,将会出错或乱码。

另有str.encode() ,unicode.decode(),这两个方法没什么用。因为str是已经编码了的字符串,无需再次编码。unicode本身已经解码成unicode了,无需再次解码。但python的就是这么好玩,为了保持对称,设计了这两个方法。

官方文档如此描述:str.encode(e) is the same as unicode(str).encode(e). This is useful since code that expects Unicode strings should also work when it is passed ASCII-encoded 8-bit strings(from Guido van Rossum) .

这段话大概意思是说encode方法本来是被unicode调的,但如果不小心被作为str对象的方法调,并且这个str对象正好是ascii编码的(ascii这一段和unicode是一样的),也应该让他成功。这就是str.encode方法的一个用处。

类似地,把光用ascii组成的unicode再decode是一样的道理,因为好像几乎任何编码里ascii都没变。因此这样的操作等于没做。 这些方法没什么用,实际使用中往往会出错,比如下面两个。

str.encode() ,首先使用默认的编码方式将str进行编码,然后使用指定的方式将对象解码

s.encode("utf-8") #等价于 s.decode(defaultencoding).encode("utf-8")

unicode.decode(),首先使用默认的编码方式将对象进行解码,再用指定的方式将对象编码

u.decode("utf-8") #等价于 u.encode(defaultencoding).decode("utf-8")

关于requests库

requests库在写网络爬虫的时候经常用到,使用起来非常方便。

Request对象在访问服务器后会返回一个Response对象,这个对象将返回的Http响应字节码保存到content属性中。content本身是未编码的二进制数据,如果是文本文件,则自动按str的默认方式编码。

Response对象还有一个属性text,它是一个unicode字符串对象。如果不加处理直接访问,常常会发生乱码。因为Response对象会通过另一个属性encoding来将content字节码编码成unicode,而这个encoding属性居然是responses自己猜出来的。

官方文档:

text
Content of the response, in unicode.

If Response.encoding is None, encoding will be guessed using chardet.

The encoding of the response content is determined based solely on HTTP headers, following RFC 2616 to the letter. If you can take advantage of non-HTTP knowledge to make a better guess at the encoding, you should set r.encoding appropriately before accessing this property.

responses 根据http头文件获取encoding设置,大多数情况是正确的,但有时也有例外。所以要么你使用content然后重新解码,要么把encoding设置正确。

# -*- coding: UTF-8 -*-
import requests
url = "http://xxx.xxx.xxx" #gbk格式编码的网页
response = requests.get(url)
response.encoding = 'gbk' print response.content #未编码的二进制数据,如果是文本文件,则自动按str的默认方式编码,此处按ascii编码,结果显示乱码,
print response.content.decode('gbk') #按“gbk”编码之后,显示正确
print response.text #显示正确

(完)

python语言中的编码问题(续)的更多相关文章

  1. python语言中的编码问题

    在编程的过程当中,常常会遇到莫名其妙的乱码问题.很多人选择出了问题直接在网上找答案,把别人的例子照搬过来,这是快速解决问题的一个好办法.然而,作为一个严谨求实的开发者,如果不从源头上彻底理解乱码产生的 ...

  2. Python语言中各种进制相互转换

    目录 Python语言中各种进制相互转换 将二进制.八进制.十进制的数分别转换成十进制的方法 将十进制转换成二进制.八进制.十六进制 Python语言中各种进制相互转换 本文参考自https://ww ...

  3. Python语言中的关键字(自己做的读书笔记)

    电脑配置:联想笔记本电脑 windows8系统 Python版本:2.7.8 本文章撰写时间:2015.1.1 作者:陈东陈 阅读说明: 1.本文都是先解释,后放图片: 2.文中斜体部分要么为需要输入 ...

  4. 聊聊python 2中的编码

    为什么需要编码: 计算机可以存储和处理二进制,那么从文字到计算机可以识别的二进制之间需要对应的关系,于是便有了ASCII,ASSCII使用7位字符,由于1byte=8bit,所以最高位补一个0,使用8 ...

  5. Python 2 中的编码

    在 Python 尤其是 Python2 中,编码问题是困扰开发者尤其初学者的一大问题.什么 Unicode/UTF-8/str ,又是 decode/encode 的,搞得人头都大了.其实不然,这有 ...

  6. 了解 Python 语言中的时间处理

    python 语言对于时间的处理继承了 C语言的传统,时间值是以秒为单位的浮点数,记录的是从1970年1月1日零点到现在的秒数,这个秒数可以转换成我们日常可阅读形式的日期和时间:我们下面首先来看一下p ...

  7. python 2 和python 3 中的编码对比

    在 Python 中,不论是 Python2 还是 Python3 中,总体上说,字符都只有两大类: 通用的 Unicode 字符: (unicode 被编码后的)某种编码类型的字符,比如 UTF-8 ...

  8. day06 python 3中的编码

    #python2 和 python3 的一些区别 ''' #python2 print('aaa') print'aaa' range() xrange()生成器 raw_input() #pytho ...

  9. Python语言中的按位运算

    (转)位操作是程序设计中对位模式或二进制数的一元和二元操作. 在许多古老的微处理器上, 位运算比加减运算略快, 通常位运算比乘除法运算要快很多. 在现代架构中, 情况并非如此:位运算的运算速度通常与加 ...

随机推荐

  1. Android之数据存储的五种方法

    1.Android数据存储的五种方法 (1)SharedPreferences数据存储 详情介绍:http://www.cnblogs.com/zhangmiao14/p/6201900.html 优 ...

  2. MySQL,MariaDB:Undo | Redo [转]

    本文是介绍MySQL数据库InnoDB存储引擎重做日志漫游 00 – Undo LogUndo Log 是为了实现事务的原子性,在MySQL数据库InnoDB存储引擎中,还用Undo Log来实现多版 ...

  3. How to accept Track changes in Microsoft Word 2010?

    "Track changes" is wonderful and remarkable tool of Microsoft Word 2010. The feature allow ...

  4. linux下mono的安装与卸载

    我很遗憾的告诉你,这里没有安装,为什么标题里加入安装俩字呢,因为如果不加的话你会搜到这篇文章吗?哈哈!别气馁,这里会给你些安装的tips! 源码安装,git安装:建议安装路径如下,至于为什么,我也讲不 ...

  5. MVC5在Mono上的各种坑

    买了Macbook后,各种事情的纠缠,都没好好地用过OSX系统. 果断的装上了xcode和mono,还有monodevelop. 然后把项目移植到mono上运行,各种问题. 然后第一个问题来了 权限不 ...

  6. ASP.NET 5 和Entity Framework 7公告仓库

    ASP.NET 5 有一个公告仓库来介绍ASP.NET 5和 Entity Framework 7的主要变更说明,这个对于日夜更新的项目来说,很多人经常会遇到问题但是不知道去哪里寻找帮助,很多同学在做 ...

  7. Angular2学习笔记——Observable

    Reactive Extensions for Javascript 诞生于几年前,随着angular2正式版的发布,它将会被更多开发者所认知.RxJs提供的核心是Observable对象,它是一个使 ...

  8. 透过浏览器看HTTP缓存

    作为前端开发人员,对于我们的站点或应用的缓存机制我们能做的似乎不多,但这些却是与我们关注的性能息息相关的部分,站点没有做任何缓存机制,我们的页面可能会因为资源的下载和渲染变得很慢,但大家都知道去找前端 ...

  9. 抛弃jQuery:DOM API之操作元素

    原文链接:http://blog.garstasio.com/you-dont-need-jquery/dom-manipulation/ 我的Blog:http://cabbit.me/you-do ...

  10. Leetcode 笔记 116 - Populating Next Right Pointers in Each Node

    题目链接:Populating Next Right Pointers in Each Node | LeetCode OJ Given a binary tree struct TreeLinkNo ...