一:学习内容

  • python编码转换
  • python乱码原因深入解析

二:python编码转换

1. Python内部字符串一般都是Unicode编码,代码中字符串的默认编码与代码文件本身的编码是一致的。

2. Python编码转换通常是要以unicode作为中间编码进行转换的,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。

3. Python编码转换实例:gbk存储的字符—>decode('gbk')—>unicode—>encode('utf-8')

编码转换流程解析如下:

a.  decode的作用是将其他编码的字符串转换成unicode编码。

例如:name.decode('GB2312'),表示将GB2312编码的字符串name转换成unicode编码。

b.  encode的作用是将unicode编码转换成其他编码的字符串。

例如:name.encode('GB2312'),表示将unicode字符串name转换成GB2312编码。

c.  进行编码转换的时候必须先知道name是哪种编码,然后decode成unicode编码,最后在encode成需要的编码。

d.  name已经就是unicode编码了,那么就不需要进行decode进行解码转换了,直接用encode就可以编码成你所需要的编码。

三:python乱码原因剖析

1. raw_input("请输入字符串".decode('utf-8').encode('gbk')),正常输出

可以看到这里打印是正确的,不会乱码。

原因:上面我已经学习了python编码转换,必须要用unicode作为中间码来转换,此处文件是utf-8,而cmd默认编码为gbk,所以我们中文需要先解码成unicode(decode('utf-8')),在编码成gbk(encode('gbk'))就可以正常显示了

2. raw_input(u"请输入字符串".decode('utf-8').encode('gbk')),输出报错

因为加上u的意思是解码成unicode,此时你又执行了解码. decode('utf-8')就会报错。.decode('utf-8')的作用就是u’中文’解码成unicode。

3. print u"中文",打印正常中文

对于字符串的打印,python的逻辑为:

a.  如果是unicode字符串,则可以自动编码为终端所用编码,然后正确显示出来。

比如u’中文’即将’中文’转换为unicode字符,输出到windows默认编码的gbk的cmd中,则python可以自动的将unicode编码为gbk,然后输出到cmd中

print u’中文’的效果类似于 print '中文'.decode(‘utf-8’)

需要注意的是:你所要打印出来的字符,虽然是unicode,但是其中如果包含了某些特殊字符,而对应的特殊字符在终端所用的编码中不存在,比如将含某些特殊字符的Unicode字符串,打印到windows的默认编码为GBK的cmd中,而GBK编码集合中,本身就没有这些字符,所以,当然也是无法显示,会出现对应的UnicodeEncodeError的错误的。

b.  如果是某种编码类型的str,则需要将该str的编码类型和目标终端匹配。

比如gbk的字符串,输出到windows默认编码为gbk的cmd中,就不会乱码。

字符串的类型也就是我们上面说的是字符串的编码,是由文件所用的实际编码决定的,即文件保存为什么编码格式的字符串就是什么编码格式。如:文件声明为#encoding=utf-8,文件保存为gbk,则文件中字符串格式为gbk。

比如utf-8字符串,输出到windows默认编码为gbk的cmd中,就会乱码,我们需要将该utf-8字符串.decode('utf-8')即解码为unicode编码,然后.encode('gbk')(注意:此处不进行.encode('gbk')也可以,因为上面说了print打印系统可以自动将unicode编码为终端所用编码)才能在cmd中正常输出。字符的编码和解码,要求解码的字符串与当前字符串的编码(文件保存为什么类型字符串编码就是什么类型)一致。

即windows默认情况下cmd的输出中:

print u'中文' == print '中文'.decode('utf-8') == print '中文'.decode('utf-8').encode('gbk')

3. 输出字典中的中文

我们知道字典中如果有中文,一般打印出来都是显示的存储的编码模式:

不能显示成中文,可以用如下办法来打印整个字典并让中文正常显示:

#encoding=utf-8

import json

a={u'测试':0,u'开发':0}

dic={}

for i in a:

dic[i]=0

print json.dumps(dic,ensure_ascii=False,encoding='utf-8')

这样就能显示成中文了。

笔记三:python乱码深度剖析一的更多相关文章

  1. 笔记四:python乱码深度剖析二

    一:学习内容 获取更改系统编码 判断字符的编码类型 文件存储和读取的编码 二:获取更改系统编码 1. 获取系统编码 import sys print sys.getdefaultencoding() ...

  2. libevent学习笔记(参考libevent深度剖析)

    最近自学libevent事件驱动库,参考的资料为libevent2.2版本以及张亮提供的<Libevent源码深度剖析>, 参考资料: http://blog.csdn.net/spark ...

  3. ASP.NET乱码深度剖析

    写在前面 在Web开发中,乱码应该算一个常客了.今天还好好的一个页面,第二天过来打开一看,中文字符全变“外星文”了.有时为了解决这样的问题,需要花上很长的时间去调试,直至抓狂,笔者也曾经历过这样的时期 ...

  4. 数据库学习笔记 (三) python操作数据库

    python 操作MYSQL数据库主要有两种方式: 使用原生模块:pymysql ORM框架:SQLAchemy 一.pymysql 1.1下载安装模块 第一种:cmd下:执行命令下载安装:pip3 ...

  5. Netty学习笔记(三)——netty源码剖析

    1.Netty启动源码剖析 启动类: public class NettyNioServer { public static void main(String[] args) throws Excep ...

  6. jquery源码学习笔记三:jQuery工厂剖析

    jquery源码学习笔记二:jQuery工厂 jquery源码学习笔记一:总体结构 上两篇说过,query的核心是一个jQuery工厂.其代码如下 function( window, noGlobal ...

  7. Python学习笔记(三)Python的list和tuple

    list list类似其他语言中的数组,是一种有序的集合,可以随时添加和删除其中的元素. 使用len()函数可以获得list元素的个数. list的索引从0开始,当超出范围时会报IndexError错 ...

  8. 读书笔记之:C语言深度剖析

    读书笔记之:C语言深度剖析 <C 语言深度解剖>这本书是一本“解开程序员面试笔试的秘密”的好书.作者陈正冲老师提出“以含金量勇敢挑战国内外同类书籍”,确实,这本书中的知识点都是一些在面试中 ...

  9. DDOS学习笔记(《破坏之王-DDOS攻击与防范深度剖析》)

           最近花了点时间把<破坏之王-DDOS攻击与防范深度剖析>看了一遍,坦白来说,这本书比较浅显,可以说是入门书,当然对于我这种对DDOS一知半解的人来说,也是一本不错的书,起码我 ...

随机推荐

  1. 自适应XAML布局经验总结 (二) 局部布局设计模式1

    本系列对实际项目中的XAML布局场景进行总结,给出了较优化的自适应布局解决方案,希望对大家有所帮助. 下面开始介绍局部布局设计模式. 1. 工具栏模式 适用于工具栏,标题等的布局. 此块布局区域外层使 ...

  2. linux新定时器:timefd及相关操作函数

    timerfd是Linux为用户程序提供的一个定时器接口.这个接口基于文件描述符,通过文件描述符的可读事件进行超时通知,所以能够被用于select/poll的应用场景. 一,相关操作函数 #inclu ...

  3. SSRS (一)创建基础报表

    ReportService创建基础报表 1.数据库SQL Server2012选择SQL Server Data Tools 2.创建商业智能(BI)项目 选择报表服务器项目 ReportServic ...

  4. kernel 调试 打印IP地址

    #define NIPQUAD(addr) \ ((unsigned char *)&addr)[0], \ ((unsigned char *)&addr)[1], \ ((unsi ...

  5. BZOJ 1008--[HNOI2008]越狱(容斥&快速幂)

    1008: [HNOI2008]越狱 Time Limit: 1 Sec  Memory Limit: 162 MBSubmit: 12593  Solved: 5439[Submit][Status ...

  6. ssh 登陆 端口转发

    man ssh ssh [-1246AaCfgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec] [-D [bind_address:]port] ...

  7. webservice gsoap 小记

    参考 http://www.cs.fsu.edu/~engelen/soap.html 1. web service client application > wsdl2h -s -o MyHe ...

  8. Python初体验(一)—【配置环境变量】【变量】【input】【条件语句】【循环语句】

    写在前面的: 作为一个控制专业的女研究生,不知道每天在研究什么,但总归逃脱不了码代码的命运.之前也学习过一些C语言.C++,基础嘛,稍稍微有一些.本不想走上码农的道路,天真烂漫的过此生(白日梦过程中. ...

  9. 堆排序(最大堆)的理解和实现(Java)

    堆的定义 堆是具有下列性质的完全二叉树:每个节点的值都大于或等于其左右孩子节点的值,称为大顶堆:或者每个节点的值都小于或等于其左右孩子的值,称为小顶堆.如下图举例: 通过堆的定义可知,根节点一定是对中 ...

  10. Android学习之一