编码一直都是一个很让人头疼的问题,尤其是在python里面.花了几天时间,终于把这个问题给弄明白了. 一,什么是编码,编码过程是怎样的?常见的编码方式有哪些? 编码是从一个字符,比如'哈',到一段二进制码流的过程.解码是从一段二进制码流到一个字符的过程. 在编码的过程中,会涉及到三个名词:字符,内码,字符集.字符就是终端上显示的各个文字字母等.内码和字符是一一对应的关系.每一个字符都对应一个唯一的内码.内码在内存中的具体实现称为字符集. 注意:严格来说,编码指内码编码成字符集:解码指字符集解码为…

关于ASCII码和Unicode码的来源 计算机只能处理数字,如果要处理文本,需要先将文本转换成数字.早期计算机采用8bit作为一个字节(byte).所以一个字节最大为255(二进制11111111=十进制255),更大的数字需要更长的字节. 由于计算机是美国人发明,最早只有127个字符被编码到计算机中,即英文常见的大小写字母,数字和一些符合,这个编码表就是ASCII编码. 但是世界各地有各种语言,所以ASCII码不能满足需求了.所以中国制定了GB2312编码,把中文加进去了.其他国家也都有自己…

系统编码,可以通过locale命令查看(LINUX)https://wiki.archlinux.org/index.php/Locale_(简体中文), centos7 配置文件在/etc/profile.d/lang.sh 文件编码,它代表源码文件内的所有内容都是根据词方式编码成二进制码流,存入到磁盘中的. python编码,是指python内设置的解码方式.如果不设定的话,python2默认是ascii解码.在源码文件开头(一定是第一行):#-*-coding:UTF-8-*-,源码文件的…

最近业务中需要用 Python 写一些脚本.尽管脚本的交互只是命令行 + 日志输出,但是为了让界面友好些,我还是决定用中文输出日志信息. 很快,我就遇到了异常: UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128) 为了解决问题,我花时间去研究了一下 Python 的字符编码处理.网上也有不少文章讲 Python 的字符编码,但是我看过一遍,觉得自己…

Python文件头部模板 先说个小知识点:如何在创建文件的时候自动添加文件的头部信息! 通过:file--settings 每次都通过file--setings打开设置页面太麻烦了!可以通过:View--选中Toolbar工具条…

python编码规范 文件及目录规范 文件保存为 utf-8 格式. 程序首行必须为编码声明:# -*- coding:utf-8 -*- 文件名全部小写. 代码风格 空格 设置用空格符替换TAB符. 代码缩进为4个空格符. 仅在运算符前后(如+,-,=,==)各加一个空格,不要在用于指定关键字参数或默认参数值的'='号周围使用空格,其他语句和表达式中都不要加空格. 分行 程序头部声明和import之间.import和程序之间用一个空行分隔. 类定义之间以及程序与if __name__ =="_…

认识常见编码 GB2312是中国规定的汉字编码,也可以说是简体中文的字符集编码 GBK 是 GB2312的扩展 ,除了兼容GB2312外,它还能显示繁体中文,还有日文的假名 cp936:中文本地系统是Windows中的cmd,默认codepage是CP936,cp936就是指系统里第936号编码格式,即GB2312的编码. (当然有其它编码格式:cp950 繁体中文.cp932 日语.cp1250 中欧语言...) Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案.UTF…

# -*- coding: utf-8 -*- # 直接保存为Python脚本,对照执行结果会好看点. # 实验的内容都是在Python 2.7.x下进行的. # Python3默认采用unicode来处理内部编码问题,所以不适用本内容. ######################### # Python中的字符类型 # ######################### # Python中的字符类型分两种: # 1. str类型:ascii表中的字符,占一个字节,所以也叫字节字符.字面量用双…

错误:'ascii' codec can't encode characters in position 0-1: ordinal not in range(128) 看到网上很多都不清楚,做了一天的实验,终于搞清楚这些原理 如果有错误请指出,谢谢,希望不要一开口就喷. 总结:理解3个概念,代码编码类型,即python的源代码的编码格式,有中文必须#coding:utf-8,这句话是说pytho以utf-8去解析代码 系统编码类型,指的是控制台的输出平台的编码类型 系统默认编码类型,指的是在需要…

认识常见编码 GB2312是中国规定的汉字编码,也可以说是简体中文的字符集编码 GBK 是 GB2312的扩展 ,除了兼容GB2312外,它还能显示繁体中文,还有日文的假名 cp936:中文本地系统是Windows中的cmd,默认codepage是CP936,cp936就是指系统里第936号编码格式,即GB2312的编码. (当然有其它编码格式:cp950 繁体中文.cp932 日语.cp1250 中欧语言...) Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案.UTF…

在 python 源代码文件中,如果你有用到非ASCII字符,则需要在文件头部进行字符编码的声明,声明如下: # code: UTF-8 因为python 只检查 #.coding 和编码字符串,所以你可能回见到下面的声明方式,这是有些人为了美观等原因才这样写的: #-*- coding: UTF-8 -*- 常见编码介绍: GB2312编码:适用于汉字处理.汉字通信等系统之间的信息交换 GBK编码:是汉字编码标准之一,是在 GB2312-80 标准基础上的内码扩展规范,使用了双字节编码 ASC…

转载自:https://foofish.net/python-unicode-error.html 不论你是有着多年经验的 Python 老司机还是刚入门 Python 不久的新贵,你一定遇到过UnicodeEncodeError.UnicodeDecodeError 错误,每当遇到错误我们就拿着 encode.decode 函数翻来覆去的转换,有时试着试着问题就解决了,有时候怎么试都没辙,只有借用 Google 大神帮忙,但似乎很少去关心问题的本质是什么,下次遇到类似的问题重蹈覆辙,那么你有没…

字符串编码在python里是经常会遇到的问题,特别是写文件或是网络传输调用某些函数的时候. 现在来看看python中的unicode编码和utf-8编码 字符串编码的历史 计算机只能处理数字,文本转换为数字才能处理. 计算机中8个bit作为一个字节,所以一个字节能表示最大的数字为255 计算机是美国人发明的,一个字节就可以表示所有的英文字符了,所以ACSII(一个字节)编码就成为美国人的标准编码 但是中文里远远不止255个汉字,这时用ASCII来处理中文是明显不够用的,所以我国制定了GB2312…

原文地址:http://www.cnblogs.com/alex3714/articles/7550940.html 编码回顾 在备编码相关的课件时,在知乎上看到一段关于Python编码的回答 这哥们的这段话说的太对了,搞Python不把编码彻底搞明白,总有一天它会猝不及防坑你一把. 不过感觉这哥们的答案并没把编码问题写明白,所以只好亲自动笔了. 折腾编码问题,有很多次,我以为自已明白了,最终发现,那只不过是自圆其说而已,这一次,终于100%确定,动笔即不再改! 看这篇文章前,你应该已经知道了为…

Introduction 介绍 本文提供的Python代码编码规范基于Python主要发行版本的标准库.Python的C语言实现的C代码规范请查看相应的PEP指南1. 这篇文档以及PEP 257(文档字符串的规范)改编自Guido原始的<Python Style Guide>一文,同时添加了一些来自Barry的风格指南2. 这篇规范指南随着时间的推移而逐渐演变,随着语言本身的变化,过去的约定也被淘汰了. 许多项目有自己的编码规范,在出现规范冲突时,项目自身的规范优先. A Foolish Co…

(一)Python执行的方式 Window: 在CMD里面,使用 Python + 相对路径/绝对路径 在解释器里面,直接输入,一行代码一行代码的解释 Linux: 明确地指出用Python解释器来执行该文件,Python + 相对路径/绝对路径 .如果想要像执行shell一样执行Python,那么就需要在文件头部指定解释器 #!/usr/bin/env python print("Hello, World!") 如此一来,执行文件名即可. PS:需要给文件加上执行权限 (二)内容编码…

 转载:https://www.cnblogs.com/whatisfantasy/p/6422028.html 1 版本差异概览 1.1 Python 2.X: str(用于8位文本和二进制数据) unicode(用于宽字符文本) 在Python2中,通用的str类型填补了二进制数据的这一角色(特指python3中的bytes类型),因为字符串也只是字节的序列(单独的unicode类型处理宽字符串). 在Python2中,为了兼容性而使用b'xxx',但是它与'xxx'是相同的,并且产生一个s…

一篇关于STR和UNICODE的好文章 整理下python编码相关的内容 注意: 以下讨论为Python2.x版本, Py3k的待尝试 开始 用python处理中文时,读取文件或消息,http参数等等 一运行,发现乱码(字符串处理,读写文件,print) 然后,大多数人的做法是,调用encode/decode进行调试,并没有明确思考为何出现乱码 所以调试时最常出现的错误 错误1 Traceback (most recent call last): File "<stdin>"…

Python 编码规范(Google) https://blog.csdn.net/q469587851/article/details/54096093 Python 风格规范(Google) 本项目并非 Google 官方项目, 而是由国内程序员凭热情创建和维护. 如果你关注的是 Google 官方英文版, 请移步 Google Style Guide 以下代码中 Yes 表示推荐,No 表示不推荐. 分号 不要在行尾加分号, 也不要用分号将两条命令放在同一行. 行长度 每行不超过80个字符…

最近利用python抓取一些网上的数据,遇到了编码的问题.非常头痛,总结一下用到的解决方案. linux中vim下查看文件编码的命令 set fileencoding python中一个强力的编码检测包 chardet ,使用方法非常简单.linux下利用pip install chardet实现简单安装 import chardet f = open('file','r') fencoding=chardet.detect(f.read()) print fencoding fencoding…

本文中,以'哈'来解释作示例解释所有的问题,“哈”的各种编码如下: 1. UNICODE (UTF8-16),C854:2． UTF-8,E59388:3． GBK,B9FE. 一.python中的str和unicode 一直以来,python中的中文编码就是一个极为头大的问题,经常抛出编码转换的异常,python中的str和unicode到底是一个什么东西呢?在python中提到unicode,一般指的是unicode对象,例如'哈哈'的unicode对象为 u'\u54c8\u54c8' 而…

1. 字符编码简介 1.1. ASCII ASCII(American Standard Code for Information Interchange),是一种单字节的编码.计算机世界里一开始只有英文,而单字节可以表示256个不同的字符,可以表示所有的英文字符和许多的控制符号.不过ASCII只用到了其中的一半(\x80以下),这也是MBCS得以实现的基础. 1.2. MBCS 然而计算机世界里很快就有了其他语言,单字节的ASCII已无法满足需求.后来每个语言就制定了一套自己的编码,由于单字节…

一.预备知识 字符集 1, 常用字符集分类 ASCII及其扩展字符集作用:表语英语及西欧语言.位数:ASCII是用7位表示的,能表示128个字符:其扩展使用8位表示,表示256个字符.范围:ASCII从00到7F,扩展从00到FF.ISO-8859-1字符集作用:扩展ASCII,表示西欧.希腊语等.位数:8位,范围:从00到FF,兼容ASCII字符集.GB2312字符集作用:国家简体中文字符集,兼容ASCII.位数:使用2个字节表示,能表示7445个符号,包括6763个汉字,几乎覆盖所有高频率汉…

一:学习内容 python编码讲解 python编码说明 python中文乱码解决三部曲 二:python编码讲解 1. ASCII编码 美国信息交换标准代码(American Standard Code for Information Interchange,简称ASCII)是一种用于信息交换的美国标准代码,它的作用是给英文字母.数字.标点. 字符转换成计算机能识别的二进制数规定了一个大家都认可并遵守的标准. ord('a') ord('z') chr(97) chr(122) Ascii表:…

Python3.6(windows系统)解决编码问题 1,py文件代码: import urllib.request url = "http://www.douban.com/" webPage = urllib.request.urlopen(url) data = webPage.read() data = data.decode('UTF-8') print(data) print(type(webPage)) print(webPage.geturl()) print(webP…

python学习—字符编码 例如汉字“中” 十进制:20013 二进制:01001110 00101101(unicode)/11100100 10111000 10101101(utf-8) 十六进制:u4e2d 八进制: ascii ASCII编码是1个字节 只能编码纯英文 节省空间 unicode Unicode编码通常是2个字节.(比如字母A用ASCII编码是十进制的65,二进制的01000001:A的Unicode编码是00000000 01000001.) uicode统一编码,解决…

Python编码 初始编码: 电脑的传输,还有储存,实际上都是010101010 ASCII码: (American Standard Code for Information Interchange,美国标准信息交换代码)是基于拉丁字母的一套电脑编码系统,主要用于显示现代英语和其他西欧语言,其最多只能用 8 位来表示(一个字节),2**8 = 256,所以,ASCII码最多只能表示 256 个符号. assic码最左边一位都是0,设计者预留出来的一位,方便后期拓展. 00000001 8位bi…

结合之前遇到的坑以及下面贴的这篇文章, 总结几种python乱码解决方案,如果遇到乱码,不妨尝试一下? 1,必备 #encoding=utf-8 2, python编程环境编码 import sys reload(sys) sys.setdefaultencoding('utf8') 3,不知道神马编码的时候用chardet查一下 from chardet import detect # detect(str),参数只能是str,不能是unicode编码的 if not isinstance(l…

概述 在使用Python或者其他的编程语言,都会多多少少遇到编码错误,处理起来非常痛苦.在Stack Overflow和其他的编程问答网站上,UnicodeDecodeError和UnicodeEncodeError也经常被提及.本篇教程希望能帮你认识Python编码,并能够从容的处理编码问题. 本教程提到的编码知识并不限定在Python,其他语言也大同小异,但我们依然会以Python为主,来演示和讲解编码知识. 通过该教程,你将学习到如下的知识: 获取有关字符编码和数字系统的概念 理解编码如何…

一.什么是编码 编码是指信息从一种形式或格式转换为另一种形式或格式的过程. 在计算机中,编码,简而言之,就是将人能够读懂的信息(通常称为明文)转换为计算机能够读懂的信息.众所周知,计算机能够读懂的是高低电平,也就是二进制位(0,1组合). 而解码,就是指将计算机的能够读懂的信息转换为人能够读懂的信息. 二. 编码的发展渊源 由于计算机最早在美国发明和使用,所以一开始人们使用的是ASCII编码.ASCII编码占用1个字节,8个二进制位,最多能够表示2**8=256个字符. 随着计算机的发展,ASC…