主要介绍了python的编码机制,unicode, utf-8, utf-16, GBK, GB2312,ISO-8859-1 等编码之间的转换. 常见的编码转换分为以下几种情况: 自动识别 字符串编码 可以使用 chardet 模块自动识别 字符创编码 chardet 使用方法 unicode 转换为其它编码(GBK, GB2312等) 例如:a为unicode编码 要转为gb2312.a.encode('gb2312') # -*- coding=gb2312 -*- a = u"中文&qu

1. 当用一个软件(比如Windows记事本或Notepad++)打开一个文本文件时,它要做的第一件事是确定这个文本文件究竟是使用哪种编码方式保存的,以便于该软件对其正确解码,否则将显示为乱码. 一般软件确定文本文件编码方式的方法有如下三种: 检测文件头标识: 提示用户手动选择: 根据一定的规则自行推断. 2. 文件头标识一般指的是字节顺序标记BOM(Byte Order Mark),位于文件的最开始.当打开一个文本文件时,就BOM而言,有如下几种情形: BOM为:EF BB BF ——表示编码

其实利用python实现汉字的简体和繁体相互转早有人做过,并发布到github上了,地址:https://github.com/skydark/nstools/tree/master/zhtools 该项目还有其他很多跟汉字相关的功能,本文只介绍繁体和简体相互转换 具体方法很简单,下载该项目中的 zh_wiki.py  和 langconv.py 两个文件,放到python代码目录下就可以了. 我的python是3.5版本,所以在字符串的decode上和python2.x 有所不同,demo:

一.初衷: 一些开源软件的配置文件中识别区分的部分用英文,那么我们在批量生成配置文件的时候,可以从CMDB导入汉字(idc_name), 然后将它转换成拼音,再或者拼接上IP地址,以便更准确的识别.例如:Smokeping的Targets配置文件,如下: +telcom menu = 中国电信 title = telcom ++yunfuxinxingshuangxian-01-61 menu = 云浮新兴双线-01 title = 61.11.11.11 host = 61.11.11.11

最近在使用Python做项目时,需要将汉字转化成对应的拼音. 网上的一些包大多是python2.x的,使用下面这个包,支持python3.6 xpinyin 0.5.5 >>> from xpinyin import Pinyin >>> p = Pinyin() >>> # default splitter is `-` >>> p.get_pinyin(u"上海") 'shang-hai' >>&g

本文参考: Python中文转拼音代码(支持全拼和首字母缩写) 中文中不可以有“()” # -*- coding: utf-8 -*- __version__ = '0.9' __all__ = ["PinYin"] import os.path class PinYin(object): def __init__(self): self.word_dict = {} def load_word(self, dict_file): self.dict_file = dict_file

上代码: #!/usr/bin/env python # -*- coding:utf-8 -*- """ Author:cleverdeng E-mail:clverdeng@gmail.com """ __version__ = '0.9' __all__ = ["PinYin"] import os.path class PinYin(object): def __init__(self, dict_file='word

http://www.cnblogs.com/rollenholt/archive/2011/08/01/2123889.html

国标二级字库汉字GB内码un码三合一对照表 字王2016版 汉字内码表,是制作字库的基础,简单.便利的版本很少,根据实战经验,特此制作这个三合一版本的汉字.GB内码.Unicode码对照表: l 提供GB内码.Unicode内码两种不同格式的版本. l 格式如下:汉字,GB内码.Unicode-16内码:中间用英文逗号符分隔, l 每行最后的逗号符,并非多于,便于编程.批命令需要,特别是python的list列表导入. l 国标一二级字库,源自1980年颁布的<信息交换用汉字编码字符集--基本集

文件操作 我们可以使用python来操作文件,比如读取文件内容.写入新的内容等,因为任何计算机文件的本质都是一些有不同后缀的字符组成的. python文件操作的两种模式 打开模式 while,写入模式,简写为 w ,指定的文件不存在则创建文件,存在则打开并清空内容,并且将文件指针(光标)放在文件的开头. read,读取模式,简写为 r ,文件不存在则报错,存在则打开文件,并且将文件指针放在文件的开头. append,追加模式,简写为 a ,文件不存在则创建文件,存在则打开文件,并且将指针放在文件

话不多说,直接上代码吧. import requests def getIpAddr(url): response = requests.get(url) response.encoding=response.apparent_encoding content = response.text #print(len("四川省成都市 电信")) python 汉字算一个字节 #print(type(content)) str = content[content.find("Whw

笔者工作业余时间也没什么爱好,社交圈子也小,主要娱乐就是背着自己带电瓶的卖唱音响到住地附近找个人多的位置唱唱KtV. 硬件上点歌就用笔记本电脑,歌曲都是网上下载的mkv格式的含有两个音轨的视频.因此点歌软件成了笔者的需求. 点歌软件需求极简单: 读磁盘上的目录取全部music,双击则调用播放器播放music. 自己常唱的歌曲可以选到自选歌曲列表. 支持按简拼搜索music 之前已经用多种开发工具写过,这次逢学习python的机会用它再写一个python版. 软件界面如下: 双击启动播放器. 就代

class Point: def __init__(self, x, y): self.x = x self.y = y point1 = Point(1, 2) point2 = eval("{}({}, {})".format("Point", 1, 2)) point3 = globals()["Point"](1, 2) point4 = locals()["Point"](1, 2) point5 = getattr

python 汉字拼音库 pypinyin 这个库还是很好用的,这个库还是很简单的,中文注解,下面是源码,看注释就可以大致明白方法的意思 #!/usr/bin/env python # -*- coding: utf-8 -*- from __future__ import unicode_literals from copy import deepcopy from itertools import chain from pypinyin.compat import text_type, ca

计算机起初是设计用来做数学计算的,Computer 一词英文原意是"计算员"--在计算机发明之前,计算员是一个独立的职业,专门做各种数学用表的计算,如测量和天文领域的三角函数表.对数表,航海领域的航海天文历等. 计算机发明后不久,人们发现,这玩意除了能当计算员,还能当文员,用来处理人类社会的非数字信息.然而,计算机在设计上是只认识数字的(具体说是只认识二进制数字),要想让它能够识别并处理人类符号,就必须采取某种翻译手段,在计算机的二进制数字和人类的符号之间做双向转换. 这种字符-数字的

沉寂了许久(大概有三个多月了吧),LZ"按捺不住"开始写博了! java编码中的中文问题是一个老生常谈的问题了,每次遇到中文乱码LZ要么是按照以前的经验修改,要么则是baidu.com来解决问题.阅读许多关于中文乱码的解决办法的博文后,发现对于该问题我们都(更加包括我自己)没有一个清晰明了的认识,于是LZ想通过这系列博文(估计只有几篇)来彻底分析.解决java中文乱码问题,如有错误之处望各位同仁指出!当然,此系列博文并非LZ完全原创,都是在前辈基础上总结,归纳,如果雷同纯属借鉴-- 问

问题起源 对于计算机而言,它仅认识两个0和1,不管是在内存中还是外部存储设备上,我们所看到的文字.图片.视频等等“数据”在计算机中都是已二进制形式存在的.不同字符对应二进制数的规则,就是字符的编码.字符编码的集合称为字符集. 在早期的计算机系统中,使用的字符是非常少的,他们只包括26个英文字母.数字符号和一些常用符号,对于这些字符进行编码,用1个字节就足够了,但是随着计算机的不断发展,为了适应全世界其他各国民族的语言,这些少得可怜的字符编码肯定是不够的.于是人们提出了UNICODE编码,它采用双

原文出处:http://cmsblogs.com/?p=1395 沉寂了许久(大概有三个多月了吧),LZ“按捺不住”开始写博了! java编码中的中文问题是一个老生常谈的问题了,每次遇到中文乱码LZ要么是按照以前的经验修改,要么则是baidu.com来解决问题.阅读许多关于中文乱码的解决办法的博文后,发现对于该问题我们都(更加包括我自己)没有一个清晰明了的认识,于是LZ想通过这系列博文(估计只有几篇)来彻底分析.解决java中文乱码问题,如有错误之处望各位同仁指出!当然,此系列博文并非LZ完全原

简体汉字编码方案(GB2312.GBK.GB18030.GB13000)以及全角.半角.CJK   一.概述 1. 英文字母再加一些其他标点字符之类的也不会超过256个,用一个字节来表示一个字符就足够了(2^8 = 256).但其他一些文字不止这么多字符,比如中文中的汉字就多达10多万个,一个字节只能表示256个字符,肯定是不够的,因此只能使用多个字节来表示一个字符. 于是当计算机被引入到中国后,相关部门设计了GB系列编码("GB"为"国标"的汉语拼音首字母缩写,即

9.字符集9.1 字符集概述 字符集就是一套文字符号及其编码.比较规则的集合. ASCII(American Standard Code for Information Interchange)字符集:采用7位编码,包括大小写英文字母.阿拉伯数字和标点符号,及33个控制符号等.9.2 Unicode字符集 ISO-10646采用4字节编码,简称UCS-4,将代码空间分为4部分(组group.面plane.行row.格ceil),每部分各占一个字节. Unicode采用2字节编码,Unicode编

1.常见字符编码 ASCII编码: ASCII,American Standard Code for Information Interchange,是基于拉丁字母的一套电脑编码系统,主要用于显示现代英语和其他西欧语言.它是现今最通用的单字节编码系统.   ASCII码使用指定的7位或者8为二进制数字组合表示128或者256种可能的字符.标准的ASCII编码使用的是7(2^7 = 128)位二进制数来表示所有的大小写字母.数字和标点符号已经一些特殊的控制字符,最前面的一位统一规定为0.其中0-3