使用visual studio最大的一个问题就是文件编码问题,当文件中有中文时,visual studio 会默认为区域编码,也就是gb2312,如果想跨平台或者不用vs编译的话,就会因为编码问题导致各种错误. 所以写了个python脚本来检测原文件编码并转换为目标编码,以下代码以目标编码为utf-8为例: 需要安装chardet,详情:https://pypi.python.org/pypi/chardet 使用方法:python to_utf8.py /my_project/src impo…

Python读取文件编码及内容 最近做一个项目,需要读取文件内容,但是文件的编码方式有可能都不一样.有的使用GBK,有的使用UTF8.所以在不正确读取的时候会出现如下错误: UnicodeDecodeError: 'gbk' codec can't decode byte 而且当你使用rb模式读取文件时候,返回的结果通过django返回的json会出现下面错误: TypeError: b'\xbc\x8c\xe6\x9c\xaa\xe6\x9d\xa5' is not JSON serializ…

python的文件编码处理有点粗鲁 1.不管文件原来是编码类型,读入后都转换成Unicode的编码 2.写入文件时,write函数把变量以读入文件的编码方式写入(根据open(path,mode,encoding='utf-8')里的encoding,这个的utf-8只是举个例子,如果encoding未赋值,责根据解释器默认的文件读入编码模式来编码),(举个例子:读入文件是gbk编码,处理过程是用Unicode处理,处理完 了会转成gbk保存.这些事儿都是python默默的做的) 3.如果想中途…

#coding=utf-8和# -*- coding: utf-8 -*-的作用 – 指定文件编码类型 注意的两点: 1.声明必须在文件的第一行或第二行: 2.coding后面必须紧跟冒号或等号,#coding : utf-8是错的. 例: 声明编码前有字符串 '''testing user longin''' #coding:utf-8 print u'''登录相关的测试''' 或 声明编码位于第三行 #'test' #coding:utf-8 print u'''登录相关的测试''' 或 c…

前言: 文件打开的原则是“ 以什么编码格式保存的,就以什么编码格式打开 ”,我们常见的文件一般是以“ utf-8 ”或“ GBK ”编码进行保存的,由于编辑器一般设置了默认的保存和打开方式,所以我们在记事本或常见文档编辑器如Word中不容易看到乱码的情况发生,但是,当我们要在内存里读取打开一个文件时,如果文档编码方式和计算机内存默认读取文件的编码不同,或者我们打开文件时未设置正确的编码打开规则,则很有可能出现一堆乱码,无法正常读取文件内容,影响接下来的工作. 其实,这些情况早就有大佬想到了,所以…

import chardet import os def strJudgeCode(str): return chardet.detect(str) def readFile(path): try: f = open(path, 'r') filecontent = f.read() finally: if f: f.close() return filecontent def WriteFile(str, path): try: f = open(path, 'w') f.write(str)…

写文件报数据. 同样的编码. 含中文字段的输出文件 编码为utf-8 无中文的却是asc import codecstxt = u”qwer”file=codecs.open(“test”,”w”,”utf-8-sig”)file.write(txt)file.close() 解决…

参考:http://my.oschina.net/waterbear/blog/149852 chardet模块,能够实现文本编码的检查, 核心代码: import chardet chardet.detect(content)['encoding'] 实现目录java文件转码: #-*- coding: utf-8 -*- import codecs import os import shutil import re import chardet def convert_encoding(fi…

在python源文件的第一行或第二行写入如下内容: # -*- coding:gbk -*- # 设置源文件编码格式为gbk 或 # -*- coding:utf-8 -*- # 设置源文件编码格式为utf-8 作用: 告诉解释执行器,此前文件的编码是什么?…

decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode('gb2312'),表示将gb2312编码的字符串str1转换成unicode编码. encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode('gb2312'),表示将unicode编码的字符串str2转换成gb2312编码. 后台处理时用decode,将数据写入文件中时用encode…

encode(编码)   decode(解码)   encoding(编码格式) #-*- coding:utf-8 -*- import chardet #用于查看编码 with open("d:/kk/kk.txt", "rb") as temp: tem = temp.read() print(tem) print(chardet.detect(tem)) print(tem.decode(encoding="gb2312")) print…

import sys reload(sys) sys.setdefaultencoding('utf-8')…

用chardet检测编码 import chardet raw = open("model.json", 'rb').read() result = chardet.detect(raw) # 检测编码 encoding = result['encoding'] f = open("model.json", "r", encoding=encoding) lines = f.readlines() for line in lines: print…

简介 这篇文章是为了介绍定义python源文件文件编码的方法.python解释器可以根据所指定的编码信息对当前文件进行解析.通常来说,这种方法可以提高解析器对Unicode编码的源文件的识别,并且支持书写Unicode编码,例如在一个支持unicode编码的编辑器中使用UTF-8. 问题 在python2.1中,unicode编码只能通过Latin-1中的“unicode-escape”的方式来实现.这让很多平时不使用Latin-1编码的用户感到非常的不友好,尤其是大多数的亚洲国家更是这样.程序…

xml文件内容: <?xml version="1.0" encoding="UTF-8"?> <result> <code>1</code> <data> <person> <name>张三</name> <id>1</id> <url>http://192.168.191.1:9999/TestWeb/c7fe21616d2a5e2…

主要内容:     1.Unicode 和 UTF-8的爱恨纠葛     2.字符在硬盘上的存储     3.编码的转换     4.验证编码是否转换正确     5.Python bytes类型 前言: 学习Python,字符编码间的转换是绕不过去的一只拦路虎,不把编码彻底搞明白,总有一天它会猝不及防坑你一把. Python2.x和Python3.x在字符编码的设置上也有很大区别(Python3未来将是主流,所以Python3为主),今天我们就来一起学习下. 上一篇文章里我已经简述了Pytho…

参考:Python常见字符编码 + Python常见字符编码间的转换 一.Python常见字符编码 字符编码的常用种类介绍 第一种:ASCII码 ASCII(American Standard Code for Information Interchange,美国信息交换标准代码)是基于拉丁字母的一套电脑编码系统,主要用于显示现代英语和其他西欧语言.它是现今最通用的单字节编码系统,并等同于国际标准ISO/IEC 646.如下图所示: 由于计算机是美国人发明的,因此,最早只有127个字母被编码到计…

首先获取到json模块,encoding指定文件编码utf-8,errors报错时忽略错误,print()输出结果看看是否有问题. # -*- coding: utf-8 -*- import json 打开文件读取json数据 content = open('static/data/raw/news.json', 'r',encoding='utf-8',errors='ignore') print(content ) 如果用encoding指定字符集后还是中文乱码的话我们就要设置一个系统环境…

#!/usr/bin/python指定用什么解释器运行脚本以及解释器所在的位置 # -*- coding: utf-8 -*-用来指定文件编码为utf-8的PEP 0263 -- Defining Python Source Code Encodingshttp://www.python.org/dev/peps/pep-0263/ 估计有不少人注意过一些python脚本开头有这么行东东:#!/usr/bin/python它是用来干嘛的?貌似没有它对脚本功能也没啥影响.它是用来指定用什么解释器运…

原文网址:http://www.crifan.com/python_head_meaning_for_usr_bin_python_coding_utf-8/ #!/usr/bin/python 是用来说明脚本语言是python的 是要用/usr/bin下面的程序(工具)python,这个解释器,来解释python脚本,来运行python脚本的. # -*- coding: utf-8 -*- 是用来指定文件编码为utf-8的 详情可以参考: PEP 0263 — Defining Python…

1.#!/usr/bin/python 是用来说明脚本语言是 python 的 是要用 /usr/bin下面的程序(工具)python,这个解释器,来解释 python 脚本,来运行 python 脚本的. 2.# -*- coding: utf-8 -*- 是用来指定文件编码为 utf-8 的 详情可以参考:PEP 0263 — Defining Python Source Code Encodings 在此,详细的(主要是翻译)解释一下,为何要加这个编码声明,以及如何添加编码声明: 2.1…

python 支持3种编码声明,一般常用能见到下面两种 1.# -*- coding: utf-8 -*- 这种写法是为了兼容Emacs的编码声明 2.短一点,但Emacs不能用# coding=utf-8 短一点,但Emacs不能用 之所以要声明未编码类型 ,主要是中文出错的问题. 在python 文件开头(一般是第一行或第二行),用来说明你的Python源程序文件用使用的编码.缺省情况下你的程序需要使用ascii码来写,但如果在其中写中文的话,python解释器一般会报错,但如果加上你所用的…

一. python打开文件代码如下: f = open("d:\test.txt", "w") 说明: 第一个参数是文件名称,包括路径: 第二个参数是打开的模式mode 'r':只读(缺省.如果文件不存在,则抛出错误) 'w':只写(如果文件不存在,则自动创建文件) 'a':附加到文件末尾 'r+':读写 如果需要以二进制方式打开文件,需要在mode后面加上字符"b",比如"rb""wb"等 二.pytho…

1.编码 python3 中使用utf-8作为默认编码. UTF-8对Unicode进行转化,为解决存储和网络传输问题. UTF是为Unicode编码设计的一种在存储和传输节省空间的编码方案. Unicode是万国码且世界所有电脑都基本支持. python3执行代码过程: 1.解释器找到代码文件,把代码字符串文件头定义的编码加载到内存,系统转成Unicode编码. 2.把代码字符串按照流程语法规则进行解析. 3.所有变量字符串都以Unicode编码声明. .decode("")用什么编…

IndentationError: unindent does not match any outer indentation level 文件未对齐,在记事本打开. 乱码原因:源码文件的编码格式为utf-8,但是window的本地默认编码是gbk,所以在控制台直接打印utf-8的字符串当然是乱码了! 解决方法:1.print mystr.decode('utf-8').encode('gbk')2.比较通用的方法: 复制代码代码如下: import systype = sys.getfiles…

一. python打开文件代码如下: f = open("d:\test.txt", "w") 说明:第一个参数是文件名称,包括路径:第二个参数是打开的模式mode ‘r’:只读(缺省.如果文件不存在,则抛出错误)‘w’:只写(如果文件不存在,则自动创建文件)‘a’:附加到文件末尾‘r+’:读写 如果需要以二进制方式打开文件,需要在mode后面加上字符”b”,比如”rb””wb”等 二.python读取文件内容f.read(size) 参数size表示读取的数量,可…

ascii和unicode是字符集,utf-8是编码集 字符集:为每一个「字符」分配一个唯一的 ID(学名为码位 / 码点 / Code Point) 编码规则:将「码位」转换为字节序列的规则(编码/解码 可以理解为 加密/解密 的过程) ascii每个字符占用一个字节(8位),其中第一位恒为0,因此ascii一共可以表示128个字符 unicode每个字符占用两个字节(16位),可以用来表示汉字 链接:https://www.zhihu.com/question/23374078/answer…

系统编码,可以通过locale命令查看(LINUX)https://wiki.archlinux.org/index.php/Locale_(简体中文), centos7 配置文件在/etc/profile.d/lang.sh 文件编码,它代表源码文件内的所有内容都是根据词方式编码成二进制码流,存入到磁盘中的. python编码,是指python内设置的解码方式.如果不设定的话,python2默认是ascii解码.在源码文件开头(一定是第一行):#-*-coding:UTF-8-*-,源码文件的…

1.编码的进阶 字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码.即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码. decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode('gb2312'),表示将gb2312编码的字符串str1转换成unicode编码. encode的作用是将unicode编码转换成其他编码的字符串,如str2.enc…

在linux中获取系统编码结果: Windows系统的编码,代码页936表示GBK编码 可以看到linux系统默认使用UTF-8编码,windows默认使用GBK编码.Linux环境下,文件默认使用UTF-8编码.当然你也可以指定文件编码方式. 这个时候需要告诉python解释器用utf-8去解读python源文件 Python解释器内部默认使用的ASCII编码方式去解读python源文件 Python字符编码 Python2中有两类字符串,分别是str与unicode.这两类字符串都派生自抽象…