去除utf8文件的bom标记

http://stackoverflow.com/questions/1068650/using-awk-to-remove-the-byte-order-mark http://thegreyblog.blogspot.com/2010/09/shell-script-to-find-and-remove-bom.html…

起因是公司iOS端竟然加载除了HTML代码,百思不得其解,查文献,原来如此... UTF-8 不需要 BOM,尽管 Unicode 标准允许在 UTF-8 中使用 BOM.所以不含 BOM 的 UTF-8 才是标准形式,在 UTF-8 文件中放置 BOM 主要是微软的习惯(顺便提一下:把带有 BOM 的小端序 UTF-16 称作「Unicode」而又不详细说明,这也是微软的习惯).BOM(byte order mark)是为 UTF-16 和 UTF-32 准备的,用于标记字节序(byte or…

用VIM设置UTF-8编码的BOM标记

1.去掉BOM标记: :set nobomb 2.加上BOM标记: :set bomb 3.查询当前UTF-8编码的文件是否有BOM标记: :set bomb? 4.更高级一点的: :%!xxd "以16进制模式打开文件:%!xxd -r "将以16进制格式打开的文件返回文本模式编辑所以,先用第一个命令将文件以16进制打开,删除文件开头的EF BB BF,然后再用第二个命令返回文本模式.…

关于UTF8文件带BOM头可能会引起的错误解析

今天在做一个文件上传的项目中碰到了一个十分奇怪的问题,在解析上传上来的csv文件时,总是在解析第一行的第一个标题字段时出错,就是第一个那个字段总是和对应的model字段对应不上,这个坑是真的很深,找了半天,发现原来utf8编码格式的文件可能会有BOM头这玩意儿! 我们先来看看什么是BOM头: 在utf-8编码文件中BOM在文件头部,占用三个字节,用来标示该文件属于utf-8编码. 现在已经有很多软件识别bom头,但是还有些不能识别bom头,比如PHP就不能识别bom头,这也是用记事本编辑utf-…

C# UTF-8文件带BOM和不带BOM文件的转换

读取INI文件使用的是GetPrivateProfileString方法,自己读写ini文件没有问题. 调用C++的API对同一个ini文件进行处理后,发现首个Section的值读不出来:发现是API更改了ini文件格式. 原本C#进行读写的ini文件是UTF-8不带BOM的格式,C++ API写值后将ini文件格式改为UTF-8带BOM. API那边没有办法更改,GetPrivateProfileString我也不知道该怎么设定成带BOM的格式: 只能自己转换文件格式,转换方法如下: //以U…

java utf-8文件处理bom头

UTF? UTF,是UnicodeTransformationFormat的缩写,意为Unicode转换格式. 即怎样将Unicode定义的数字转换成程序数据.utf是对Unicode的一种编码格式化. JVM里面的任何字符串资源都是Unicode,就是说,任何String类型的数据都是Unicode编码.没有例外.既然只有一种编码,那么,我们可以这么说,JVM里面的String是不带编码的.String相当于 char[]. JVM里面的 byte[] 数据是带编码的.比如,Big5,GBK…

php -- PHP5中file_get_contents函数获取带BOM的utf-8文件内容

最近,在用file_get_contents函数来取得文本的内容的时候,出现了一个情况(如下),苦思冥想了n久,不得其解,最后,果然还是得靠百度啊..... 百度到一个解释,下面是原文: PHP5中的file_get_contents函数获取文件内容,实际是按二进制来读取的,所以,当你用file_get_contents去获取一个带BOM的UTF-8文件时,它并不会把UTF-8的BOM去掉,当你把读取的内容当作文本内容来进行一些操作时,可能会发生一些意想不到的结果.这并不能算作一个BUG,因为f…