C# 判断一个文本文件的编码格式（转载）
文件的字符集在Windows下有两种，一种是ANSI，一种Unicode。
对于Unicode，Windows支持了它的三种编码方式，一种是小尾编码（Unicode)，一种是大尾编码(BigEndianUnicode)，一种是UTF-8编码。
我们可以从文件的头部来区分一个文件是属于哪种编码。当头部开始的两个字节为 FF FE时，是Unicode的小尾编码；当头部的两个字节为FE FF时，是Unicode的大尾编码；当头部两个字节为EF BB时，是Unicode的UTF-8编码；当它不为这些时，则是ANSI编码。
按照如上所说，我们可以通过读取文件头的两个字节来判断文件的编码格式，代码如下(C#代码）：
程序中System.Text.Encoding.Default是指操作系统的当前 ANSI 代码页的编码。
public System.Text.Encoding GetFileEncodeType(string filename)
{
using (System.IO.FileStream fs = new System.IO.FileStream(filename, System.IO.FileMode.Open, System.IO.FileAccess.Read))
{
System.IO.BinaryReader br = new System.IO.BinaryReader(fs);
byte[] buffer = br.ReadBytes(); if (buffer[] >= 0xEF)
{
if (buffer[] == 0xEF && buffer[] == 0xBB)
{
return System.Text.Encoding.UTF8;
}
else if (buffer[] == 0xFE && buffer[] == 0xFF)
{
return System.Text.Encoding.BigEndianUnicode;
}
else if (buffer[] == 0xFF && buffer[] == 0xFE)
{
return System.Text.Encoding.Unicode;
}
else
{
return System.Text.Encoding.Default;
}
}
else
{
return System.Text.Encoding.Default;
}
}
}
用StreamWriter和FileStream往文本文件中写入数据有什么不同
可能有些同学不知道，实际上用StreamWriter和FileStream往一个文本文件写入字符数据，其效果是不一样的。
我们新建一个.NET Core控制台项目，然后在其中Program类的Main方法中，使用UTF-8编码将一段html文本text转换为字节数组writeData，再用StreamWriter将html文本text写入文件C:\DemoFolder\Demo.html，然后接着我们用FileStream再将文件C:\DemoFolder\Demo.html读取为字节数组readData，我们来看看两个字节数组writeData和readData有什么不同，代码如下：
using System;
using System.IO;
using System.Text; namespace EncodingTesting
{
class Program
{
static void Main(string[] args)
{
string text = "<html><head></head><body>大家好！</body></html>";
Console.WriteLine($"字符串text的长度为：{text.Length}");//text长度为43 byte[] writeData = Encoding.UTF8.GetBytes(text);
Console.WriteLine($"字节数组writeData的长度为：{writeData.Length}");//writeData有51个字节 using (var sw = new StreamWriter(@"C:\DemoFolder\Demo.html", false, Encoding.UTF8))
{
sw.Write(text);
} byte[] readData; using (var fsr = new FileStream(@"C:\DemoFolder\Demo.html", FileMode.Open))
{
readData = new byte[fsr.Length]; fsr.Read(readData, , readData.Length);
} Console.WriteLine($"字节数组readData的长度为：{readData.Length}");//readData有54个字节 string readText = Encoding.UTF8.GetString(readData);
Console.WriteLine($"字符串readText的长度为：{readText.Length}");//readText长度为44
Console.WriteLine(readText);//输出结果：?<html><head></head><body>大家好！</body></html> Console.WriteLine("Press any key to end...");
Console.ReadKey();
}
}
}
输出结果如下：
我们可以看到使用StreamWriter将html文本text写入文件C:\DemoFolder\Demo.html后，用FileStream读取回来的字节数组readData比writeData多了3个字节，这就是因为StreamWriter用UTF-8编码写入文本文件时会自动在文件的头部加上三个字节（在WIN10中实际测试下来是多了三个字节，而不是本文前面说的两个字节）的数据EF BB BF，由于多了这三个字节的数据，我们可以看到最后字符串readText前面有一个乱码字符"?"，所以这样读写文本文件实际上是不对的。
因此最好的方法是用StreamWriter来写入文本文件，用StreamReader来读入文本文件，这样C#会自动帮我们处理UTF-8编码多出来的三个字节数据，不会出现乱码，代码如下：
using System;
using System.IO;
using System.Text; namespace EncodingTesting
{
class Program
{
static void Main(string[] args)
{
string text = "<html><head></head><body>大家好！</body></html>";
Console.WriteLine($"字符串text的长度为：{text.Length}");//text长度为43 using (var sw = new StreamWriter(@"C:\DemoFolder\Demo.html", false, Encoding.UTF8))
{
sw.Write(text);
} string readText; using (var sr = new StreamReader(@"C:\DemoFolder\Demo.html", Encoding.UTF8))
{
readText = sr.ReadToEnd();
} Console.WriteLine($"字符串readText的长度为：{readText.Length}");//readText长度为43
Console.WriteLine(readText);//输出结果：<html><head></head><body>大家好！</body></html> Console.WriteLine("Press any key to end...");
Console.ReadKey();
}
}
}
输出结果如下：
值得注意的是虽然我们用StreamWriter向文本文件C:\DemoFolder\Demo.html写入html文本时，由于UTF-8编码文件头会多写三个字节的数据，但是我们使用常用的Web浏览器（例如IE、Edge、Firefox等）打开C:\DemoFolder\Demo.html时，其内容是可以正常显示的：
但是如果我们使用FileStream来写入html文本到文本文件C:\DemoFolder\Demo.html，也就是不写入UTF-8编码文件头的三个字节数据，使用常用的Web浏览器（例如IE、Edge、Firefox等）打开C:\DemoFolder\Demo.html，反而是乱码，代码如下：
using System;
using System.IO;
using System.Text; namespace EncodingTesting
{
class Program
{
static void Main(string[] args)
{
string text = "<html><head></head><body>大家好！</body></html>";
Console.WriteLine($"字符串text的长度为：{text.Length}");//text长度为43 byte[] writeData = Encoding.UTF8.GetBytes(text);
Console.WriteLine($"字节数组writeData的长度为：{writeData.Length}");//writeData有51个字节 using (var fsw = new FileStream(@"C:\DemoFolder\Demo.html", FileMode.Create))
{
fsw.Write(writeData, , writeData.Length);
} byte[] readData; using (var fsr = new FileStream(@"C:\DemoFolder\Demo.html", FileMode.Open))
{
readData = new byte[fsr.Length]; fsr.Read(readData, , readData.Length);
} Console.WriteLine($"字节数组readData的长度为：{readData.Length}");//readData有51个字节 string readText = Encoding.UTF8.GetString(readData);
Console.WriteLine($"字符串readText的长度为：{readText.Length}");//readText长度为43
Console.WriteLine(readText);//输出结果：<html><head></head><body>大家好！</body></html> Console.WriteLine("Press any key to end...");
Console.ReadKey();
}
}
}
输出结果如下：
由于此时文件中没有UTF-8编码文件头的三个字节数据，所以用常用的Web浏览器（例如IE、Edge、Firefox等）打开C:\DemoFolder\Demo.html后为乱码：
所以由此可见，正常情况下采用UTF-8编码的文本文件，都要有三个字节的文件头，其内容才能够被正确地读取出来。
C# 判断一个文本文件的编码格式（转载）的更多相关文章
- 如何判断一个文本文件内容的编码格式 UTF-8 ? ANSI(GBK)
转自:http://blog.csdn.net/jiangqin115/article/details/42684017 UTF-8编码的文本文档,有的带有BOM (Byte Order Mark, ...
- 【转载】matlab如何判断一个点是否在多面体内
转载自:http://www.52souji.net/point-within-a-polyhedron/ 我遇到的一个实际问题是:要在空位区域随机放置一定数量的原子,这些原子在空位区域任何一处存在的 ...
- （转载）python判断一个字符串是否是小数
转载自:牛牛杂货铺 最近在写代码的时候,发现一个问题,想判断一个字符串是不是一个合法的小数,发现字符串没有内置判断小数的方法,然后就写了一个判断字符串是否是小数,可以判断正负小数,代码如下: def ...
- c c++怎么判断一个字符串中是否含有汉字
c c++怎么判断一个字符串中是否含有汉字 (2013-02-05 10:44:23) 转载▼ #include #include int main() { char sztext[] = ...
- [No000040]取得一个文本文件的编码方式
using System; using System.IO; using System.Text; /// <summary> /// 用于取得一个文本文件的编码方式(Encoding). ...
- Js判断一个单词是否有重复字母
今天上午刷到一道题,大体是写一个方法判断一个单词中是否有重复的字母(或者说一个字符串中是否有重复的字符).我的思路是一个字符一个字符地遍历,如果发现有重复的停止: function isIsogram ...
- 判断一个面（Polygon）是不是矩形
判断一个面是不是矩形在GIS中很长用的功能,那么怎么判断一个面是不是矩形呢. 这里先要弄懂一些概念,面是什么,先看OGC标准的定义. 我的英文水平有限,(有翻译更好的请留言,如果翻译的准确将被采纳)大 ...
- OpenGL判断一个点是否可见
关于OpenGL中判断一个点是否可见,可以分成两种情况讨论:点在2D空间中和3D空间中的时候.并且"在2D空间中"可以看作"在3D空间中"的特殊情况. 温馨提示 ...
- VBA 判断一个TXT编码方式,再创建一个新的文件,复制数据进去
如题,先读取一个文本文件判断编码(Unicode ANSI),就这两种编码然后将txt导入到excel表中,最后处理完成,再创建一个相同编码,不同文件名的txt文件,把新数据放进去 Sub test ...
随机推荐
- Sql Server 向上取整、向下取整、四舍五入取整
==================================================== [四舍五入取整截取] select round(55.56,0) ============== ...
- 安装slide后Powerpoint 不自动退出的解决方案
症状 打开PPT文件,powerpoint界面不启动. 原因 安装slide之后,powerpoint关闭后,powerpnt.exe进程不正常退出,需要手工终止. 解决方案 打开cmd,进入slid ...
- Centos7.5调试/etc/sysctl.conf文件导致宕机
今天安装greenplus数据库,需要调试一个核心文件/etc/sysctl.conf文件,结果导致系统异常宕机,出现的问题就是使用任何命令都不能输出正确的结果,只有这个显示: 不知道是什么原因,ls ...
- Vue、Vuex+Cookie 实现自动登陆 。
概述 1.自动登陆实现思路. 2.vuex + cookie 多标签页状态保持. 自动登陆的需求: 1.登陆时勾选自动登陆,退出登陆或登陆到期后再次登陆后自动填写表单(记住密码)或访问登陆页自动登陆. ...
- Linux 小知识翻译 - 「Unix」和「兼容Unix的OS」
经常有人会问「Linux和Unix有什么区别?」,「Linux就是Unix吗?」. 回答一般都是「Linux是仿照Unix而开发的OS」,「Linux和Unix相似但不是一种OS」之类的. 关于「Li ...
- strong vs copy
一.前言 在这里,我通过实例去介绍strong和copy的区别(%p打印出来对象的地址) ViewController.h #import <UIKi ...
- Alpha冲刺！Day13 - 小结
Alpha冲刺!Day13 - 小结 各个成员今日完成的任务 今天团队极限编程12小时,从早上九点要求每个人给出一张电脑全屏截图以示开始干活,每两小时汇报进度确认已经做了什么.现在在做什么. 各节点列 ...
- 类的反射_reflex
JAVA反射机制 JAVA反射机制是在运行状态中,对于任意一个实体类,都能够知道这个类的所有属性和方法:对于任意一个对象,都能够调用它的任意方法和属性:这种动态获取信息以及动态调用对象方法的功能称为j ...
- phpize安装php扩展CURL
进入php源码包curl扩展目录 cd php-/ext/curl phpize ./configure --with-php-config=/usr/local/webserver/php/bin/ ...
- javascript中DOM0,DOM2,DOM3级事件模型解析
DOM 即 文档对象模型. 文档对象模型是一种与编程语言及平台无关的API(Application programming Interface),借助于它,程序能够动态地访问和修改文档内容.结构或显示 ...