usingSystem;usingSystem.IO;usingSystem.Text;namespaceG2.Common
{///
///用于取得一个文本文件的编码方式(Encoding)。///
public static classTextEncodingHelper
{///
///取得一个文本文件的编码方式。如果无法在文件头部找到有效的前导符，Encoding.Default将被返回。///文件的字符集在Windows下有两种，一种是ANSI，一种Unicode。///对于Unicode，Windows支持了它的三种编码方式，一种是小尾编码(Unicode)，一种是大尾编码(BigEndianUnicode)，一种是UTF-8编码。///我们可以从文件的头部来区分一个文件是属于哪种编码。当头部开始的两个字节为 FF FE时，是Unicode的小尾编码；当头部的两个字节为FE FF时，是Unicode的大尾编码；当头部两个字节为EF BB时，是Unicode的UTF-8编码；当它不为这些时，则是ANSI编码。///按照如上所说，我们可以通过读取文件头的两个字节来判断文件的编码格式///
/// 文件名。
///
public static System.Text.Encoding GetFileEncoding(this stringfilename)
{if (!File.Exists(filename))
{throw new Exception("文件＂" + filename + "＂不存在!");
}using (var fs = newSystem.IO.FileStream(filename, System.IO.FileMode.Open, System.IO.FileAccess.Read))using (var br = newSystem.IO.BinaryReader(fs))
{var buffer = br.ReadBytes(2);if (buffer[0] >= 0xEF)
{if (buffer[0] == 0xEF && buffer[1] == 0xBB)
{returnSystem.Text.Encoding.UTF8;
}if (buffer[0] == 0xFE && buffer[1] == 0xFF)
{returnSystem.Text.Encoding.BigEndianUnicode;
}if (buffer[0] == 0xFF && buffer[1] == 0xFE)
{returnSystem.Text.Encoding.Unicode;
}
}returnGetEncodingWithBomUtf8(fs, System.Text.Encoding.Default);
}
}///
///通过给定的文件流，判断文件的编码类型 (解决了不带BOM的 UTF8 编码问题 )///
/// 文件流
/// 默认编码
/// 文件的编码类型
private staticSystem.Text.Encoding GetEncodingWithBomUtf8(Stream fs, Encoding defaultEncoding)
{byte[] unicode = new byte[] { 0xFF, 0xFE, 0x41};byte[] unicodeBig = new byte[] { 0xFE, 0xFF, 0x00};//带BOM
byte[] utf8 = new byte[] { 0xEF, 0xBB, 0xBF};var reVal =defaultEncoding;using (var r = newSystem.IO.BinaryReader(fs))
{byte[] ss = r.ReadBytes(4);if (ss[0] == 0xFE && ss[1] == 0xFF && ss[2] == 0x00)
{
reVal=Encoding.BigEndianUnicode;
}else if (ss[0] == 0xFF && ss[1] == 0xFE && ss[2] == 0x41)
{
reVal=Encoding.Unicode;
}else{if (ss[0] == 0xEF && ss[1] == 0xBB && ss[2] == 0xBF)
{
reVal=Encoding.UTF8;
}else{inti;int.TryParse(fs.Length.ToString(), outi);
ss=r.ReadBytes(i);if(IsUtf8Bytes(ss))
{
reVal=Encoding.UTF8;
}
}
}returnreVal;
}
}///
///判断是否是不带 BOM 的 UTF8 格式///
///
///
private static bool IsUtf8Bytes(byte[] data)
{int charByteCounter = 1; //计算当前正分析的字符应还有的字节数
for (int i = 0; i < data.Length; i++)
{var curByte = data[i]; //当前分析的字节.
if (charByteCounter == 1)
{if (curByte >= 0x80)
{//判断当前
while (((curByte <<= 1) & 0x80) != 0)
{
charByteCounter++;
}//标记位首位若为非0 则至少以2个1开始 如:110XXXXX...........1111110X
if (charByteCounter == 1 || charByteCounter > 6)
{return false;
}
}
}else{//若是UTF-8 此时第一位必须为1
if ((curByte & 0xC0) != 0x80)
{return false;
}
charByteCounter--;
}
}if (charByteCounter > 1)
{throw new Exception("非预期的byte格式!");
}return true;
}
}
}
