为什么要加上2020H和8080H?

区位码、内码、国标码怎么转换非常简单,但是令人迷惑的是为什么要那么转换?这种转换不可能平白无故地那样转换!

我搜索很多资料,找到最好的解释,总结如下:

首先,注意到一点,GB2312虽说是对中文编码,但是里面有对26个英文字母和一些特殊符号的编码,按理说这和ASCII重合的部分应该无需设置,沿用ASCII中不就行了?但是当时在制定GB2312之前,就决定覆盖掉ASCII中符号和英文字母部分,所以将其中的英文字母和符号重新编入GB2312中。而对于ASCII中前32个控制字符则继续沿用。所以保留前32字符,就需要将汉字编码向后偏移32,十六进制20H,这也就是区位码要加上20H得到国标码,这就是GB2312的编码规范。

而这样产生一个弊端,某些早期用ASCII码编码的英文文章无法打开,一打开就是乱码,也就是说应该要兼容早期ASCII码而不是覆盖它!为了解决这个问题,将字节的最高位设为1,因为ASCII中使用7位,最高位为0。这样就区分开了ASCII和GB2312。这也是为什么要加上8080H。 其实我们说国标码才是GB2312的规范编码,后来的内码是微软为了解决冲突问题而采用的方式,本质上是修改了GB2312的编码标准,而这种方法最后产生的编码最后就被一些教科书称为内码

扩展

你需要先了解汉字的输入、存储、交换与显示过程:外码→内码→交换码→字形码。
外码:又称输入码,我们平常用的拼音输入和五笔输入法所敲打的字母。
内码:计算机存储信息是二进制的,输入的汉字要转化成二进制的形式,它们的集合就叫字符集。
交换码:又称国标码,是和别的计算机交换信息时使用的编码。
字形码:又称汉字字模,把二进制的汉字编码还原为可视的图形,它们的集合又叫字库。
下面说英文与汉字处理的区别:
1、外码
      英文的字母只有26个,可以直接用键盘表示,直接通过译码电路转换为内码,但有些国家的拼音字母不止26个,要么制作一个特殊的键盘,要么和汉字那样的输入一串符号来表示一个字符,这一串符号就叫输入码。
 
2、内码
      先说拼音字母,同样的理由,英文字母只有26个,加上大小写的区别,数字,标点,再加上一些特殊符号,如空白、回车等,很容易构成一个有128个字符的单字节存储的ASCII字符集,这个是美国的标准,还有IBM自己的标准EBDIC字符集,这样同一个二进制数还原成字符就至少有两种可能,比如二进制数01001110,在ASCII中代表大写字母N,在EBCDIC中却是加号+。
       ASCII编码在运用中是以字节(8位)来处理的,实际上用7位二进制数就可以表示出128个符号,最高位都是以0填充的,但是只用掉7位来表示不是浪费么?比如有些国家不止26个字母,需要增加。货币符号也不一样,比如英镑£。最高位是1的话,一个字节就可以再表示128个符号,总计256个符号。然后就有不同的计算机厂商扩展了ASCII,这个扩展的字符集就没有统一的标准了,这样就会带来一个问题,在第128个基础字符之后的字符,同样的二进制代码,怎么还原成正确的字符?
      汉字有好几万个,单字节可编不完,但常用的就那么几千个,所以最初就有GB2312这个双字节存储的字符集,理论上可以存储16384(128*128)个字符,但后来计算机存储容量增加了,不用吝啬那点存储空间,就扩展了字符集,把繁体字啊,少数民族的字啊都加进去,形成了1~4个字节表示的GB18030字符集。港澳台还有自己的繁体字字符集,如Big5。这同样造成了识别问题。
 
     这三个问题的解决方法是内码表,又称代码页(Code Page),给不同国家的语言加个编码来区分,如37是IBM EBCDIC(US-Canada),936是简体中文GBK,950是繁体中文Big5,1253是希腊文。这个东西可以在Windows XP的“控制面板→区域和语言选项→高级”中查看。过去玩繁体中文版的游戏,直接打开就是乱码,最直接的解决方法就是换成繁体版的操作系统来玩,但更多的时候我们是用内码转换器使游戏正常显示,比如微软官方的Microsoft AppLocale Utility软件。
 
补充说明:
         GB2312没有使用全部的128×128=16384个字符,实际只有94×94=8836个字符可用最终用到了7445个。
3、交换码
        GB2312-80的全称是《中华人民共和国 国家标准 信息交换用汉字编码字符集 基本集》,本标准规定了汉字信息交换用的基本图形字符及其二进制编码表示。它适用于一般汉字处理、汉字通信等系统之间的信息交换。它把图形字符的代码表分为94个区,每个区有94位。区的编号从1~94,由第一字节标识;位的编号也是从1~94,由第二字节标识。例如汉字“啊”用16—01表示(十进制,16进制:10H,01H),这个编码称为区位码,二进制表示为00010000 00000001。
        前面讲了ASCII和GB2312两个字符集,其中GB2312为了兼容ASCII也是使用两个字节中的低7位来编码,这样会在传输时出现一个问题,ASCII从00000000到00011111这前32个字符是控制符,比如00000100是在ASCII中是控制符EOT,意思是传输结束,而在GB2312的区位码中只是表示区号04或者位号04,传输中可是没有代码页来识别你是ASCII还是GB2312,所以为了不发生冲突,在进行信息交换时在区号和位号上都加32这样就防止了冲突,加上了32以后的编码就称为交换码。还是用汉字“啊”举例,区号16+32=48,二进制为00110000,位号01+32=33,二进制为00100001,合起来“啊”的交换码就是00110000 00100001。
       上面讲内码时说到个识别问题,单独的英文或者中文都好解决,但如果是一篇使用半角输入的中英混合的文章怎么办?比如刚刚所举的例子,交换码00110000 00100001除了可以表示汉字“啊”,也可以表示为ASCII字符中的“0”和“!”。计算机如何识别哪个字节该用ASCII,哪个字节该用GB2312呢?所以为了以示区分,在GB2312空着的最高位置1,于是“啊”的交换码就变为了内码10110000 10100001,换成十六进制就是B0 A1,大家可以找份GB2312的内码对照表来看看是不是这样。
补充说明:
      半角和全角输入的拼音字母的二进制码是不一样的,比如半角输入的字母A,二进制码是01000001,十六进制是41,这是按ASCII字符集编码的,而全角输入的字母A,二进制编码是10100011 11000001,十六进制是A3 C1,这是按GB2312字符集编码的。
 
4、字形码
这个举个例子就明白了,比如“口”字,画成8×8的点阵图就是:
00000000
01111110
01000010
01000010
01000010
01000010
01111110
00000000
这样一个“口”字需要8个字节来存储。当然这只是其中一种最简单的表示方法,常用的还有16×16、24×24和32×32等点阵字形编码。而且同一个字还有不同字体的写法,如宋体、隶书和黑体等。同一种字体除了用点阵表示,还可以用矢量来表示,比如Windows中使用的TrueType字体。

GB2312编码(为什么要加2020H、8080H,外码→内码→交换码→字形码)的更多相关文章

  1. 做网站用UTF-8编码还是GB2312编码?

    经常我们打开外国网站的时候出现乱码,又或者打开很多非英语的外国网站的时候,显示的都是口口口口口的字符, WordPress程序是用的UTF-8,很多cms用的是GB2312. 经常我们打开外国网站的时 ...

  2. Asp.net把UTF-8编码转换为GB2312编码

    系统采用的UTF-8编码,而一些支持系统使用的是GB2312编码. 不同编码的页面.脚本之间互相引用,就会产生乱码的问题,解决方法就是统一成一种编码.asp.net 中,如果要修改输出页面的编码,可以 ...

  3. ASP中Utf-8与Gb2312编码转换乱码问题的解决方法 页面编码声明

    ASP程序在同一个站点中,如果有UTF-8编码的程序,又有GB2312编码的程序时,在浏览UTF-8编码的页面后,再浏览当前网站GB2312的页面,GB2312编码的页面就会出现乱码 出现这样的问题是 ...

  4. GB2312 编码

    GB2312编码范围:A1A1-FEFE,其中汉字编码范围:B0A1-F7FE. GB2312编码是第一个汉字编码国家标准,由中国国家标准总局1980年发布,1981年5月1日开始使用.GB2312编 ...

  5. vim 如何编辑 GB2312 编码的文件?

    vim 如何编辑 GB2312 编码的文件? 彻底搞清楚字符编码: ASCII, ISO_8859, GB2312,UCS, Unicode, U 结合file和iconv命令转换文件的字符编码类型 ...

  6. Unicode gbk gb2312 编码问题 [转载]

    原文地址: http://www.cnblogs.com/csn0721/archive/2013/01/24/2875613.html HTML5 UTF-8 中文乱码   <!DOCTYPE ...

  7. JS:中文GB2312编码

    今天开发遇到了个问题,有点纳闷.... 在ajax的时候要传递一个中文值,不管我在js中是否使用了encodeURI.encodeURIComponent编码,但是在后台request获取的值是始终是 ...

  8. gb2312编码提交url乱码解决

    gb2312编码提交url,服务器接收时出现乱码,用System.Web.HttpUtility.UrlDecode();解码 ,还是出现乱码,困老了我好长时间,终于在google上找到了解决办法. ...

  9. Linux下将UTF8编码批量转换成GB2312编码的方法

    Linux下将UTF8编码批量转换成GB2312编码的方法 在sqlplus中导入UTF8编码的sql脚本就会出现乱码错误,这时就需要将UTF8编码转换成GB2312编码,下面为大家介绍下在Linux ...

随机推荐

  1. Postgres-XL9.5r1.6 搭建

    Postgres-XL9.5r1.6 安装部署1,环境准备 关闭防护墙 关闭selinux 下载依赖 yum install -y flex bison readline-devel zlib-dev ...

  2. 一次HTTP通信过程

    当我们在浏览器地址栏输入一个网址然后回车以后就看到了一个对应网址的网页,那这个过程到底是怎样的?都发生了什么? 大致是这几个步骤 服务器的应答部分是包含应答状态码:比较常见的是 200:ok 403: ...

  3. 疑难杂症--在Windows Server 2008 R2上运行SQL Server 2008情况下,CPU过多导致的问题

    64位的Windows7和Windows Server 2008 R2为了能够在一台机器上,支持超过64个逻辑CPU, 引入了Processor Group这个概念.Processor Group会把 ...

  4. Mathout In Action(中文)

    http://download.csdn.net/detail/zxnm55/5593881

  5. 基于Quartz.net的远程任务管理系统 三

    在上一篇中,已经把服务端都做好了.那接下来就是Web的管理端了,因为很多时候服务器是有专门的运维来管理的,我们没有权限去操作,所以有个可以管理Job的工具还是很有必要的. Web管理端,我选择现在很成 ...

  6. c# 利用t4模板,自动生成Model类

    我们在用ORM(比如dapper)的时候,很多时候都需要自己写Model层(当然也有很多orm框架自带了这种功能,比如ef),特别是表里字段比较多的时候,一个Model要写半天,而且Model如果用于 ...

  7. Devexpress GridControl无限高度惹得祸

    异常提示: issue, place the grid into a container that will give a finite height to the grid, or manually ...

  8. IIS服务器添加网站

    1.添加IIS服务:对“我的电脑”右键,管理,点击服务和应用程序,如果下面没有”Internet Information Services(IIS)管理器“,打开控制面板,点击程序,启用或者关闭Win ...

  9. LOJ#6048. 「雅礼集训 2017 Day10」数列(线段树)

    题面 传送门 题解 我的做法似乎非常复杂啊-- 首先最长上升子序列长度就等于把它反过来再接到前面求一遍,比方说把\(2134\)变成\(43122134\),实际上变化之后的求一个最长上升子序列和方案 ...

  10. Linux下查找命令

    在CentOs下查找某个目录下的某个文件,使用如下指令: find /目录 -name 文件名 eg:查找当前目录下关于hadoop的文件 find / -name hadoop