locale localedef --之Linux字符集理解

参考: https://www.cnblogs.com/dolphi/p/3622420.html

　　    http://www.360doc.com/content/15/1105/08/14513665_510854234.shtml
以下内容中为了保障文章整体看上去可以由浅入深的全面说明问题，我摘录了上面这个博主的两篇文章中的原文,
仅是为了完整说明问题. 360doc这篇文章也给我很多启发. 对这些做一个总体总结,说明如下.

到底什么是locale？
locale这个单词中文翻译成地区或者地域，其实这个单词包含的意义要宽泛很多。Locale是根据计算机用户所使用的语言，所在国家或者地区，以及当地的文化传统所定义的一个软件运行时的语言环境。

[oracle@game ~]$ locale

• LANG=en_US.UTF-8
• LC_CTYPE="en_US.UTF-8"
• LC_NUMERIC="en_US.UTF-8"
• LC_TIME="en_US.UTF-8"
• LC_COLLATE="en_US.UTF-8"
• LC_MONETARY="en_US.UTF-8"
• LC_MESSAGES="en_US.UTF-8"
• LC_PAPER="en_US.UTF-8"
• LC_NAME="en_US.UTF-8"
• LC_ADDRESS="en_US.UTF-8"
• LC_TELEPHONE="en_US.UTF-8"
• LC_MEASUREMENT="en_US.UTF-8"
• LC_IDENTIFICATION="en_US.UTF-8"
• LC_ALL=en_US.UTF-8

locale把按照所涉及到的文化传统的各个方面分成12个大类，这12个大类分别是：

• 1、语言符号及其分类(LC_CTYPE)
• 2、数字(LC_NUMERIC)
• 3、比较和排序习惯(LC_COLLATE)
• 4、时间显示格式(LC_TIME)
• 5、货币单位(LC_MONETARY)
• 6、信息主要是提示信息,错误信息,状态信息,标题,标签,按钮和菜单等(LC_MESSAGES)
• 7、姓名书写方式(LC_NAME)
• 8、地址书写方式(LC_ADDRESS)
• 9、电话号码书写方式(LC_TELEPHONE)
• 10、度量衡表达方式 (LC_MEASUREMENT)
• 11、默认纸张尺寸大小(LC_PAPER)
• 12、对locale自身包含信息的概述(LC_IDENTIFICATION)。

所以说，locale就是某一个地域内的人们的语言习惯和文化传统和生活习惯。一个地区的locale就是根据这几大类的习惯定义的，
这些locale定义文件放在 /usr/share/i18n/locales 目录下面，例如en_US, zh_CN and de_DE@euro都是locale的定义文件，
这些文件都是用文本格式书写的，你可以用写字板打开，看看里边的内容，当然出了有限的注释以外，大部分东西可能你都看不懂，
因为是用的Unicode的字符索引方式。

什么是字符集？
字符集就是字符，尤其是非英语字符在系统内的编码方式，也就是通常所说的内码，所有的字符集都放在 /usr/share/i18n/charmaps，所有的字符集也都是用Unicode编号索引的。Unicode用统一的编号来索引目前已知的全部的 符号。而字符集则是这些符号的编码方式，或者说是在网络传输，计算机内部通信的时候，对于不同字符的表达方式，Unicode是一个静态的概念，字符集是 一个动态的概念，是每一个字符传递或传输的具体形式。就像 Unicode编号U59D0是代表姐姐的“姐”字，但是具体的这个字是用两个字节表示，三个 字节，还是四个字节表示，是字符集的问题。例如：UTF-8字符集就是目前流行的对字符的编码方式，UTF-8用一个字节表示常用的拉丁字母，用两个字节 表示常用的符号，包括常用的中文字符，用三个表示不常用的字符，用四个字节表示其他的古灵精怪的字符。而GB2312字符集就是用两个字节表示所有的字 符。需要提到一点的是Unicode除了用编号索引全部字符以外，本身是用四个字节存储全部字符，这一点在谈到挂载windows分区的时候是非常重要的 一个概念。所以说你也可以把Unicode看作是一种字符集（我不知道它和UTF-32的关系，反正UTF-32就是用四个字节表示所有的字符的），但是 这样表述符号是非常浪费资源的，因为在计算机世界绝大部分时候用到的是一个字节就可以搞定的 26个字母而已。所以才会有UTF-8，UTF-16等等， 要不然大同世界多好，省了这许多麻烦。

zh_CN.GB2312到底是在说什么？
Locale是软件在运行时的语言环境, 它包括语言(Language), 地域 (Territory) 和字符集(Codeset)。
一个locale的书写格式为:
语言[_地域[.字符集]]。
   所以说呢，locale总是和一定的字符集相联系的。下面举几个例子：

• 1、我说中文，身处中华人民共和国，使用国标2312字符集来表达字符。zh_CN.GB2312＝中文_中华人民共和国＋国标2312字符集。
• 2、我说中文，身处中华人民共和国，使用国标18030字符集来表达字符。zh_CN.GB18030＝中文_中华人民共和国＋国标18030字符集。
• 3、我说英文，身处大不列颠，使用ISO-8859-1字符集来表达字符。 en_GB.ISO-8859-1=英文_大不列颠.ISO-8859-1字符集
• 4、我说德语，身处德国，使用UTF-8字符集，习惯了欧洲风格。de_DE.UTF-8@euro＝德语_德国.UTF-8字符集@按照欧洲习惯加以修正，
• 注意不是de_DE@euro.UTF-8，所以完全的locale表达方式是 [语言[_地域][.字符集] [@修正值]。

其中，与中文输入关系最密切的就是LC_CTYPE，LC_CTYPE规定了系统内有效的字符以及这些字符的分类，
诸如什么是大写字母，小写字母，大小写转换，标点符号、可打印字符和其他的字符属性等方面。而locale定 义zh_CN中
最最重要的一项就是定义了汉字(Class“hanzi”)这一个大类，当然也是用Unicode描述的，这就让中文字符在Linux系统中
成为合法的有效字符，而且不论它们是用什么字符集编码的。

根据以上说明,可这样来理解
查看zh_CN的locale定义:
　　less   /usr/share/i18n/locales/zh_CN 　　　　　　 #在此文件中就可看到"hanzi"的定义. 这个文件其实就相当于locale的定义的源代码.
　　zcat   /usr/share/i18n/charmaps/UTF-8.gz | less　 #而此文件是具有UTF-8这种字符集的定义源代码.

但是系统不可能将所有的locale和字符集都集成到系统中,况且我们平时能使用到的字符集也是非常有限的几个.
所以默认字符集是在安装系统是设置好的.若需要修改默认字符集,我们就需要重新编译上面提到的源代码,来生成新的locale.
系统中默认提供了一些预先编译好的locale:
　　locale -a | grep zh_CN
可看到系统预先编译的locale，这些是可以直接使用的. 如: export LANG=zh_CN.utf8

设定locale的规则如下:
　　        设定locale就是设定12大类的locale分类属性，即12个LC_*。除了这12个变量可以设定以外，
　　为了简便起见，还有两个变量：LC_ALL和LANG。它们之间有一个优先级的关系：LC_ALL > LC_* >LANG。
　　可以这么说，LC_ALL是最上级设定或者强制设定，而LANG是默认设定值。

• 1、如果你设定了LC_ALL＝zh_CN.UTF-8，那么不管LC_*和LANG设定成什么值，它们都会被强制服从LC_ALL的设定，成为 zh_CN.UTF-8。
• 2、假如你设定了LANG＝zh_CN.UTF-8，而其他的LC_*=en_US.UTF-8，并且没有设定LC_ALL的话，那么系统的locale设定以LC_*=en_US.UTF-8。
• 3、假如你设定了LANG＝zh_CN.UTF-8，而其他的LC_*，和LC_ALL均未设定的话，系统会将LC_*设定成默认值，也就是LANG的值zh_CN.UTF-8。
• 4、假如你设定了LANG＝zh_CN.UTF-8，而其他的LC_CTYPE=en_US.UTF-8，其他的LC_*，和LC_ALL均未设定的话，
• 　　那么系统的locale设定将是：LC_CTYPE=en_US.UTF-8，其余的 LC_COLLATE，LC_MESSAGES等等均会采用默认值，
• 　　也就是 LANG的值，也就是LC_COLLATE＝LC_MESSAGES＝……＝ LC_PAPER＝LANG＝zh_CN.UTF-8。

所以，locale是这样设定的：
　　1、如果你需要一个纯中文的系统的话，设定LC_ALL= zh_CN.XXXX，或者LANG=zh_CN.XXXX都可以，
　　      当然你可以两个都设定，但正如上面所讲，LC_ALL的值将覆盖所有其他的locale设定，不要作无用功。
　　2、如果你只想要一个可以输入中文的环境，而保持菜单、标题，系统信息等等为英文界面，那么只需要
　　　　设定 LC_CTYPE＝zh_CN.XXXX，LANG=en_US.XXXX就可以了。这样LC_CTYPE＝zh_CN.XXXX，
　　　　而LC_COLLATE＝LC_MESSAGES＝……＝ LC_PAPER＝LANG＝en_US.XXXX。
　　3、假如你高兴的话，可以把12个LC_*一一设定成你需要的值，打造一个古灵精怪的系统：
　　　　LC_CTYPE＝zh_CN.GBK/GBK(使用中文编码内码GBK字符集)；
　　　　LC_NUMERIC=en_GB.ISO-8859-1(使用大不列颠的数字系统)
　　　　LC_MEASUREMEN=de_DE@euro.ISO-8859-15(德国的度量衡使用ISO-8859-15字符集)
　　　　罗马的地址书写方式，美国的纸张设定……。估计没人这么干吧。
　　4、假如你什么也不做的话，也就是LC_ALL，LANG和LC_*均不指定特定值的话，系统将采用POSIX作为lcoale，
　　　　也就是C locale。

知道了locale的设置规则,那么如何为一个用户专门指定一个字符集？

　　当执行下面命令时,我们实际是创建了一个myzh.UTF8的locale
　　　　localedef -f UTF-8 -i zh_CN myzh.UTF8
　　此locale的含义是 让zh_CN这个 "locale类" 默认使用myzh.UTF8这个locale字符集.而locale myzh.UTF8 使用的字符集是UTF-8.

　　localedef实际就是读取了 /usr/share/i18n/locales/zh_CN 和  /usr/share/i18n/charmaps/UTF-8.gz 并对其做编译生成myzh.UTF8的locale
　　但需要注意,系统对locale的名字是不区分大小写的, 编译生成的信息会存储到 /usr/lib/locale/locale-archive 此文件中.它是一个二进制文件。
　　若要查看:

　　　　hexdump -C   /usr/lib/local/locale-archive  | grep  myzh
　　　　但实际上,UTF-8这个字符集具体支不支持中文,我不能确定,我在RHEL7.0上测试,似乎不支持.

所以测试可这样测试:
　　localedef  -f  GB2312   -i  zh_CN    myzh.GB2312
　　locale -a |grep myzh 　　 #此命令可查看locale-archive中的locale.

其实上面的操作仅是让系统帮你创建了locale，这个locale实际上它所依赖的locale文件
系统并不会自动创建.locale文件就是上面提到的12个变量值. 在locale中,它们实际是以文件的
形式存在的,并且这些文件都是编译好的数据文件,无法直接查看.

如何让系统生成这些数据文件那？
　　mkdir   $HOME/.locale 　　 #假如我们创建一个叫.locale的目录.用来存储专用的locale
　　cd $HOME/.locale
　　localedef  -f  GB2312   -i   zh_CN    $PWD/myzh.GB2312
　　　　#这样就在 $HOME/.locale创建了一个myzh.GB2312的目录,此目录下存储的就是上面说的12个变量值的数据文件.
　　　　

看上去,好像很清楚系统的字符集了，但事实上,这不是全部。
系统使用locale时,它根据 $LANG 的值,来确定当前系统的语言是什么.
假如 LANG=myzh.GB2312， 但其他LC_* 的值都为空, 则这些值将使用 LANG 的值.
但是,系统并不能使用 $HOME/.locale/myzh.GB2312 此目录中的12个参数值.
我们还需要设置 LOCPATH="$HOME/.locale:$LOCPATH"
同时还要设置 ln -s    $HOME/.locale/myzh.GB2312    $HOME/.locale/myzh.gb2312
因为系统查找这12个变量值的数据文件时,使用的是小写，所以要么你创建时,就写为小写,否则就需要做软连接.
　　yum install strace
　　strace -eopen ls xx　　 #可查看系统调用字符集文件时,访问的路径.

通过 strace 命令,你会发现,创建myzh.GB2312中还是有很多文件找不到,这是怎么回事？
　　其实 localedef 帮我们创建的 locale 是依据zh_CN这locale类来创建的,可认为myzh.GB2312
是zh_CN locale类的子实例.但是由于创建zh_CN的子实例时,没有安照标准的命名格式 zh_CN.GB2312
即 父locale名.字符集 ，而是随便写了一个 myzh.GB2312 那么系统就以为,这个locale实例是myzh这个
父locale的子实例,因为系统按照 /usr/share/i18n/locales/zh_CN 和 /usr/share/i18n/charmaps/GB2312.gz
来编译生成myzh.GB2312 locale时,并不会将父myzh中的所有字体相关文件都创建，放到myzh.GB2312中的
系统在使用到这些相同的文件时,发现myzh.GB2312这个实例中没有,就自动到myzh中去查找，但我并没有
myzh这父locale，只有zh_CN这个父locale, 因此还需要创建一个软连接将myzh 和 zh_CN关联起来.
如:

　　

终于，系统在查找字体相同文件时,可以正确找到相关文件了.

接着使用 export LANG=myzh.GB2312 时,一切都正常了。

　　

　　系统可以正常显示中文报错信息了。

但实际上，中文显示乱码问题，依然没有完全解决.
因为 若你直接登录linux物理机上,执行命令,依然会出现中文乱码, 这个问题我还没有搞清楚.
客户端使用xshell，等工具登录到linux上时, 通过设置 xshell默认使用指定字符集显示,就可以
正常显示中文,但在物理Linux主机上怎么设置？

localectl   set-locale   LANG=zh_CN.utf8  ? 这可以吗？ 其实不可以, localectl实际设置的X Window
　　启动时,默认使用的locale的, 即我们启动Linux的图形界面时,它使用的默认locale.
　　所以,在Linux 字符界面下,显示中文的问题，该如何解决？
　　目前我还不知道.
　　希望,知道的朋友可告知,谢谢!