Python----webserver项目2

# 编码问题

-　　为什么需要编码问题

　　-　　本质上计算机只能识别01代码

　　-　　如何用一长串01代码表示复杂的信息

　　-　　encode：编码  decode：解码

-　　编码简史

　　-　　二进制

　　　　-　bit：　一个0或者1的二进制数字

　　　　-　byte：八个01代码，字节

　　-　　第一阶段：　ASCII

　　-　　第二阶段：　百花齐放，GB2,　　GBK,　　BIG5,　　Latin1,　　JIS,

　　　　　　-　Latin1:兼容欧洲大多数语言

　　　　　　-　中国：GBxxxx

　　　　　　-　韩国台湾：BIG5

　　　　　　-　日本：JIS

　　　　　　-　ANSI-MBCS(Multi-bytes character set, 多字节字符集)

　　-　　第三个阶段：Unicode（ISO）

# 编码表示方法

-　ASCII-American standard code for information interchange

　　-　所有控制字符（包括回车，删除等）编码再0-31范围以及127

　　-　所有标点符号，英文大小写放在32-126之间

　　-　预留128-255之间位置

　　-　0xxx xxxx 是它的编码形式

-　Latin1

　　-　0-127的所有位置不动，那么可以兼容ASCII，二进制位0xxx xxxx

　　-　128-255位置全部用完，二进制位1xxx xxxx

　　　　-　128-159之间为控制字符，

　　　　-　160-255位文字符号，

　　　　-　其中包括了西欧语言、希腊语、泰语、阿拉伯语、希伯来语

　　-　欧元符号

-　GBxxxxxxxxxx

　　-　GB2312

　　　　-　如果一个字节中第一位为0，那么这就是一个ASCII字符。

　　　　-　如果一个字节中第一位为1，那么这个是汉字，认定需要2个字节才表示一个编码的

　　　　-　这个码表中包含汉字6763个和非汉字图形字符682个。

　　　　-　还有很多的空间没有用到，索性全部预留了吧。

　　　　-　0xxxxxxx：表示ASCII字符

　　　　-　1xxxxxxx 1xxxxxxx：表示为汉字

-　GBK

　　　　-　GB2312基础上添加汉字

　　　　-　兼任GB2312和ASCII

　　　　-　1xxxxxxx xxxxxxxx：表示为汉字

-　GB18030

　　　　-　2/4位混编

#　Unicode编码

　　　　-　只是一个码表，具体实现没有规定

　　　　-　0-0x10FFFF来映射这些字符，最多可以容纳1114112个字符

　　　　-　中文的编码范围为4E00-9FCF，其中9FC4-9FCF之间的区间没有使用

　　　　-　上述区间全部是汉字，不包含全角字符，不包含特殊文字

　　　　-　UTF=UnicodeTransformationFormat

　　　　-　UTF-8

　　　　　　　　0x0000~0x007F (0 ~ 127)　　1字节　　0xxxxxxx

　　　　　　　　0x0080~0x07FF (128 ~ 2047)　　110xxxxx　　10xxxxxx

　　　　　　　　0x0800~FFFF (2048 ~ 65535)　　3字节　　1110xxxx　　10xxxxxx　　10xxxxxx

　　　　　　　　0x10000~1FFFFFF(65536 ~ 2097152)      4字节　　

　　　　　　　　0x2000000~0x3FFFFFF(65536 ~ 2097152)      5字节　　111110xx　　10xxxxxx

　　　　　　　　0x4000000~0x7FFFFFF(65536 ~ 2097152)      6字节　　1111110x　　10xxxxxx

---------------------------------------------------------------------------------------------------------

Unicode/UCS-4        　　bit数     　　 UTF-8                byte数     　　备注
0000 ~ 007F            　　0~7          　  0XXX XXXX       1 
                                                    
                                        
0080 ~ 07FF           　　 8~11          110X XXXX           2 
                               　　　　　　　 10XX XXXX      
                         
0800 ~ FFFF            　　12~16      1110XXXX      　　3             基本定义范围：0~FFFF
                               　　　　　　　10XX XXXX    
                               　　　　　　　10XX XXXX     
                                                    
                         
1 0000 ~  1F FFFF    　　17~21      1111 0XXX       4             Unicode6.1定义范围：0~10 FFFF
                               　　　　　　　 10XX XXXX    
                                                         10XX XXXX    
                                                         10XX XXXX    
                         
                         
20 0000 ~ 3FF FFFF    22~26           1111 10XX       5             说明：此非unicode编码范围，属于UCS-4 编码
                                                          10XX XXXX                    早期的规范UTF-8可以到达6字节序列，可以覆盖到31位元（通用字符集原来的极限）。
                                                          10XX XXXX                    尽管如此，2003年11月UTF-8 被 RFC 3629 重新规范，只能使用原来Unicode定义的区域，
                                                          10XX XXXX                    U+0000到U+10FFFF。根据规范，这些字节值将无法出现在合法 UTF-8序列中                                                                  
                                                          10XX XXXX     
                         
                         
400 0000 ~ 7FFF FFFF   27~31      1111 110X       6 
                                                        10XX XXXX  
                                                        10XX XXXX  
                                                        10XX XXXX  
                                                        10XX XXXX  
                                                         10XX XXXX

-------------------------

-　UTF-16,UTF-32

　　-　UTF-16　早期　Uncode历史遗留问题

　　-　UTF-32 　浪费空间

-　UCS-4

　　-　UCS=UniversalCharacterSet，通用字符集

　　-　UNS-2与Unicode相同

　　-　采用2个字节，定长的表示每一个字符，所以总计可以表示2……16个字符

-　UCS-4

　　-　第一个字节：表示组（group），最高位为0，则有128个。

　　-　第二个字节：表示平面(plane)，256个。

　　-　第三个字节：表示行(row)，256个。

　　-　第四个字节：表示码位(cell)，256个

　　-　如果UCS-4前两个字节为0，则就是CUS-2

#常用概念

　　-　编码/解码：有人类可直接读取信息转换成bytes格式的，叫编码，

　　-　大尾(BigEndian)和小尾（LittleEndian）

　　　　-　'汉'　　->　6C49

　　　　-　6C49　->　BigEndian

　　　　-　496C　->　LittleEndian

-　　BOM

　　　-　UTF-8没有字节顺序问题

　　　-　UTF-16会出现问题

　　　　　　-　"奎"　->　594E

　　　　　　-　"乙"　->　4E59

　　　-　BOM-ByteOrderMark

　　　　　　-　"ZERO WIDTH NO-BREAK SPACE"　-> FEFE，在UCS中不存在

　　　　　　-　FFFF->BigEndian

　　　　　　-　FFFE->LittleEndian

　　　　　　-　UTF-8　用来表示编码，FEFF的UTF-8编码是EF　BB　BF，

　　　　　　　　　用来表示此后编码是UTF-8编码

-　Python编码问题

-　str

-　bytes

-　bytearray

-------------------------------------------------

-　python文件默认utf-8编码，如果特殊需要，需要声明

　　-　放在第一行，或者第二行

　　-　···#　-*-　coding:　windows-1252　-*-···

　　-　读写文件默认utf-8，可以指定

　　-　code　point方式比较字符串，可能会带来问题

　　　　　　-　重音符号地表示

　　　　　　-　使用　unicodedata.normalize 函数