信息存储在计算机中是转换成二进制来存储的,二进制的发明据说是来源于中国阴阳八卦.后德国数理哲学大师莱布尼茨是最早接触中华文化的欧洲人之一,从他的传教士朋友鲍威特寄给他的拉丁文译本<易经>中,读到了八卦的组成结构,惊奇地发现其基本素数0和1.在莱布尼茨眼中,"阴"与"阳"基本上就是他的二进制的中国版.他曾断言言:"二进制乃是具有世界普遍性的.最完美的逻辑.最先进语言" 计算机存储单位一般用bit.B.KB.MB.GB.TB--来表示,它…

今天,字符串unicode我们已经不需要常理的理由,但是,一些有编程语言的悠久历史.这仍然是一个头疼. 尽管第三方库支持的假设,C++事实上没有真正有效地支持unicode.即使utf8.(注意:本文讨论了在内存中的字符串编码方案,络数据流.) STL的string模板诞生时,unicode还是理想中的固定16位编码.那时.Windows.Java等先后跨跃进unicode时代,而Unix/Linux受限于向后兼容而难以改变.那时Windows上的C++编程主要用用Win32 API,还不流行S…

很久很久以前,有一群人,他们决定用8个可以开合的晶体管来组合成不同的状态,以表示世界上的万物.他们看到8个开关状态是好的,于是他们把这称为"字节". 再后来,他们又做了一些可以处理这些字节的机器,机器开动了,可以用字节来组合出很多状态,状态开始变来变去.他们看到这样是好的,于是它们就这机器称为"计算机". 开始计算机只在美国用.八位的字节一共可以组合出256(2的8次方)种不同的状态. 他们把其中的编号从0开始的32种状态分别规定了特殊的用途,一但终端.打印机遇上约…

概念 先说一说基本的概念,这包括什么是Unicode,什么是UTF-8,什么是UTF-16. Unicode,UTF-8,UTF-16完整的说明请参考Wiki(Unicode,UTF-8,UTF-16).用比较简单的话来说就是,Unicode定义了所有可以用来表示字符的数值集合(称之为Code Point).UTF-8和UTF-16等UTF标准定义了这些数值和字符的映射关系. UTF-8 优势 UTF-8最大的优势是,没有字节序的概念.所以特别适合用于字符串的网络数据传输,不用考虑大小端问题.…

知乎--http://www.zhihu.com/question/23374078 http://wenku.baidu.com/view/cb9fe505cc17552707220865.html 作者:于洋链接:http://www.zhihu.com/question/23374078/answer/69732605来源:知乎著作权归作者所有,转载请联系作者获得授权. =============很久以前保存的,别人写的但是很明了============= 很久很久以前,有一群人,他们决定…

最近学Python,老是被编码的问题搞得晕乎乎的,晚上看了好多篇博客,整理出来一个比较清晰的关于几种编码以及字符集的思路. 主要参考:http://blog.sina.com.cn/s/blog_6dd65c6f01019b37.html http://blog.csdn.net/zhoubl668/article/details/6914183 http://2zing.blog.sohu.com/168323115.html 一:首先我们需要明白关于字符(character),字符集(cha…

字符编码介绍及不同编码区别 今天看到这篇关于字符编码的文章,抑制不住喜悦(总结的好详细)所以转到这里来.转自:祥龙之子http://www.cnblogs.com/cy163/archive/2007/05/31/766886.html UNICODE,GBK,UTF-8区别 简单来说,unicode,gbk和大五码就是编码的值,而utf-8,uft-16之类就是这个值的表现形式．而前面那三种编码是一兼容的,同一个汉字,那三个码值是完全不一样的．如＂汉＂的uncode值与gbk就是不一样的,假设…

http://wenku.baidu.com/link?url=bheGEzfSjEx-QX-ciME5oKooKYE08_NJZ02l2kKFa7kVZJ4t8Ks2uSNByovgP2QL6btqpl4zo0IrEqRDbPDrdrxVM1PgNsz6oiWE400Yavq http://www.cnblogs.com/cy163/archive/2007/05/31/766886.html http://blog.csdn.net/caisini_vc/article/details/54…

最近研究搜索引擎.知识图谱和Python爬虫比较多,中文乱码问题再次浮现于眼前.虽然市面上讲述中文编码问题的文章数不胜数,同时以前我也讲述过PHP处理数据库服务器中文乱码问题,但是此处还是准备简单做下笔记.方便以后查阅和大家学习.        中文编码问题的处理核心都是——保证所有的编码方式一致即可,包括编译器.数据库.浏览器编码方式等,而Python通常的处理流程是将unicode作为中间转换码进行过渡.先将待处理字符串用unicode函数以正确的编码转换为Unicode码,在程序中统一用U…

宽字符 阅读了 UTF-8 Everywhere 一文,推荐在程序中对于字符串都使用 UTF-8 编码.Unix-like 系统默认是支持 UTF-8 编码的Unicode字符串,标准库函数也默认支持 UTF-8 字符串,如 fopen 等.但在 Windows 系统,由于历史原因,其对需要输入宽字符的函数提供了另外以 w 开头的标准库扩展函数,如 _wfopen 等.况且对标准库的 wchar_t 两种系统实现不一样,在 unix-like 系统中是占4字节的 UTF-8 编码,而在 Wind…