Ruby多字节字符的设计

Perl.Python的多字节字符处理方式是UCS(Universal Code Set),Ruby的多字节字符处理方式是CSI(Code Set Independent).UCS的做法是,不管你读取的是哪一种编码的字节,读进程序以后都必须统一设定为某一种特定编码,因此程序内处理的实际字节可能会转换.而CSI的做法是读取的字节不需要转换,只是把一个字节串加上一个编码的属性.…

目前知道有两种方式:可以提供宽字符与ANSI字符之间的转换, 第一种由COM库提供的函数 char* _com_util::ConvertBSTRToString(BSTR ); BSTR _com_util::ConvertStringToBSTR(char*); Example // ConvertBSTRToString.cpp #include <comutil.h> #include <stdio.h> #pragma comment(lib, "comsup…

VC++中多字节字符集和Unicode之间的互换

在Visual C++.NET中,默认的字符集是Unicode,这和Windows默认的字符集是一致的,不过在老的VC6.0等工程中,默认的字符集形式是多字节字符集(MBCS:Multi-Byte Character Set),这样导致在VC6.0中非常简单实用的各类字符操作和函数在VS2005环境下运行时会报各种各样的错误,这里总结了在Visual C++.NET2005环境中Unicode字符集下CString和char *之间相互转换的几种方法,其实也就是Unicode字符集与MBCS字符…

pathinfo()在php不同版本中对于对多字节字符处理的不同结果

phpinfo()函数在处理路径时,在php的低版本中无法处理多字节字符,这里测试的是php5.3和php5.6 的区别 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 <?php // your code goes here echo phpversion(); print_r(pathinfo("/resources/img/stock/wxb001/美…

关于MultiByteToWideChar与WideCharToMultiByte代码测试(宽字符与多字节字符的转换)以及字符串的转换代码测试

#pragma once #include <stdio.h> //getchar() #include <tchar.h> #include <stdlib.h> //sysytem() #include <string> //std #include <atlstr.h> //cstring #include <iostream> //cout using namespace std; using std::wcout; int…

Oracle数据库报错: ORA-29275:部分多字节字符

Oracle数据库报错: ORA-29275:部分多字节字符就是你查出来的字符串(有汉字的)有可能会出问题, 在认为有问题的字段用 to_nchar("字段")包起来比如你查 select * from role 出问题了看一下字段里面哪个字段比较长的有汉字的,差不多就是那个字段有问题比如是 userName 这个字段有问题就 select to_nchar(userName), id , ... from role 就解决了…

unicode字符和多字节字符的相互转换接口

作者:朱金灿来源:http://blog.csdn.net/clever101 发现开源代码的可利用资源真多,从sqlite3的源码中抠出了几个字符转换接口,稍微改造下了发现还挺好用的.下面是实现代码: /* ** Convert a UTF-8 string to microsoft unicode (UTF-16?). ** ** Space to hold the returned string is obtained from malloc. */ static WCHAR *utf8…

字符集研究之多字节字符集和unicode字符集

作者:朱金灿来源:http://blog.csdn.net/clever101 本文简介计算机中两大字符集:多字节字符集和unicode字符集的出现及关系. 首先我们须要明确的是计算机是怎样找到字符的,原来计算机通过一个字符编号来找到字符,这个和学校里每一个学生都有一个学号相似.这里的字符编号和相应的字符就构成了一个字符集.由于计算机最早是在英语国家诞生的,大多数英文信息是由英文字母.数字以及一些其他字符构成了一个128个字符的ASCII字符集.本来这对于英语国家来说够用了.可是随着计算机的普…

通过编写串口助手工具学习MFC过程——（三）Unicode字符集的宽字符和多字节字符转换

通过编写串口助手工具学习MFC过程因为以前也做过几次MFC的编程,每次都是项目完成时,MFC基本操作清楚了,但是过好长时间不再接触MFC的项目,再次做MFC的项目时,又要从头开始熟悉.这次通过做一个串口助手再次熟悉一下MFC,并做了一下记录,以便方便以后查阅.做的过程中多是遇到问题直接百度和谷歌搜索来的,所以很多都是不求甚解,知其然不知其所以然.另外做此工具只是为了熟悉了解,许多功能还没有完善!(开发工具VS2008) (三)Unicode字符集的宽字符和多字节字符转换在上一节<(二)通过“…

Ruby：字符集和编码学习总结

背景 Ruby直到1.9版本才很好的支持了多字节编码,本文简单总结了今天学习的关于Ruby编码方面的知识. 字符串可以使用不同的编码在.NET中字符串的编码是一致的,Ruby允许字符串有不同的编码,当时我就在想:如果两个不同编码的字符串相加会出现什么结果? 测试程序 # coding: utf-8 str_utf8 = "hi 段" puts str_utf8.size puts str_utf8.bytesize puts str_utf8 .encoding # UTF-8 st…

使用Unicode(宽字节字符集)；多字节字符集中定义宽字节变量

2012-03-25 14:54 (分类:计算机程序) 2.2 宽字符和C 宽字符不一定是Unicode.Unicode是宽字符集的一种.然而,因为本书的焦点是Windows而不是C执行的理论,所以书中把宽字符和Unicode作为同义语. 2.2.1 char数据类型 (1)下面的语句定义并初始化了一个只包含一个字符的变量: char c = 'A' ; 变量c需要1个字节来保存,并将用十六进位数0x41初始化,这是字母A的ASCII代码. (2)可以这样定义一个指向字串的指针: char *…

Go语言中多字节字符的处理

1 概述 Go语言的字符串是使用 UTF-8 编码的.UTF-8 是 Unicode 的实现方式之一.本文内容包括:UTF-8 和 Unicode 的关系,Go语言提供的 unicode 包和 unicode/utf8 包的使用. 2 UTF-8 和 Unicode 的关系 Unicode一种字符集,是国际标谁化组织(ISO)设计的一个包括了地球上所有文化.所有字母和符号的编码.他们叫它 Universal Multiple-Octet Coded Character Set,简称 UCS,也…

libxl库的介绍，对Excel操作封装得很好的一个库，兼容2007版和多字节字符（最后有破解版下载）

前段时间忙着毕业论文,终于有时间写博客了. 早些时候老大给我的一个任务需要对excel进行读表操作,研究了一下c++对excel的操作. 对Excel的操作基本有com,ODBC,AD等,其中ODBC有一个封装的库CSpreadSheet,但它只能对2003版进行操作,不兼容2007版,然后我就找了一个收费的libxl的库,网上有破解版,它兼容2007版,而且提供的接口非常简单,重要的是兼容多字节的版本(网上说只兼容unicode版,我也不知道怎么回事). 我下的是libxl-3.1.0,函数的…

关于多字节字符入库失败处理（所谓的Emji），该处理是舍弃特殊字符

具体处理方法及样例如下: /** * 屏蔽超过三个字节以上的字符 * @param strByte * @return */ public static String filterUtf8(byte[] strByte){ List<Byte> byteList = new ArrayList<Byte>(); byte B1 = (byte) (1<<7); byte B2 = (byte) (B1 | (1<<6)); byte B3 = (byte)…

【转】CEF3加载网页---多字节字符集和UNICODE字符集

static char* MBSCToCEF(const char* mbcsStr) { wchar_t* wideStr; char* utf8Str; int charLen; charLen = MultiByteToWideChar(CP_UTF8, , mbcsStr, -, NULL, ); charLen=strlen(mbcsStr)+; wideStr = (wchar_t*) malloc(sizeof(wchar_t)*charLen); MultiByteToWideC…

ruby 中文字符to_json后乱码（unicode）

今天遇到一个中文to_json问题 text = "第1章青豆不要被外表骗了" text.to_json => "\"\\u7b2c1\\u7ae0 \\u9752\\u8c46 \\u4e0d\\u8981\\u88ab\\u5916\\u8868\\u9a97\\u4e86\"" 中文to_json 就变成unicode 解决办法: gsub(/\\u([0-9a-z]{4})/){|s| [$1.to_i(16)].pack(&q…

ruby中字符的转换

1.将表格名转成class名 classify "book_comments".classify => "BookComment" 2.class名转成table_name(和上面的相反) tableize "BookComment".tableize => "book_comments" 3.将class名转成class constantize "BookComment".constant…

多字节字符与界面 manifest

之前把调试项目的时候软件界面变成了很古板的那种界面,后来查了一会发现因为字符集的改变,个人习惯统一我一般用同一种字符集,虽然Unicode只涉及语言问题,不过总感觉它占内存,用非字符集,搜索发现将代码中的#ifdef __UNICODE去掉就可以,注意后面的#endif. #ifdef _UNICODE #if defined _M_IX86 #pragma comment(linker,"/manifestdependency:\"type='win32' name='Microso…

ex：0602-169 遇到不完整或无效的多字节字符，转换失败

错误原因:在AIX系统中,用vi命令编辑文件,出现rt错误,是因为AIX系统不识别文件编码格式. 解决方法:建议重新新建一个编码格式为ASC的文件,再重新上传到AIX系统中,或者改变访问linux的客户端工具的终端类型选项,这样问题解决.…

转：Unicode字符集和多字节字符集关系

原文地址: http://my.oschina.net/alphajay/blog/5691 unicode.ucs-2.ucs-4.utf-16.utf-32.utf-8 http://stallman.blogbus.com/logs/41709878.html Unicode是为整合全世界的所有语言文字而诞生的.任何文字在Unicode中都对应一个值, 这个值称为代码点(code point).代码点的值通常写成 U+ABCD 的格式. 而文字和代码点之间的对应关系就是UCS-2(Univ…

Unicode字符集和多字节字符集关系

在计算机中字符通常并不是保存为图像,每个字符都是使用一个编码来表示的,而每个字符究竟使用哪个编码代表,要取决于使用哪个字符集(charset). 在最初的时候,Internet上只有一种字符集——ANSI的ASCII字符集,它使用7 bits来表示一个字符,总共表示128个字符,其中包括了英文字母.数字.标点符号等常用字符.之后,又进行扩展,使用8 bits表示一个字符,可以表示256个字符,主要在原来的7 bits字符集的基础上加入了一些特殊符号例如制表符. 后来,由于各国语言的加入,AS…

Ruby 对多语言的支持

这是一篇翻译文章,原文链接 http://blog.grayproductions.net/articles/understanding_m17n.原文是一个系列,翻译过来整合成了一篇文章,对文章内容做了适当的变化.因为原文是三年前写的,其中某些代码片段的执行结果和最新版本的 Ruby 相比可能会有所不同. Ruby 在进入 1.9 版本时发生了重大的变化,以前 Ruby 堪称是对字符编码支持最差的语言之一,而现在变成了支持最好的语言之一,可以处理不同的字符编码.我们都在成长. 而这一变化带来的…