字符在内存中最终的表示形式是什么?是某种字符编码还是码位(Code Point)?

根据我的了解,编码中有三个核心概念:
1. 字符集(Character Set),可以说是一个抽象概念,字符的合集
2. 码位(Code Point),将抽象的字符集中每一个字符映射到一个整数
3. 字符编码(Encoding),按照某种编码规则用二进制来表示一个字符

我对码位这个概念理解的不是很清楚,Code point中说:

The notion of a code point is used for abstraction, to distinguish both:

  • the number from an encoding as a sequence of bits, and
  • the abstract character from a particular graphical representation (glyph).

This is because one may wish to make these distinctions:

  • encode a particular code space in different ways, or
  • display a character via different glyphs.

说Code Point是用于抽象,但Java中依然可以使用codePointAt方法来获取实际的整数值

    String str = "JAVA";
System.out.println("String = " + str); // codepoint at index 1
int retval = str.codePointAt(1); // prints character at index1 in string
System.out.println("Character(unicode point) = " + retval);

用Java的String来举例子,引用自深入分析 Java 中的中文编码问题

String str = “I am 君山”;

String 内部的char 数组的值为 49 20 61 6d 20 541b 5c71

请问这char数组的值是码位吗,还是说是JVM使用的UTF16的编码?

字符在内存中最终的表示形式是什么?是不是和具体编程语言相关?

 
code point是protocol,encoding是内存格式。这就像Unicode与UTF-32的区别一样。
 
 

林威建敲代码的,java迷,在校生

  1. 在现代编码模型里要知道一个字符如何映射成计算机里比特,需要经过如下几个步骤。

    1. 知道一个系统需要支持哪些字符,这些字符的集合被称为字符表(Character repertoire)
    2. 给字符表里的抽象字符编上一个数字,也就是字符集合到一个整数集合的映射。这种映射称为编码字符集(CCS:Coded Character Set),unicode是属于这一层的概念,跟计算机里的什么进制啊没有任何关系,它是完全数学的抽象的。
    3. 将CCS里字符对应的整数转换成有限长度的比特值,便于以后计算机使用一定长度的二进制形式表示该整数。这个对应关系被称为字符编码表(CEF:Character Encoding Form)UTF-8, UTF-16都属于这层。
    4. 对于CEF得到的比特值具体如何在计算机中进行存储,传输。因为存在大端小端的问题,这就会跟具体的操作系统相关了。这种解决方案称为字符编码方案(CES:Character Encoding Scheme)。

    平常我们所说的编码都在第三步的时候完成了,都没有涉及到CES。

    以上摘自(http://blog.jobbole.com/39309/

    unicode只是一种抽象概念,使用一个数字来表示字符集中的一个字符,相当于规定了unicode字符集中那一百多万个字符和数字的映射,代码点就相当于这个字符对应着的数字了。Java中采用UTF-16编码方式对unicode进行表示(unicode是一种抽象概念,只确定了字符和码位的映射关系,不管编码),就是字符串的编码是utf-16,题主的例子中很清楚了。

    注意char类型16位,单个char肯定无法表示这一百多万个码位的,一但字符串中出现了char无法表示的码位(字符)的时候,这时候就用utf-16进行编码,用多个char表示这个码位,相应字符串的length方法也比字符要多(length是char数组的长度),用charat方法也不一定能获得那个字符,而要用codepointat方法获得那个位置所在的字符的unicode码位,我记得还有一个codepointsize方法,可以获得具体的(码位)字符数。

    再次强调一下,这个码位表示的是一个整数,是unicode编码里规定的某个字符想对应的整数。

    所幸大多数常用字符都能用一个char类型表示,所以一般length方法都能确定字符串中字符的个数,但这个方式看起来不是那么可靠,所以不是处理英文的地方,算字符数量的时候,还是考虑不要用length了吧。

    以上。

    手机码字,求指正错误。

张焱凯我的鲨鱼~也来自深海~~

感觉题主对字符编码已经理解的非常清楚了,不过我不知道题主说“我对码位这个概念理解的不是很清楚”是指哪里?

关于Java String的内存表示问题,题主说的那个内部char数组是UTF16码,而不是Unicode Code Point。其实Java里面的char本来就都是UTF16码,Unicode Code Point的数字范围已经超出char类型的范围了。

字符串对象在内存中的表示形式,不同语言确实有些许差异,不过大致只有两类:

一类是像C这种比较原始(raw)、比较底层、比较直接的语言,基本就是把你的源文件里面的那几个代表字符的字节原封不动的编译到可执行文件中,然后加载到内存中。所以这种情况下,字符串对象在内存中的表示形式,直接就是按你源文件的编码来的。

另一类是像Java、Python3之类的比较高级一点的语言,字符串对象在内存中通常是用UTF16表示的。

不过Python2情况还稍微复杂点,它有两种字符串对象,一种是UnicodeObject,另一种是StringObject。区别就是前者相当于Java String,后者相当于C char*。

现在C/C++中也有两种字符类型,一种是传统的char,另一种是宽字符wchar_t,这个跟Python2的情况比较类似。不过严格来说wchar_t的具体宽度是取决于不同编译器的实现的。GCC的实现貌似是32位,不知道是什么编码。VC应该是16位,采用UTF16编码。

字符在内存中最终的表示形式是什么?是某种字符编码还是码位(Code Point)?的更多相关文章

  1. JavaScript中的变量在内存中的具体存储形式

    栈内存和堆内存 JavaScript中的变量分为基本类型和引用类型 基本类型是保存在栈内存中的简单数据段,它们的值都有固定的大小,保存在栈空间,通过按值访问 引用类型是保存在堆内存中的对象,值大小不固 ...

  2. 论C/C++数据在内存中的二进制存放形式

    版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/u010518429/article/details/30332237 // enter any ty ...

  3. 001. Java内存中的字符编码

    Java内存中的字符编码 Unicode字符集及utf-8 .utf-16.utf-32 等字符编码方式 字符集:字符表示的数字集合,元素称为码点或码位: 字符编码:字符实际的储存表示: 码点:一个码 ...

  4. C语言中字符型,整数型,浮点型在内存中如何存储

    ···void main() { unsigned char a = 97; printf("%p",&a); printf("%c,%d\n", a, ...

  5. C语言strchr()函数:查找某字符在字符串中首次出现的位置

    头文件:#include <string.h> strchr() 用来查找某字符在字符串中首次出现的位置,其原型为:    char * strchr (const char *str, ...

  6. C/C++数据在内存中的存储方式

    目录 1 内存地址 2 内存空间   在学习C/C++编程语言时,免不了和内存打交道,在计算机中,我们存储有电影,文档,音乐等数据,这些数据在内存中是以什么形式存储的呢?下面做一下简单介绍. 本文是学 ...

  7. PC逆向之代码还原技术,第一讲基本数据类型在内存中的表现形式.浮点,指针寻址公式

    目录 代码还原技术 一丶简介代码还原 二丶代码还原中的数据类型表现形式 1.整数类型 2.无符号整数 3.有符号整数 4.浮点数数据类型 5.浮点编码 4.Double类型解析. 三丶浮点汇编 1.浮 ...

  8. PJzhang:如何缓解Mimikatz从Windows2008 R2内存中读取域控密码?

    猫宁!!! 参考: https://xz.aliyun.com/t/4180 https://www.anquanke.com/post/id/156299 https://www.cnblogs.c ...

  9. Linux 下V4l2摄像头采集图片,实现yuyv转RGB,RGB转BMP,RGB伸缩,jpeglib 库实现压缩RGB到内存中,JPEG经UDP发送功(转)

    ./configure CC=arm-linux-gnueabihf-gcc LD=arm-linux-gnueabihf-ld --host=arm-linux --prefix=/usr/loca ...

随机推荐

  1. 【spring boot logback】spring boot中logback日志乱码问题

    在初次使用logback的自定义配置文件完整的控制spring boot日志后,发现了一个无法忍受的问题,就是日志乱码. 控制台看到打印日志乱码如下: 而日志文件打开: 记事本打开 sublime打开 ...

  2. 微信公众平台开发:进阶篇(Web App开发入门)

    本文转载至:http://blog.csdn.net/yual365/article/details/16820805  WebApp与Native App有何区别呢? Native App: 1.开 ...

  3. 关于浏览器内核与javascript引擎的一些小知识

    浏览器是我们每天几乎都必须使用的软件产品,可是对于自己每天都接触的浏览器,很多同学其实对其一无所知.今天异次元就跟大家说说关于浏览器内核的一些事儿吧,好让你了解多一点稍微内在的东西. 在下面的文章中主 ...

  4. 使用EasyNVR无插件流媒体服务器接口和EasyPlayer.js播放器插件实现web网页H5播放无插件

    1.背景需求 很多客户在使用EasyNVR无插件流媒体服务器时,不喜欢产品化的界面,有时可能满足不了日常观看使用的需求.因此软件提供丰富的HTTP接口,供第三方平台调用集成.但是有时客户这边可能没有专 ...

  5. Sql注入基础一

    凡是带入数据库查询的都有可能是注入.     整个数据包 Sql注入原理? 网站数据传输中,接受变量传递的值未进行过滤,导致直接带入数据库查询执行的操作问题. Sql注入对于渗透的作用? 获取数据(网 ...

  6. django database relations

    注意Django的生成的默认api from django.db import models class Place(models.Model): ''' pass class Restaurant( ...

  7. 普通java工程的resources目录寻址

    问题: 普通java工程的src/main/resources目录下的配置文件如何寻址 在src/main/java目录下的代码中如何访问src/main/resources目录下的配置文件? Mav ...

  8. discuz X3 门户定制

    为了实现门户的定制,在本机全新的安装了discuzX3,现在只想使用其门户功能(即文章CMS管理).但是论坛功能是不能关闭的可能论坛是discuz的核心功能吧. 全新安装的discuzx3,主导航上只 ...

  9. Pythonpika PhpAmqpLib rabbitmq服务中queues被清空的异常处理 无模式数据库对数据结构的定义和控制

    /** * Declares queue, creates if needed * * @param string $queue * @param bool $passive * @param boo ...

  10. Navigation

    Makedown常用语法 1.常用标题 # 代表h1(一级标题) ## 代表h2(二级标题) ### 代表h3(三级标题) #### 代表h4(四级标题) ##### 代表h5(五级标题) ##### ...