昨晚在爬取猫眼电影评论时在将评论信息插入到数据库中时出现问题,总是在插入一条数据时就会报错: 看着应该时字符编码的问题,比如新建的数据库新建的表,默认字符编码是:Latin1, 这种编码是无法插入中文的.此时将数据库字符集和表的字符集编码改为utf8,然后重启mysql就可以插入中文了. 但是高潮来了:我的数据库和表字符集编码已经是utf8了,是可以插入中文的,但为什么还是报这种错误i呢? 接下来我直接将这一夜的评论在本地打开查看了一番,发现了一个小东西: 就是上边那张小脸:看来是emoji表情…

今天把mysql切换为mariaDB,这是题外话 主要是emoji标签存入数据库会发现出现三个???的问题 页面上也显示不出来,解决办法只要把内容从数据库里拿出来的时候解码即可 for (Feedback f : feedbackList) { String newTitle = StringEscapeUtils.unescapeJava(f.getTitle()); String newContent = StringEscapeUtils.unescapeJava(f.getContent…

最近遇到一个问题,在微信授权获取用户信息的时候,由于微信昵称(nickName)是表情,无法存入数据库. 查其原因,原来是因为数据库的编码格式不正确,我的是utf-8 改成utf8mb4就可以了. 其实utf-8是Mysql的一个Bug,此utf-8不是真正的我们熟知的UTF-8,mysql中的utf8最多只能支持3bytes长度的字符编码,对于一些需要占据4bytes的文字,mysql的utf8就不支持了,要使用utf8mb4才行. 在mysql中请大家忘记**utf8**,永远使用**utf…

前言 好久没更新了,最近事比较多,或许下个月就会恢复到正常的发文频次. 这篇文章得从一个 emoji 表情开始,我之前开源的一个 IM 项目中有朋友提到希望可以支持 emoji 表情传输. https://github.com/crossoverJie/cim/issues/12 正好那段时间有空,加上这功能看着也比较简单准备把它实现了. 但在真正实现时却发现没那么简单. 我首先尝试将一个 emoji 表情存入数据库看看: 果不其然的出错了,导致这个异常的原因是目前数据库所支持的编码中并不能存放…

从MySQL5.5.3开始,MySQL 支持一种utf8mb4的字符集,这个字符集能够支持4字节的UTF8编码的字符.utf8mb4字符集能够完美地兼容utf8字符串.在数据存储方面,当一个普通中文字符存入数据库时仍然占用3个字节,在存入一个Unified Emoji表情的时个它会自动占用4个字节.所以在输入输出时都不会存在乱码的问题了. 由于utf8mb4是utf8的超集,从utf8升级到utf8mb4不会有任何的问题,直接升级即可:如果从别的字符集如gb2312或者gbk转化而来,一定要先备…

方法1:base_encode64 这种方法是可以,但是旧数据没有经过encode操作,取数据的时候如果统一进行decode的话,旧数据会丢失的. 1 方法2:urlencode 这个似乎可以,对没有经过encode的数据进行decode也不会有影响,而且多次decode似乎也不会有影响.你们说这个方法有缺陷吗? ======================= 一个发现,微信获取用户基本信息的时候,笑哭那个表情print_r出的是\ud83d\ude02,而我存储的时候,报错说这个 \xF0\x…

在项目中遇到有人存emoji表情,出现如下错误: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x92\x94' for column 'name' at row 1 解决方法: 第一步: 修改mysql配置文件my.cnf(windows为my.ini,linux为my.cnf) my.cnf一般在etc/mysql/my.cnf位置.找到后请在以下三部分里添加如下内容: [client] default-character-…

emoji表情需要使用编码格式未utf8mb4,mysql数据库版本要5.5以上,我用的是5.6,因为只有5.5以上支持utf8mb4. 1.数据库编码设定为utf8mb4,如果建库时指定的是utf8,则需要执行语句:ALTER DATABASE database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci; 2.同时指定数据库配置参数中character_set_server改为utf8mb4 3.把对应的需要保存emoj…

一般Mysql表设计时,都是用UTF8字符集的.把带有emoji的昵称字段往里面insert一下就没了,整个字段变成了空字符串.这是怎么回事呢? 原来是因为Mysql的utf8字符集是3字节的,而emoji是4字节,这样整个昵称就无法存储了.这要怎么办呢 1.使用utf8mb4字符集 1.mysql的版本必须为v5.5.3或更高 2.把数据库的编码改成utf8mb4 -- UTF-8 Unicode 3.然后需要存储emoji表情的字段选择utf8mb4_general_ci 4.数据库连接也需…

From: http://www.cnblogs.com/janehoo/archive/2016/04/06/5359800.html 一.教你如何让数据库支持emoji表情符存储 解决方式:更换字符集utf8-->utf8mb4 上周有开发人员反馈一个问题:前台应用抓取微博信息,每天总有几条数据插入不成功.应用日志显示: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x92\xAA",...' for column '…