关于mysql中字段类型为text文本存储json格式数据,字段被截断的问题

背景:

  1. 字段类型 MEDIUMTEXT

  2. 确定存储内容5548个字符,换算为字节不超过16M

  3. 数据库内已经存在更长内容的存储成功,短的内容存储失败

  4. 有几率出现截断概率,

  5. 日志看入库前参数json都是完整的,入库后内容被截断,导致前端读取数据结构解析失败而报错

发生这种情况的原因有两种可能:

1. 建表时数据库字段设置长度不足

  • 当输入内容的字符长度大于当前字段设置长度时,数据库会自动截断内容
  • 字段类型以下几种:

  • 字符串类型

类型 范围 说明  
Char(N) [ binary] N=1~255 个字节 binary :分辨大小写 固定长度 std_name cahr(32) not null
VarChar(N) [binary] N=1~255 个字节 binary :分辨大小写 可变长度 std_address varchar(256)
TinyBlob 最大长度255个字节(2^8-1) Blob (Binary large objects) 储存二进位资料,且有分大小写 memo text not null
TinyText 最大长度255个字节(2^8-1)
Blob 最大长度65535个字节(2^16-1)
Text 最大长度65535个字节(2^16-1)
MediumBlob 最大长度 16777215 个字节(2^24-1)
MediumText 最大长度 16777215 个字节(2^24-1
LongBlob 最大长度4294967295个字节 (2^32-1)
LongText 最大长度4294967295个字节 (2^32-1)
Enum 集合最大数目为65535 列举(Enumeration),Enum单选、Set复选 sex enum(1,0) habby set(‘玩电玩’,’睡觉’,’看电影’,’听音乐’)
Set 集合最大数目为64
  • 数字/数值类型
类型 范围 说明
TinyInt[M] [UNSIGNED] -128~127 UNSIGNED : 0~255 num tinyint unsigned
SmallInt[M] [UNSIGNED] -32768~32767 UNSIGNED :0~ 65535  
MediumInt[M] [UNSIGNED] -8388608~8388607 UNSIGNED :0~16777215  
Int[M] [UNSIGNED] -2^31~2^31-1 UNSIGNED : 0~2^32  
BigInt[M] [UNSIGNED] -2^63~2^63-1 UNSIGNED : 0~2^64  
Float [(M,D)] -3.4E+38~3.4E+38( 约 )

注: M 为长度, D 为小数,Float 4 bytes,Double 8 bytes Double [(M,D)] -1.79E+308~1.79E+308( 约 )Decimal [(M,D)] 辨別ZeroFill:当宣告关键字ZeroFill为自动填满0,如 000021

  • 日期时间类型
类型 范围
Date 日期(yyyy-mm-dd)
Time 时间(hh:mm:ss)
DateTime 日期与时间組合(yyyy-mm-dd hh:mm:ss)
TimeStamp yyyymmddhhmmss
Year 年份yyyy
  • 根据计算转换字符长度可知,并没有超过长度限制,故此种原因排除

2. 字符编码格式数据库不支持

  • 原数据库字符集设置为CHARSET=utf8,有些数据编码格式例如emoji的表情符号mysql 中的utf8并不支持
  • 据官方文档的解释:

    mysql 支持的 utf8 编码最大字符长度为 3 字节,如果遇到 4 字节的宽字符就会插入异常了。三个字节的 UTF-8 最大能编码的 Unicode 字符是 0xffff,也就是 Unicode 中的基本多文种平面(BMP)。

  • 也就是说,任何不在基本多文本平面的 Unicode字符,都无法使用 Mysql 的 utf8 字符集存储。包括 Emoji 表情(Emoji 是一种特殊的 Unicode 编码,常见于 ios 和 android 手机上),和很多不常用的汉字,以及任何新增的 Unicode 字符等等。

  • 观察日志数据发现linux下打印出的日志存在类似 <u+1f44d> 样式的字符,属于unicode编码的特殊字符,文本内容也是在此截断的,由此可以判断为字符编码格式问题

3. 解决方案

3.1 升级 mysql 版本,并将utf8字符集升级到utf8mb4

升级你的 mysql 到 5.5.3 之后即可,查看当前环境版本:

select version();
  • MySQL在5.5.3之后增加了这个utf8mb4的编码,mb4就是most bytes 4的意思,专门用来兼容四字节的unicode。好在utf8mb4是utf8的超集,除了将编码改为utf8bp4外不需要做其他转换。当然,为了节省空间,一般情况下使用utf8也就够了。
  • 所以好的技术就是,采用对当前而言最好的解决方案,然后再逐步迭代满足新的需求。

3.1.1 直接修改表结构

--修改数据库字符集
ALTER DATABASE test CHARACTER SET = utf8mb4;
--修改表字符集
alter table test convert to character set utf8mb4;
--修改字符字符集
ALTER TABLE `test` CHANGE COLUMN `name` `name` varchar(12) CHARACTER SET utf8mb4;

3.1.2 修改数据库默认配置

[client]
default-character-set = utf8mb4
[mysqld]
character-set-server=utf8mb4
collation-server=utf8mb4_unicode_ci
[mysql]
default-character-set = utf8mb4

3.2 修改数据库字段类型

修改字段类型为二进制存储,通过样可以达到目的,进行兼容

--修改字符字符集
ALTER TABLE `test` CHANGE COLUMN `name` `name` MediumBlob ;

3.3 强行过滤掉生僻字符串

  • 从业务和技术的角度综合考虑,可以做个折中,将生僻字符串提前过滤掉,因为这类字符串本来就使用的很少,即使存进数据库了,展示、查询的时候也会多少有其它的问题,不如直接过滤掉,mysql 不支持四字节的 utf8 一方面可能是历史包袱,另一方面估计也是为了省空间。

有意者可以进行测试

  1. 先向在数据库中建表以utf8字符集,字段设置为二进制文本类型或者

     CREATE TABLE `ts_test` (
    `id` int(10) NOT NULL,
    `content` text NOT NULL CHARACTER SET utf8mb4, --或者 `content` BLOB NOT NULL,
    PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;
  2. 插入表情符号emoji

     insert into ts_test ('id','content') values (1,'aaaaaaaa												

    msyql存储数据时字段被截断的更多相关文章

    1. PHPExcel导出数据时字段超过26列出错Invalid cell coordinate [1

      http://blog.csdn.net/dl425134845/article/details/46650961 以下是解决方案函数 /** *   方法名:    getExcel *   作用  ...

    2. python 大量使用json 存储数据时,格式化输出的方式

      import json, pprint dic = {'name': 234, 'user_name': 'yan xia ting yu ', 'list': ['ds', 'a', 2], '你好 ...

    3. PlayerPrefs存储数据在本地的存储位置

      PlayerPrefs存储数据时,其在windows的存储路径是注册表: HKEY_CURRENT_USER Software CompanyName ProjectName 其中的CompanyNa ...

    4. sql server的缺陷 将截断字符串或二进制数据 哪个字段

      将截断字符串或二进制数据 哪个字段 消息 8152,级别 16,状态 14,第 2 行将截断字符串或二进制数据. sql server2000 sql server2014 也不能直接提示出哪个字段的 ...

    5. [MySQL]load data local infile向MySQL数据库中导入数据时,无法导入和字段不分离问题。

      利用load data将文件中的数据导入数据库表中的时候,遇到了两个问题. 首先是load data命令无法执行的问题: 命令行下输入load data local infile "path ...

    6. MSSQL导入数据时,出现“无法截断表 因为表正由Foreign key引用”错误

      * 错误 0xc002f210: 准备 SQL 任务: 执行查询“TRUNCATE TABLE [dsc100552_db].[dbo].[ALV_SalesBigClass] ”失败,错误如下:“无 ...

    7. 在向"带有自增字段的数据库表"中插入数据时,自定义"该自增字段"的数据

      在设计数据库表的时候,经常会使用自增主键或其他自增字段.比如: DB_UserGroups表中GroupID为该表主键,并为自增字段. 但在将某字段设置自增后,想在插入数据时,人为指定自增字段的数据内 ...

    8. Android提供了5种方式存储数据:

      --使用SharedPreferences存储数据: --文件存储数据: --SQLite数据库存储数据: --使用ContentProvider存储数据: --网络存储数据: 一:使用SharedP ...

    9. Android开发手记(18) 数据存储三 SQLite存储数据

      Android为数据存储提供了五种方式: 1.SharedPreferences 2.文件存储 3.SQLite数据库 4.ContentProvider 5.网络存储 SQLite 是以嵌入式为目的 ...

    随机推荐

    1. Java基础-异常、断言

      处理错误 如果Java程序运行期间出现了错误,并且由于出现错误导致某些操作没有完成,程序应该能够返回到一种安全状态,并能够让用户执行一些其他的命令:或者允许用户保存所有操作结果,并以妥善的方式终止程序 ...

    2. 对HTML5标签的认识(四)

      这篇随笔讲讲HTML5中的表单和表单的一些元素 一.表单的作用是什么? 概念:表单在网页中主要是负责对数据信息的采取,表单一共分成三个部分: 1.表单的标签:这里面包含了处理表单的数据所用CGI程序以 ...

    3. centos安装jenkins

      1.安装jdk yum install java java -version 2.安装jenkins 添加Jenkins库到yum库,Jenkins将从这里下载安装. wget -O /etc/yum ...

    4. 使用Boostrap框架写一个登录\注册界面

      Bootstrap是一个Web前端开发框架,使用它提供的css.js文件可以简单.方便地美化HTML控件.一般情况下,对控件的美化需要我们自己编写css代码,并通过标签选择器.类选择器.ID选择器为指 ...

    5. SharpMap和NetTopologySuite叠加分析问题

      先附上实现的相交叠加分析的部分代码,然后请教个问题,希望能够得到解答. /// <summary> 执行相交叠加分析 </summary> private void Execu ...

    6. C# 通用单例窗体类

      /// <summary> /// 通用的单例制作器 /// </summary> /// <typeparam name="T"></t ...

    7. 设计模式系列之观察者模式(Observer Pattern)

      意图:定义对象间的一种一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新. 主要解决:一个对象状态改变给其他对象通知的问题,而且要考虑到易用和低耦合,保证高度的协作 ...

    8. SQL Server 取日期时间格式 日期与字符串之间的转换

      SQL Server 取日期时间部分   在本文中,GetDate()获得的日期由两部分组成,分别是今天的日期和当时的时间: Select GetDate()  用DateName()就可以获得相应的 ...

    9. git window安装与注册邮箱用户名

      1.git window版本下载 https://git-scm.com/downlods 下载完后点击安装包安装,一直下一步就行; 2.验证安装是否成功 在开始菜单里找到“Git”->“Git ...

    10. 公钥密码RSA算法记录

      介绍: RSA算法是1978年由 R.Rivest.A.Shamir.L.Adleman提出的一种用数论构造的.也是迄今为止理论上最为成熟.完善的公钥密码体,该体制已得到广泛的应用. 算法描述: 1. ...