KingbaseES数据库导入数据invalid byte sequence for encoding
一、适用版本:
KingbaseES数据库所有版本。
二、问题现象:
使用备份的数据进行还原,还原过程中发生异常。
日志信息:
sys_restore: connecting to database for restore
sys_restore: creating TABLE "public.table_name"
sys_restore: creating COMMENT "public.COLUMN table_name.com_ied_id"
sys_restore: processing data for table "public.table_name"
sys_restore: while PROCESSING TOC:
sys_restore: from TOC entry 8461; 0 71471 TABLE DATA table_name public
sys_restore: error: COPY failed for table "fes_dig": ERROR: invalid byte sequence for encoding "UTF8": 0xe5 0x85 0x7a
CONTEXT: COPY fes_dig, line 52184
sys_restore: creating CONSTRAINT "public.table_name table_name_pkey"
sys_restore: creating INDEX "public.dig_index_pathname"
sys_restore: creating INDEX "public.table_name_index"
主要错误信息:
sys_restore: error: COPY failed for table "fes_dig": ERROR: invalid byte sequence for encoding "UTF8": 0xe5 0x85 0x7a
三、问题排查:
确认备份环境字符集与还原目标数据库主机、数据库字符集一致(还原文件在数据库服务器主机):
1.登录数据库服务器执行以下命令检查:
$ env | grep LANG
LANG=en_US.UTF-8
$ localectl
System Locale: LANG=en_US.UTF-8
VC Keymap: us
X11 Layout: us
$ locale
LANG=en_US.UTF-8
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=
保证备份、还原系统字符集一致。
2.登录数据库检查以下参数:
$ ksql -Usystem -dtest -p5432
ksql (V8.0)
Type "help" for help.
test=# show server_encoding ;
SERVER_ENCODING
-----------------
UTF8
(1 row)
test=# show client_encoding ;
CLIENT_ENCODING
-----------------
UTF8
(1 row)
确认数据库server_encoding、client_encoding跟备份环境的字符集一致。
3.在系统查询文件编码:
$ file -i 文件名
xx.xx: text/plain; charset=utf-8
确保文件charset跟还原数据库字符集一致。
4.查询文件内容是否有乱码或者无效字符:
linux系统:使用vim、cat、less、more进行文件内容查看:
$ cat fes_dig.sql |grep -i 721279627966801
匹配到二进制文件 (标准输入)
$ cat fes_dig.sql |grep -a 721279627966801
721279627966801 1 0 41 41 1 #A套检修压板投入开入_Z.开▒zzz 1103000000000929161
如上,尽量使用vim、cat、less、more..等4条命令分别查询文件内容,看看是否存在乱码或者无效的数据。
windows系统:使用Notpad++类似的工具进行文件内容查看:
#A套检修压板投入开入_Z.开▒zzz
XE5X85
如上,确保文件内容里面不包含以上示例无效数据。
四、问题解决:
场景1:备份库系统字符集与数据库字符集不一致:
解决方法:修改备份库系统字符集与数据库字符集一致,重新备份然后再进行还原。
场景2:还原目标库系统字符集与数据库字符集不一致:
解决方法:修改还原目标库系统字符集与数据库字符集一致,重新进行还原。
场景3:备份文件字符集与数据库字符集不一致:
备份文件是普通的文本文件,通过ftp、scp...传输后字符集发生变化
解决方法:备份的时候指定备份文件格式为二进制格式或者选择正确的传输模式。
注意:ftp传输模式有两种:ASCII模式和二进制模式:
1.ASCII模式是将文件以文本的形式传输,每次传输一个字符。这种模式适合传输普通的文本文件,如txt、html、xml等,因为它可以根据不同的操作系统自动调整换行符和回车符。
2.二进制模式是将文件以二进制的形式传输,因为二进制传输可以保持文件的原始格式和内容。
使用错误的传输模式,可能会导致以下问题:
1.如用ASCII模式传输二进制文件,可能会丢失一些重要的字节信息;
2.如果用二进制模式传输文本文件,可能会出现换行符和回车符不匹配的问题。
因此在使用ftp命令进行文件传输时,需要根据文件的类型选择合适的传输模式。
默认情况下,ftp命令使用ASCII模式进行传输。如果要切换到二进制模式,可以在ftp命令后输入binary命令。
场景4:文件内容出现乱码或者无效字符:
1.文件内容出现乱码:
解决方法:尝试使用以下命令进行文件字符集转换。
iconv -f utf-8(源字符集) -t utf-8(目标字符集) 文件 > 新的文件
如果使用以上方法文件内容依旧存在乱码可能的原因如下:
数据库字符集与系统字符集不一致,由于此问题导致在备份过程中数据产生乱码。
解决方法:参考问题解决场景1。
使用了错误的传输模式导致文件在传输过程中出现损坏或者丢失了重要的字节信息。
解决方法:参考问题解决场景3。
2.文件内容出现无效字符:参考问题排查4
解决方法:尝试使用以下命令忽略无效的字符,然后重新导入。
iconv -c -f utf-8(源字符集) -t utf-8(目标字符集) 文件 > 新的文件
场景5:程序在写入数据的时候对数据进行了截断产生无效字符:
解决方法:尝试使用以下命令对程序写入数据进行截断导致产生无效字符的处理。
iconv -f utf-8(源字符集) -t utf-8(目标字符集) 文件 > 新的文件
如果是由于程序写入数据时对数据进行截断产生无效字符,需要程序这边进行处理,保证写入数据的完整性。
KingbaseES数据库导入数据invalid byte sequence for encoding的更多相关文章
- ERROR: invalid byte sequence for encoding "UTF8": 0x00
1.使用kettle批量导入数据的时候,数据出现了下面的错误.ERROR: invalid byte sequence for encoding "UTF8": 0x00 关键点: ...
- PostgreSQL copy 时提示:ERROR: invalid byte sequence for encoding "UTF8": 0xb3
测试时使用三种文件格式: ISO-8859 Netpbm PBM image ASCII if [ $(file $filename|grep -c "ISO-8859") -gt ...
- invalid byte sequence for encoding "UTF8": 0xe99d2c
服务器还原数据库数据出错,老规矩... 字符集编码的问题 http://blog.csdn.net/beiigang/article/details/39582583 over....
- Sqlserver 2005 跨数据库 导入数据
--Sqlserver 2005 跨数据库 导入数据:--SQL Server 阻止了对组件 'Ad Hoc Distributed Queries' 的 STATEMENT'OpenRowset/O ...
- CocoaPods pod install的时候报错:invalid byte sequence in UTF-8 (ArgumentError)解决办法
CocoaPods pod install的时候报错:invalid byte sequence in UTF-8 (ArgumentError)解决办法: 基本可以确定是Podfile中的内容编码有 ...
- MYSQL数据库导入数据时出现乱码的解决办法
我的一个网站在负载搞不定的情况下最终选择了数据库和程序分离的方式解决的高负载,但是再导入数据的时候出现了大量乱码,最终通过方法二解决掉导入数据的问题,后面再设计网站布局的时候数据库跟网站程序分离是个很 ...
- solr8.0 从数据库导入数据(三)
第一步:导入相关包: 在创建的核心目录下新建lib文件夹(如果有,无需建立),从Solr源码包的dist文件夹中导入两个solr-dataimporthandler包,以及一个mysql驱动包. 第二 ...
- 记录一次向TiDB数据库导入数据的例子
导出数据 今天从Mysql的某个库中导出一个表大概有20分钟吧,等了一会终于导出成功了.查看一下文件的大小: [tidb@:vg_adn_CkhsTest ~]$du -h ./creative_ou ...
- 在C#应用程序中,利用表值参数过滤重复,批量向数据库导入数据,并且返回重复数据
在很多情况下,应用程序都需要实现excel数据导入功能,数据如果只有几十条,或上百条,甚至上千条,速度还好. 但是不仅如此,如果客户提供给你的excel本身存在着重复数据,或是excel中的某些数据已 ...
- Tidb数据库导入数据出现oom问题
今天使用insert操作向tidb中插入数据,发现正在导入的过程中出现如下错误: mysql: [Warning] Using a password on the command line inter ...
随机推荐
- centos 安装nacos 并以后台服务形式启动
一.下载解压nacos tar -xvf nacos-server-1.2.0.tar.gz 二.持久化配置(mysql) 修改nacos/conf/application.properties文件, ...
- LAMP环境部署wordpress
关于搭建LAMP 请参考:https://blog.csdn.net/IndexMan/article/details/122991129 本篇是基于LAMP环境搭建wordpress. 上传word ...
- VS2019 配置 Qt 库
如标题所说,在 VS 编译器中调用 Qt 库 首先安装一个适合 VS 的 Qt 版本 不知道怎么安装的,可以参考:Visual Studio+Qt配置开发环境 Qt 安装之后,需要在 VS 编译器中 ...
- win32 - WriteConsoleA 的使用
#include <Windows.h> #include <stdio.h> #pragma warning(disable:4996) void PasswordCheck ...
- 程序员应具备的PS基本技能(一):PS2017基本框架使用
若该文为原创文章,未经允许不得转载原博主博客地址:https://blog.csdn.net/qq21497936原博主博客导航:https://blog.csdn.net/qq21497936/ar ...
- VMware虚拟机Ubuntu系统如何占满整个屏幕
VMware虚拟机Ubuntu系统分辨率调节 桌面右击--Disoplay Settings 选择一个跟本机系统一样或者相近的.(本机小米笔记本win11,具体看自己的情况) 结束.
- Vue源码学习(十):关于dep和watcher使用的一些思考
好家伙, 前面想了好久,都没想明白为什么要dep和watcher打配合才能实现数据-视图同步 为什么要多一个依赖管理这样的东西 给每个数据绑个watcher(xxfunction),然后,数据变了 ...
- 【Azure 应用服务】App Service for Linux环境中,如何解决字体文件缺失的情况
问题描述 部署在App Service for Linux环境中的Web App.出现了字体文件缺失的问题,页面显示本来时中文的地方,区别变为方框占位. 问题分析 在应用中,通常涉及到显示问题的有两个 ...
- 以Servlet来解释 抽象实现类
在 Java Servlet API 中: Servlet 接口定义了一个 Servlet 的基本行为.这个接口是抽象的,因为它包含抽象方法,比如 service(), init(), 和 destr ...
- Redis哨兵模式搭建
一:哨兵主要作用 监控:监控redis主库及从库运行状态: 通知:如果redis发生故障转移,可以通过邮件通知管理员: 自动故障转移:一旦发现主库宕机,则在从库中通过选举新的master进行故障转移. ...