SQLServer特殊字符/生僻字与varchar

对于中文版的SQL SERVER,默认安装后使用的默认排序规则为Chinese_PRC_CI_AS,在此排序规则下,使用varchar类型来可以“正常存取”存放中文字符以及一些东南亚国家的字符,同时varchar类型在存放英文字符和数字时比nvarchar节省一半的存储空间,因此很多DBA都习惯使用varchar类型来存放字符数据,但这样便存在一些乱码隐患! 首先是特殊字符如上下标或版权字符,测试Code如下: --准备测试表 DROP TABLE TB1 GO CREATE TABLE TB1…

曲演杂坛--特殊字符/生僻字与varchar

MySQL生僻字(不常用字)的完整解决方案

查看 MySQL 数据库服务器和数据库字符集 show variables like '%char%'; 查看 MySQL 数据表(table) 的字符集 show table status from sqlstudy_db like '%countries%'; 查看 MySQL 数据列(column)的字符集 show full columns from countries; 查看当前安装的 MySQL 所支持的字符集 show charset; show char set; MySQL的字…

Android上显示生僻字的方法

安卓5.0+是可以显示所有(8万多个)Unicode汉字的,本文介绍显示生僻汉字的方法,这个方法也适用于其它特殊字符. Unicode值在0xFFFF以下的(2万多个简体.繁体)汉字早已被广泛支持,所以本文不把它们看作生僻字.本文说的生僻字是指Unicode值在0xFFFF以上的汉字,这个范围也叫non-BMP. 可以看这篇文章了解汉字的大致分布. 主要有4个关键点: 一.需使用Android 5.0以上系统. 经过我的测试,在Android 4.3.1模拟器.4.4.2模拟器上会出现问题,而在…

SQL生僻字模糊查询

生僻字指在数据库默认的编码中不存又称难字或冷僻字一.SQL中解决生僻字录入乱码问题[调整列数据类型->由varchar改为NVARCHAR]…

Hibernate 数据库方言配置；no dialect mapping for jdbc type:-9；生僻字

最近因为生僻字在界面上显示为?: 主要原因是该字段在数据库中就是varchar类型,显示的就是?:如䶮(yan):现把varchar类型改为nvarchar类型:数据中能够正常显示: 但是SpringBoot程序jpa执行原生的存储过程的会报如下错误: 经验证,是因为Hibernate数据库方言配置问题:增加数据库方言配置 ,方言需要重写: package com.winning.thread; import org.hibernate.dialect.SQLServerDialect;impo…

Duang的成长——使用造字程序输入生僻字

使用造字程序输入生僻字最近,一个字突然间火了起来,那就是——duang! (图片来自网络) 那么,问题来了!造字程序哪家强?(此处有掌声) 其实,微软早就考虑到各国文字的博大精深,在系统中集成了一个造字程序. 使用WinKey+R打开运行,输入"eudcedit"就能找到它啦~ 第一步,需要为创建的文字找一个家,也就是它的存放位置(对应的代码). 点击相应的位置即可(如AAA0)即可. 在接下来的窗口中,就可以直接选择不同的工具进行输入了,这些功能想必一看便知. 用鼠标手写汉字,难免…

php 汉字转拼音 [包含20902个基本汉字+5059生僻字]

原文:php 汉字转拼音 [包含20902个基本汉字+5059生僻字] 昨天在转换拼音的时候发现个bug,有好多字都无法转换,不过也不能怪他,毕竟人家的库才8k,应该只有常用的.无奈上网找了下,发现一篇<最全的PHP汉字转拼音函数(共25961字,包含20902个基本汉字+5059生僻字)> 看着都屌,测试后也不错,都能识别,但问题是功能不够,,无奈,自己动手压缩字库(无损压缩),扩展功能.我用的是他 pinyin.php ~ 206KB 那个UTF8字库,经过压缩扩展后就剩 106K 了.当…

C++中获取汉字拼音首字缩写/全拼及生僻字的处理

最近一直在修改关于搜索不到生僻字的问题,最后得出结论:对生僻字的处理,办法只有一个,建立一个字库,然后查表找. 可以参考一下:http://download.csdn.net/detail/lshlwy/8920047,枚举了两万多的汉字和拼音音调,直接去搜就好了. 1.关于生僻字的处理,加载一个汉字库,然后库中查找.(仅适用于生僻字,频繁查询字库文件,会非常的慢)对于这种循环查询的方法,可能会把程序变慢,匹配度一般. 1 bool existFlag = false; 2 if (firstP…

sqlserver搜索中怎么把varchar类型转换成numeric类型

sqlserver搜索中怎么把varchar类型转换成numeric类型可以用cast来转换如:列名叫grade,表名为A select cast(grade as numeric(y,x)) from A 其中y代表数据长度,x代表小数位长度注意:grade中必须全为数字或小数点,如果存在中文或英文,则运行时会报错…

使用UTF8字符集存储中文生僻字

使用UTF8字符集存储中文生僻字一.相关学习BLOG https://www.cnblogs.com/jyzhao/p/8654412.html http://blog.itpub.net/781883/viewspace-1411259/ https://www.qqxiuzi.cn/bianma/zifuji.php https://blog.csdn.net/iteye_7853/article/details/82516888 二.需求详情:客户提出,关于氮卓斯汀变更为氮䓬斯汀,系统出…

SqlServer英文单词全字匹配

环境:Vs2013+Sql Server2012 问题:现在数据库记录如下: Sentence列保存的是英文的句子,我现在想找出所有包含“I”(单词)的句子,如果我用 Sentence like '%I',作为条件的话,那么像上图选中的那条有个单词“it“(不区分大小写的情况下),它也会被Select出来,而我只想找出含有“I”这个单词的句子的记录. 解决:SqlServer提供了模式匹配,类似于正则,详细内容查阅相关文档. 我先写了一个这样的条件: Sentence like '%[^a-zA…

sqlserver数据库中char、varchar、text与nchar、nvarchar、ntext数据类型使用详解

很多开发者进行数据库设计的时候往往并没有太多的考虑char, varchar类型,有的是根本就没注意,因为存储价格变得越来越便宜了,忘记了最开始的一些基本设计理论和原则,这点让我想到了现在的年轻人,大手一挥一把人民币就从他手里溜走了,其实我想不管是做人也好,做开发也好,细节的把握直接决定很多东西.当然还有一部分人是根本就没弄清楚他们的区别,也就随便选一个.在这里我想对他们做个简单的分析,当然如果有不对的地方希望大家指教. 1.CHAR.CHAR存储定长数据很方便,CHAR字段上的索引效率级高,比…

2W+汉字转拼音JS字库（UTF-8生僻字等通用无乱码）

测试页面 <html> <head> <script Language="JavaScript" src="pinyin.js"></script> </head> <body> <script>var hz='行,衍,衎,衏,衐,衑,衒,術,衔,衕';document.write(hz,'<br>',CC2PY(hz));</script> </bod…

JSOUP教程，JSOUP 乱码处理，JSOUP生僻字乱码解决方案

JSOUP乱码情况产生这几天我用 JSOUP 多线程的方式,爬取了200 多万数据,数据为各地的地名相关.结果有小部分数据,不到 1 万乱码.我先检查了我的编码为UTF-8 ,觉得应该没有问题.代码基本如下如下: try{ doc = Jsoup.connect(url) .header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0&q…

SQLServer生成三位姓名及11位国内电话号码（生成测试数据用）

SELECT SUBSTRING(N'王李张刘陈杨黄赵吴周徐孙马朱胡郭何高林郑谢罗梁宋唐许韩冯邓曹彭曾肖田董袁潘于蒋蔡余杜叶程苏魏吕丁任沈姚卢姜崔钟谭陆汪范金石廖贾夏韦付方白邹孟熊秦邱江尹薛闫段雷侯龙史陶黎贺顾毛郝龚邵万钱严覃武戴莫孔向汤', (),)) ) as int))+ ) ) as int)) AS CNAME, , ) ) AS TEL 名字部分有不少生僻字,不过测试数据的话,勉强用用吧…

SQLServer之数据类型

1.整数数据类型整数数据类型是常用的数据类型之一,主要用于存储数值,可以直接进行数据运算而不必使用函数转换.(1).bigint 每个bigint存储在8个字节中,其中一个二进制位表示符号位,其它63个二进制位表示长度和大小,可以表示-2的63次方~2的63次方-1范围内的所有整数. (2).int int或者integer,每个int存储在4个字节中,其中一个二进制位表示符号位,其它31个二进制位表示长度和大小,,可以表示-2的31次方~2的31次方-1范围内的所有整数. (3).smalli…

关于 MySQL UTF8 编码下生僻字符插入失败/假死问题的分析

原文:http://my.oschina.net/leejun2005/blog/343353 目录[-] 1.问题:mysql 遇到某些中文插入异常 2.原因:此 utf8 非彼 utf8 3.解决方案 3.1 升级 mysql 版本,并将utf8字符集升级到utf8mb4 3.1.1 直接修改表结构 3.1.2 修改数据库默认配置 3.2 强行过滤掉生僻字符串 3.2.1 shell 过滤 3.2.2 java 中的过滤操作 3.3 避开客户端乱码:二进制存储与查询 4.应用.系统对 utf…

一个“”字引发的痛苦经历

(一篇老文章,还有点价值,特意整理了一下.由于涉及客户项目,已经进行了脱敏处理) 1 写在前面的话虽然这个问题是有解决方案的,但我不建议大家提供给客户,理由见此. 2 问题描述 2010.10.12,业务部门提交问题单(2010.09.14):在对xx铁路局进行"缴费通知单明细信息导入"时,因遇到生僻字"贾"(上龙下天),系统无法识别并报错,使得业务不得不暂停,望给予解决. 3 问题分析 3.1 初步分析生僻字的乱码问题, 我们认为在生产系统中是不存在的 (除…

sqlserver常用数据类型（精炼版）

一:系统数据类型 2.浮点数据类型 3.字符数据类型 4.日期和时间数据类型 5.文本和图形数据类型 6.货币数据类型 7.位数据类型 8.二进制数据类型 9.其他数据类型二:自定义数据类型数据类型是一种属性,用于指定对象可保存的数据的类型,SQL Server中支持多种数据类型,包括字符类型.数值类型以及日期类型等.数据类型相当于一个容器,容器的大小决定了装的东西的多少,将数据分为不同的类型可以节省磁盘空间和资源. Sql Server 还能自动限制每个数据类型的取值范围,例如定义了…

【SQLServer】使用T-SQL访问远程数据库：openrowset 和 openquery 以及连接服务器的创建

█ 启用/关闭Ad Hoc Distributed QueriesAd Hoc Distributed Queries服务默认是关闭的,要使用openrowset 和 openquery访问远程数据库,需要在本地启用该服务 -- 启用 Ad Hoc Distributed Queries reconfigure reconfigure -- 关闭 Ad Hoc Distributed Queries reconfigure reconfigure █openrowset 和 openquery访…

nvarchar, varchar, nchar, char的差別

1. var,意思是可變動的,因為欄位長度可變動,所以會額外花費2Byte去儲存地址2. n,支援UNICODE UCS-2字元,因為萬國編碼(支援中文字),所以1字儲存2Byte nvarchar:可變動長度的ncharvarchar:可變動長度的charnvarchar:可變動長度的ncharnchar:固定長度的char (1) var因為額外儲存地址,讀取時會先去抓資料,會比非var來的略慢效能:(nvarchar, varchar) < (nchar, char) (2) n因為1字…

MSSQL sqlserver 统计"一个字符串"在"另一个字符串"中出现的次数的方法

转自 http://www.maomao365.com/?p=9858 摘要: 下文讲述sqlserver中最快获取一个字符串在另一个字符串中出现个数的方法分享实验环境:sql server 2008 R2 实现思路: 1.使用replace替换字符串后 2.使用Len获取替换后的长度, 3.得出替换前和替换后的长度差 4.使用长度差除以替换字符串的长度,所得到的商即为"替换的个数". ) ) --待替换字符串 set @a ='maomao' --原字符串赋值 set @b ='…

sqlserver date与datetime区别及sqlserver日期格式转换

date是SQL Server 2008新引进的数据类型.它表示一个日子,不包含时间部分,可以表示的日期范围从公元元年1月1日到9999年12月31日.只需要3个字节的存储空间.DateTime 日期和时间部分,可以表示的日期范围从公元1753年1月1日00:00:00.000 到9999年12月31日23:59:59.997 ,精确到3.33毫秒,它需要8个字节的存储空间. Sqlserver日期转换 Select CONVERT(varchar(100), GETDATE(), 0): 05…

从Oracle迁移到MySQL的各种坑及自救方案

当企业内部使用的数据库种类繁杂时,或者有需求更换数据库种类时,都可能会做很多数据迁移的工作.有些迁移很简单,有些迁移可能就会很复杂,大家有没有考虑过为了顺利完成复杂的数据库迁移任务,都需要考虑并解决哪些问题呢? 在以前的工作中,我迁移过Oracle到Informix.Oracle和SQLServer.Oracle到MySQL. 在目前的公司又因为去O的关系,做了大量的迁移工作,栽了不少坑,所以和大家交流一下在迁移的过程中的一些实践. 分享大纲: 去O前的准备与考虑确定目标数据库表和数据对象的…

五、Sql Server 基础培训《进度5-数据类型（知识点+实际操作）》

知识点: ================================================= ================================================= 1.二进制的概念计算机运算采用二进制.二进制数值用0和1两个数来表示数据,它的基数为2,进位规则是“逢二进一”.借位规则是“借一当二” 举例(加法):一串二进制000 加1: 001 再加1: 010 再加1: 011 再加1: 100 再加1: 101 举例(减…

UTF-8和GBK编码之间的区别(页面编码、数据库编码区别)以及在实际项目中的应用

第一节:UTF-8和GBK编码概述 UTF-8 (8-bit Unicode Transformation Format) 是一种针对Unicode的可变长度字符编码,又称万国码,它包含全世界所有国家需要用到的字符,是国际编码,通用性强,是用以解决国际上字符的一种多字节编码.由Ken Thompson于1992年创建.UTF-8用1到4个字节编码UNICODE字符,它对英文使用8位/8Bit(即1个字节/1Byte),中文使用24位/24Bit(3个字节/3Byte)来编码.用在网页上可以同一页…