php 过滤非utf8字符

2024-08-04

PHP 删除非法UTF-8字符

//reject overly long 2 byte sequences, as well as characters above U+10000 and replace with ? $some_string = preg_replace('/[x00-x08x10x0Bx0Cx0E-x19x7F]'. '|[x00-x7F][x80-xBF]+'. '|([xC0xC1]|[xF0-xFF])[x80-xBF]*'. '|[xC2-xDF]((?![x80-xBF])|[x80-xBF]{

一个高效过滤非UTF8字符的C函数（也可用来判断是否utf8）

/* UTF-8 valid format list: 0xxxxxxx 110xxxxx 10xxxxxx 1110xxxx 10xxxxxx 10xxxxxx 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx */ char *filter_none_utf8_chars(c

Node 抓取非utf-8编码页面

代码示例 Nodejs抓取非utf8字符编码的页面 -- Ruby's Louvre var http = require('http'); var iconv = require('iconv-lite'); var url=require('url'); var html = ""; var getURL = url.parse('http://bj.soufun.com/'); var req =http.get(getURL, function (res) { res.setE

过滤3个字节以上的utf-8字符

/** * 过滤掉超过3个字节的UTF8字符 * @param text * @return * @throws UnsupportedEncodingException */ public static String filterOffUtf8Mb4(String text) throws UnsupportedEncodingException { byte[] bytes = text.getBytes("utf-8"); ByteBuffer buffer = ByteBuff

ASCII 非打印字符

项目出了问题,因为AscII非打印字符的原因,后来找了一下啊ASCII的非打印字符,总共有31个,然后我们直接全部替换成问号了. 解决方式为先找到非打印字符,这是我从网上找的非打印字符表: 进制十六进制字符十进制十六进制字符 0 00 空 16 10 数据链路转意 1 01 头标开始 17 11 设备控制 1 2 02 正文开始 18 12 设备控制 2 3 03 正文结束 19 13 设备控制 3 4 04 传输结束 20 14 设备控制 4 5 05 查询

为什么乱码：<meta http-equiv="content-type">前的非ANSI字符

为什么乱码:<meta http-equiv="content-type">前的非ANSI字符浏览器检测网页字符集的默认顺序浏览器的网页字符集检测顺序通常是: charset parameter in HTTP Content-type header. <meta http-equiv="content-type"> element in the <head> of a web page for HTML documents.

Base64 报错的解决办法（Base-64 字符数组或字符串的长度无效。，输入的不是有效的 Base-64 字符串，因为它包含非 Base-64 字符、两个以上的填充字符，或者填充字符间包含非法字符。）

Base64 报错的解决办法, 报错如下:1. FormatException: The input is not a valid Base-64 string as it contains a non-base 64 character, more than two padding characters, or a non-white space character among the padding characters. ] System.Convert.FromBase64Str

ASCII，Unicode，GBK和UTF-8字符编码的区别和联系

如果经常写python2,肯定会遇到各种“奇怪”的字符编码问题,每次都通过谷歌解决了,但是为什么会造成这种乱码.decode/encode失败等等,本文就字符和字符编码做一个总结,更加清晰区分诸多的编码. 字符集一个系统支持的所有抽象字符的集合.字符是文字和符号的总称,包含各个国家文字.标点符号.图像符号.数字等.它为每一个字符分配一个唯一的ID,一般称之为码位.码点. 字符编码它是一套规则,使用该规则能够将自然语言的字符的一个集合与其他东西的一个集合进行配对,在符号集合和数字系统中建立映射

包含utf8字符的 pickle 转 json的大坑处理过程

背景:希望将pickle转换为json,由于pickle里有utf8的字符,因此转换失败. 转换代码如下: ''' Convert a pkl file into json file ''' import sys import os import pickle import json def convert_dict_to_json(file_path): with open(file_path, 'rb') as fpkl, open('%s.json' % file_path, 'w') a

ASCII、Unicode、GBK和UTF-8字符编码的区别联系（转载）

ASCII.Unicode.GBK和UTF-8字符编码的区别联系转载自:http://dengo.org/archives/901 很久很久以前,有一群人,他们决定用8个可以开合的晶体管来组合成不同的状态,以表示世界上的万物.他们看到8个开关状态是好的,于是他们把这称为”字节“.再后来,他们又做了一些可以处理这些字节的机器,机器开动了,可以用字节来组合出很多状态,状态开始变来变去.他们看到这样是好的,于是它们就这机器称为”计算机“. 开始计算机只在美国用.八位的字节一共可以组合出256(2的8

C#获取本机IP且过滤非真实网卡（如虚拟机网卡）

参考了网上的文章,具体地址不记得了. 下面的方法可以过滤掉虚拟机的网卡等无效网卡,进而只留下真实的网卡. using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Management; namespace _15获取本机IP_过滤非真实网卡_ { class Program { static void Main(string[] args) { List<

CMD窗口正确显示UTF-8字符

Go语言教程 http://yiibai.com/go/ CMD窗口正确显示UTF-8字符 http://www.360doc.com/content/13/0424/13/2569758_280582390.shtml 在中文Windows系统中,如果一个文本文件是UTF-8编码的,那么在CMD.exe命令行窗口(所谓的DOS窗口)中不能正确显示文件中的内容.在默认情况下,命令行窗口中使用的代码页是中文或者美国的,即编码是中文字符集或者西文字符集. 如果想正确显示UTF-8字符,可以按照以

windows下cmd命令行显示UTF8字符设置(CHCP命令)

本文由 www.169it.com 收集整理在中文Windows系统中,如果一个文本文件是UTF-8编码的,那么在CMD.exe命令行窗口(所谓的DOS窗口)中不能正确显示文件中的内容.在默认情况下,命令行窗口中使用的代码页是中文或者美国的,即编码是中文字符集或者西文字符集. 如果想正确显示UTF-8字符,可以按照以下步骤操作: 1.打开CMD.exe命令行窗口 2.通过 chcp命令改变代码页,UTF-8的代码页为65001 1 chcp 65001 执行该操作后,代码页就被变成UTF-8了

hibernate自动建表采用UTF-8字符编码

hibernate自动建表采用UTF-8字符编码 hibernate建表默认为UTF-8编码 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>. 蕃薯耀 2016年4月14日 15:30:49 星期四 http://fanshuyao.iteye.com/ 一.问题: hibernate自动建

注册许可证出现“输入的不是有效的 Base-64 字符串，因为它包含非 Base-64 字符、两个以上的填充字符，或者填充字符间包含非空白字符”

问题描述: 引入失败!输入的不是有效的 Base-64 字符串,因为它包含非 Base-64 字符.两个以上的填充字符,或者填充字符间包含非空白字符解决方案: 去注册cloud7.0的产品,重新引入就好了,这个是金蝶官方抽风,明明是7.1的产品,死活激活不了,还要去7.0重新注册.

CSS非ASCII字符最佳实践

问题场景在写样式时经常需要用到非ASCII字符的属性值,如下: ? 1 2 3 4 5 6 7 8 9 10 11 .hot_list .sign_discount:before { content: "满减"; padding: 0 8px; margin-right: 7px; font-size: 12px; line-height: 14px; color: #fff; text-align: center; borde

如何在DOS窗口中显示UTF-8字符

在中文Windows系统中,如果一个文本文件是UTF-8编码的,那么在CMD.exe命令行窗口(所谓的DOS窗口)中不能正确显示文件中的内容.在默认情况下,命令行窗口中使用的代码页是中文或者美国的,即编码是中文字符集或者西文字符集. 如果想正确显示UTF-8字符,可以按照以下步骤操作: 1.打开CMD.exe命令行窗口 2.通过 chcp命令改变代码页,UTF-8的代码页为65001 chcp 65001 执行该操作后,代码页就被变成UTF-8了.但是,在窗口中仍旧不能正确显示UTF-8字符.

ios非UTF-8格式的网页解析

网上有很多关于ios xml解析的方法,关于非UTF-8格式的网页解析也不少,我也试着看了好几个,但都没成功.今天无意中却弄好了,所以想和大家分享下.其实很简单,下面说下怎么得到非UTF-8格式的网页要解析的代码内容,这也是比较关键的一步,剩余的解析过程网上很多,这里就不在赘述了,如果实在有需要得话,再跟我联系. 1.以百度(http://www.baidu.com)为例,其网页格式为gb2312,新建一个项目project,在-(void)viewDidLoad内输入一下内容: 1NSURL

FromBase64String 输入的不是有效的 Base-64 字符串，因为它包含非 Base-64 字符、两个以上的填充字符，或者填充字符间包含非法字符

js前台: <input id="upload_img_input" v-on:change="onFileChange" type="file" multiple/> onFileChange(e) { var files = e.target.files || e.dataTransfer.files; if (!files.length)return; this.createImage(files); }, createImag

091-PHP数组过滤函数array_filter，过滤非整数

<?php function not_int($x){ //定义过滤非整数的函数 if(is_int($x)) return TRUE; } $arr=array(1,2,'a',3,4,'c','d'); //定义数组 echo '过滤前的数组信息:<br />'; print_r($arr); //输出过滤前的数组信息 $res=array_filter($arr,'not_int'); //调用函数过滤数组 echo '<br />过滤后的数组信息:<br /&g

【转载】在Windows终端中显示UTF-8字符

一直苦恼于如何在Windows终端中显示UTF-8字符的问题.比如,在MySQL命令行下,如果数据库的编码是UTF-8,那么,在查询数据库的时候,里面的中文都会变成乱码.今天半无意的搜索了一下,结果发现解决方案非常简单:1. 修改终端的代码页.在终端中输入:chcp 650012. 右键点击任务栏上的终端(也可以单击窗口左上角的图标),在快捷菜单中选择属性,在里面选择字体--如 Lucida Console,不要选择"点阵字体":确定之后,再次测试UTF-8输出,你看到了什么. :)要

php 过滤非utf8字符

热门专题