使用Word的VBA功能过滤敏感词

2024-11-04

java 实现敏感词(sensitive word)工具详解使用说明

sensitive-word 平时工作中,只要涉及到用户可以自由发言(博客.文档.论坛),就要考虑内容的敏感性处理. sensitive-word 基于 DFA 算法实现的高性能敏感词工具.工具使用 java 实现,帮助我们解决常见的问题. 特性 6W+ 词库,且不断优化更新基于 DFA 算法,性能较好基于 fluent-api 实现,使用优雅简洁支持敏感词的判断.返回.脱敏等常见操作支持全角半角互换支持英文大小写互换快速开始准备 JDK1.7+ Maven 3.x+ Maven

(转)两种高效过滤敏感词算法--DFA算法和AC自动机算法

原文:https://blog.csdn.net/u013421629/article/details/83178970 一道bat面试题:快速替换10亿条标题中的5万个敏感词,有哪些解决思路? 有十亿个标题,存在一个文件中,一行一个标题.有5万个敏感词,存在另一个文件.写一个程序过滤掉所有标题中的所有敏感词,保存到另一个文件中. 1.DFA过滤敏感词算法在实现文字过滤的算法中,DFA是比较好的实现算法.DFA即Deterministic Finite Automaton,也就是确定有穷自动机

【SpringBoot】前缀树 Trie 过滤敏感词

1.过滤敏感词 Spring Boot实践,开发社区核心功能完成过滤敏感词 Trie 名称:Trie也叫做字典树.前缀树(Prefix Tree).单词查找树特点:查找效率高,消耗内存大应用:字符串检索.词频统计.字符串排序等 Trie 搜索字符串的效率主要跟字符串的长度有关最大的特点就是共享字符串的公共前缀来达到节省空间的目的了更多Trie 相关的数据结构和算法 Double-array Trie.Suffix Tree.Patricia Tree.Crit-bit Tree.AC自

SpringBoot开发十四-过滤敏感词

项目需求-过滤敏感词利用 Tire 树实现过滤敏感词定义前缀树,根据敏感词初始化前缀树,编写过滤敏感词的方法代码实现我们首先把敏感词存到一个文件 sensitive.txt: 赌博嫖娼吸毒开票然后我们写一个工具 SensitiveFilter 实现这个功能: package com.nowcoder.community.util; import org.apache.commons.lang3.CharUtils; import org.apache.commons.lang3.

web前端js过滤敏感词

web前端js过滤敏感词这里是用文本输入框还有文本域绑定了失去焦点事件,然后再遍历敏感词数组进行匹配和替换. var keywords=["阿扁","呵呵","bcc"]; $("input[type=text]").on("blur",function(){ _filter_method($(this)); }); $("textarea").on("blur",

过滤敏感词工具类SensitiveFilter

网上过滤敏感词工具类有的存在挺多bug,这是我自己改用的过滤敏感词工具类,目前来说没啥bug,如果有bug欢迎在评论指出使用前缀树 Trie 实现的过滤敏感词,树节点用静态内部类表示了,都写在一个 SensitiveFilter 一个文件里了 package top.linzeliang.util; import org.apache.commons.lang3.CharUtils; import org.apache.commons.lang3.StringUtils; import org

[转]Filter实现处理中文乱码,转义html标签,过滤敏感词

原文地址:http://www.cnblogs.com/xdp-gacl/p/3952405.html 在filter中可以得到代表用户请求和响应的request.response对象,因此在编程中可以使用Decorator(装饰器)模式对request.response对象进行包装,再把包装对象传给目标资源,从而实现一些特殊需求. 一.Decorator设计模式 1.1.Decorator设计模式介绍当某个对象的方法不适应业务需求时,通常有2种方式可以对方法进行增强: 编写子类,覆盖需增强的

PHP 扩展 trie-tree, swoole过滤敏感词方案

在一些app,web中评论以及一些文章会看到一些*等,除了特定的不显示外,我们会把用户输入的一些敏感字符做处理,具体显示为*还是其他字符按照业务区实现. 下面简单介绍下业务处理. 原文地址:小时刻个人博客 > http://small.aiweimeng.top/index.php/archives/18.html php扩展安装说明: 1.安装php扩展trie-tree,安装教程 http://blog.41ms.com/post/39.html 2.安装swoole扩展,安装教程 http

php过滤敏感词

<?php /** * 敏感词过滤工具类 * 使用方法 * echo FilterTools::filterContent("你妈的我操一色狼杂种二山食物","*",DIR."config/word.txt",$GLOBALS["p_memcache"]["bad_words"]); */ class FilterTools { public static $keyword = a

js 过滤敏感词，可将带有标点符号的敏感词过滤掉

function transSensitive(content) { // var Sensitive = H.getStorage("Sensitive");//敏感词数组 var Sensitive=["张三","李四"];//敏感词数组 var v = new RegExp(Sensitive.join('|'), "gi");//将数组转成正则 var array = new Array(); //将特殊符号的过滤并且

js 过滤敏感词

<html> <head> <title>Bad Words Example</title> <script type="text/javascript"> function filterText(sText) { var reBadWords = /badword|anotherbadword/gi; return s

正则的小效果：-------> 过滤敏感词

<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title></title> <script> var str = '这样一个不起眼的地方,却吸引了很多IT技术精英,把这里当作自己的网上家园,每天在这里分享着精彩的原创内容,也许他们看重的不是华丽的外表.诱人的虚名,而是纯净.专注.对技术人员的理解.博客园来到了上海,有了自己的团队,注册用户4万

php扩展trie_filter: 利用词库, 过滤敏感词

1. 先安装libiconv# wget http://ftp.gnu.org/pub/gnu/libiconv/libiconv-1.13.1.tar.gz# tar -zxvf libiconv-1.13.1.tar.gz# cd libiconv-1.13.1# ./configure --prefix=/usr/local/libiconv# make# make install 2. 再安装libdatriecd /userfile/lsxz -d libdatrie-0.2.10.t

用php实现一个敏感词过滤功能

周末空余时间撸了一个敏感词过滤功能,下边记录下实现过程. 敏感词,一方面是你懂的,另一方面是我们自己可能也要过滤一些人身攻击或者广告信息等,具体词库可以google下,有很多. 过滤敏感词,使用简单的循环str_replace是性能很低效的,还会随着词库的增加,性能指数下降,而且简单的替换,不能解决一些不是完全匹配的词.这时候就需要先构建一个字典树(trie),单纯的字典树占用空间较大,使用Double-Array Trie或者Ternary Search Tree可以在保证性能的同时节省一部分

web系统安全运营之基础- 基于DFA算法的高性能的敏感词，脏词的检测过滤算法类(c#).

[概述]做好一个web系统的安全运维,除了常规的防注入,防入侵等,还有一个检测并过滤敏感词,脏词.. 这件事做得不好,轻则导致一场投诉或纠纷,重则导致产品被勒令关闭停运. 废话少说,先看下代码,可以拿过去直接使用. using Microsoft.VisualBasic; using System; using System.Collections.Generic; using System.IO; using System.Linq; using System.Text; namespace

java实现敏感词过滤（DFA算法）

小Alan在最近的开发中遇到了敏感词过滤,便去网上查阅了很多敏感词过滤的资料,在这里也和大家分享一下自己的理解. 敏感词过滤应该是不用给大家过多的解释吧?讲白了就是你在项目中输入某些字(比如输入xxoo相关的文字时)时要能检测出来,很多项目中都会有一个敏感词管理模块,在敏感词管理模块中你可以加入敏感词,然后根据加入的敏感词去过滤输入内容中的敏感词并进行相应的处理,要么提示,要么高亮显示,要么直接替换成其它的文字或者符号代替. 敏感词过滤的做法有很多,我简单描述我现在理解的几种: ①查询数据库

Android敏感词过滤主要类

package com.tradeaider.app.utils; import com.tradeaider.app.activity.MyApplication;import java.util.ArrayList;import java.util.Arrays;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util.Map; /** * @name tradeaide

使用DFA算法对敏感词进行过滤

项目目录结构如下: 其中resources资源目录中: stopwd.txt :停顿词,匹配时间直接过滤. wd.txt:敏感词库. 1.WordFilter敏感词过滤类: package com.skyer.sensitivewdfilter; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.util.ArrayList; impor

Java 敏感词过滤，Java 敏感词替换，Java 敏感词工具类

Java 敏感词过滤,Java 敏感词替换,Java 敏感词工具类 =========================== ©Copyright 蕃薯耀 2017年9月25日 http://www.cnblogs.com/fanshuyao/ 一.问题描述很多对外网站的某些内容都需要过滤敏感词,避免政治与色@情上的问题. 二.解决方案使用词库进行匹配过滤成 * (星号) Java 敏感词工具类及敏感词词库见附件. 1.下载后,有几个类,主要为WordFilter 这个工具类,使用方法如下

PHP——敏感词过滤

前言如果可以用第三方的话,那么你是幸运的,因为现在这种敏感词过滤,敏感图片,敏感语音过滤的第三方服务还是挺多的敏感词过滤核心代码利用PHP内置的三个函数 array_combine() | array_fill() | strtr() $replace =array_combine($item,array_fill(0,count($item),'*')); $content = strtr($content,$replace); array_combine array_fill str

敏感词过滤和XML的创建

今天我慢下来啦,因为这三天没有新的课程学习内容,自己仅仅看啦一些,这让我停下来栖息片刻:说说现在的生活,简单的进行着,每天要奔波着去上课,然后回来,每天都在想怎样学习这个小知识点,大脑也在想怎样解决程序中的问题,每一天就是这样的开始,这样的结束:现在感觉:自己像一台电脑一样,难道被病毒入侵啦吗?但是这样的我仍然是快乐的,我因为兴趣而开始来习惯这样的生活的,所以一切的一切都是理所当然的,也是我已经预料到的,现在就是感觉有问题啦每次百度还是很难结局啊,不知道该怎么办,有点纠结,我的培训班的选择真的让

使用Word的VBA功能过滤敏感词

热门专题