敏感词库

敏感词概述：大部分论坛，为了方便管理，都进行了关于敏感词的设定。比如，当你发贴的时候带有某些事先设定的词时，这个贴是不能发出的。或者这个词被自动替换为星号(*)或叉号(X)等，或者说是被和谐掉了。在多数网站，敏感词一般是指带有敏感政治倾向（或反执政党倾向）、暴力倾向、不健康色彩的词或不文明语。也有一些网站根据自身实际情况，设定一些只适用于本网站的特殊敏感词，例如很多电子商务网站会将一些涉及侵犯知识产权，不宜销售的商品，例如“山寨”、“水货”、“盗版”、“刻录”等设置为敏感词，在商品简介中这些词是发不出来的。

例如“Pi”这个词，在国内“Pi”绝对算的上是敏感词语，主要原因一是不雅，二是与黄色有连带关系，但在现实中，“Pi”的使用率却出奇的高，比如人们愤愤然说的“Pi民”、“Pi话”、“狗Pi不通”、“Pi滚尿流”等等，在正常的行文中经常可以看到。同时“Pi”在泰国一般用于称呼某个人，如您叫陈，则在泰国就会被称为“Pi陈”，同时果称谁为“Pipi”，那更是尊称，比如某老人或女人姓王，你叫她“Pipi王”，她会高兴得不得了。显然，在泰国“Pi”是个尊称，类似我们说老王、小罗之类。

敏感词库 图一

【词库简介】

敏感信息词库内含最新、最全的敏感词，内容覆盖两万多条，包括色情、暴恐、反动、民生及贪腐等六大类词库。敏感词主要的范围指的就是带有敏感政治倾向（或反执政党倾向）、暴力倾向、不健康色彩的词或不文明语言。在现实中，随着网络科技的发展，随着而来的网络暴力也越来越严重，越来越的人因为网络上的留言而走上轻生的地步，因此国家有关部分特意针对此类问题分布了一系列禁止出现的敏感词，当用户在网络上发帖或者发文章的时候，若出现此类敏感信息系统就将自动屏蔽，或者直接不允许分布。

【词库分类】

1、色情词库

2、暴恐词库

3、反动词库

4、民生词库

5、其他词库

6、贪腐词库

【词库特点】

1、敏感信息词库整合了多个敏感词库，并添加java实现敏感词过滤的工具类，需要根据具体业务适当调整词库内容

2、敏感词集合，共2W+的敏感词，已通过程序算法去除重复项

3、里面整理了最新网络词库

4、考虑到各行各业需要的分词规则不同，故没有合并

5、文件为txt、xlsx文本用于敏感词过滤

敏感词库 图二