栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

java实现屏蔽词功能

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

java实现屏蔽词功能

经常会看到贴吧里面屏蔽各种用户的发帖内容,当时就想这个该如何去实现。自己当时想过用字符串去替代的方式(replaceAll)去实现,但是这种效率又非常低,也不能保证最长匹配,这就是自己当时最初的想法。最近自己做的一个项目中,需要对一些内容做屏蔽,自己又对这个问题做了一次分析,最终形成下面的代码。

  
package cn.yicha.novel.search.util; 
 
import java.io.BufferedReader; 
import java.io.File; 
import java.io.FileInputStream; 
import java.io.FileNotFoundException; 
import java.io.IOException; 
import java.io.InputStreamReader; 
import java.util.HashSet; 
 
import cn.yicha.novel.search.config.Config; 
 
public class Forbidden { 
  
 private static Forbidden forbidden = new Forbidden(); 
 //屏蔽词HashSet 
 private HashSet keyString = new HashSet(); 
 private final static int maxLength = Character.MAX_VALUE; 
 //屏蔽词长度HashSet数组 
 @SuppressWarnings("unchecked") 
 private HashSet[] keyLength = new HashSet[maxLength]; 
  
 private Forbidden() { 
  loadForbidden(Config.getClassRoot() + "forbidden.txt"); 
 } 
 public static Forbidden getForbidden(){ 
  return forbidden; 
 } 
  
  
 public String read(String str){ 
  if (str == null){ 
   return null; 
  } 
  StringBuffer stringBuffer = new StringBuffer(); 
  int start = 0; 
  for (int i = 0; i < str.length();){ 
   int at = str.charAt(i); 
   if (keyLength[at] == null){ 
    i++; 
    continue; 
   } else { 
    int ml = 0; 
    for (Object obj : keyLength[at].toArray()){ 
     int len = ((Integer)obj).intValue(); 
     if (i + len <= str.length()){ 
      String s = str.substring(i, i + len); 
      if (keyString.contains(s)){ 
//最大长度匹配 
ml = len > ml ? len : ml; 
      } 
     } 
    } 
    if (ml > 0){ 
     stringBuffer.append(str.substring(start, i)).append("***"); 
     i += ml; 
     start = i; 
    } else { 
     i++; 
    } 
   } 
  } 
  if (start < str.length()){ 
   stringBuffer.append(str.substring(start)); 
  } 
  return stringBuffer.toString(); 
 } 
  
  
 public void loadForbidden(String path){ 
  File forbiddenFile = new File(path); 
  FileInputStream fileInputStream; 
  try { 
   fileInputStream = new FileInputStream(forbiddenFile); 
   InputStreamReader inputStreamReader = new InputStreamReader(fileInputStream, "utf-8"); 
   BufferedReader bufferedReader = new BufferedReader(inputStreamReader); 
   String s; 
   while ((s = bufferedReader.readLine()) != null){ 
    s = s.trim(); 
    if (s.length() > 0){ 
     keyString.add(s); 
     int i = s.charAt(0); 
     if (keyLength[i] == null){ 
      //屏蔽词长度HashSet 
      HashSet a = new HashSet(); 
      a.add(s.length()); 
      keyLength[i] = a; 
     } else { 
      keyLength[i].add(s.length()); 
     } 
    } 
   } 
   fileInputStream.close(); 
   bufferedReader.close(); 
   fileInputStream.close(); 
  } catch (FileNotFoundException e) { 
   e.printStackTrace(); 
  } catch (IOException e) { 
   e.printStackTrace(); 
  } 
 } 
 
 public static void main(String[] args) { 
//  System.out.println(Forbidden.getForbidden().read("AV女优nihao")); 
  int i = '你'; 
  System.out.println(i); 
 } 
} 

以上就是java实现屏蔽词功能的关键代码,希望对大家的学习有所帮助。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/150739.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号