經常會看到貼吧里面屏蔽各種用戶的發帖內容,當時就想這個該如何去實現。自己當時想過用字符串去替代的方式(replaceAll)去實現,但是這種效率又非常低,也不能保證最長匹配,這就是自己當時最初的想法。最近自己做的一個項目中,需要對一些內容做屏蔽,自己又對這個問題做了一次分析,最終形成下面的代碼。
/** *@Description: 屏蔽詞功能實現 */ package cn.yicha.novel.search.util; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.io.InputStreamReader; import java.util.HashSet; import cn.yicha.novel.search.config.Config; public class Forbidden { private static Forbidden forbidden = new Forbidden(); //屏蔽詞HashSet private HashSet<String> keyString = new HashSet<String>(); private final static int maxLength = Character.MAX_VALUE; //屏蔽詞長度HashSet數組 @SuppressWarnings("unchecked") private HashSet<Integer>[] keyLength = new HashSet[maxLength]; private Forbidden() { loadForbidden(Config.getClassRoot() + "forbidden.txt"); } public static Forbidden getForbidden(){ return forbidden; } /** * @param str * @return * @Description: 輸入的字符串通過屏蔽處理,實現最大長度匹配 */ public String read(String str){ if (str == null){ return null; } StringBuffer stringBuffer = new StringBuffer(); int start = 0; for (int i = 0; i < str.length();){ int at = str.charAt(i); if (keyLength[at] == null){ i++; continue; } else { int ml = 0; for (Object obj : keyLength[at].toArray()){ int len = ((Integer)obj).intValue(); if (i + len <= str.length()){ String s = str.substring(i, i + len); if (keyString.contains(s)){ //最大長度匹配 ml = len > ml ? len : ml; } } } if (ml > 0){ stringBuffer.append(str.substring(start, i)).append("***"); i += ml; start = i; } else { i++; } } } if (start < str.length()){ stringBuffer.append(str.substring(start)); } return stringBuffer.toString(); } /** * @param path * @Description: 初始化加載屏蔽詞 * @Description: 存儲屏蔽詞的數據格式邏輯如下 * @Description: 構建一個HashSet<String>用于存儲所有的屏蔽詞 * @Description: 構建長度為maxLength = Character.MAX_VALUE 的 HashSet<Integer>數組 * @Description: 將加載的屏蔽中第一個字符轉化成int值,即相關信息存儲在數組中的位置, * @Description: 如“你好呀”得到'你'的int值為20320,即“你好呀”相關信息存儲在數組的第20320位置 * @Description: 數組每一位存儲的HashSet<Integer>結構存儲在該位置的屏蔽詞的長度 */ public void loadForbidden(String path){ File forbiddenFile = new File(path); FileInputStream fileInputStream; try { fileInputStream = new FileInputStream(forbiddenFile); InputStreamReader inputStreamReader = new InputStreamReader(fileInputStream, "utf-8"); BufferedReader bufferedReader = new BufferedReader(inputStreamReader); String s; while ((s = bufferedReader.readLine()) != null){ s = s.trim(); if (s.length() > 0){ keyString.add(s); int i = s.charAt(0); if (keyLength[i] == null){ //屏蔽詞長度HashSet HashSet<Integer> a = new HashSet<Integer>(); a.add(s.length()); keyLength[i] = a; } else { keyLength[i].add(s.length()); } } } fileInputStream.close(); bufferedReader.close(); fileInputStream.close(); } catch (FileNotFoundException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } public static void main(String[] args) { // System.out.println(Forbidden.getForbidden().read("AV女優nihao")); int i = '你'; System.out.println(i); } }
以上就是java實現屏蔽詞功能的關鍵代碼,希望對大家的學習有所幫助。
新聞熱點
疑難解答