IKAnalyzer使用不同版本中文分詞的切詞方式實現相同功能效果

2024-07-14 08:43:04

字體：大中小

來源：轉載

供稿：網友

最近公司在做一個題庫的功能，需要用到中文分詞和公式分詞的工具，最開始用 IKAnalyzer 2012F 版本 + lunece 6.5.1做了一版中文分詞工具。

具體如下：

一、IKAnalyzer 2012F + lunece 6.5.1 實現中文分詞

 public static List<String> analysisByIK(Analyzer analyzer,String field, String content){ if(StringUtils.isNullOrEmpty(content)){  return null; } TokenStream ts = null; try {  ts = analyzer.tokenStream(field, new StringReader(content));  CharTermAttribute term = ts.addAttribute(CharTermAttribute.class);  ts.reset();   List<String> vocabularies = new ArrayList<>();  while (ts.incrementToken()) {  vocabularies.add(term.toString());  }  ts.end();  return vocabularies; } catch (Exception e) {  logger.error(e.getMessage(), e); } finally {  if (ts != null) {  try {   ts.close();  } catch (IOException e) {   e.printStackTrace();  }  } } return null; }

調用方式：

 String str = "已知三角形ABC中，角A等于角B加角C，那么三角形ABC是 A、銳角三角形 B、直角三角形 C、鈍角三角形 D、不能確定"; Analyzer analyzer = new IKAnalyzer(true); ikList = analysisByIK(analyzer, "myfield", str); listAnalyzer.addAll(ikList);

輸出結果listAnalyzerd：

[已知, 三角形, abc, 中, 角, a, 等于, 角, b, 加, 角, c, 那么, 三角形, abc, 是, a, 銳角三角形, b, 直角三角形, c, 鈍角三角形, d, 不能, 確定]

但是由于公式切詞是原來公司大牛寫的，在滿足公式切詞的條件下，中文切詞的IKAnalyzer 2012F與其不兼容。于是嘗試其他版本，最終決定用 IKAnalyzer 3.2.8 實現了兼容。

二、IKAnalyzer 3.2.8 + lunece 3.1.0 兼容版本

 public static List<String> analysisByIK3Point2(Analyzer analyzer,String field, String content) throws Exception{ if(StringUtils.isNullOrEmpty(content)){  return null; } List<String> list = new ArrayList<>(); Reader reader = new StringReader(content);    TokenStream stream = (TokenStream)analyzer.tokenStream(field, reader);    //添加工具類 注意：以下這些與之前lucene2.x版本不同的地方    TermAttribute termAtt = (TermAttribute)stream.addAttribute(TermAttribute.class);    OffsetAttribute offAtt = (OffsetAttribute)stream.addAttribute(OffsetAttribute.class);    // 循環打印出分詞的結果，及分詞出現的位置    while(stream.incrementToken()){     list.add(termAtt.term());//       System.out.println(termAtt.term());    } return list; }

調用方式：

 String str = "已知三角形ABC中，角A等于角B加角C，那么三角形ABC是 A、銳角三角形 B、直角三角形 C、鈍角三角形 D、不能確定"; Analyzer analyzer = new IKAnalyzer(true); ikList = analysisByIK3Point2(analyzer, "myfield", str); listAnalyzer.addAll(ikList);

輸出結果：