solr-4.10.0自定义逗号分词器

admin

今天需要将一个以逗号分隔的字段建立到索引库中去，没找到有现成的逗号分隔符分词器，于是看了看源码里空格分词器WhitespaceTokenizerFactory的写法。照葫芦画瓢写了一个逗号分词器：

原文引自：http://www.xuebuyuan.com/580106.html

但是版本太低 与现在版本所继承的类有所区别、故反编译了一下源码找到 WhitespaceTokenizerFactory类 在包lucene-analyzers-common-4.10.0.jar 下。

CommaTokenizerFactory.java

1. import java.io.Reader;
   
2. import java.util.Map;
   
3. import org.apache.lucene.analysis.util.TokenizerFactory;
   
4. import org.apache.lucene.util.AttributeFactory;
   
5. 
   
6. /**
   
7. *@Function: 自定义逗号分词
   
8. *@Class Name: CommaTokenizerFactory
   
9. *@Author: zhangZhiPeng
   
10. *@Date: 2014年10月21日
    
11. *@Modifications:
    
12. *@Modifier Name; Date; The Reason for Modifying
    
13. *
    
14. */
    
15. public class CommaTokenizerFactory extends TokenizerFactory  {
    
16.         public CommaTokenizerFactory(Map args)
    
17.           {
    
18.             super(args);
    
19.             if (!(args.isEmpty()))
    
20.               throw new IllegalArgumentException("Unknown parameters: " + args);
    
21.           }
    
22. 
    
23.           public CommaTokenizer create(AttributeFactory factory, Reader input)
    
24.           {
    
25.             if (this.luceneMatchVersion == null)
    
26.               //return new WhitespaceTokenizer(factory, input);
    
27.               return new CommaTokenizer(factory, input);
    
28.               //return new WhitespaceTokenizer(this.luceneMatchVersion, factory, input);
    
29.               return new CommaTokenizer(this.luceneMatchVersion, factory, input);
    
30.           }
    
31. 
    
32. }

复制代码

CommaTokenizer.java

1. import java.io.Reader;
   
2. import org.apache.lucene.analysis.util.CharTokenizer;
   
3. import org.apache.lucene.util.AttributeFactory;
   
4. import org.apache.lucene.util.Version;
   
5. /**
   
6. *@Function: 自定义逗号分词
   
7. *@Class Name: CommaTokenizer
   
8. *@Author: zhangZhiPeng
   
9. *@Date: 2014年10月21日
   
10. *@Modifications:
    
11. *@Modifier Name; Date; The Reason for Modifying
    
12. *
    
13. */
    
14. public class CommaTokenizer extends CharTokenizer{
    
15. 
    
16.          public CommaTokenizer(Reader in)
    
17.           {
    
18.             super(in);
    
19.           }
    
20. 
    
21.           @Deprecated
    
22.           public CommaTokenizer(Version matchVersion, Reader in)
    
23.           {
    
24.             super(matchVersion, in);
    
25.           }
    
26. 
    
27.           public CommaTokenizer(AttributeFactory factory, Reader in)
    
28.           {
    
29.             super(factory, in);
    
30.           }
    
31. 
    
32.           @Deprecated
    
33.           public CommaTokenizer(Version matchVersion, AttributeFactory factory, Reader in)
    
34.           {
    
35.             super(matchVersion, factory, in);
    
36.           }
    
37. 
    
38.           protected boolean isTokenChar(int c)
    
39.           {
    
40.             //return (!(Character.isWhitespace(c)));
    
41.              // 44表示逗号
    
42.             return !(c == 44);
    
43.           }
    
44.          
    
45. }

复制代码

判断是否等于44，如果等于就返回false,否则返回true。返回false表示分词。44是逗号的asc码值，比如a的asc码值为97,如果不知道一个字符对应的值为多少，可以这样：

char[] c = new char[]{'a',',','b'};

Character.codePointAt(c, 1);

获得char数组里index为1的字符的asc码值。

然后把写好的类打进  lucene-analyzers-common-4.10.0.jar

schema.xml 里加入一下内容：

1. <fieldType name="text_comma" class="solr.TextField" positionIncrementGap="100">
   
2.       <analyzer>
   
3.         <tokenizer class="org.apache.lucene.analysis.core.CommaTokenizerFactory"/>
   
4.       </analyzer>
   
5.     </fieldType>

复制代码

重启下 solr测试：

囧恩snow

涨姿势了