Lucene中TokenStream,Tokenizer,TokenFilter,TokenStreamComponents与Analyzer

TokenStream extends AttributeSource implements Closeable:

incrementToken,end,reset,close

Tokenizer直接继承至TokenStream,其输入input是一个reader

TokenFilter也直接继承TokenStream,但input是一个TokenStream。

TokenStreamComponents事实上是将tokenizer和tokenfilter包装起来的(也能够仅仅是tokenizer,两个成员叫source和sink),能够setReader,getTokenStream方法返回sink。

Analyzer就是一个TokenStreamComponents的容器，因此须要确定ReuseStrategy,重写createComponents(fieldName,reader)方法,使用时调用tokenStream(fieldName,reader)方法获取TokenStream就能够了。