solr4.0.0学习(二) 数据库导入clob与blob为索引
导入clob很简单。但是blob好像没有提供方法,所以改了一下源码,重新编译替换class文件,竟然成功了。
先把配置文件贴上
SCHEMA.XML
<?xml version="1.0" ?>
<schema name="test" version="1.1">
<types>
<fieldtype name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true"/> <fieldType name="standard" class="solr.TextField" positionIncrementGap="100">
<analyzer type="index">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType> <fieldType name="ik" class="solr.TextField">
<analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType> </types> <fields>
<field name="blogId" type="string" indexed="false" stored="true" multiValued="false"/>
<field name="blogTitle" type="ik" indexed="true" stored="true" multiValued="false" />
<field name="blogAuthorName" type="ik" indexed="true" stored="true" multiValued="false" />
<field name="blogContent" type="ik" indexed="true" stored="true" multiValued="false" />
<field name="TITLE" type="ik" indexed="true" stored="true" />
<field name="TEXT" type="ik" indexed="true" stored="true" />
</fields>
<defaultSearchField>blogTitle</defaultSearchField>
<solrQueryParser defaultOperator="OR"/> </schema>
这里的field只用到了blogContent一个。
SOLRCONFIG.XML
<?xml version="1.0" encoding="UTF-8" ?>
<config>
<luceneMatchVersion>LUCENE_34</luceneMatchVersion>
<directoryFactory name="DirectoryFactory" class="${solr.directoryFactory:solr.StandardDirectoryFactory}"/>
<updateHandler class="solr.DirectUpdateHandler2" /> <requestDispatcher handleSelect="true" >
<requestParsers enableRemoteStreaming="false" multipartUploadLimitInKB="2048" />
</requestDispatcher> <requestHandler name="standard" class="solr.StandardRequestHandler" default="true" />
<requestHandler name="/update" class="solr.XmlUpdateRequestHandler" />
<requestHandler name="/admin/" class="org.apache.solr.handler.admin.AdminHandlers" /> <!-- the dataimport requestHandler -->
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">db-data-config.xml</str>
</lst>
</requestHandler> <admin>
<defaultQuery>solr</defaultQuery>
</admin>
<unlockOnStartup>true</unlockOnStartup>
<lockType>simple</lockType>
<requestHandler name="/analysis/field"
startup="lazy"
class="solr.FieldAnalysisRequestHandler" /> </config>
db-data-config.xml
<dataConfig>
<dataSource name="f1" type="FieldStreamDataSource"/>
<dataSource driver="oracle.jdbc.driver.OracleDriver"
url="jdbc:oracle:thin:@127.0.0.1:1521:orcl" user="HT" password="HT"/>
<document>
<entity name="blog" query="SELECT BLOG_CONTENT from TB_ENT_BLOG" transformer="ClobTransformer">
<field column="BLOG_CONTENT" name="blogContent" clob="true"/>
</entity>
</document>
</dataConfig>
然后修改了ClobTransformer.java。使其同时支持BLOG格式。
package org.apache.solr.handler.dataimport; import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.Reader;
import java.sql.Blob;
import java.sql.Clob;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map; public class ClobTransformer extends Transformer
{
public static final String CLOB = "clob"; public Object transformRow(Map<String, Object> aRow, Context context)
{
for (Map map : context.getAllEntityFields()) {
if ("true".equals(map.get("clob"))) {
String column = (String)map.get("column");
String srcCol = (String)map.get("sourceColName");
if (srcCol == null)
srcCol = column;
Object o = aRow.get(srcCol);
if ((o instanceof List)) {
List inputs = (List)o;
List results = new ArrayList();
for (Object input : inputs) {
if ((input instanceof Clob)) {
Clob clob = (Clob)input;
results.add(readFromClob(clob));
}else if(input instanceof Blob){
Blob blob = (Blob)input;
results.add(readFromBlob(blob));
}
}
aRow.put(column, results);
}
else if ((o instanceof Clob)) {
Clob clob = (Clob)o;
aRow.put(column, readFromClob(clob));
}else if(o instanceof Blob){
Blob blob = (Blob)o;
aRow.put(column, readFromBlob(blob));
}
}
}
return aRow;
} private String readFromBlob(Blob blob) {
try{
InputStream is = blob.getBinaryStream();
BufferedReader br = new BufferedReader(new InputStreamReader(is));
String str = "";
String res = "";
while((str=br.readLine())!=null){
res += str;
}
return res;
}catch (Exception e) {
e.printStackTrace();
return "";
}
} private String readFromClob(Clob clob) {
Reader reader = null;
try {
reader = clob.getCharacterStream();
} catch (SQLException e1) {
e1.printStackTrace();
}
StringBuilder sb = new StringBuilder();
char[] buf = new char[1024];
try
{
int len;
while ((len = reader.read(buf)) != -1)
sb.append(buf, 0, len);
}
catch (IOException e) {
DataImportHandlerException.wrapAndThrow(500, e);
}
return sb.toString();
}
}
这里加了一个readFromBlob方法,加了两个else if。异常的处理很粗糙。
这样替换class文件,导入索引就正常了。在query ":" 页面的response会出现所有blob内容。
如果response没有blob字段或者显示为对象地址,都是错了。
solr4.0.0学习(二) 数据库导入clob与blob为索引的更多相关文章
- Redis 3.0中文版学习(二)
网址:http://wiki.jikexueyuan.com/project/redis-guide/entry-to-master-middle.html 1.Redis的列表: 采用链表的实现方法 ...
- python 3+djanjo 2.0.7简单学习(二)--创建数据库和模型
我们紧接上次,这里将建立数据库,创建第一个模型提示:这里我们不需要去一直启动,django会在我们ctrl+s的时候自动刷新并启动服务,很方便吧 1.数据库配置 现在,打开 vote_mysite/ ...
- Solr4.8.0源码分析(19)之缓存机制(二)
Solr4.8.0源码分析(19)之缓存机制(二) 前文<Solr4.8.0源码分析(18)之缓存机制(一)>介绍了Solr缓存的生命周期,重点介绍了Solr缓存的warn过程.本节将更深 ...
- Solr学习(2) Solr4.2.0+IK Analyzer 2012
Solr学习(二) Solr4.2.0+IK Analyzer 2012 开场白: 本章简单讲述如何在solr中配置著名的 IK Analyzer 分词器. 本章建立在 Solr学习(一) 基础上进 ...
- 【Flask】 python学习第一章 - 6.0 WTF表单 数据库 蓝图
WTF表单 wtf.py pip install flask-wtf # 安装 from flask_wtf import FlaskForm from wtform import StringF ...
- Solr4.8.0源码分析(21)之SolrCloud的Recovery策略(二)
Solr4.8.0源码分析(21)之SolrCloud的Recovery策略(二) 题记: 前文<Solr4.8.0源码分析(20)之SolrCloud的Recovery策略(一)>中提 ...
- Red Gate系列之二 SQL Source Control 3.0.13.4214 Edition 数据库版本控制器 完全破解+使用教程
原文:Red Gate系列之二 SQL Source Control 3.0.13.4214 Edition 数据库版本控制器 完全破解+使用教程 Red Gate系列之二 SQL Source Co ...
- solr8.0 从数据库导入数据(三)
第一步:导入相关包: 在创建的核心目录下新建lib文件夹(如果有,无需建立),从Solr源码包的dist文件夹中导入两个solr-dataimporthandler包,以及一个mysql驱动包. 第二 ...
- Swift3.0基础语法学习<二>
对象和类: // // ViewController2.swift // SwiftBasicDemo // // Created by 思 彭 on 16/11/15. // Copyright © ...
随机推荐
- Windows下MySQL数据库备份脚本(一)
说明: MySQL数据库安装目录:C:\Program Files\MySQL\MySQL Server 5.0 MySQL数据库存放目录:C:\Program Files\MySQL\MySQL S ...
- magento install
1: apt-get insatll apache2 mysql php5 2: 把下载的magneto 解压后放到 /var/www/magento 3: 进入 http://127. ...
- Oracle死锁只会回滚跟死锁有关的那条SQL,而不会回滚整个事务
数据库检测到死锁后,只会回滚跟死锁有关的某条语句,而不会回滚整个事务. 创建测试环境:SQL> create table test1(id int,name char(1)); 表已创建. SQ ...
- c#中struct和class的区别 z
1.struct 是值类型,class是对象类型 2.struct 不能被继承,class可以被继承 3.struct 默认的访问权限是public,而class默认的访问权限是private. 4. ...
- linux系统装windows时需要注意的问题
(1) 利用windows安装光盘安装XP.WIN7系统时,sata接口的硬盘要将其设置为兼容模式或者IDE模式才能安装.我认为这些盗版光盘安装系统的软件并没有支持sata接口硬盘的驱动程序才导 ...
- iphone 与 ipad -- UIPopoverPresentationViewController
iOS8.0之后, 苹果推出了UIPopoverPresentationViewController, 在弹出控制器时, 统一采用 presentViewController, 但是要实现iPhone ...
- bzoj 2482: [Spoj GSS2] Can you answer these queries II 线段树
2482: [Spoj1557] Can you answer these queries II Time Limit: 20 Sec Memory Limit: 128 MBSubmit: 145 ...
- jquery之ajaxfileupload异步上传插件
点我下载工程代码由于项目需求,在处理文件上传时需要使用到文件的异步上传.这里使用Jquery Ajax File Uploader这个组件下载地址:http://www.phpletter.com/d ...
- Analysis Guidelines
This section describes some best practices for analysis. These practices come from experience of ana ...
- 使用VisualStudio2010创建C#应用程序
打开VisualStudio2010,选择“文件”——“新建”——“项目”菜单命令.调出“新建项目”对话框.