Solr 连接数据库
实际工程应用中,从数据库导出数据创建索引再常见不过了,现在实验一下从数据库导入数据创建索引。
一、版本说明
Solr版本:4.7.0
数据库:sqlserver2005
二、配置步骤
1、 准备的jar包
1) solr-dataimporthandler-extras-4.7.0.jar;在solr发布包solr-4.7.0\dist里面有
2) solr-dataimporthandler-4.7.0.jar;在solr发布包solr-4.7.0\dist里面有
3) jtds-1.2.2.jar;网上自己找
2、 修改solr的core配置
要想哪个core从数据库导入数据建索引就修改哪个core的配置。
2.1修改solrconfig.xml
添加如下这段配置:
- <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
- <lst name="defaults">
- <str name="config">data-config.xml</str>
- </lst>
- </requestHandler>
2.2添加data-config.xml
在solrconfig.xml同一个文件夹内建立data-config.xml,其配置如下:
- <?xml version="1.0" encoding="UTF-8" ?>
- <dataConfig>
- <dataSource type="JdbcDataSource"
- driver="net.sourceforge.jtds.jdbc.Driver"
- url="jdbc:jtds:sqlserver://localHost/MyHousekeeper"
- user="sa"
- password="123456"/>
- <document>
- <entity name="pay" query="SELECT payId,payName,payMoney,payDescription,payDatetime FROM t_pay">
- <field column="payId" name="id" />
- <field column="payName" name="name" />
- <field column="payMoney" name="money" />
- <field column="payDescription" name="description" />
- <field column="payDatetime" name="datetime" />
- </entity>
- </document>
- </dataConfig>
2.3修改schema.xml
修改这个的目的是让solr知道有哪些field,是否需要索引,是否需要在索引库中存储原文,以及field类型。在上面的sql中有很多种数据类型。
payId:整型
payName:字符型
payMoney:浮点数
payDescription:大文本
payDatetime:日期时间格式
首先在schema.xml中申明field类型,配置在<types> </types>内。下面配置的sring类型是不会做分词处理的,视为完整的一个词,text_ik是一个中文分词器ik-analyzer,专门处理中文分词。
如下:
- <types>
- <fieldtype name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true"/>
- <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>
- <fieldType name="float" class="solr.TrieFloatField" precisionStep="0" positionIncrementGap="0"/>
- <fieldType name="date" class="solr.TrieDateField" precisionStep="0" positionIncrementGap="0"/>
- <fieldType name="text_ik" class="solr.TextField">
- <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
- </fieldType>
- </types>
然后申明field,field的名字应该和sql的查询结果集列名一致,如果不一致,需要在data-config.xml中entity标签中用field指明列和field的对应关系。
Field配置如下:
- <fields>
- <field name="_version_" type="long" indexed="true" stored="true"/>
- <field name="id" type="long" indexed="true" stored="true" multiValued="false" required="true"/>
- <field name="name" type="string" indexed="true" stored="true" multiValued="false" />
- <field name="money" type="float" indexed="true" stored="true" multiValued="false" />
- <field name="description" type="text_ik" indexed="true" stored="true" multiValued="false" />
- <field name="datetime" type="date" indexed="true" stored="true" multiValued="false" />
- </fields>
其中如下field是必须的,用于标记版本信息,由solr内部自己维护。
- <field name="_version_" type="long" indexed="true" stored="true"/>
三、导入测试
进入solr管理界面,command选择full-import全部导入;entity需要导入的实体,也就是配置的哪个sql,点击
execute执行导入,如果数据很多的话需要导一段时间,不时的点一下refresh
status刷新一下,看看导入是否完成,导入完成后会告诉你导入了多少数据,用了多少时间。如下图
做个查询测试,query,
q,description:米;查询description这个field名的米相关数据
wt,json;查询结果返回格式,默认json
execute query,执行查询,看到返回的json格式的查询结果了。
参考文献:
1) http://www.chepoo.com/solr4-database-import-create-index.html
2) http://blog.csdn.net/bruce128/article/details/17796705
Solr 连接数据库的更多相关文章
- solr与.net系列课程(三)solr连接数据库
solr与.net系列课程(三)solr连接数据库 上一章直接讲述的配置文件把大部分人看的很迷惑,大家都想听的是solr到底是怎么用的,好,这一节我们就开始链接数据库,首先讲一下连接之前都要配置哪些 ...
- solr连接数据库
solr与.net系列课程(三)solr连接数据库 solr与.net系列课程(三)solr连接数据库 上一章直接讲述的配置文件把大部分人看的很迷惑,大家都想听的是solr到底是怎么用的,好,这 ...
- solr连接数据库配置
一般要搜索的信息都是被存储在数据库里面的,但是我们不能直接搜数据库,所以只有借助Solr将要搜索的信息在搜索服务器上进行索引,然后在客户端供客户使用. 一.链接数据库 1. SQL配置 拿SQL Se ...
- solr DIH 知识梳理
solr DIH 知识梳理 web.xml中listener配置 <listener> <listener-class>org.apache.solr.handler.data ...
- solr 6.1 服务端 tomcat 搭建及调用
一.下载 apache solr6.1.0 最新版本zip,解压缩生成一个solr6.1.0文件夹 二.安装 1.在d:/projects下新建一个solr 2.把solr6.1.0/server/s ...
- solr与.net系列课程(四)solr查询参数的讲解与.net如何获取solr数据
solr与.net系列课程(四)solr查询参数的讲解与.net如何获取solr数据 上一节我们完成了solr连接数据库,细心的朋友会发现一个问题,就是solr其实和语言没有任何关系,配置完成后任何语 ...
- 开源搜索引擎Solr的快速搭建及集成到企业门户最佳实施方案--转载
笔者经过研究查阅solr官方相关资料经过两周的研究实现了毫秒级百万数据的搜索引擎的搭建并引入到企业门户.现将实施心得和步骤分享一下. 1. jdk1.6 安装jdk1.6到系统默认目录下X: ...
- Apache Solr采用Java开发、基于Lucene的全文搜索服务器
http://docs.spring.io/spring-data/solr/ 首先介绍一下solr: Apache Solr (读音: SOLer) 是一个开源.高性能.采用Java开发.基于Luc ...
- lucene solr
理解 lucene 是一个全文搜索的引擎 solr是全文搜索的web实现 --------------------. java.lang.UnsupportedClassVersionError: ...
随机推荐
- sdut 2165:Crack Mathmen(第二届山东省省赛原题,数论)
Crack Mathmen Time Limit: 1000ms Memory limit: 65536K 有疑问?点这里^_^ 题目描述 Since mathmen take securit ...
- hdu 1281 二分图匹配
题目:在保证尽量多的“车”的前提下,棋盘里有些格子是可以避开的,也就是说,不在这些格子上放车,也可以保证尽量多的“车”被放下.但是某些格子若不放子,就 无法保证放尽量多的“车”,这样的格子被称做重要点 ...
- Session: 防止用户多次登陆
在web开发时,有的系统要求同一个用户在同一时间只能登录一次,也就是如果一个用户已经登录了,在退出之前如果再次登录的话需要报错. 常见的处理方法是,在用户登录时,判断此用户是否已经在Applicati ...
- exec命令
exec 命令实例 find . -name "*.cc" -exec grep -P -n -H --color=auto "[^\w]main[^\w]" ...
- ConversionPattern 解析
Sample <param name="ConversionPattern" value="%d [%t] %-5p %c [%x] %X{auth} - Line ...
- BZOJ4399 : 魔法少女LJJ
将所有权值离散化,建立权值线段树,维护区间内数字个数以及对数的和,用于比较乘积大小. 对于每个连通块维护一棵权值线段树,合并时用线段树合并. 对于操作3和4,暴力删除所有不合法节点,然后一并修改后插入 ...
- BZOJ1092 : [SCOI2003]蜘蛛难题
按时间一步一步模拟. 每一次,首先将所有没有水但是可以被灌到水的管子标记为有水,然后求出有水的管子里水面高度的最小值. 如果$a$号管有水且最小值为$b$,那么说明此时蜘蛛碰到了水. 如果有管子溢出且 ...
- 【wikioi】2495 水叮当的舞步(IDA*)
http://wikioi.com/problem/2495/ 这题我还是看题解啊囧.(搜索实在太弱.完全没想到A*,还有看题的时候想错了,.,- -) 好吧,估价还是那么的简单,判断颜色不同的数目即 ...
- 深度解析开发项目之 05 - 解决textField编辑之后点击其他内容改变的问题
深度解析开发项目之 05 - 解决textField编辑之后点击其他内容改变的问题 问题的解决: 只需要给HeadeVIew加上这句代码
- _jobdu_1001
/************************************************************************/ /* 题目描述: This time, you a ...