solr之定时增量索引实现
solr本身就提供了一个工具库实现定时增量索引,但是我在使用的过程中发现会出现一些问题,目前遇到两点:
1.启动时总是报如下异常:
1
|
The web application [solr] registered the JDBC driver [com.mysql.jdbc.Driver] but failed to unregister it when the web application was stopped. To prevent a memory leak, the JDBC Driver has been forcibly unregistered. |
尝试修改源码,不通过SolrResourceLoader加载配置文件,修改完成部署后,可以正常启动。
2.正常启动后,定时发起任务时,报如下异常:
1
|
415 Unsupported Media Type |
查看BaseTimerTask类,发现在发送http请求的地方,没有在请求头中加入Content-Type。修改之后问题解决。
代码具体修改如下,完整源码会在最后提供下载地址:
ApplicationListener类:
1
2
3
4
5
6
7
8
9
10
|
@Override public void contextInitialized(ServletContextEvent servletContextEvent) { ... Timer timer = new Timer(); HttpPostScheduler task = new HttpPostScheduler( servletContext.getServletContextName(), servletContext.getInitParameter( "autoDeltaImportConfPath" ), timer); ... } |
SolrDataImportProperties类:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
... private String autoDeltaImportConfPath; public SolrDataImportProperties() { } public SolrDataImportProperties(String autoDeltaImportConfPath) { this .autoDeltaImportConfPath = autoDeltaImportConfPath; } ... public void loadProperties( boolean force) { try { if (force || properties == null ) { properties = new Properties(); File dataImportProperties = new File(autoDeltaImportConfPath, "dataimport.properties" ); ... } |
HttpPostScheduler类:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
public HttpPostScheduler(String webAppName, String autoDeltaImportConfPath, Timer t) throws Exception{ ... //load properties from global dataimport.properties p = new SolrDataImportProperties(autoDeltaImportConfPath); ... } ... private void sendHttpPost(String completeUrl, String coreName){ ... URL url = new URL(completeUrl); HttpURLConnection conn = (HttpURLConnection)url.openConnection(); conn.setRequestMethod( "POST" ); conn.setRequestProperty( "type" , "submit" ); conn.setRequestProperty( "Content-Type" , "*/*" ); //新增 conn.setDoOutput( true ); ... } |
web.xml文件:
1
2
3
4
5
6
7
|
< context-param > < param-name >autoDeltaImportConfPath</ param-name > < param-value >/yourconfpath</ param-value > </ context-param > < listener > < listener-class >org.apache.solr.handler.dataimport.scheduler.ApplicationListener</ listener-class > </ listener > |
另外说明一点,现在的dataimport.properties可以随意放,只需在上面指定位置即可。
源码托管在Git osc了,地址是http://git.oschina.net/ywooer/solr-dataimporthandler-scheduler.git
参考文档:
官方文档,http://wiki.apache.org/solr/DataImportHandler#Scheduling
官方工具库:http://code.google.com/p/solr-data-import-scheduler/
另外有一个第三方实现支持重建索引:https://code.google.com/p/solr-dataimport-scheduler/
solr之定时增量索引实现的更多相关文章
- solr与.net系列课程(六)solr定时增量索引与安全
solr与.net系列课程(六)solr定时增量索引与安全 solr增量索引的方式,就是一个Http请求,但是这样的请求显然不能满足要求,我们需要的是一个自动的增量索引,solr官方提供了一个定时器 ...
- solr定时增量索引
当数据库的数据发生改变的时候,我们不想手动的去重新添加数据库的数据导solr索引库中,所以用到定时添加索引.增删改的数据.现在写的这些都是基于我之前做的一步步到这来的. 将solr/dist下的sol ...
- solr-DIH:定时增量索引
参考:官方文档,http://wiki.apache.org/solr/DataImportHandler#Scheduling googlecode 找到:https://code.google.c ...
- 四、Solr数据源配置(JNDI、DIH)及定时重做索引
简介 Solr支持很多种创建索引的方式,包括网页,xml以及数据库,因为我这边做的是企业级的搜索,所以用的是数据库建立索引.其实从数据库建立索引,很大程度上取决于原来的数据库设计. 从数据库建立索引, ...
- 用solr DIH 实现mysql 数据定时,增量同步到solr
基础环境: (二)设置增量导入为定时执行的任务: 很多人利用Windows计划任务,或者Linux的Cron来定期访问增量导入的连接来完成定时增量导入的功能,这其实也是可以的,而且应该没什么问题. 但 ...
- [Solr] (源) Solr与MongoDB集成,实时增量索引
一. 概述 大量的数据存储在MongoDB上,需要快速搜索出目标内容,于是搭建Solr服务. 另外一点,用Solr索引数据后,可以把数据用在不同的项目当中,直接向Solr服务发送请求,返回xml.js ...
- Solr与MongoDB集成,实时增量索引
Solr与MongoDB集成,实时增量索引 一. 概述 大量的数据存储在MongoDB上,需要快速搜索出目标内容,于是搭建Solr服务. 另外一点,用Solr索引数据后,可以把数据用在不同的项目当中, ...
- solr与.net系列课程(八)solr中重跑索引的注意事项
solr与.net系列课程(八)solr中重跑索引的注意事项 我们如果在项目中使用solr,那肯定就是把数据库中的数据跑进solr服务器中,solr有两种操作一种是新建索引,一种是增量索引,这里我们来 ...
- .Net程序员 Solr-5.3之旅 (三)Solr 从MSSQ导入索引数据
阅读目录 引言 准备工作 data-config.xml schema.xml 导入数据 结尾 附件下载 引言 Other men live to eat, while I eat to live.- ...
随机推荐
- BOM下的属性和方法---上
-------------BOM------------------------------------------------ 三个系统对话框 浏览器可以通过alert().confirm()和 ...
- 有关cookie
cookie 会话跟踪技术 <script> /* cookie 全称 会话跟踪技术. ...
- 对象本田CRV
<script> window.onload = function (ev) { var vcar = new Car("本田", "CRV", 4 ...
- IntelliJ IDEA快捷键:Ctrl+Alt+B
To navigate to the implementation(s) of an abstract method,position the caret at its usage or its na ...
- Flink(三)Flink开发IDEA环境搭建与测试
一.IDEA开发环境 1.pom文件设置 <properties> <maven.compiler.source>1.8</maven.compiler.source&g ...
- webstrom的热更新没效果
webstorm保存的时候会先保存到临时文件中,其实并没有真正保存,要在setting->stystem settings下的“use save write”去掉
- hdu 5381
题解: 还是比较水的一道题 首先可以发现每个数最多被除log次,所以有连续一段相同 然后我想的是变成矩形统计前缀和问题用主席树来维护 然后发现这题很卡空间 qwq acm依旧很多64mb的题 首先比较 ...
- usaco 校园网
题解: 显然当一个图上的点是一个环时能满足题目要求 那么我们来考虑怎么形成一个环 很显然的是要先缩点 缩完点就成为了森林,如何让森林成环呢? 考虑一下环上的点的入度出度一定都大于1 而连一条边可以增加 ...
- Linux与Windows中的UTC时间
Linux与Windows中的UTC时间 先介绍几个术语 UTC 协调世界时,又称世界标准时间或世界协调时间,简称UTC(从英文“Coordinated Universal Time”/法文“Temp ...
- MT4编程初级手册
http://www.fxunion.com/college/2015/17554.html