solr本身就提供了一个工具库实现定时增量索引,但是我在使用的过程中发现会出现一些问题,目前遇到两点:

1.启动时总是报如下异常:

1
The web application [solr] registered the JDBC driver [com.mysql.jdbc.Driver] but failed to unregister it when the web application was stopped. To prevent a memory leak, the JDBC Driver has been forcibly unregistered.

尝试修改源码,不通过SolrResourceLoader加载配置文件,修改完成部署后,可以正常启动。

2.正常启动后,定时发起任务时,报如下异常:

1
415 Unsupported Media Type

查看BaseTimerTask类,发现在发送http请求的地方,没有在请求头中加入Content-Type。修改之后问题解决。

代码具体修改如下,完整源码会在最后提供下载地址:

ApplicationListener类:

1
2
3
4
5
6
7
8
9
10
@Override
public void contextInitialized(ServletContextEvent servletContextEvent) {
    ...
    Timer timer = new Timer();
    HttpPostScheduler task = new HttpPostScheduler(
    servletContext.getServletContextName(),
    servletContext.getInitParameter("autoDeltaImportConfPath"), 
        timer);
    ...    
}

SolrDataImportProperties类:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
...
private String autoDeltaImportConfPath;
 
public SolrDataImportProperties() {
}
 
public SolrDataImportProperties(String autoDeltaImportConfPath) {
    this.autoDeltaImportConfPath = autoDeltaImportConfPath;
}
...
public void loadProperties(boolean force) {
    try {
        if (force || properties == null) {
            properties = new Properties();
 
            File dataImportProperties = new File(autoDeltaImportConfPath,
                                "dataimport.properties");
    ...
}

HttpPostScheduler类:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
public HttpPostScheduler(String webAppName, String autoDeltaImportConfPath, Timer t) throws Exception{
...
    //load properties from global dataimport.properties
    p = new SolrDataImportProperties(autoDeltaImportConfPath);
...             
}
...
private void sendHttpPost(String completeUrl, String coreName){
...    
    URL url = new URL(completeUrl);
    HttpURLConnection conn = (HttpURLConnection)url.openConnection();
 
    conn.setRequestMethod("POST");
    conn.setRequestProperty("type""submit");
    conn.setRequestProperty("Content-Type""*/*");    //新增
    conn.setDoOutput(true);
...
}

web.xml文件:

1
2
3
4
5
6
7
<context-param>
    <param-name>autoDeltaImportConfPath</param-name>
    <param-value>/yourconfpath</param-value>
</context-param>
<listener>
    <listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener</listener-class>
</listener>

另外说明一点,现在的dataimport.properties可以随意放,只需在上面指定位置即可。

源码托管在Git osc了,地址是http://git.oschina.net/ywooer/solr-dataimporthandler-scheduler.git

参考文档:

官方文档,http://wiki.apache.org/solr/DataImportHandler#Scheduling

官方工具库:http://code.google.com/p/solr-data-import-scheduler/

另外有一个第三方实现支持重建索引:https://code.google.com/p/solr-dataimport-scheduler/

solr之定时增量索引实现的更多相关文章

  1. solr与.net系列课程(六)solr定时增量索引与安全

     solr与.net系列课程(六)solr定时增量索引与安全 solr增量索引的方式,就是一个Http请求,但是这样的请求显然不能满足要求,我们需要的是一个自动的增量索引,solr官方提供了一个定时器 ...

  2. solr定时增量索引

    当数据库的数据发生改变的时候,我们不想手动的去重新添加数据库的数据导solr索引库中,所以用到定时添加索引.增删改的数据.现在写的这些都是基于我之前做的一步步到这来的. 将solr/dist下的sol ...

  3. solr-DIH:定时增量索引

    参考:官方文档,http://wiki.apache.org/solr/DataImportHandler#Scheduling googlecode 找到:https://code.google.c ...

  4. 四、Solr数据源配置(JNDI、DIH)及定时重做索引

    简介 Solr支持很多种创建索引的方式,包括网页,xml以及数据库,因为我这边做的是企业级的搜索,所以用的是数据库建立索引.其实从数据库建立索引,很大程度上取决于原来的数据库设计. 从数据库建立索引, ...

  5. 用solr DIH 实现mysql 数据定时,增量同步到solr

    基础环境: (二)设置增量导入为定时执行的任务: 很多人利用Windows计划任务,或者Linux的Cron来定期访问增量导入的连接来完成定时增量导入的功能,这其实也是可以的,而且应该没什么问题. 但 ...

  6. [Solr] (源) Solr与MongoDB集成,实时增量索引

    一. 概述 大量的数据存储在MongoDB上,需要快速搜索出目标内容,于是搭建Solr服务. 另外一点,用Solr索引数据后,可以把数据用在不同的项目当中,直接向Solr服务发送请求,返回xml.js ...

  7. Solr与MongoDB集成,实时增量索引

    Solr与MongoDB集成,实时增量索引 一. 概述 大量的数据存储在MongoDB上,需要快速搜索出目标内容,于是搭建Solr服务. 另外一点,用Solr索引数据后,可以把数据用在不同的项目当中, ...

  8. solr与.net系列课程(八)solr中重跑索引的注意事项

    solr与.net系列课程(八)solr中重跑索引的注意事项 我们如果在项目中使用solr,那肯定就是把数据库中的数据跑进solr服务器中,solr有两种操作一种是新建索引,一种是增量索引,这里我们来 ...

  9. .Net程序员 Solr-5.3之旅 (三)Solr 从MSSQ导入索引数据

    阅读目录 引言 准备工作 data-config.xml schema.xml 导入数据 结尾 附件下载 引言 Other men live to eat, while I eat to live.- ...

随机推荐

  1. BN(Batch Normalization)

    Batch Nornalization Question? 1.是什么? 2.有什么用? 3.怎么用? paper:<Batch Normalization: Accelerating Deep ...

  2. JSON.NET 空值处理, 数字转字符,时间格式化

    public static string ToJsonString(this Object obj) { IsoDateTimeConverter idtc = new IsoDateTimeConv ...

  3. IntelliJ IDEA快捷键:Ctrl+Shift+空格

    The smart type code completion may be used after the new keyword,to instantiate an object of the exp ...

  4. POJ 2229 Sumsets【DP】

    题意:把n拆分为2的幂相加的形式,问有多少种拆分方法. 分析:dp,任何dp一定要注意各个状态来源不能有重复情况.根据奇偶分两种情况,如果n是奇数则与n-1的情况相同.如果n是偶数则还可以分为两种情况 ...

  5. 【BZOJ3307】雨天的尾巴

    题解: win下的10mb和linux下的好像不是很一样 明天再看看 求lca用的离线求,注意bz数组开2*n 这道题的线段树合并还是很好想的 我们只要把操作差分一下就好了 时间复杂度nlogn的 写 ...

  6. 手动卸载Office2010

    手动卸载Office2010视频 http://v.youku.com/v_show/id_XNTE3MTMwNDUy.html 其中遇到Application Data文件夹打不开 http://z ...

  7. python小知识-__call__和类装饰器的结合使用,数据描述符__get__\__set__\__delete__(描述符类是Python中一种用于储存类属性值的对象)

    class Decorator(): def __init__(self, f): print('run in init......') self.f = f def __call__(self, a ...

  8. Codeforces 788C The Great Mixing

    The Great Mixing 化简一下公式后发现, 问题变成了, 取最少多少数能使其和为1, bitset优化一下背包就好啦. 题解中介绍了一种bfs的方法没, 感觉比较巧妙. #include& ...

  9. 【noip模拟赛7】足球比赛 树

    描述 在2009的中国城市足球比赛中,在2^N支队中,有一些队在开赛前宣布了退出比赛.比赛采取的是淘汰赛.比如有4支队伍参加,那么1队和2队比赛,3队和4队赛,然后1队和2队的胜者与3队和4队的胜者争 ...

  10. 095实战 ETL的数据来源,处理,保存

    1.ETL 数据来源:HDFS 处理方式:Mapreduce 数据保存:HBase 2.为什么保存在Hbase中 数据字段格式不唯一/不相同/不固定,采用hbase的动态列的功能非常适合 因为我们的分 ...