1、使用activeMQ http://blog.csdn.net/zhou2s_101216/article/details/77855413

2、通过配置实现定时同步 http://blog.csdn.net/millery22/article/details/51445964

3、使用Linux的crontab http://blog.csdn.net/zfszhangyuan/article/details/53020897

http://blog.csdn.net/weixin_37178674/article/details/78844959

5、solr的增量全量同步 https://www.jianshu.com/p/c0b06643a467

6、solr自定义分词器

http://blog.csdn.net/qq_33157666/article/details/76350750

http://blog.csdn.net/WeiJonathan/article/details/18354723

7、数据库内容导入solr索引库中:Dataimport插件

https://www.cnblogs.com/anny0404/p/5234367.html

框图画的粗糙!勿喷啊!勿喷啊!

配置数据库与solrconfig.xml

Dataimport插件

可以批量把数据库中的数据导入到索引库中。

1.添加jar包

需要的jar包,再solr,目录的dist下,找到solr-dataimporthandler-4.7.0.jar,solr-dataimporthandler-extras-4.7.0.jar,移动到collection1下,lib包,如果没有lib包,自己创建一个即可。

除了这两个包,还需要数据库驱动包,mysql-connector-java-5.1.7-bin.jar,找不到可点击进行下载。同样放到lib包下。

2.修改solrconfig.xml,添加一个requestHandler。

找到collection1/conf目录的solrconfig.xml文件。

<requestHandler name="/dataimport"  class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler> 

3.创建一个data-config.xml。目录和solrconfig.xml在同一个目录下collection1\conf

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig> <dataSource type="JdbcDataSource"
driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://192.168.2.10:3306/lucene"
user="root"
password="root"/>
<document>
<entity name="product" query="SELECT pid,name,catalog_name,price,description,picture FROM products ">
<field column="pid" name="id"/>
<field column="name" name="product_name"/>
<field column="catalog_name" name="product_catalog_name"/>
<field column="price" name="product_price"/>
<field column="description" name="product_description"/>
<field column="picture" name="product_picture"/>
</entity>
</document> </dataConfig>

数据库url,配置成你自己的数据库地址和数据库名称即可。数据库备份SQL。下载 project.sql

4.配置好后,重启tomcat。访问页面。

Dataimport就配置成功了。下面可以导入数据库数据了。

Command : full-import--全导入  data-import---导入没导入的。

Entity:选择配置文件中定义的product实体进行导入。

点击Execute 即可。执行过程中,可能你会觉得很长时间怎么还没完成。点击 Refresh Status 刷新即可。

导入完毕后进行Query 查询。

 "response": {
"numFound": 12,
"start": 0,
"docs": [
{
"product_catalog_name": "惠民特色",
"product_price": 23.6,
"product_name": "八珍豆腐饼",
"id": "1",
"product_picture": "1.jpg",
"_version_": 1527658021822398500
},
{
"product_catalog_name": "惠民特色",
"product_price": 28,
"product_name": "什锦福包",
"id": "2",
"product_picture": "2.jpg",
"_version_": 1527658022878314500
},
{
"product_catalog_name": "惠民特色",
"product_price": 18,
"product_name": "笋尖",
"id": "3",
"product_picture": "3.jpg",
"_version_": 1527658022881460200
},
{
"product_catalog_name": "惠民特色",

完毕!

solr与mysql数据同步的方案的更多相关文章

  1. Mysql数据同步Elasticsearch方案总结

    Mysql数据同步Elasticsearch方案总结 https://my.oschina.net/u/4000872/blog/2252620

  2. Mysql主从同步配置方案(Centos7)

    最近在做项目高可用时,需要使用数据同步.由于只有双节点,且采用主主同步可能存在循环同步的风险,故综合考虑采用Mysql主从同步(Master-Slave同步). 可能没有接触过Mysql数据同步时,可 ...

  3. 几篇关于MySQL数据同步到Elasticsearch的文章---第一篇:Debezium实现Mysql到Elasticsearch高效实时同步

    文章转载自: https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484358&idx=1&sn=3a78347 ...

  4. 使用Solr索引MySQL数据

    环境搭建 1.到apache下载solr,地址:http://mirrors.hust.edu.cn/apache/lucene/solr/ 2.解压到某个目录 3.cd into D:\Solr\s ...

  5. mysql数据同步

    随着各行业信息化水平的不断提升,各种各样的信息管理系统都被广泛使用,各系统间数据完全独立,形成了大量的信息孤岛.出于管理及决策方面的需求,实现各平台的数据同步是一个很迫切的需求,TreeSoft数据库 ...

  6. 几篇关于MySQL数据同步到Elasticsearch的文章---第五篇:logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解

    文章转载自: https://blog.csdn.net/laoyang360/article/details/51747266 引言: elasticsearch 的出现使得我们的存储.检索数据更快 ...

  7. 几篇关于MySQL数据同步到Elasticsearch的文章---第三篇:logstash_output_kafka:Mysql同步Kafka深入详解

    文章转载自: https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484411&idx=1&sn=1f5a371 ...

  8. ElasticSearch5+logstash的logstash-input-jdbc实现mysql数据同步

    在实现的路上遇到了各种坑,再次验证官方文档只能产考不能全信! ElasticSearch安装就不说了上一篇有说! 安装logstash 官方:https://www.elastic.co/guide/ ...

  9. Elasticsearch和mysql数据同步(logstash)

    1.版本介绍 Elasticsearch: https://www.elastic.co/products/elasticsearch 版本:2.4.0   Logstash: https://www ...

随机推荐

  1. 【Win32 API】利用SendMessage实现winform与wpf之间的消息传递

    原文:[Win32 API]利用SendMessage实现winform与wpf之间的消息传递 引言    有一次心血来潮,突然想研究一下进程间的通信,能够实现消息传递的方法有几种,其中win32ap ...

  2. helloworld讲解cocos2d-x的编程思路与要点

    用helloworld讲解cocos2d-x的编程思路与要点 本文以cocos2d-x的helloworld为例,讲解cocos2d-x引擎的特点和要点,2.2为了展示新功能,把包括屏幕自适应在内的新 ...

  3. [BZOJ4144][AMPPZ2014]Petrol[多源最短路+MST]

    题意 题目链接 分析 假设在 \(a \rightarrow b\) 的最短路径中出现了一个点 \(x\) 满足到 \(x\) 最近的点是 \(c\) ,那么我们完全可以从 \(a\) 直接走到 \( ...

  4. docker之网络管理

    一.安装网桥管理工具 [root@node03 web]# yum install bridge-utils -y 二.docker网络的4种模式 host模式,使用--net=host指定. con ...

  5. VS 远程调试 Azure Web App

    如果能够远程调试部署在 Azure 上的 Web App,将会极大的提高我们修复 bug 的效率.Visual Studio 一贯以功能强大.好用著称,当然可以通吃基于 Azure 应用的创建.发布和 ...

  6. 迷你MVVM框架 avalonjs 0.8发布

    本版本最重要的特性是引进了AMD规范的模块加载器,亦即原来mass Framework 的并行加载器, 不同之处,它引进了requirejs的xxx!风格的插件机制,比如要延迟到DOM树建完时触发,是 ...

  7. fiddler之会话数据的修改

    fiddler之会话数据的修改 fiddler记录http的请求,并且针对特定的http请求,可以分析请求数据.修改数据.调试web系统等,功能十分强大.本篇主要讲两种修改的数据的方法,断点和Unlo ...

  8. 微软职位内部推荐-Sr. SE - Office incubation

    微软近期Open的职位: Senior Software Engineer-Office Incubation Office China team is looking for experienced ...

  9. MSSQL批量写入数据方案

    近来有一个项目Feature需要有批量写入数据的场景,正巧整理资料发现自己以前也类似实现的项目,在重构的同时把相关资料做了一个简单的梳理,方便大家参考. 循环写入(简单粗暴,毕业设计就这样干的)(不推 ...

  10. Daily Scrum - 11/16

    时间:午饭 今天小组例会主要是汇报了各自的进度.任烁那边主要为工程添加了单词的类(包含各个参数等成员变量),方便以后实现算法:拜重阳实现了一个简易的“点进-点出”UI,可谓迈出了艰难的第一步:章玮和罗 ...