solr+mongo-connector+mongdb+tomcat集成

话题：solr安装

一、下载solr

本例采用4.10.3版本。

Solr所有版本下载地址：http://archive.apache.org/dist/lucene/solr/

下载完成后，解压的目录如下：

bin：solr的运行脚本

contrib：solr的一些扩展jar包，用于增强solr的功能。

dist：该目录包含build过程中产生的war和jar文件，以及相关的依赖文件。

docs：solr的API文档

example：solr工程的例子目录：

　　　　example/solr：

该目录是一个标准的SolrHome，它包含一个默认的SolrCore

　　　　example/multicore：

该目录包含了在Solr的multicore中设置的多个Core目录。

　　　　example/webapps：

该目录中包括一个solr.war，该war可作为solr的运行实例工程。

licenses：solr相关的一些许可信息

solr是一个webservice服务，需要提供相应的jdk环境，必须要1.7以上的。

一、安装solr

1、 Solrhome与solrcore

Solrhome是solr的运行的主目录，该目录包含了多个solrcore目录。而每个Solrcore目录，包含了solr实例运行所有配置文件和数据（索引）文件。Solrcore就是一个solr服务实例。简而言之。一个Solrhome可以包含多个solrcore，而每一个solrcore独立提供搜索和索引服务。当然每个core之间可以相互通信，只是这需要技巧。具体怎么通信，后面solr的语法学习中会讲解到。

2、目录结构

Solrhome的目录结构如图：

SolrCore的目录结构如图：

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

3、创建自己的solrhome和solrCore

创建SolrCore先要创建SolrHome。在solr解压包下solr-4.10.3\example\solr文件夹就是一个标准的SolrHome。

拷贝solr解压包下solr-4.10.3\example\solr文件夹，

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

将这个标准的solrhome， copy到任意目录，便于查找记忆的位置。我这里copy到这里，粘贴并更名为solrhome-demo2如图：

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

打开刚刚改名的solrhome-demo2，修改里面的collection1文件夹更名为coreDemo2。同时也要更改coreDemo2里面的core.properties,将里面的name的value改为coreDemo2。

name=coreDemo2

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

到此我们已经创建了自己的solrhome和core。但是想要让它跑起来，我们还需要做接下来的内容。除非你拷贝过来后啥也不改，直接就可以运行了。

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

4、配置solrecore

在conf文件夹下有一个solrconfig.xml。这个文件是来配置SolrCore实例的相关信息。如果使用默认配置可以不用做任何修改。它里面包含了不少标签，但是我们关注的标签为：lib标签、datadir标签、requestHandler标签。

A）配置lib标签

Lib标签的作用是引入一些solr需要的扩展性jar包。solr.install.dir表示solrCore的目录位置。此刻他代表的路径是：D:\solr\solrhome-demo2\coreDemo2，如图所示：

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

因此想要实现solr的扩展功能，就得引入扩展功能jar包。修改lib标签配置如下：

solr.install.dir:.. 目录指的就这个目录：D:\solr\solrhome-demo2，即是，solrhome的目录。访问文件的路径都是相对于solr.install.dir去访问。

配置完成，接下来就是在相应的磁盘上提供相应的资源（各种jar）。

然后将solr解压包solr-4.10.3中的contrib目录和dist复制出来，拷贝到solr.install.dir:..指定的目录。效果如图所示：

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

到此lib的配置已完成。

B）配置datadir标签

Datadir标签指向当前core的数据（索引）存放路径。

<dataDir>${solr.data.dir: D:\solr\solrhome-demo2\coreDemo2\data}</dataDir>

Data目录假如没有，自己创建。

（默认下是solrcore下面与conf同目录的data文件夹）

C）配置requestHandler标签

同样我没有去配置/select和/query和/get等配置，一样可以使用solr的增删查改服务。

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

三、部署到tomcat

1、从solr解压包下的solr-4.10.3\example\webapps目录中拷贝solr.war

2、复制到tomcat安装目录的webapps文件夹下

3、使用压缩工具解压或者启动tomcat自动解压。解压之后删除solr.war

4、添加solr扩展包

A）把solr解压包下的solr-4.10.3\example\lib\ext目录下的所有jar包拷贝

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

B）复制到解压缩后的solrDemo2工程的WEB-INF\lib目录

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

C）添加log4j.propertiese

a) 把solr解压包下solr-4.10.3\example\resources\log4j.properties文件进行拷贝

b) 复制到在解压缩后的solrDemo2工程中的WEB-INF目录中的classes文件夹中

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

D）配置web.Xml文件，加载solrhome

<env-entry>

<env-entry-name>solr/home</env-entry-name>

<env-entry-value>D:/solr/solrhome-demo2</env-entry-value>

<env-entry-type>java.lang.String</env-entry-type>

</env-entry>

1、配置完成

一、到此solr已完成配置，可以运行了。

话题：集成mongdb

/* Style Definitions */
table.MsoNormalTable
{mso-style-name:普通表格;
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-priority:99;
mso-style-qformat:yes;
mso-style-parent:"";
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin-top:0cm;
mso-para-margin-right:0cm;
mso-para-margin-bottom:10.0pt;
mso-para-margin-left:0cm;
line-height:11.0pt;
mso-pagination:widow-orphan;
font-size:11.0pt;
font-family:"Calibri","sans-serif";
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-bidi-font-family:"Times New Roman";
mso-bidi-theme-font:minor-bidi;}

一、安装Mongodb

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

解压如下文件

并安装。

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

二、安装 mongo-connector

想要SOLR能访问Mongodb，就必须要一个连接！这个连接就是mongo-connector提供！【http://www.656463.com/article/ZJZvIv.htm】

在安装前mongo-connector前需要安装其他一些辅助工具。

v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}

Normal
0
false

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

1、 Python的安装

默认安装：

安装完成后，可以配置环境或者切换到exe的文件夹执行命令，校验安装是否成功。

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

2、 Pip的安装

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

去https://bootstrap.pypa.io/get-pip.py 下载get-pip.py

运行如下命令`python get-pip.py`

执行过程如图：

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

执行结果是Python目录多了scripts，如图：

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

进入命令行，然后把目录切换到python的安装目录下的Script文件夹下，运行 easy_inatall pip。如图：

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

检测pip安装是否成功：

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

如上图表示安装成功。

【为了升级已经存在的setuptools，运行pip install -U setuptools。】

1、安装mongo-connector

进入mongo-connector安装包，输入一下命令：

Python setup.py install 进行安装mongo-connector。安装过程如图：

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

这样表示mongo-connector安装成功！！

4、启动mongo-connector

目录需要切换到python的scripts目录执行，启动命令：mongo-connector -m localhost:27001 -t http://localhost:8983/solr/collection2

-u _id

-d solr_doc_manager

--auto-commit-interval=0

-n test.myDemo1

-o oplog.txt

-u :表示向connector说明,后面的参数是schema的主键，要求connector将该schema的主键转化为自己的主键“_id”。

-d ：指定solr_doc_manager.py路径

--auto-commit-interval=0：表示更新索引的时间（0：立马更新，1:60s后更新）

-n ：表示监听某个数据库的某个集合（数据表）；省略时，表示监听全部数据库的所有集合。

-o oplog.txt：记录的日志文件

mongo-connector参数讲解：

三、集成

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

1、 参考资料

模仿博客：http://www.edwardesire.com/2015/10/26/full-text-search-of-mongodb-with-solr/

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

2、 Solr配置

A） solrconfig配置

启用LukeRequestHandler，在solrconfig中找到<requestHandler name="/admin/luke" class="org.apache.solr.handler.admin.LukeRequestHandler" />打开注释。

配置硬提交（刷新到硬盘上的频率）和软提交（提交到内存中的频率）

</autoCommit>

<!-- softAutoCommit is like autoCommit except it causes a

'soft' commit which only ensures that changes are visible

but does not ensure that data is synced to disk. This is

faster and more near-realtime friendly than a hard commit.

-->

</autoSoftCommit>

B） schema配置

首先，copy mongo_connector/doc_managers内部的schema.xml文件，替换掉已配置好的solr的schema.xml文件。

再者，定义自己相关业务属性。

最后，没有最后了，这样就可以了。

3、 Mongodb数据库安装目录配置项

Mongodb主目录结构新增如下目录：

-rs

--db

---rs1

---rs2

--log

--mongod-rs1.bat

--mongod-rs2.bat

4、 开启Mongodb实例

编写脚本：

D:\mongodb\bin\mongod --port 27001 --oplogSize 100 --dbpath db\rs1 --logpath log\rs1.log --replSet rs/127.0.0.1:27002 --journal

Pause

D:\mongodb\bin\mongod --port 27002 --oplogSize 100 --dbpath db\rs2 --logpath log\rs2.log --replSet rs/127.0.0.1:27001 --journal

Pause

运行以上bat脚本。

5、 链接到第一个mongodb实例：mongo –port 27001

6、 初始化复制集

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

在控制台执行：

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

命令1：> config={_id:'rs',members:[{_id: 0, host: '127.0.0.1:27001'}, {_id: 1, host: '127.0.0.1.:27002'}]}

命令2：> rs.initiate(config)

命令3：> rs.status()

然后执行rs.initiate(config)实现初始化。

查看复制集配置，rs.conf();

继续添加配置：rs.add("<hostname>:27019")

通过 rs.status() 命令来检查复制集的状态

7、 启动mongo-connector

mongo-connector -m 127.0.0.1:27001 -t http://localhost:8080/solr/collection2 -u _id -d solr_doc_manager --auto-commit-interval=1

注意：在启动的时候，mongo-connetor提示异常终止链接，记得删除oplog.timestamp，重新启动。

这样配置完成后，mongo-connector就开始监听Mongodb，只要Mongodb数据发生DMR操作，立马更新solr的索引库。在此说明，假如数据库已存在数据，无需显示的类似于关系型数据库的DIH操作。原因，第一次mongo-connector启动的时，便已经开始对所有数据（可以指定某几张表）进行建索引了

四、测试过程

经过测试，Mongodb增删改后，solr会相应的变化。

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

MicrosoftInternetExplorer4

1、创建自己的solrhome和solrCore

创建SolrCore先要创建SolrHome。在solr解压包下solr-4.10.3\example\solr文件夹就是一个标准的SolrHome。

A）拷贝solr解压包下solr-4.10.3\example\solr文件夹，