Solr 从文件创建索引

http://blog.csdn.net/clj198606061111/article/details/21492457 http://wiki.apache.org/solr/ExtractingRequestHandler http://wiki.apache.org/solr/ContentStreamUpdateRequestExample…

索引数据源并不会一定来自于数据库.XML.JSON.CSV这类结构化数据,很多时候也来自于PDF.word.html.word.MP3等这类非结构化数据,从这类非结构化数据创建索引,solr也给我们提供了很好的支持,利用的是apache tika. 下面我们来看看在solr4.7中如何从pdf文件创建索引. 一.配置文件索引库 1. 新建core 我们新建一个solr的core,用于存储文件型索引,新建core的步骤请参考: http://blog.csdn.net/clj198606061…

solr与.net系列课程(六)solr定时增量索引与安全

solr与.net系列课程(六)solr定时增量索引与安全 solr增量索引的方式,就是一个Http请求,但是这样的请求显然不能满足要求,我们需要的是一个自动的增量索引,solr官方提供了一个定时器实例,来完成增量索引, 首先下载 apache-solr-dataimportscheduler-1.0.jar,下载地址:http://solr-dataimport-scheduler.googlecode.com/files/apache-solr-dataimportscheduler-1.…

solr定时增量索引

当数据库的数据发生改变的时候,我们不想手动的去重新添加数据库的数据导solr索引库中,所以用到定时添加索引.增删改的数据.现在写的这些都是基于我之前做的一步步到这来的. 将solr/dist下的solr-dataimporthandler-4.8.1.jar.solr-dataimporthandler-extras-4.8.1.jar这两个包拷贝到tomcat/webapps/solr/lib下,还有下载apache-solr-dataimportscheduler.jar也拷贝到tomcat…

Solr记录-solr内核与索引

Solr核心(内核) Solr核心(Core)是Lucene索引的运行实例,包含使用它所需的所有Solr配置文件.我们需要创建一个Solr Core来执行索引和分析等操作. Solr应用程序可以包含一个或多个核心. 如果需要,Solr应用程序中的两个核心可以相互通信. 创建一个核心安装和启动Solr后,可以连接到Solr的客户端(Web界面).访问以下网址: http://Localhost:8983/solr/ 如下面的截图(箭头指向)所示,最初Apache Solr中并没有核心. 现在我们…

hbase基于solr配置二级索引

一.概述 Hbase适用于大表的存储,通过单一的RowKey查询虽然能快速查询,但是对于复杂查询,尤其分页.查询总数等,实现方案浪费计算资源,所以可以针对hbase数据创建二级索引(Hbase Secondary Indexing),供复杂查询使用. Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器.同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置.可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎.…

solr删除全部索引数据

SOLR 删除全部索引数据: <delete><query>*:*</query></delete><commit/>…

solr亿万级索引优化实践-自动生成UUID

solr亿万级索引优化实践(三) 原创 2017年03月14日 17:03:09 本篇文章主要介绍下如何从客户端solrJ以及服务端参数配置的角度来提升索引速度. solrJ6.0提供的Java客户端主要有下面几种接口:HttpSolrClient,ConcurrentUpdateSolrClient,CloudSolrClient.下面分别对这三种接口做一个简单的比较.HttpSolrClient在定义的时候需要明确指定一个solr节点路径,他在提交数据的时候也只能提交到这个节点…

solr开发,提交索引数据的几种方式

今天抽空学习了一下solr,有新东西学习就是哈皮! 期待能有机会与实战.实例仅为个人理解学习实例.提交到Solr服务器上的数据必须是 SolrInputDocument 类型. 方案一:利用反射,自定义转换机制 JavaBean对象转换成SolrInputDocument的方式我们可以自定义.如果我们的Model类符合JavaBean的规范,那么我们可以使用反射获取其内部信息. /** * @author dennisit@163.com * * 实体类与SolrInputDocument转换…

solr亿万级索引优化实践（四）

本篇是这个系类的最后一篇,但优化方案不仅于此,需要后续的研究与学习,本篇主要从schema设计的角度来做一些实践. schema.xml 这个文件的作用是定义索引数据中的域的,包括域名称,域类型,域是否索引,是否分词,是否存储,是否标准化,是否存储项向量等等.在solr6中这个文件是存放在zookeeper的/configs节点之下的,在创建新的collection时,solr会根据此节点下的信息生成相应的索引库,其相关的配置信息会同步到solrhome/core目录下的core.propert…

[solr 管理界面] - 索引数据删除

删除solr索引数据,使用XML有两种写法: 1) <delete><id>1</id></delete> <commit/> 2) <delete><query>id:1</query></delete> <commit/> 删除所有索引,这样写就可以了: <delete><query>*:*</query></delete> <c…

Solr搜索引擎【索引提交、事务日志、原子更新】

一.索引提交当一个文档被添加到Solr中,但没有提交给索引之前,这个文档是无法被搜索的.换句话说,从查询的角度看,文档直到提交之后才是可见的.Solr有两种类型的提交:软提交和正常提交[也称硬提交]. 1.正常提交 Solr正常提交是将所有未提交的文档写入磁盘,并刷新一个内部搜索器组件,让新提交的文档能够被搜索.搜索器实际上可以看作索引中所有已提交文档的只读视图.可以这样说,硬提交是花销很大的操作,由于硬提交需要开启一个新搜索器,所以会影响到查询性能. 当正常提交成功后,新提交的文档被安全保存…

Solr搜索引擎【索引管理】

一.索引存储当文档提交到索引之后,directory目录组件会将它们写入到持久化存储器.Solr的目录组件具有以下重要特点: 1.隐藏持久存储的读写细节,例如,将文档写入到磁盘或通过JDBC在数据库中存储文档. 2.实现特定的存储锁定机制,防止索引出错.例如,在操作系统级别上基于文件系统的存储锁定. 3.将Solr从JVM和操作系统的专有性中解脱出来. 4.启用基础目录方案的扩展机制,以支持特定应用,如近实时搜索. Solr提供了不同的目录方案,但没有所谓的适用于所有Solr装机情况的最佳目录…

CDH6 高版本hbase+solr实现二级索引

之前的环境是单独下载的CDH组件包搭建的集群,但是因为hadoop版本过低导致漏洞无法修复,重新搭建高版本集群环境. 新集群环境: 主要组件:hadoop,hbase,zookeeper,Key-Value Store Indexer 1.创建hbase表: hbase shell create 'users', { NAME => 'info', REPLICATION_SCOPE => '1' } 2.使用CDH创建solr集合并修改配置: 1)创建solr实体配置文件本地目录,tsolr…

2 读取solr下的索引文件（lucene文件）

import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import or…

solr中重建索引（转）

Stop your application server Change your schema.xml file Start your application server Delete the index directory in your data directory (or alternately delete all documents using <delete><query>*:*</query></delete> before shutting…

solr的倒序索引

倒序索引: 在每次进行检索时,搜索引擎必须遍历每个网页,查找网页中是否包含你指定的关键词,这个工作量是十分巨大的,主要原因有: 1.互联网的网页基数非常大; 2.在每个网页中检索是否含有指定的关键词并不是一件非常简单的事情,它需要遍历网页的每个字符. 为了更好的建立被搜索的关键字和好友这些关键字的页面之间的映射关系,倒序索引产生了.简单的说,倒序索引的倒序,指的是这个索引是从关键词中查找对应的源的,而不是从源中检索对应的关键词. 为了检索关键词A,首先从倒序索引的索引表中,找到关键词A,然后查找…

solr清空全部索引

http://blog.csdn.net/qing419925094/article/details/42142117…

Hbase-二级索引 Hbase+Hbase-indexer+solr （CDH）

最近一段时间工作涉及到hbase sql查询和可视化展示的工作,hbase作为列存储,数据单一为二进制数组,本身就不擅长sql查询:而且有hive来作为补充作为sql查询和存储,但是皮皮虾需要低延迟的sql及复杂sql的查询(根据值查找数据的情况),这就要用到hbase的二级索引.这里的二级索引方式采用的 Hbase+Hbase-indexer+solr ,还有Phoenix等方式. 原理:该架构HBase作为底层存储:HBase-indexer创建二级索引,会将HBase中的列隐射到solr中…

使用Solr索引MySQL数据

环境搭建 1.到apache下载solr,地址:http://mirrors.hust.edu.cn/apache/lucene/solr/ 2.解压到某个目录 3.cd into D:\Solr\solr-4.10.3\example 4.Execute the server by “java -jar startup.jar”Solr会自动运行在自带的Jetty上 5.访问http://localhost:8983/solr/#/ PS:solr-5.0 以上默认对schema的管理是使用m…

Solrj和Solr DIH索引效率对比分析

测试软件环境: 1.16G windows7 x64 32core cpu . 2.jdk 1.7 tomcat 6.x solr 4.8 数据库软件环境: 1.16G windows7 x64 32core cpu . 2.Oracle 11g 一.Solr默认索引工具DIH. 使用Solr DIH索引数据,一千九百万数据,耗时45分钟左右,每秒钟6500条/s,合计39w条每分钟. 相关jvm最大堆内存为4G,solr index config使用默认参数. Solr DIH 导入截…

谈谈Lucene和Solr索引存目录

在Lucene中,有几种索引存放模式呢?用过的人可能记得SimpleFSDirectory.MMapDirectory.NIOFSDirectory.RAMDirectory这四种.新版本的通过FSDirectory.open可以自动获得最优的一种: public static FSDirectory open(File path, LockFactory lockFactory) throws IOException { if ((Constants.WINDOWS || Constants.…

通过Nutch扩展点开发插件(添加自定义索引字段到solr)

爬虫系统:通过Nutch扩展点开发插件(添加自定义索引字段到solr) 准备工作爬虫环境 -- nutch2.3.1 + solr4.10.3 + hbase0.98 开发环境 -- Eclipse Mars.2 Release(4.5.2) 所需jar包 -- apache-nutch-2.3.jar.hadoop-common-2.6.0.jar.slf4j-api-1.7.9.jar 什么是Nutch扩展点好的爬虫系统应该同时具备高扩展性(scalability)和高伸缩性…

Solr合并索引方式

索引合并并不会判断uniqueKey,所以主键有重复不会判断主键会重复. 官方的解释是不要有重复. 要合并索引,它们必须满足以下要求: 这两个索引必须兼容:它们的架构应该包含相同的字段,并且它们应该以相同的方式分析字段. 索引不得包含重复的数据. 1, Solr 合并索引数据有两种方法,第一种是 1.4 版本中引入的,通过 CoreAdminHandler 来实现,示例如下: http://localhost:8983/solr/admin/cores?action=mergeindexes&c…