solr默认的使用的是utc格林尼治时间,与我们的GMT+8相差8个小时,网上好多解决办法是在自己应用中的时间上加8个小时和减8个小时做变换:或者不用date类型,改为long. 个人感觉这两个办法都不靠谱,明明是默认时区的设置问题,为什么要自己变换来解决:改用long类型,那对于非utc时区的用户来说,solr提供的date类型岂不是废的. 求靠谱的解决办法. 在solr5中如果使用的是自带默认jetty的服务器,解决时区问题的办法是在bin下的solr.in.*的文件中设置默认的时区,个人感…

本人使用solr版本5.0.0,使用jetty启动 solr默认UTC时区,与我们相差八小时,按照网络上资料修改 C:\Users\hp\Desktop\solr-5.0.0\bin 下的solr.in.sh 修改为UTC+8 不起作用 其他解决办法就是在启动solr时在启动命令中加入时区设置 由 solr start 修改为solr start -Duser.timezone=GMT+08…

我们先来看看Solr日期类型的一些内幕,然后讨论一下Solr日期类型存在的一些问题,最后我们看看怎么解决现存的问题.概述 DateField 在Solr4.x之前,我们只有DateField,这类型现在用的应该比较少了,它对应Java中的java.util.Date类型.实现上,如你所知它就是一个long的时间戳.所以它相当于我们用LongField.在高版本的Solr已经看不到这个类了. TrieDateField 在Solr4.x之后,Solr带来一系列的TrieField,其中就有Trie…

1.下载solr-7.7.2.tgz和jdk-8u221-linux-x64.tar.gz 2.将文件解压到/usr/local目录 cd /usr/local/ tar -zxvf jdk-8u221-linux-x64.tar.gz tar -zxvf solr-.tgz 3.设置JDK 修改$SOLR_HOME/bin/solr.in.sh文件,配置: SOLR_JAVA_HOME=/usr/local/jdk1..0_221/ 或修改/etc/profile文件,增加配置: export…

问题 solr5.2: 发现打印log时间和真实时间对不上,服务器时间设置没有问题,后来发现,solr需要设置时区 解决方法: 直接修改bin/solr.in.sh 文件 #SOLR_TIMEZONE="UTC" 改为 SOLR_TIMEZONE="UTC+8"…

阅读目录 序 创建collection 模拟程序 示例下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 在cdh集成的solr cloud中,我们可以通过solr管理界面进行查询,也可以通过java的api进行查询,但查询过程中,如果是时间类型的,可能会存在两者在界面上看上去不一致的问题,两者时间刚好相差本地的时区. 创建collection 一:上传配置文件 为了模拟现象,…

solr.in.sh中的最后 # By default the start script uses UTC; override the timezone if needed SOLR_TIMEZONE="Asia/Shanghai" 也会变成如下方式,可以ps -ef|grep solr查看 -Duser.timezone=Asia/Shanghai ,所以你在tomcat/bin/setenv.sh中增加这个参数即可. TOMCAT_TIMEZONE="-Duser.tim…

morphline优化,如下: 传过来的时间戳被复制到3个字段:eventTimeInMinuteChina_tdt ,eventTimeInMinuteUTC_tdt ,eventTimeInHourUTC_tdt . eventTimeInMinuteChina_tdt:用于显示以及按中国时间来指定查询范围. eventTimeInMinuteUTC_tdt:用于匹配NOW/DAY-7DAYS TO NOW/DAY等时间格式.因为solr5以前的版本只支持UTC时区. eventTimeIn…

最近Hue+Solr 方案原型验证有了一些进展.正好也收到了Google的大数据专家Sam的来件询问进展,我答复如下: Sam, 你好. 已经把Kafka+flume+solr的实时索引搭建起来了, 现在用实时事件统计的场景在测试数据(当前方案为kafka storm mysql),solr现在数据量约为每天八万条记录,70M数据. 下面的页面提供了hue访问solr的地址,请通过页面最下面的超链接看下我们做的demo. (链接) 遇到的问题: .我们现在用的solr 4.10.3不支持修改时区…

1.Flume和Morphline添加日志打印 log4j.logger.org.apache.flume.sink.solr=DEBUG log4j.logger.org.kitesdk.morphline=TRACE 2.在线更新solr collection配置 $ solrctl instancedir --update url_analysis_records url_analysis_configs/ $ solrctl collection --reload url_analysi…

背景: 要求将一个SQL Server2012版本中的数据库导入到Solr中.数据表中有一字段用来存储birthday日期字段,为nvarchar类型,长度为8,格式为:yyyyMMdd. 导入Solr数据结构字段名为birthday,字段类型为date. Solr的date是不认yyyyMMdd格式的日期的,它要求格林威治时间格式,这就要求转换.示范:“19800103”转换为“1980-01-03T00:00:00.000Z”. 思路一: 在SQL查询数据时做转换,用到cast函数与date…

1.4.2 solr字段类型 (1.4.2.1) 字段类型定义和字段类型属性. (1.4.2.2) solr附带的字段类型 (1.4.2.3) 使用货币和汇率 (1.4.2.4) 使用Dates(日期) (1.4.2.5) 使用枚举字段 (1.4.2.6) 使用外部文件和程序 (1.4.2.7) 字段属性使用案例 使用Dates(日期) 日期格式 solr的TrieDateField(DateField已经弃用)字段类型,表示精确到毫秒的时间点.在XML Schema 规范中所使用的格式是一个严…

1. 机器准备(这里做測试用,目的准备5台CentOS的linux系统) 1.1 准备了2台机器,安装win7系统(64位) 两台windows物理主机: 192.168.131.44 administrator/(password是一个空格) 192.168.131.67 administrator/(password是一个空格) 1.2. 每台机器上安装VMwareWorkstation8.0.3 VMwareWorkstation8.0.3序列号:JG2TD-DJL95-FZZZ8-DU1…

目录 1 为什么少8小时 2 如何查看Solr的时区 3 修改Solr的时区 3.1 Solr从数据库中同步数据的原理 3.2 为什么要修改时区 3.3 如何修改时区 1 为什么少8小时 (1) 原因: Solr服务中默认使用的是UTC时间, 而中国本地时间为东八时区, 即比UTC标准时间多8小时. (2) 示例: ① 中国内地服务器时间为2018-10-10 20:00:00, 系统将当前时间添加到Solr索引中时, Solr底层发现此时间的格式为UTC + 8, 它将对该时间减去8小时处理,…

摘要: Solr的日期字段(TrieDateField 和DateRangeField)可以对一个时间点以毫秒精度表示. 格式 Solr中的日期有很严格的格式限制: YYYY-MM-DDThh:mm:ssZ YYYY 表示年 MM 表示月份 DD 表示天 hh 表示小时,24小时制 mm 表示分钟 ss 表示秒钟 Z 代表时区是UTC 比如: 2017-01-22T17:33:18Z 时区不能换,只能是UTC 更精细的表示时间可以是:2017-01-22T17:33:18.333Z 查询 由于S…

一.SolrJ介绍 1. SolrJ是什么? Solr提供的用于JAVA应用中访问solr服务API的客户端jar.在我们的应用中引入solrj: <dependency> <groupId>org.apache.solr</groupId> <artifactId>solr-solrj</artifactId> <version>7.3.0</version> </dependency> 2. SolrJ的核…

一.Schema介绍 1. Schema 是什么? Schema:模式,是集合/内核中字段的定义,让solr知道集合/内核包含哪些字段.字段的数据类型.字段该索引存储. 2. Schema 的定义方式 Solr中提供了两种方式来配置schema,两者只能选其一 2.1 默认方式,通过Schema API 来实时配置,模式信息存储在内核目录的conf/managed-schema文件中. 2.2 传统的手工编辑conf/schema.xml的方式,编辑完后需重载集合/内核才会生效. 3. sche…

1:solr中的时间问题 solr中显示的时间默认会比我们本机时间少八个小时,因为时区不一样. 在solr的web页面查看会发现时间少八个小时. 但是使用java代码操作的时候是整成的的,所以在这只需要知道sorl有这个现象就可以了. 可以给这个时间字段添加默认值.添加default字段即可 给last_modified字段添加默认值,是当前时间. <field name="last_modified" type="date" indexed="tr…

solr时间格式是2015-07-06T00:00:00.0Z,所以下面是把当前时间做转换 SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ssZ"); //Date d = format.parse(str.replace("Z", " UTC"));//注意是空格+UTC //System.out.println(d); Date date=new Date…

Document Document是Solr索引(动词,indexing)和搜索的最基本单元,它类似于关系数据库表中的一条记录,可以包含一个或多个字段(Field),每个字段包含一个name和文本值.字段在被索引的同时可以存储在索引中,搜索时就能返回该字段的值,通常文档都应该包含一个能唯一表示该文档的id字段.例如: 1 2 3 4 5 6 7 8 <doc>     <field name="id">company123</field>     &…

1.下载solr-6.4.1.tgz到任意目录 2.执行tar xzf solr-6.4.1.tgz solr-6.4.1/bin/install_solr_service.sh --strip-components=2 解压install_solr_service.sh安装脚本到当前目录 3.可以运行sh install_solr_service.sh solr-6.4.1.tgz -help 查看帮助,一些常用的选项:使用-i 指定安装路径(默认/opt/solr-XXXX,通过软连接/op…

SOLR 5.5.5文档 参考博文: http://blog.csdn.net/matthewei6/article/details/50620600 作者:毛平 时间:2018年1月15日 17:36:22 环境搭建 solr版本5.5.5,可以独立部署,使用默认的Jetty启动. 1. 准备条件 环境:JDK需要1.7以上,最好是1.8 下载软件包: 使用清华大学的镜像包: https://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/5.5…

昨天已经在Tomcat容器中成功的部署了solr全文检索引擎系统的服务:今天来分享一下solr服务在海量数据的网站中是如何实现数据的检索. 在solr服务中集成IKAnalyzer中文分词器的步骤: 1.下载IKAnalyzer分词器的压缩包并解压: 2.将IKAnalyzer压缩包中的jar包复制到Tomcat容器中已经部署的solr项目中的WEB-INF/lib目录下: 3.在Tomcat容器的solr项目中的WEB-INF/目录创建一个classes目录(默认该目录是不存在的,需手动创建)…

前言 solr排除查询也就是我们在数据库和程序中经常处理的不等于,solr的语法是在定语前加[-].. StringBuilder sbHtml=new StringBuilder(); shBhtml.Append("); 注意CityId前的-号就是不等于 从Solr控制台 从solr控制台看下排除查询的url, 也可以在构建url查询时自己添加筛选条件…

一.什么是facet solr种以导航为目的的查询结果成为facet,在用户查询的结果上根据分类增加了count信息,然后用户根据count信息做进一步搜索. facet主要用于导航实现渐进式精确搜索,从两张图来看看Facet用途. (图1)当进入重庆二手车列表时搜索条件会列出所有品牌.车系.价格区间.车系年贷款等等. (图2)当你点击大众时页面刷新车系会列出大众所属的所有车系.价格区间.顾名思义我虽solr facet的理解也就是:  当然,你从京东导航.淘宝导航也能看到如此效果,这样的场景下…

一. 概述 大量的数据存储在MongoDB上,需要快速搜索出目标内容,于是搭建Solr服务. 另外一点,用Solr索引数据后,可以把数据用在不同的项目当中,直接向Solr服务发送请求,返回xml.json等形式的内容,使得对数据的使用更灵活. 对于MongoDB与Solr的描述不在这里阐释了,本文旨在给大家提供整个Solr与MongoDB接合的方法,实现实时的增量索引. MongoDB的官网:http://www.mongodb.org/ Solr项目的主页:http://lucene.apac…

1.下载solr 官网:http://lucene.apache.org/solr/ 2.目录结构如下 3.启动solr(默认使用jetty部署) 在path路径下将 bin文件夹对应的目录加入,然后输入 solr start(或者 solr start -p port,指定端口启动).在浏览器中访问如下: 当然,还可以启动其他样例的服务,在example目录下有一个READEME.txt,如果感兴趣请看一下.命令格式如下: Solr example ------------ This dire…

时区简单理解 https://zh.wikipedia.org/wiki/%E6%97%B6%E5%8C%BA 上面的链接是时区的wiki说明,下面说说我记住的部分: GMT时区是格林威治标准时间,我把它理解为 “真实时间” UTC时区是根据GMT得来的“世界标准时间”,它的时间和GMT是相同的 CST可以指下列的时区: 澳洲中部时间,Central Standard Time (Australia)中部标准时区(北美洲),Central Standard Time (North America…

前言 今天在用Solr Facet遇到了默认值的问题,我用Facet.field查询发现数据总共100条,刚开始没有注意,发现少个别数据,但是用这几个个别的id查询又能查出来数据.才发现是Facet默认值的问题.如果你不设置的话默认只查询100条. 设置Facet.Limit来覆盖Facet默认值 如果你想返回分组后所有的字段则设置:FacetLimit(-1) . 设置分组后Key-Value的Value字段大于0:FacetMinCount(1)…

在D:\solr\solr_web\solrhome文件夹下: 1)创建core0文件夹 2)复制D:\solr\solr_web\solrhome\configsets\basic_configs/conf到core0中 3)在http://localhost:8080/solr/index.html管理页面添加core0,dataDir可以自己命名 点击添加成功 4)添加core1.core2.core3--重复步骤1).2).3)…