记录Elasticsearch的一次坑】的更多相关文章

Elasticsearch建立mapping关系时,默认会给string类型加上分词. 所以例如openid这种,如果你用默认的分词,就可能会出现查不到数据的情况. 解决方案: 1.将数据备份 2.recreate index 3.create new mapping 给openid加上 "index":"not_analyzed" 4.重新导入数据…
CozyRSS开发记录0-RSS阅读器开坑 1.RSS RSS,全名是Really Simple Syndication,简易信息聚合. 关于RSS相关的介绍,网上可以很容易的找到.RSS阅读器是我几乎每天都用到的一个工具类软件,他的优点是: A.没有广告,只关注内容: B.可以轻松快捷的关注到一批博客和新闻网站的更新. RSS本身涉及到的技术点: A.XML,RSS使用XML来编写,它是XML的子集: B.HTTP,RSS的内容源通常是使用HTTP协议来提供的. 2.CozyRSS的目标 初步…
记录Jackson和Lombok的坑 今天遇到Jackson反序列化json缺少了字段,后来研究下发现是Jackson的机制和Lombok生成的setter不一致,导致没有正确调用setter. 复现 Java实体类 @Data public class DemoData{ private Double t; private Double eDay; } Json字符串 { "t":12.23, "eDay":123.321 } 使用Jackson解析下来,发现只有…
1.问题抛出 某个词组在Elasitcsearch中的某个document中存在,就一定通过某种匹配方式把它搜出来. 举例: title=公路局正在治理解放大道路面积水问题. 输入关键词:道路,能否搜索到这个document呢? 实际应用中可能需要: 1)检索关键词”理解”.”解放”.”道路”.“理解放大”,都能搜出这篇文档. 2)单个的字拆分“治”.“水”太多干扰,不要被检索出来. 3)待检索的词不在词典中,也必须要查到. 4)待检索词只要在原文title或content中出现,都要检索到. …
OS Lab4 踩坑记 Lab4在之前Lab3的基础上,增加了系统调用,难度增加了很多.而且加上注释不详细,开玩笑的指导书,自己做起来困难较大.也遇到了大大小小的bug,调试了一整天. 本文记录笔者在实现Lab4中遇到了一些bug,出现的问题可能不具有普遍性,但是可能有参考价值. 1. 在调用syscall_*函数的时候,可能会出现缺页的情况.…
OS Lab3 踩坑记 Lab3在之前Lab2的基础上,增加了进程建立.调度和中断异常处理.其中测试包括进程建立以及进程调度部分. 由于是第一次做bug记录,而且是调试完bug后再做的记录,所以导致记录不完全.但是为之后bug记录的习惯打下基础. 进程建立测试(env_check) 注意 env_setup_vm() 中的pgdir地址赋值. 在 envid2env() 中当有 checkperm 时,检查失败也要给 *penv 赋值 0 (容易忘记). 这里最好检查一下 curenv 是否存在…
在elasticsearch中存储数据的行为就叫做索引(indexing),不过在索引之前,我们需要明确数据应该存储在哪里. 在elasticsearch中,文档归属于一种类型(type),而这些类型存在于索引(index)中,我们可以画一些简单的对比图来类比传统的关系型数据库.   relation DB       --  Database ---   Tables    --    Rows    ---Coumns   elasticsearch   --   Indices     -…
Buildbot Tips Buildbot也是个大坑..我并不熟悉python,偏偏文档又少.这几天使用buildbot出了不少坑.有的解决了,有的绕过去,这里都把它们一一记下来. Force Build 第一个坑就是False Build,正常情况下在Web页面上的builder栏里,会有一个Force Build按钮.点击按钮会强制开始Build,这对于调试Buildbot非常重要.但是我的页面上没有... 这个坑还算小,其实是自动生成的master.cfg文件中设置了只有通过认证的才能F…
实验需要ES,安装过程中遇到一些奇葩的问题,记录下.下面介绍下安装步骤: 第一步:安装java ES是运行在java虚拟机上面的,所以首先需要安装java环境,安装过程不再赘述,唯一需要注意的是ES对java版本的要求,官网上有介绍. 我使用的是java-1.8   ES:5.6.4 第二步:创建用户 groupadd elasticsearch useradd elasticsearch -g elasticsearch su - elasticsearch mkdir /data chown…
今天项目中要开始动手集成支付宝支付,在此小结一下.(目前新版的支付宝SDK有较大改版,去集成还需要自己去开发平台详细的按照集成步骤来完成https://doc.open.alipay.com/docs/doc.htm?spm=a219a.7629140.0.0.4gCPvE&treeId=204&articleId=105295&docType=1,上面有集成步骤,这里不做介绍,第一次接触的朋友可以先参照demo跑一下).   1.下载最新版本的demo 添加了14个库之后,终于编…
pageHelper的count查询会过滤查询sql中的order by条件! pageHelper分页功能很强大,如果开启count统计方法,在你执行查询条件时会再执行一条selet count(*) from 的sql, 这个结果就是pageinfo属性中total的值.但是我在项目中遇到一个坑(total总数和自己sql查出的结果不一致),首先看我的sql: SELECT t2.* FROM (SELECT t.* FROM qf_invoice t WHERE t.status =5 a…
笔者这里下载的elastic search,是5.3.0版本,下载地址:https://www.elastic.co/downloads/past-releases/elasticsearch-5-3-0.因为要做日志链路追踪.使用的 skywalking-collector.tar.gz,skywalking-web.tar.gz,skywalking-agent.tar.gz.对于版本有个依赖. 下载解压之后,直接启动也行,注册成windows服务也行.推荐注册windows服务.注册win…
wrk是什么?https://github.com/wg/wrk wrk 是一个非常小巧高效的开源性能测试工具,支持lua脚本来创建复杂的测试场景.wrk 的一个很好的特性就是能用很少的线程压出很大的并发量, 原因是它使用了一些操作系统特定的高性能 I/O 机制, 比如 select, epoll, kqueue 等.PS, lua 脚本的介绍 (Lua 是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能),换一…
我用的是centos6.5,安装elasticsearch5.2.0 首先不说了,安装JDK1.8,下载elasticsearch5.2.0 https://www.elastic.co/downloads/past-releases 上传到linux下,解压tar -zxvf ... ela2.0之后不能用root启动了 #adduser tommy #passwd tommy   //修改密码 #vim /etc/sudoers 方法一:修改 /etc/sudoers 文件,找到下面一行,把…
.NET Core 2.0 新时代 万众瞩目的.NET Core 2.0终于发布了,原定于9.19的dotnetconf大会的发布时间大大提前了1个月,.NET Core 2.0/.NET Standard 2.0的正式发布是.NET 开源跨平台的一个重大里程碑. .NET Core 2.0 SDK下载地址:https://www.microsoft.com/net/download/core#/sdk Visual Studio 2017 15.3下载地址:https://www.visual…
这两天写的代码概率性的崩溃在 XMMatrixMultiply() 函数,XMMatrixMultiply() 本身是 inline 函数可以看到崩溃处的代码: vX = _mm_mul_ps(vX,M2.r[]); 经查,_mm_mul_ps 是 SSE2 指令要求内存地址 16 字节对齐.猜想可能是字节未对齐引发的问题,打印出矩阵参数的地址,果然,发生崩溃时都是未对齐到 16 字节的情况. XMMATRIX 声明中指定了对齐到 16 字节,如下: )) struct XMMATRIX { .…
WRL::ComPtr 取原始指针的地址有两种方式: operator&()   先释放原指针再取地址 GetAddressOf() 直接得到原始指针的地址 显然,operator& 是为COM风格的API设计的,比如下面这种: HRESULT CreateObject(/* [out] */IUnknown** ppObj); 在这一点上和 ATL::CComPtr 一致,实现上则有不同.上面这种 API 最容易出现的错误是传了一个非空指针的地址给 ppObj ,然后指针被覆盖导致原来指…
一直听说python requests库对于接口自动化测试特别合适,但由于自身代码基础薄弱,一直没有实践: 这次赶上公司项目需要,同事小伙伴们一起学习写接口自动化脚本,听起来特别给力,赶紧实践一把: 自身电脑装了python2.x,装上,导入requests库,导入第三方库的方法如下:   PyCharm→Preferences→Project:项目名→Project Interpreter,点击左下角的+号:        开始写第一个接口,我的想法是先把接口的url给拼接出来,然后再验证返回…
背景:程序正常运行中,突然技术支持人员反映数据库数据好久没有增加,于是乎各种排查问题,但是一直没有找到原因,由于代码比较久,也不是本人所写,更气的是居然用的是oracle数据库,并且是通过java代码调用存储过程.存储过程中包含了大量的逻辑.而java服务的日志也就少的可怜,根本无法排查出具体问题,唯一可以确认的是存储过程有问题. 1.首先排查存储过程,从上到下依次看,一共二百多行的代码,花了一小时看了一遍,感觉没什么问题,于是又通过手动输入参数,通过plsql测试存储过程,也没什么问题. 2.…
elasticsearch 版本为 6.8.2 1 安装完启动报错:   解决,建立新用户执行 [root@localhost bin]# ./elasticsearch [2019-09-01T05:56:36,875][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [unknown] uncaught exception in thread [main] org.elasticsearch.bootstrap.StartupExcep…
背景 一款轻阅读应用ReadIT,支持功能:优质文章推送.评论点赞.计划制定.计划闹钟.天气预报.收藏文章.深浅两套主题.多语言切换.极光推送等功能.后续还会继续集成功能.前后端均自主研发,借鉴市面较好的种子工程,目前未上应用市场,文章目前也比较少,后续会持续补充优质文章. 展示效果 点我 下载体验(目前只有安卓版) Github https://github.com/xiaobinwu/readIt 技能树 1.客户端(react-native.@react-navigation.react-…
首先是2张表 表A: 表B: 其中表B中的FormBaseId对应表A中的SubjectID. 数据库中没有设置外键关系. 下面是2个对应的实体 package questionnaire.model; /** * AbstractAdsubject entity provides the base persistence definition of the * Adsubject entity. @author MyEclipse Persistence Tools */ public abs…
JS正则的单行模式有点问题 总之 . 符号匹配换行符号会有问题 暂时的解决方案是 html = html.replace(/[\r\n]/g,""); 附加一个 html = html.replace(/\s{2,}/g," "); 清理多余空格(注意 可能会误伤正文内容 最好对标签内容进行局部处理)…
环境: 阿里云云服务器    Windows Server 2008 标准版 SP2 中文版(趁1212优惠买的一年的水货配置) 阿里云购买的域名(已备案.已解析) 服务器:phpstudy:php5.4.45+Apache(因为是phpstudy集成的,所以没找到apache的版本,我感觉应该是2.4.8之前的版本) SSL证书 (配置过程中,我申请了2个不同机构的证书,第一个GG了,是在   https://www.trustasia.com/   申请的1年免费证书.成功的是用的第二个,在…
最近了解到一个自动化入门的新工具appium-desktop,看网上各种文章,感觉这个工具是很简单的一个入门级工具,下载试用了一下. 官网下载,输入网址appium.io,点击下载. 一路傻瓜式安装,安装完之后正常打开,一切都很顺利.拿真机进行测试,发现使用adb devices命令能够正常检测到设备,但是使用appium-desktop,start session之后,报错could not find devices.截图如下: 明明adb是检测出设备了,为什么工具识别不了设备.于是网上查找各…
---恢复内容开始--- ElasticSearch入坑指南之概述及安装 了解ElasticSearch ElasticSearch(简称ES)基于Lucene的分布式全文检索引擎.使用ES可以实现近实时的存储.检索及海量数据的分析. ES可以应用于以下场景 日志或交易记录的收集,分析,趋势挖掘等,如:ELK可视化日志查询解析系统.. 站内搜索或商品数据检索,如:github,维基百科.. 价格报警平台,如:商品价格低于XX时短信通知客户.. ES核心概念 Near Realtime (NRT近…
原文:https://blog.csdn.net/an88411980/article/details/83150380 概述    公司最近在做全文检索的项目,发现elasticsearch踩了不少坑,百度点进去又是坑,在此记录一下自己的踩坑历程. 本文旨在单机版的elasticsearch环境搭建踩坑记录,后续会把整个全文检索涉及到的项目和技术分享出来. 上一篇博文记录了elasticsearch安装方式  ,RPM安装简单,坑点少,但自由度低,本人生产使用的tar包安装方式,本文主要记录t…
一.  ElasticSearch简单介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎. ElasticSearch不但包括了全文搜索功能,还可以进行以下工作:-> 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索.-> 实时分析的分布式搜索引擎.-> 可以扩展到上百…
Spring boot +Spring Security + Thymeleaf认证失败返回错误信息踩坑记录 步入8102年,现在企业开发追求快速,Springboot以多种优秀特性引领潮流,在众多使用SpringBoot的企业中,因为SpringSecurity安全框架由于其与spring框架无缝衔接等优秀特性被使用,这里记录一下使用这两个框架以及Thymeleaf模板过程中遇到的一些坑 记录时间:2018.11.30 本人环境: OS:windows 10 JDK:1.8 IDE:Intel…
在初步完成Kubernetes集群架构的建立后,通过搭建一些监控组件,我们已经能够实现 图形化的监控每个node,pod的状态信息和资源情况 通过scale进行replicateSet的扩展和伸缩 通过kubectl logs 或dashboard去查看每个Pod的运行日志 但是,在分布式架构中节点的规模往往是很庞大的,一个典型的生产环境可能有几十上百个minion节点,在这种情况下就需要建立一套集中的日志监控和管理系统,在本人前期的思考中,也想通过volumn外挂到存储的方式实现weblogi…