背景:

练习一个小项目,爬取京东的数据,存到ES库中,然后读取ES库中数据,展示到页面上。效果图如下:

涉及两个接口,一个爬取写入ES接口,一个查询展示接口,当我写完代码信心满满准备看看效果的时候,调用爬取接口突然报了异常,因为我也是刚开始接触ES,所以对异常也是一脸的蒙,但本着有问题还是要解决的想法,开始分析原因。异常如下:

过程:

一开始我以为是我的程序并没有连上我的ES库,但是我试了一下查找方法,虽然查回来的数据是空的,但证明库还是连上了的。看着异常,顺着栈针找到自己的代码开始报错的地方,发现是调用ES的client入库的时候报的错,

BulkResponse rsBulk = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);

在这个地方debug,顺着栈轨迹一层一层的进入,来到了异常栈的栈底,也就是BulkRequest.class ,是这个类的validate()方法,看名字应该是个校验方法,对这个方法一点点看,在debug显示变量值时,发现了异常中的错误信息,那就是这个request的validate()报了现有的错。

"type is miss",type没有找到,ES库中确实有这个要求,但我找了一下代码,发现并没有调用方法传去type的地方,难道是我写错了?翻看了一下教程,发现没写错。找到了写入数据的地方

bulkRequest.add(new IndexRequest("jd_goods")
.source(JSON.toJSONString(jdCommodityInfo.get(i)),XContentType.JSON));

点进IndexRequest(String index),找到了返回的错误信息,

if (this.type == null) {
validationException = ValidateActions.addValidationError("type is missing", validationException);
}

错误的来源找到了,那是什么原因造成了这个错误呢?

回头看了一下我点进来的构造方法,猛的发现,这个构造方法里并没有type的定义

public IndexRequest(String index) {
this.opType = OpType.INDEX;
this.version = -3L;
this.versionType = VersionType.INTERNAL;
this.autoGeneratedTimestamp = -1L;
this.isRetry = false;
this.ifSeqNo = -2L;
this.ifPrimaryTerm = 0L;
this.index = index;
}

怪不得,你都没定义,验证的时候肯定报错啊!难道开源项目百年难得一遇的bug被我发现了,那我以后岂不是要升职加薪,当上总经理,出任CEO,赢取白富美,走上人生巅峰。为了验证我的想法,我找了一个带有type类型参数构造方法,进行了测试。

bulkRequest.add(new IndexRequest("jd_goods" ,"doc")
.source(JSON.toJSONString(jdCommodityInfo.get(i)),XContentType.JSON));

果然能执行成功。想想心里有点小激动,我要立刻去提Issues,去提Pr,不对,等等,我能遇见,别人也能遇见,而且我不是用的最近版本的ES,是不是已经被修复了。找了个高版本的ES代码,打开IndexRequ.clss找到validate(),果然被修复了,type判断已经被删除了。

总结:

虽然没能真正的修复一个开源项目的bug,到时候和同事,面试官好好的吹一下。但这个过程中真的学习到了,解决bug的思路。相信以后遇到未知bug的时候,也能轻松解决。

记一次使用elasticsearch遇到bug的探索过程的更多相关文章

  1. SQL Server 字段类型 decimal(18,6)小数点前是几位?记一次数据库SP的BUG处理

    原文:SQL Server 字段类型 decimal(18,6)小数点前是几位?记一次数据库SP的BUG处理 SQL Server 字段类型 decimal(18,6)小数点前是几位? 不可否认,这是 ...

  2. 解Bug之路-记一次中间件导致的慢SQL排查过程

    解Bug之路-记一次中间件导致的慢SQL排查过程 前言 最近发现线上出现一个奇葩的问题,这问题让笔者定位了好长时间,期间排查问题的过程还是挺有意思的,正好博客也好久不更新了,就以此为素材写出了本篇文章 ...

  3. 【分布式搜索引擎】Elasticsearch写入和读取数据过程

    一.Elasticsearch写人数据的过程 1)客户端选择一个node发送请求过去,这个node就是coordinating node(协调节点)2)coordinating node,对docum ...

  4. android一个下拉放大库bug的解决过程及思考

    android一个下拉放大库bug的解决过程及思考 起因 项目中要做一个下拉缩放图片的效果,搜索了下github上面,找到了两个方案. https://github.com/Frank-Zhu/Pul ...

  5. Bug,项目过程中的重要数据

    作者|孙敏 为什么要做Bug分析? Bug是项目过程中的一个有价值的虫子,它不只是给开发的,而是开给整个项目组的. 通过Bug我们能获得什么? 积累测试方法,增强QA的测试能力,提升产品质量 发现项目 ...

  6. 记一个界面刷新相关的Bug

    今天遇到一个比较有意思的bug, 这里简单记录下. Bug的症状是通过拖拉边框把我们客户端主窗口拖小之后,再最大化,会发现窗口显示有问题, 看起来像是刷新问题, 有些地方显示的不对了. 这里要说明的是 ...

  7. 记一次系统稳定性问题的分析处理过程(因CallContext使用不当而造成bug)

    问题描述: 一个项目现场反馈,“差旅费类型的单据审批,在出现业务规则没满足的情况时(即业务报错,需要人机交互),审批仍然通过了”.从技术的角度上说,就是业务构件中的业务规则报错后,事务没有回滚.但是, ...

  8. [debug]记一次竞态更新bug的解决

    公司的django项目,有一个旧接口,使用POST方法更新用户的一种记录型数据. 这个接口的历史有点长,最早的时候没有那么多需求,只会更新两个布尔字段.后来,加入一个需要高频次记录的字段.这些字段都属 ...

  9. 谁记录了mysql error log中的超长信息(记pt-stalk一个bug的定位过程)

    [问题] 最近查看MySQL的error log文件时,发现有很多服务器的文件中有大量的如下日志,内容很长(大小在200K左右),从记录的内容看,并没有明显的异常信息. 有一台测试服务器也有类似的问题 ...

随机推荐

  1. 使用WPF实现的 喜马拉雅FM 资源下载工具

    因为喜马拉雅pc网站上没有提供下载功能,之前有个同事问我有没有办法将资源下载到本地,当然通过浏览器F12也能找到下载地址,但挺麻烦.正好最近想学wpf,周末在家也没事,于是对着百度撸了下代码.当然只能 ...

  2. 基于华为云IOT及无线RFID技术的智慧仓储解决方案最佳实践系列一

    [摘要]仓储管理存在四大细分场景:出入库管理.盘点.分拣和货物跟踪.本系列将介绍利用华为云IOT全栈云服务,端侧采用华为收发分离式RFID解决方案,打造端到端到IOT智慧仓储解决方案的最佳实践. 仓储 ...

  3. Spring Cloud 系列之 Alibaba Nacos 注册中心(一)

    前言 从本章节开始,我们学习 Spring Cloud Alibaba 相关微服务组件. Spring Cloud Alibaba 介绍 Spring Cloud Alibaba 致力于提供微服务开发 ...

  4. 4.vue class 绑定- model基础应用

        //代码可以复制自行体验   <template>     <div id="app" @click.stop="test('你点击了我big- ...

  5. js实现点击切换checkbox背景图片

    在制作网页的过程中,经常需要实现点击切换背景图片的效果,本文关注的是表单中checkbox背景图片切换的实现.如图,在输入用户名和密码后,用户需要选择是否记住密码 图片背景为白色表示未勾选状态 ,背景 ...

  6. 入门springMVC

    前言 开始学习springMVC整理的笔记,今天这一篇是回顾第一个springMVC程序. 环境 大致文件结构 先是要创建好一个普通maven工程,加入一些servlet包以及mvc支持的jar包,如 ...

  7. 02.DRF-认识RESTful

    认识RESTful 在前后端分离的应用模式里,后端API接口如何定义? 例如对于后端数据库中保存了商品的信息,前端可能需要对商品数据进行增删改查,那相应的每个操作后端都需要提供一个API接口: POS ...

  8. 开源一款超实用的 Dubbo 测试工具,已用半年,感觉很有feel~

    不知道你是否在工作中有遇到过类似情况: dubbo接口调试复杂,需要通过telnet命令或者通过consumer调用来触发. telnet语句参数格式复杂,每次编写都要小心谨慎,一旦出错又需重来. 复 ...

  9. arduino连接12864LCD方法

    arduino连接12864LCD方法,参考相关代码. https://blog.csdn.net/txwtech/article/details/95038386

  10. 5.kubernetes的服务暴露插件-Traefik

    目录 1.部署traefik 2.准备资源配置清单 3.应用资源配置清单 4.检查创建资源 5.解析域名 6.配置反向代理 7.浏览器访问 部署traefik 在HDSS7-200.host.com上 ...