现象:phoenix刚建表时查找很快,随着数据导入越来越多,查询越来越缓慢,执行explain这个表的计划都需要好几秒,但在hbase shell里查询很快 问题定位:这个是由于system.static表数据量太大造成,每次查询都会去读这张表数据 解决方案:修改org.apache.phoenix.coprocessor.MetaDataEndpointImpl,注解这句话: //stats = StatisticsUtil.readStatistics(statsHTable, physic…

[20181130]hash冲突导致查询缓慢.txt --//昨天看了链接https://jonathanlewis.wordpress.com/2018/11/26/shrink-space-2/,演示了Shrink Space导致--//执行语句缓慢的情况,我自己重复测试,实际上这样发生的概率还是很低的,我个人认为,至于Shrink Space是否好坏,--//我个人还是根据实际的情况来确定. 1.环境:SCOTT@book> @ ver1 PORT_STRING              …

环境:Phoenix:4.4,win7系统 问题:Phoenix在查询hbase时,报"系统找不到指定路径". 解决: 请参见 https://distcp.quora.com/Connect-and-query-Apache-Phoenix-with-Squirrel-from-Windows . 个人解决过程记录: 1.从hhbase的master节点下载hbase-site.xml 2.修改hbase-site.xml,添加 <property> <name&g…

场景 mongoose-paginate-v2 是一个mongoose上的分页插件,我也用过很多次了,但是最近在创建项目遇到了问题. 老代码中不使用分页插件进行查询,然后自己使用中间件进行分页 old codes, 16ms @Get('') public async index(@Query() query, @Pager() pager: any, @Req() req: Request, @Res() res: Response) { const map: any = {}; if (qu…

在使用hibernate的应用中,如果需要直接使用Java.sql.Connection,一般我们是通过hibernate的session.connection()获得的,然后session.close(),但connection是不需要close的. 操作一段时间后,查询会很慢,好像死机了一样.原因是查询时,session无法从连接池里获取连接, 因为连接已经达到配置的最大值. 解决办法:connection使用后,调用session.disconnection()方法可以把连接放回连接池.…

同事的美女图片站,基于 WordPress 搭建的,因为数据越来越多,变得慢,我从 PHP slow log 里面看出是 WordPress 有些查询总是很慢,即使已经安装了页面缓存插件,但是由于页面众多,命中率不高,所以加速效果也不明显,而且由于界面经常改版,页面缓存需要清空重新生成,进一步降低了缓存的效果.反正就是不流畅,有点慢.   看了下服务器配置虽然不高,但是也不至于打开一个一面要 4 秒钟吧,而且 CPU 占用率奇高,虽然说升级硬件可以缓解,但根源还是程序效率的问题,所以不妨先趁性能…

之前发布过一篇博文 下单快发货慢:一个 JOIN SQL 引起 SqlClient 读取数据慢的奇特问题,当时遇到的问题是从 SQL Server 2008 R2 中查询获取 100 条记录竟然耗时 10 多秒,排查中发现问题与 SQL  查询中包含 INNER JOIN 有关,去掉 INNER JOIN 立马查询飞快.当时天真地以为原因是 JOIN 的那张表数据记录太多以及主表聚集索引不合理,于是采用将 INNER JOIN 部分拆分出来单独查询临时解决了问题. 这两天我们又在另外一个 ASP…

作为后端攻城狮,在接到分页list需求的时候,内心是这样的 画面是这样的 代码大概是这样的 select count(id) from …       查出总数 select * from …. limit m,n    查出分页数据 和前端的交互是这样的 你传给我查询条件和pageNum.pageSize 我给你返回total.resultList 恩,可以开始预估开发时间了 结果出来的时候是这样的 在点击后面几页的时候发现数据加载很慢.不好,一开始没想到数据量是这个级别的,慢SQL监控已经开…

一. Phoenix的简介 1. 什么是phoenix 现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等.今天主要说Phoenix.phoenix是一个在hbase上面实现的基于hadoop的OLTP技术,具有低延迟.事务性.可使用sql.提供jdbc接口的特点. 而且phoenix还提供了hbase二级索引的解决方案,丰富了hbase查询的多样性,继承了hbase海量数据快速随机查询的特点.但是在生产环境中,不可以用在OLTP中.在线事…

前言 之前系列中在查询计划中一直出现Stream Aggregate,当时也只是做了基本了解,对于查询计划中出现的操作,我们都需要去详细研究下,只有这样才能对查询计划执行的每一步操作都了如指掌,所以才有了本文的出现,简短的内容,深入的理解,Always to review the basics. Stream Aggregate Stream Aggregate通过单列或者多列来对行进行分组并且对指定的查询来计算聚合表达式.最常见的聚合类型如SUM.COUNT.SUM.AVG.MIN.MAX,当…