客户运行一个SQL,非常慢.于是进行了一下改写.速度飞快,首先看一下原来的SQL. original sql SQL> explain plan for 2 select count(*) from pnadmin.si_vsl where vsl_status_i = 'A' and to_number(vsl_id_n) not in (select vessel_id from pnadmin.vessel_master); Explained. SQL> select * from t…

这周就要从泰笛离职了,在公司内部的wiki上,根据公司实际的项目,写了一些mysql的优化方法,供小组里的小伙伴参考下,没想到大家的热情很高,还专门搞了个ppt讲解了一下. 举了三个大家很容易犯错的地方,之前项目中也存在,后期修正了. MySQL优化实例(一) 以我们项目中一个sql语句为例,展示sql语句优化的步骤. webService项目中有个getWashXiaogeId的封装方法,用于分配配送小哥. 其中,有一段逻辑是查询某个小哥当前的配送订单量(绿植+洗涤).查询慢查询日志时发现,这…

mysql 优化实例之索引创建 优化前: pt-query-degist分析结果: # Query 23: 0.00 QPS, 0.00x concurrency, ID 0x78761E301CC7EE47 at byte 394687 # This item is included in the report because it matches --limit. # Scores: V/M = 3.27 # Time range: 2016-09-29T11:46:22 to 2016-1…

mysql sql优化实例 优化前: pt-query-degist分析结果: # Query 3: 0.00 QPS, 0.00x concurrency, ID 0xDC6E62FA021C85B5 at byte 628331 # This item is included in the report because it matches --limit. # Scores: V/M = 0.19 # Time range: 2016-09-24T15:14:24 to 2016-10-0…

Android项目实战(二十八):使用Zxing实现二维码及优化实例 作者:听着music睡 字体:[增加 减小] 类型:转载 时间:2016-11-21我要评论 这篇文章主要介绍了Android项目实战(二十八):使用Zxing实现二维码及优化实例,具有一定的参考价值,感兴趣的小伙伴们可以参考一下. 前言: 多年之前接触过zxing实现二维码,没想到今日项目中再此使用竟然使用的还是zxing,百度之,竟是如此牛的玩意. 当然,项目中我们也许只会用到二维码的扫描和生成两个功能,所以不必下载完整的…

下面分别创建三张表,并分别插入1W条简单的数据用来测试,详情如下: [1] test_a 有主键但无索引   CREATE TABLE `test_a` (   `id` int(10) unsigned NOT NULL AUTO_INCREMENT,   `title` varchar(100) NOT NULL,   `content` text NOT NULL,   `number` int(10) unsigned NOT NULL,   PRIMARY KEY (`id`) ) E…

1.概述 如下SQL语句发生严重消耗资源的问题,使得OS's load average会在30以上,一条语句需要执行上百秒. /*PIXPatient 184176条DomainPatient 184189条PersonName 184189条*/ 捕获的SQL语句: select * from PIXPatient where PIXPatientTIDin (select distinct PIXPatientTID from DomainPatient where DomainPatien…

in型子查询引出的陷阱:(扫更少的行,不要临时表,不要文件排序就快) 题: 在ecshop商城表中,查询6号栏目的商品, (注,6号是一个大栏目) 最直观的: mysql); 误区: 给我们的感觉是, 先查到内层的6号栏目的子栏目,如7,,, 然后外层, cat_id ,,,) 事实: 如下图, goods表全扫描, 并逐行与category表对照,看parent_id=6是否成立 原因: mysql的查询优化器,针对In型做优化,被改成了exists的执行效果. 当goods表越大时, 查询速…

前言: 对于ListView,大家绝对都不会陌生,只要是做过Android开发的人,哪有不用ListView的呢? 只要是用过ListView的人,哪有不关心对它性能优化的呢? 关于如何对ListView进行性能优化,不仅是面试中常常会被问到的(我前段时间面试了几家公司,全部都问到了这个问题了),而且在实际项目中更是非常重要的一环,它甚至在某种程度上决定了用户是否喜欢接受你的APP.(如果你的列表滑起来很卡,我敢说很多人会直接卸载) 网上关于如何对ListView进行性能优化,提出了很多方案.但…

1.PHP-FPM高负载的解决办法 http://blog.haohtml.com/archives/11162 2.Nginx优化配置 http://blog.haohtml.com/archives/6213 3.Nging利用多核cpu提高性能_配置参数worker_cpu_affinity http://blog.csdn.net/wzy_1988/article/details/8180136…

在项目过程中会遇到需要使用自己定义的弹出框的情况.以前用过ymprompt,但是它太复杂而且不好自己操控.所以自己写了一个弹出框实例. 主要有两类弹出框alert和confirm.基于jQuery alert([title,]des[,callback]): title: 弹出框标题,string类型,可选 des: 弹出框内容描述,string类型,必须 callback: 弹出框点击按钮后的回调函数,可选 效果图如下 confirm([title,]des,callback): title:…

之前很傻很天真地以为无非就是逐个计算距离,然后比较出来就行了,然后当碰到访问用户很多,而且数据库中经纬度信息很多的时候,计算量的迅速增长,能让服务器完全傻逼掉,还是老前辈的经验比我们丰富,给了我很大的启示. MySQL性能调优 – 使用更为快速的算法进行距离计算 最近遇到了一个问题,通过不断的尝试最终将某句原本占据近1秒的查询优化到了0.01秒,效率提高了100倍. 问题是这样的,有一张存放用户居住地点经纬度信息的MySQL数据表,表结构可以简化 为:id(int),longitude(long…

在Apache, PHP,MySQL的体系架构中,MySQL对于性能的影响最大,也是关键的核心部分.对于Discuz!论坛程序也是如此,MySQL的设置是否合理优化,直接影响到论坛的速度和承载量!同时,MySQL也是优化难度最大的一个部分,不但需要理解一些MySQL专业知识,同时还需要长时间的观察统计并且根据经验进行判断,然后设置合理的参数. 下面我们了解一下MySQL优化的一些基础,MySQL的优化我分为两个部分,一是服务器物理硬件的优化:二是MySQL自身(my.cnf)的优化. (1) 服…

———————————————————————————————————— 一.运行模式优化 修改tomcat运行模式为nio<Connector port="80" protocol="org.apache.coyote.http11.Http11NioProtocol" ... /> ——————————————————————————————————————— 二.启动参数优化 export JAVA_OPTS="-server -Xms1…

exists()方法!! 判断queryset是否有值存在.exists()    只会查询一个字段 .正常会查所有!!! iterator()方法 objs = Book.objects.all().iterator() # iterator()可以一次只从数据库获取少量数据,这样可以节省内存 for obj in objs: print(obj.title) #BUT,再次遍历没有打印,因为迭代器已经在上一次遍历(next)到最后一次了,没得遍历了 for obj in objs: prin…

今天和运维同学一块查找mysql慢查询日志,发现了如下一条sql: SELECT sum(`android` + ios) total,pictureid,title,add_time FROM `juzi_access_statistic` LEFT JOIN juzi_news ON juzi_access_statistic.pictureid=juzi_news.id GROUP BY `pictureid` HAVING total >= 100000 AND pictureid >…

1.问题出现 需要提取一份xml文件中参数名和参数值,格式如下: <p name="actOlLaPdcch">true</p> 我们需要的字段如上,红色部分为参数名,蓝色部分为参数值,当然,实际文档中还有很多干扰因素. 步骤为先打开文件,然后用正则表达式匹配到我们需要的母项(r"<managedObject class=\"LNCEL\""),然后开始匹配. 期间发生了一个问题,调试的时候我使用的一小段样本如下:…

一.SQL优化 1.优化SQL一般步骤 1.1 查看SQL执行频率 SHOW STATUS LIKE 'Com_%'; Com_select:执行SELECT操作的次数,一次查询累加1.其他类似 以下参数只针对InnoDB存储引擎,累加算法略有不同 Innodb_rows_read:SELECT查询操作插入的行数 Innodb_rows_inserted/updated/deleted:执行INSERT/UPDATE/DELETE操作的行数 通过以上参数,可以了解当前数据库应用是查询为主还是写入…

GIN(Generalized Inverted Index, 通用倒排索引) 是一个存储对(key, posting list)集合的索引结构,其中key是一个键值,而posting list 是一组出现过key的位置.如(‘hello', '14:2 23:4')中,表示hello在14:2和23:4这两个位置出现过,在PG中这些位置实际上就是元组的tid(行号,包括数据块ID(32bit),以及item point(16 bit) ). 在表中的每一个属性,在建立索引时,都可能会被解析为多…

一.接口请求优化 在工程项目中,多个一级界面包含状态,如:服务入口的动态配置,未读消息数量,图片文字等,因此产品设计要每次切换 tab 时都请求数据,及时的更新页面状态.在实际开发中,频繁的调用接口,频繁的刷新界面显然是影响用户体验的,所以需要进行优化,优化的思路有以下几点: 使用 loading + 默认灰色矩形视图: 每隔 15s 以上才请求一次,防止频繁触发请求 @property (nonatomic, assign) CFTimeInterval lastTi; - (void)vie…

在用[MyEclipse] 写代码很容易卡死机,尤其是在对JSP文件的<%%>之间写代码的时候,只要一弹出智能提示就立刻卡死,程序失去响应,我以为是MyEclipse版本的问题,结果换了6.0版->6.5版->7.0版全都一样. MyEclipse在智能提示的时候自动访问网络上sun公司的最新API文档,只要关闭掉网络连接就可以了.我试了试断开网络然后在用MyEclipse写代码,结果还真的搞定了.可是,我总不能因为个这就不上网了吧,终于,找到了两全其美的解决方法. 在自己创建的工…

我们有可能会写出或者遇到类似这种代码: C/C++ switch (expr1) { case label11: switch (expr2) { case label21: // do something break; case label22: // do something break; default: // do something break; } break; case label12: switch (expr2) { case label21: // do something…

[client]port = 3306socket = /tmp/mysql.sock[mysqld]log-bin = /data/mysql/bin/mysqlbinlogserver-id = 1 log-bin-trust-function-creators = 1 #binlog-do-db = ProjectM #binlog-ignore-db = mysqlserver-id = 1001#binlog-do-db = ProjectM#binlog-ignore-db = my…

查询语句 SELECT customer_id,title,content FROM `product_comment` WHERE audit_status=1 AND product_id=199726 LIMIT 0,5 这里的索引有audit_status和product_id,可以建立联合索引.但是哪个放左边就要计算区分度. 计算方法 SELECT COUNT(DISTINCT audit_status)/COUNT(*) AS audit_rate, COUNT(DISTINCT p…

改为 也就是说用左连接代替where条件,这样的话效率会提高很多.…

import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_boston from sklearn.ensemble import GradientBoostingRegressor from sklearn.model_selection import cross_val_score X,y = load_boston(return_X_y=True) n_features = X.s…

1.     减少I/O操作: SELECT COUNT(CASE WHEN empno>20 THEN 1 END) c1,COUNT(CASE WHEN empno<20 THEN 1 END) c2 FROM emp; 2. 通过rowid访问 SELECT ROWID,emp.* FROM emp WHERE ROWID=chartorowid('AAAHW7AABAAAMUiAAA') 3.     使用索引唯一扫描 SELECT empno,ename FROM emp WHERE…

        运行结果 __import__作用: 同import语句同样的功能,但__import__是一个函数,并且只接收字符串作为参数,所以它的作用就可想而知了.其实import语句就是调用这个函数进行导入工作的,import sys <==>sys = __import__('sys')…

在展开下面的original sql 和 execution plan之前,要知道这个SQL的问题就在于占用大量的TEMP space orignal SQL SELECT roster.IC_N AS icN, roster.WORK_SHIFT_C AS workShiftC, roster.EXTRA_SHIFT_C AS extraShiftC, roster.GENERATED_SHIFT_C AS generatedShiftC, roster.RESERVE_SHIFT_C AS…

需求描述: 从hdfs中获取数据,字段url需要计算出url_type 通过进行hive的left outer join ,效率非常低.故将url的类型导入到hbase中,利用hbase快速查询的特点,结合mapreduce进行字段打标. 刚开始的mapreduce程序如下: package com.bonc.db; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache…