面试官:有操作过Linux吗?

我:有的呀

面试官:我想查看内存的使用情况该用什么命令

我:free 或者 top

面试官:那你说一下用free命令都可以看到啥信息

我:那,如下图所示 可以看到内存以及缓存的使用情况

  • total 总内存
  • used 已用内存
  • free 空闲内存
  • buff/cache 已使用的缓存
  • avaiable 可用内存

面试官:那你知道怎么清理已使用的缓存吗(buff/cache)

我:em… 不知道

面试官:sync; echo 3 > /proc/sys/vm/drop_caches就可以清理buff/cache了,你说说我在线上执行这条命令做好不好?

我:(送分题,内心大喜)好处大大的有,清理出缓存我们就有更多可用的内存空间, 就跟pc上面xx卫士的小火箭一样,点一下,就释放出好多的内存

面试官:em…., 回去等通知吧

再谈SQL Join

面试官:换个话题,谈谈你对join的理解

我:好的(再答错就彻底完了,把握住机会)

回顾

SQL中的join可以根据某些条件把指定的表给结合起来并将数据返回给客户端

join的方式有

inner join 内连接

left join 左连接

right join 右连接

full join 全连接

面试官:在项目开发中如果需要使用join语句,如何优化提升性能?

我:分为两种情况,数据规模小的,数据规模大的。

面试官: 然后?

我:对于

1.数据规模较小 全部干进内存就完事了嗷

2.数据规模较大

  • 可以通过增加索引来优化join语句的执行速度
  • 可以通过冗余信息来减少join的次数
  • 尽量减少表连接的次数,一个SQL语句表连接的次数不要超过5次

面试官:可以总结为join语句是相对比较耗费性能,对吗?

我:是的

面试官: 为什么?

缓冲区

我: 在执行join语句的时候必然要有一个比较的过程

面试官: 是的

我:逐条比较两个表的语句是比较慢的,因此我们可以把两个表中数据依次读进一个内存块中, 以MySQL的InnoDB引擎为例,使用以下语句我们必然可以查到相关的内存区域show variables like '%buffer%'

如图所示join_buffer_size的大小将会影响我们join语句的执行性能

面试官: 除此之外呢?

一个大前提

我:任何项目终究要上线,不可避免的要产生数据,数据的规模又不可能太小

面试官: 是这样的

我:大部分数据库中的数据最终要保存到硬盘上,并且以文件的形式进行存储。

以MySQL的InnoDB引擎为例

  • InnoDB以页(page)为基本的IO单位,每个页的大小为16KB
  • InnoDB会为每个表创建用于存储数据的.ibd文件

验证

我:这意味着我们有多少表要连接就需要读多少个文件,虽然可以利用索引,但还是免不了频繁的移动硬盘的磁头

面试官:也就是说频繁的移动磁头会影响性能对吧

我:是的,现在的开源框架不都喜欢说自己通过顺序读写大大的提升了性能吗,比如hbase、kafka

面试官:说的没错,那你认为Linux有对此做出优化吗?提示,你可以再执行一次free命令看一下

我:奇怪缓存怎么占用了1.2G多

面试官:你有没有想过

  • buff/cache 里面存的是什么?
  • 为什么buff/cache 占了那么多内存,可用内存即availlable还有1.1G?
  • 为什么你可以通过两条命令来清理buff/cache占用的内存,而想要释放used只能通过结束进程来实现?

品,你细品

思考了几分钟后

我:这么随便就释放了buff/cache所占用的内存,说明它就不重要, 清除它不会对系统的运行造成影响

面试官: 不完全对

我:难道是?想起来《CSAPP》(深入理解计算机系统)里面说过一句话

存储器层次结构的本质是,每一层存储设备都是较低一层设备的缓存

通俗来说,就是说Linux会把内存当作是硬盘的高速缓存

面试官:现在知道那道送分题应该怎么回答了吧

我:我….

Join算法

面试官:再给你个机会,如果让你来实现Join算法你会怎么做?

我:无索引的话,嵌套循环就完事了嗷。有索引的话,则可以利用索引来提升性能.

面试官:说回join_buffer 你认为join_buffer里面存储的是什么?

我:在扫描过程中,数据库会选择一个表把他要返回以及需要进行和其他表进行比较的数据放进join_buffer

面试官:有索引的情况下是怎么处理的?

我:这个就比较简单了,直接读取两个表的索引树进行比较就完事了嗷,我这边介绍一下无索引的处理方式

Nested Loop Join

嵌套循环,每次只读取表中的一行数据,也就是说如果outerTable有10万行数据, innerTable有100行数据,需要读取10000000次(假设这两个表的文件没有被操作系统给缓存到内存, 我们称之为冷数据表)

当然现在没啥数据库引擎使用这种算法(太慢了)

Block nested loop

Block 块,也就是说每次都会取一块数据到内存以减少I/O的开销

当没有索引可以使用的时候,MySQL InnoDB 就会使用这种算法

考虑以下两个表 t_a 和t_b

当无法使用索引执行join操作的时候,InnoDB会自动使用Block nested loop 算法

为什么代码规范要求SQL语句不要过多的join?的更多相关文章

  1. 代码规范--捡拾(SQL语句)

    最近在看阿里的JAVA开发手册,话不多说进入正题. 1.[强制]不使用count(列名)或者是count(常量)代替count(*) 因为count(*)会统计NULL值,前面的两个不会 2.[强制] ...

  2. 关于在Java代码中写Sql语句需要注意的问题

    最近做程序,时不时需要自己去手动将sql语句直接写入到Java代码中,写入sql语句时,需要注意几个小问题. 先看我之前写的几句简单的sql语句,自以为没有问题,但是编译直接报错. String st ...

  3. 1.代码规范之 if 语句编写

    最近在看项目代码的时候, 看到需要判断的地方,出现了if的多重嵌套,  甚至是出现了十几层的嵌套, 代码的阅读性非常之差. 简单的举个例子(这里只是两层的嵌套): public class demo ...

  4. SQL语句 in和inner join各有什么优点

    比如A1表 100W行 A2表50W行select a.* from A1 a where a.column1 in (select b.column1 from A2 b where b.colum ...

  5. sql语句中的left join,right join,inner join的区别

    left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录 right join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录 inner join(等值连接) ...

  6. 【代码总结】SQL语句设计

    1.根据空值(NULL)检索条件 select * from user where age is not null; //查询年龄为null的所有用户 2.使用IN进行范围对比查询 ,5的所有用户 , ...

  7. sql语句中的 inner join 、 left join 、 right join、 full join 的区别

    简单明了地说,连接分内连接和外链接 假设有A和B两张表 内连接:inner join   表示把AB表的记录相符都显示出来,把AB表不符合条件的都排除 外连接分三种,即左连接(LEFT OUTER J ...

  8. sql语句优化:用join取代not in

    不要太多使用not in查询,最好用表连接来取代它.如: select ID,name from Table_A where ID not in (select ID from Table_B) 这句 ...

  9. sql语句之union与join的区别

    union查询: 使用 union 可以将多个select语句的查询结果组合起来. 语法: select 字段1,字段2 from table1 union select 字段1,字段2 from t ...

随机推荐

  1. L SERVER 数据库被标记为“可疑”的解决办法

    问题背景: 日常对Sql Server 2005关系数据库进行操作时,有时对数据库(如:Sharepoint网站配置数据库名Sharepoint_Config)进行些不正常操作如数据库在读写时而无故停 ...

  2. 腾讯暑期 前后七面 + hr(已拿offer面经)

    以下是时间线 魔方 魔术师工作室 3.19 一面(120mins) c++ struct和union区别? 指针和引用的区别? 左值和右值? 字节对齐的作用? 什么情况下需要自定义new? mallo ...

  3. JVM垃圾回收器总结

    常见七种垃圾回收器以及使用的垃圾回收算法总结:

  4. c++vs类图

    安装visual studio扩展开发工具 一定要勾选右侧栏中的类设计器 安装完成后在菜单栏点击视图--类视图,会出现类视图框,在框中右键项目--查看类视图,就自动生成了.

  5. NtQuerySystemInformation获取进程/线程状态

    __kernel_entry NTSTATUS NtQuerySystemInformation( SYSTEM_INFORMATION_CLASS SystemInformationClass, P ...

  6. windows的SEH异常处理以及顶层异常处理

    前言 windows的SEH结构化异常处理是基于线程的,传统的SEH结构化异常会基于堆栈形成一条包含异常回调函数地址的链(SEH链).而fs:[0](TEB的第一个字段)指向这条链的链头,当有异常发生 ...

  7. Windows 程序自动更新方案: Squirrel.Windows

    Windows 程序自动更新方案: Squirrel.Windows 1. Squirrel Squirrel 是一组工具和适用于.Net的库,用于管理 Desktop Windows 应用程序的安装 ...

  8. 【转载】linux 安装 中文输入法 Fcitx 手动

    在 Linux(测试版)中安装中文输入法 由于一些原因,目前在 Linux(测试版)中无法调用系统的输入法,故需要安装第三方输入法为 Linux(测试版)中的应用提供中文输入支持.本文档旨在介绍第三方 ...

  9. 云计算OpenStack核心组件---glance镜像服务(6)

    一.glance介绍: Glance是Openstack项目中负责镜像管理的模块,其功能包括虚拟机镜像的查找.注册和检索等. Glance提供Restful API可以查询虚拟机镜像的metadata ...

  10. docker存储驱动

    http://www.sohu.com/a/101016494_116235 https://success.docker.com/article/compatibility-matrix Red H ...