Hive SQL基本上适用大数据领域离线数据处理的大部分场景.Hive SQL的优化也是我们必须掌握的技能,而且,面试一定会问.那么,我希望面试者能答出其中的80%优化点,在这个问题上才算过关. Hive优化目标 在有限的资源下,执行效率更高 常见问题 数据倾斜 map数设置 reduce数设置 其他 Hive执行 HQL --> Job --> Map/Reduce 执行计划 explain [extended] hql 样例 select col,count(1) from test2 g…

HashMap是现在用的最多的map,HashMap的源码可以说是面试必备技能,今天我们试着分析一下jdk1.7下的源码. 先说结论:数组加链表 一.先看整体的数据结构 首先我们注意到数据是存放在一个Entry<K,V>数组里面,默认大小16. public class HashMap<K,V> extends AbstractMap<K,V> implements Map<K,V>, Cloneable, Serializable { /** * The…

概述 **本人博客网站 **IT小神 www.itxiaoshen.com 定义 MySQL官方地址 https://www.mysql.com/ MySQL 8系列最新版本为8.0.27,5系列的最新版本5.7.35 MySQL发展至今仍然是世界上最流行的关系型数据库管理系统,使用C和C++语言编写,并且为很多种编程语言提供API.能够处理千万级别的数据,市场占有量还是老大哥地位. 安装 MySQL安装有多种方式,可使用yum安装,也可以从官网下载指定版本解压安装既可,比较简单,安装完完成配置…

一.场景分析 最近做项目遇到了一个很奇怪的问题,大致的业务场景是这样的:我们首先设定两个事务,事务parent和事务child,在Controller里边同时调用这两个方法,示例代码如下: 1.场景A: @RestController @RequestMapping(value = "/test") public class OrderController { @Autowired private TestService userService; @GetMapping public…

1.为什么用数组+链表? 数组是用来确定桶的位置,利用元素的key的hash值对数组长度取模得到. 链表是用来解决hash冲突问题,当出现hash值一样的情形,就在数组上的对应位置形成一条链表.ps:这里的hash值并不是指hashcode,而是将hashcode高低十六位异或过的.至于为什么要这么做,继续往下看. 2.hash冲突你还知道哪些解决办法? 比较出名的有四种(1)开放定址法(2)链地址法(3)再哈希法(4)公共溢出区域法 3.HashMap在什么条件下扩容? 如果bucket满了(…

SQL Server管理员必备技能之性能优化 高文龙关注1人评论1171人阅读2017-09-22 08:27:41 SQL Server 作为企业必不可少的服务之一,所以对于管理员的日常运维是一个极大的挑战,管理员对于服务保证是非常重要的,所以作为管理员首先就是对数据及服务的备份,然后熟悉的掌握灾难恢复,这只是前提,后续我们需要对服务进行优化,今天说说 SQL Server 的日常优化,我们企业每年微软都会对环境内的 SQL Server 进行健康检查,在此总结了一些日常需要注意的问题,分享给…

详解linux运维工程师入门级必备技能 | 浏览:659 | 更新:2013-12-24 23:23 | 标签:linux it自动化运维就是要很方便的运用各种工具进行管理维护,有效的实施服务器保护 linux运维人员常用工具介绍 1.很多地方经常会用到的rsync工具 实施几台服务器的同步效果 我们公司就是使用这个工具完成服务器的游戏的服务端和客户端同步,有几个文章例子 rsync 强化技术(手动修改端口开启防火墙的情况下)并且通过脚本只同步需要的服务器 inotify+rsync+mutt+…

部署yum仓库.定制rpm包 目录 第1章 扩展 - yum缓存 1.1 yum缓存使用步骤... 1 1.1.1 导言... 1 1.1.2 修改配置文件... 1 1.1.3 使用缓存... 1 第2章 自动化部署必备技能-搭建YUM仓库... 2 2.1 仓库简介... 2 2.1.1 导言... 2 2.1.2 使用说明:... 2 2.2 搭建YUM仓库过程... 3 2.2.1 创建yum仓库目录... 3 2.2.2 安装createrepo软件... 3 2.2.3 初始化rep…

系统软件工程师必备技能-进程内存的working set size(WSS)测量 2018年12月28日 18:43:01 Linuxer_ 阅读数:145 https://blog.csdn.net/juS3Ve/article/details/85333717   How To Measure the Working Set Size on Linux|来源:内核月谈 概述 本文主要摘自brendangregg大神的blog: http://www.brendangregg.com/blog…

一.Java基础 1.Arrays.sort实现原理和Collections.sort实现原理答:Collections.sort方法底层会调用Arrays.sort方法,底层实现都是TimeSort实现的.TimSort算法就是找到已经排好序数据的子序列,然后对剩余部分排序,然后合并起来.2.foreach和while的区别(编译之后) 线程池的种类,区别和使用场景3.分析线程池的实现原理和线程的调度过程4.线程池如何调优5.线程池的最大线程数目根据什么确定 6.动态代理的几种方式7.Hash…