我最近研究了hive的相关技术,有点心得,这里和大家分享下. https://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.html 首先我们要知道hive到底是做什么的.下面这几段文字很好的描述了hive的特性: 1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行.其优点是学习成本低,可以通过类SQL语句快速实…

注: 以下内容引自http://www.cnblogs.com/hhudaqiang/p/6550135.html Selenium相关技术研究(从1.0-3.0) 好吧,最近看wxpython有点多.鉴于最近selenium3.0的出现,有些同事更新了selenium发现若干的坑(包括若干bug).selenium可以说是自动化测试框架的核心,不管是robotframework这样成熟的测试框架,还是自己写的架构都离不开这个包:不管你是web测试还是app的测试你也离开不了它.关于这个包太多要…

分享下今天研究的流量上限DDos攻击分析和解决方式 常常听到或者碰到某个站点被攻击.一般都是流量攻击.今天自己写了个程序測下相关的上限,程序仅仅简单做了个get html操作(不包括图片等资源文件). 用一台双核CPU机器A,启100个线程,连续发送serverB.统计出的结果是每秒钟发173个请求,机器A的发送带宽450Kbps,机器A的接收带宽2.8Mbps,机器B的发送带宽2.8Mbps,机器B的接收带宽450Kbps. 用一台双核CPU机器A,启1000个线程,连续发送serverB,统…

 不知不觉使用NGI插件已经有一段时间了.感觉NGUI真的是眼下Unity3D中最好用的UI插件. 可是它也有一些不是BUG的BUG,这些问题可能会让新人摸不着头脑,那么这篇文章将总结一下这段时间用NGUI的一些开发心得.这些也好几个朋友问题我的一些问题,我将这些东西列出来. 上一章我们学习了p=821" rel="bookmark">NGUI研究之自制Scroll View实现触摸滚动相冊效果不明确的同学能够去看看. 1.对图片的限制 假设是移动平台中iPhone…

hdfs: hdfs官方文档 深入理解HDFS的架构和原理 https://blog.csdn.net/kezhong_wxl/article/details/76573901 HDFS原理解析(总体架构,读写操作流程) http://www.cnblogs.com/duanxz/p/3874009.html 经典漫画讲解HDFS原理 https://blog.csdn.net/scdxmoe/article/details/50904881 独家 | 一文读懂Hadoop(二)HDFS(上)…

1. hive 桶相关概念     桶(bucket)是指将表或分区中指定列的值为key进行hash,hash到指定的桶中,这样可以支持高效采样工作.     抽样( sampling )可以在全体数据上进行采样,这样效率自然就低,它还是要去访问所有数据.而如果一个表已经对某一列制作了bucket,就可以采样所有桶中指定序号的某个桶,这就减少了访问量.     2. 桶作用 1)数据抽样 2)提升某些查询操作效率,如:mapside join  3. 桶的使用    --场景一.场景二使用此表说…

landen@Master:~/UntarFile/hive-0.10.0$ bin/hive --database 'stuchoosecourse' -e 'select * from hiddenipinfo'WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.prop…

hive存在两种锁,共享锁Shared (S)和互斥锁Exclusive (X) 其中只触发s锁的操作可以并发的执行,只要有一个操作对表或者分区出发了x锁,则该表或者分区不能并发的执行作业. -- 加锁 lock table dws_prem_m_bak_20180630 exclusive ; -- 查看锁 show locks dws_prem_m_bak_20180630 extended; -- 解锁 unlock table dws_prem_m_bak_20180630 ; -- 如…

http://web.cse.ohio-state.edu/hpcs/WWW/HTML/publications/papers/TR-14-2.pdf  (辅助参考:https://cwiki.apache.org/confluence/display/Hive/Correlation+Optimizer ) Introductionhive的主要不足: 存储和查询计划执行.文中提出了三个主要的改进点 新的文件格式 ORC 查询计划组件优化(关联优化器correlation optimizer…

from queue import PriorityQueue from enum import Enum from battle import commander from battle import ROLE class Map(object): def __init__(self, enemy_items, diagonal_movement=True): self.diags = diagonal_movement self.width = 20 self.height = 40 sel…