平时我们用的HIVE 我们都知道 select * from table_name 不走MR 直接走HTTP hive 0.10.0为了执行效率考虑,简单的查询,就是只是select,不带count,sum,group by这样的,都不走map/reduce,直接读取hdfs文件进行filter过滤.这样做的好处就是不新开mr任务,执行效率要提高不少,但是不好的地方就是用户界面不友好,有时候数据量大还是要等很长时间,但是又没有任何返回. 改这个很简单,在hive-site.xml里面有个配置参数…
目录 [简说Python WEB]视图函数操作数据库 系统环境:Ubuntu 18.04.1 LTS Python使用的是虚拟环境:virutalenv Python的版本:Python 3.6.9 [简说Python WEB]视图函数操作数据库 app.py我们需要把5-a中用到了数据库操作,加入到如下代码: @app.route('/', methods=['GET', 'POST']) def index(): form = NameForm() if form.validate_on_s…
第69节:Java中数据库的多表操作 前言 学习数据库的多表操作,去电商行业做项目吧!!! 达叔,理工男,简书作者&全栈工程师,感性理性兼备的写作者,个人独立开发者,我相信你也可以!阅读他的文章,会上瘾!,帮你成为更好的自己. 感谢!承蒙关照! 数据库的创建: create database 数据库名 character set 字符集 collate 校对规则 数据库的删除: drop database 数据库名 修改 alter database 数据库 character set 字符集…
0. 说明 Hive 的内置函数的基本操作 | 时间函数 | String 函数 | 条件语句 | explode | split | substring 1. 基本操作 查看函数 show functions; 查看函数的用法 desc function function_name; 查看函数的扩展信息 desc function extended format_name; 2. 时间函数 select current_database() //当前数据库 select current_dat…
1.Hive出现背景 Hive是Facebook开发并贡献给Hadoop开源社区的.它是建立在Hadoop体系架构上的一层SQL抽象,使得数据相关人员使用他们最为熟悉的SQL语言就可以进行海量数据的处理.分析和统计工作, 而不是必须掌握Java等编程语言和具备开发MapReduce程序的能力.Hive SQL实际上先被SQL解析器进行解析然后被Hive框架解析成一个MapReduce可执行计划,并按照该计划生成MapReduce任务后交给Hadoop集群处理. 由于Hive SQL是翻译为Map…
Frida接口功能介绍   Frida是个so级别的hook框架,它可以帮助开发.安全人员对指定的进程的so模块进行分析.它主要提供了功能简单的Python接口和功能丰富的JS接口,使得hook函数和修改so可以编程化,接口中包含了主控端与目标进程的交互接口. 目标进程的交互接口分为: JS接口 功能包括但不限于进程操作.模块操作.内存操作.函数操作.线程操作.网络通信.数据流操作.文件操作.数据库操作.寄存器操作. Python接口 提供的功能较少,基本都是用来获取进程.模块.函数操作.   …
Result文件数据说明: Ip:106.39.41.166,(城市) Date:10/Nov/2016:00:01:02 +0800,(日期) Day:10,(天数) Traffic: 54 ,(流量) Type: video,(类型:视频video或文章article) Id: 8701(视频或者文章的id) 文件部分如下: 1.192.25.84 2016-11-10-00:01:14 10 54 video 5551 1.194.144.222 2016-11-10-00:01:20 1…
虚拟机: hadoop:3.2.0 hive:3.1.2 win10: eclipse 两阶段数据清洗: (1)第一阶段:把需要的信息从原始日志中提取出来 ip:    199.30.25.88 time:  10/Nov/2016:00:01:03 +0800 traffic:  62 文章: article/11325 视频: video/3235 (2)第二阶段:根据提取出来的信息做精细化操作 ip--->城市 city(IP) date--> time:2016-11-10 00:01…
Hive的基本知识与操作 目录 Hive的基本知识与操作 Hive的基本概念 为什么使用Hive? Hive的特点: Hive的优缺点: Hive应用场景 Hive架构 Client Metastore(元数据) sql语句是如何转化成MR任务的? 数据处理 Hive的三种交互方式 第一种交互方式 第二种交互方式 第三种交互方式 Hive元数据 Hive的基本操作 创建数据库 修改数据库 查看数据库详细信息 删除数据库 Hive的数据类型 基础数据类型 复杂的数据类型 Hive的文件格式 Hiv…
本篇博客我们来聊聊MySQL数据库的连接与操作.如果你本地没有MySQL数据库的话,需要你先安装MySQL数据库.在Mac OS中使用brew包管理器进行MySQL的安装是及其方便的.安装MySQL的命令为:brew install mysql.本篇博客我们就要使用Perfect框架来连接操作数据库了,首先我们需要创建一个测试数据库,然后在测试数据库中创建一张测试表用来增删改查操作. 在博客的开头呢,先来推荐一款Mac上比较好用又免费的MySQL可视化管理工具Sequel Pro.这款工具用的是…