首先,关于跨平台数据库管理工具DbVisualizer是什么?这个不多说,大家自行去看. 这个工具可以自定义连接其他没有驱动的数据库.   公司的项目牵扯到的数据库有mysql,sqlserver,oracle,mongda,postgresql,hive等.每一个都开启一个客户端,非常麻烦!      同事介绍了一款小软件 DbVisualizer,可以连接多种数据库,操作起来很是方便啊! DbVisualizer的官网 http://www.dbvis.com/ DbVisualizer的官

前面已经学习了将数据从Sql Server导入到Hive DB,并在Hue的Web界面可以查询,接下来是配置客户端工具直接连Hive数据库,常用的有DbVisualizer.SQuirreL SQL Client.DataGrip,只试用了前面两种,花了1天多时间最终实现了用这两款工具连Hive,还是挺有成就感的. 先把环境说明下,有些问题跟环境版本是非常依赖的. Hadoop/Hive:使用的是CDH 5.15版 DbVisualizer:v 9.58 SQuirreL SQL Client:

公司最近在研究多条件组合查询方案,Google的一位技术专家Sam和我们讨论了几个备选方案. Sam的信: 我做了进一步研究,目前有这么几种做法: 1) 最直接粗暴,只做一个主index,比如按行业+地区做一个index,这样来说的话,无论多少个标签的查询,直接先用主index做一个筛选,这样下来可能只有少于10w个row,然后对这10w个一个个filtering,这种做法可能能够满足大部分需求.当然,这种做法需要用到cache来优化,否则每次都去DB load会影响数据库的performanc

想开始学习一下hive,需要一个使用起来方便的客户端,网上搜了一下发现hue是个很常用的工具.于是,就在自己的ubuntu14系统里,尝试安装hue.下面就是自己的安装步骤,记录如下: 1.先查看自己的ubuntu的版本号 2.安装git sudo apt-get install git 3.下载hue的源码 git clone https://github.com/cloudera/hue.git cd hue 4.系统上没有安装make,于是安装make 5.make apps,报错原来是缺

郑昀 创建于2014/10/30 最后更新于2014/10/31   一)选型:Shib+Presto 应用场景:即席查询(Ad-hoc Query) 1.1.即席查询的目标 使用者是产品/运营/销售运营的数据分析师: 要求数据分析师掌握查询SQL查询脚本编写技巧,掌握不同业务的数据存储在不同的数据集市里: 不管他们的计算任务是提交给 数据库 还是 Hadoop,计算时间都可能会很长,不可能在线等待: 所以, 使用者提交了一个计算任务(PIG/SQL/Hive SQL),控制台告知任务已排队,给

最近Hue+Solr 方案原型验证有了一些进展.正好也收到了Google的大数据专家Sam的来件询问进展,我答复如下: Sam, 你好. 已经把Kafka+flume+solr的实时索引搭建起来了, 现在用实时事件统计的场景在测试数据(当前方案为kafka storm mysql),solr现在数据量约为每天八万条记录,70M数据. 下面的页面提供了hue访问solr的地址,请通过页面最下面的超链接看下我们做的demo. (链接) 遇到的问题: .我们现在用的solr 4.10.3不支持修改时区

http://ju.outofmemory.cn/entry/105162 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的.通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等.很早以前就听说过Hue的便利与强大,一直没能亲自尝试使用,下面先通过官网给出的特

报这个错误的根本原因就是DbVisualizer和JDK的版本不一致,那么知道原因,修改起来就方便了,要么修改DbVisualizer的版本,要么修改JDK的版本. 1.JDK7 64位 那么就在DbVisualizer的官网下载一个DbVisualizer 9.2.8 64位的版本. 2.DbVisualizer8.0.12 不变 这个版本中自带jdk,那就将jdk环境变量的配置修改成这个目录版本. 3.DbVisualizer 8.0.12有一个(自带jdk)bat,运行这个可以启动.

Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的.通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据. Hue在数据库方面,默认使用的是SQLite数据库来管理自身的数据,包括用户认证和授权,另外,可以自定义为MySQL数据库.Postgresql数据库.以及Oracle数据库 目录:

背景:Kafka消息总线的建成,使各个系统的数据得以在kafka节点中汇聚,接下来面临的任务是最大化数据的价值,让数据“慧”说话. 环境准备: Kafka服务器*3. CDH 5.8.3服务器*3,安装Flume,Solr,Hue,HDFS,Zookeeper服务. Flume提供了可扩展的实时数据传输通道,Morphline提供了轻量级的ETL功能,SolrCloud+Hue提供了高性能搜索引擎和多样的数据展现形式. 12.20补充:(Hue的另外一种代替方式:Banana.) 一.环境安装(

MySQLdb: https://pypi.python.org/pypi/MySQL-python/1.2.4 import MySQLdb 1.Download Connector/Python:mysql-connector-python-2.1.3-py2.7-win32 Mysql:mysql-installer-community-5.5.48.0 Python:python-2.7.10 2.安装好Python,Mysql Connector/Python:  http://dev

oozie调度系统调研 1. 关于oozie的简单说明 oozie应用程序目录结构说明: 一个完整的oozie应用程序一般情况下至少包含三个文件及目录:job.properties.workflow.xml.lib(lib表示为用来存放程序运行需要的jar包,非必需) flow nodes的六种类型: start, end, decision, fork, join, kill action-node的部分类型: Hadoop map-reduce, Hadoop file system, Pi

hue是一个Apache基金会下的一个开源图形化管理工具,使用python语言开发,使用的框架是Django.而sqoop也是Apache的一个开源工具,是使用Java语言开发,主要用于进行hdfs和传统关系型数据库之间的数据传递.这两天在整合这两个工具的时候,遇到了一个问题,特此记录. Hue版本是3.9.0,Sqoop版本是1.99.6,也就是最新版的Sqoop2. 把Hue和Sqoop安装好后,修改Hue配置文件,hue-3.9.0/desktop/conf/hue.ini 找到Sqoop

.dbvisualizer中文乱码 tools--tool properties找到Fonts--修改SQL Editor/Text Editor 将字体换成:微软雅黑.新宋体.楷体.黑体 .dbvisualizer自动提示 tools--tool properties找到SQL Commander--Auto Completion 都打上勾 .SQL提示 修改SQL提示的步骤如下: )编辑dbvis.jar包下的dbvis-actions.xml文件(解压或直接修改) )找到以下的代码 <ac

下载dbvis.puk,替换C:\Program Files\DbVisualizer\lib\dbvis.jar中的文件. 替换后打开选手动的key:下载地址dbvis.license

转自 http://molisa.iteye.com/blog/1953390   我主要是根据这个说明调整的HUE的时区问题 在使用Cloudera Hue时遇到一问题: 1. 使用Sqoop导入功能时,由于配置错误,使得“保存运行”后Job并不能正常提交,且界面上没有相关提示: 使用Hue的Sqoop shell -> start job --jid * 提交会出现一些错误提示 然后再去/var/log/sqoop/里面查看log 2. 第二个问题是在使用Job Designer设计Sqoo

1.修改hue的配置文件hue.ini [hbase] # Use full hostname with security. hbase_clusters=(Cluster|linux-hadoop3.ibeifeng.com:9090) # HBase configuration directory, where hbase-site.xml is located. hbase_conf_dir=/etc/opt/modules/hbase-0.98.6-hadoop2/conf 2.启动hb

http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html 一:框架 1.支持的框架 ->job ->yarn ->mr1 ->oozie ->HDFS ->查文件 ->文件的管理 ->增删改查 ->hive ->rdbms 二:安装 1.下载hue包 2.需要安装的依赖 3.检测依赖 4.安装依赖包 sudo yum install ant asciidoc cyr

运行环境 centOS 6.6 hadoop 2.4.0 hive 1.2.0 spark 1.4.1 HUE 3.9 介绍: Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的.通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等. HUE功能: 数据库查询编

解决方法: 启动HUE的Shell /opt/cloudera/parcels/CDH/lib/hue/build/env/bin/hue shell from django.contrib.auth.models import User user = User.objects.get(username='example') user.set_password('some password') user.save() 如果不知道HUE在哪,ps aux | grep hue 找到它. 参考官网: