参考连接:http://lxw1234.com/archives/2016/09/723.htm 这里主要介绍:Oracle SQL Developer 1. 下载,免安装包 SQL Developer 4.1.5.及hive对应jar包 (- 我的百度云链接:https://pan.baidu.com/s/1EsXEApVaF0kg943MHKpXew 密码:lmtx,大概400MB........   或者先官网下载SQL Developer 4.1.5, 再下载Hive JDBC Driv

1.需求 使用hvie server一段时间后,业务部门需要自己不定时的查询业务数据,之前这一块都是他们提需求我们来做,后来发现这样重复一样的工作放在我们这边做是在没有效率,遂提出给他们工具或者web UI自助查询,当然hive有自己的hwi可以通过网页UI进行自助查询,但是这对不懂sql的业务人员有点不太友好,目前有没时间去修改hwi的UI,所以还是给他们提供查询工具吧.我这边主要使用python thrift访问集群的hive,所以自然要将python源码打包成.exe,业务人员在windo

背景: 接到任务,需要在一个一天数据量在460亿条记录的hive表中,筛选出某些host为特定的值时才解析该条记录的http_content中的经纬度: 解析规则譬如: 需要解析host: api.map.baidu.com 需要解析的规则:"result":{"location":{"lng":120.25088311933617,"lat":30.310684375444877}, "confidence&quo

配置ubuntu配置成桥接,在ubuntu虚拟机中运行django.py开发服务器.windows访问django失败. 虚拟机运行: python manage.py runserver 0.0.0.0:8000 在windows上浏览器进行访问,访问失败. 虚拟机错误提示: DisallowedHost: Invalid HTTP_HOST header: '192.168.1.249:8000'. You may need to add u'192.168.1.249' to ALLOWE

转载自:http://lxw1234.com/archives/2015/08/466.htm 本文将介绍以yarn-cluster模式运行SparkSQL应用程序,访问和操作Hive中的表,这个和在Yarn上运行普通的Spark应用程序有所不同,重点是需要将Hive的依赖包以及配置文件传递到Driver和Executor上,因为在yarn-cluster模式下,Driver和Executor都是由Yarn和分配的. 下面的代码完成了以下功能: 1. 在Hive的数据库liuxiaowen中,创

在spark集群中执行./spark-shell时报以下错误: 18/07/23 10:02:39 WARN DataNucleus.Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)18/07/23 10:02:39 WARN metastore.HiveMetaStore: Retrying creating default database after error: Error

知识点1:Spark访问HIVE上面的数据 配置注意点:. 1.拷贝mysql-connector-java-5.1.38-bin.jar等相关的jar包到你${spark_home}/lib中(spark2.0之后是${spark_home}/jars下),不清楚就全部拷贝过去 2.将Hive的配置文件hive-site.xml拷贝到${spark_home}/conf目录下 3.因为使用ThriftJDBC/ODBC Server访问spark SQL,所以要修改hive-site.xml文

前提:windows电脑和ubuntu电脑要工作在同一个网段! 1.先要安装Samba sudo apt-get install samba openssh-server 2.编译Samba配置文件 sudo vi /etc/samba/smb.conf (自行百度一下这个文件怎么修改...) 如上修改完成后wq保存退出! 如果觉得上面的操作麻烦,也可以在ubuntu的窗口界面下,右击所要分享的文件夹,选择local Network share ,在share this folder栏打勾即可.

spark on yarn模式下配置spark-sql访问hive元数据 目的:在spark on yarn模式下,执行spark-sql访问hive的元数据.并对比一下spark-sql 和hive的效率. 软件环境: hadoop2.7.3 apache-hive-2.1.1-bin spark-2.1.0-bin-hadoop2.7 jd1.8 hadoop是伪分布式安装的,1个节点,2core,4G内存. hive是远程模式. spark的下载地址: http://spark.apach

1.windows的网上邻居,是通过smb协议来共享信息的,如果需要给访问linux上的共享目录被windows访问到,需要linux有smb协议 sudo apt-get install samba #安装samba服务 sudo apt-get install smbfs #安装smbfs服务 2.安装好服务后,启动服务 harvey@harvey:/etc/samba$ service smbd restart stop: Rejected send message, matched ru

上一篇文章中详细讲述FTP服务(基于文件传输协议的服务),本文则介绍另一种能够实现此功能Telnet(Telecommunications network 远程登陆)服务.本文介绍的telnet我常用来在windows下熟悉Linux指令,只需要使用其远程登陆Ubuntu即可,方便实用. 说明:本文不再赘述前文中已经重复指明的内容. 一.虚拟机Ubuntu开启Telnet服务 1)在终端中输入命令:$ sudo apt-get install xinetd telnetd,安装完成xinetd和

访问hive报错如下: FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 找到原因是因为在spark-shell里面操作了hive的数据(spark应用创建表时,指定的sch

转载自http://blog.csdn.net/five824/article/details/48261213 Nginx for windows 访问路径包含中文 原创 2015年09月07日 09:51:07   nginx 如果是linux版的 网上有很多资源,基本就是修改linux系统的字符集. 今天遇到的是在windows下也不能访问带有中文的路径,可是windows肯定是支持中文的对吧? 然后发现这个问题好傻,因为nginx和tomcat一样,也是可以配置字符集的,nginx.co

先解释一下几个名词: metadata :hive元数据,即hive定义的表名,字段名,类型,分区,用户这些数据.一般存储关系型书库mysql中,在测试阶段也可以用hive内置Derby数据库. metastore :hivestore服务端.主要提供将DDL,DML等语句转换为MapReduce,提交到hdfs中. hiveserver2:hive服务端.提供hive服务.客户端可以通过beeline,jdbc(即用java代码链接)等多种方式链接到hive. beeline:hive客户端链

SparkSQL访问Hive源,MySQL源 一.SparkSQL访问Hive源 软件环境 SparkSQL命令行模式可以直接连接Hive的 Java程序SparkSQL连接Hive 二.SparkSQL访问MySql源 Spark环境 添加依赖 创建SparkSession 访问Mysql方式1: 访问Mysql方式2: 作者:黑暗行动 一.SparkSQL访问Hive源 软件环境 hadoop2.7.6 spark-2.3.0 scala-2.11.12 hive-2.1.1 SparkSQ

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://linuxzkq.blog.51cto.com/9379412/1630217 实验环境及软件版本: CentOS版本: 6.6(2.6.32.-504.el6.x86_64) nginx版本: nginx-1.6.2 mysql版本:  Mysql-5.6.23 php版本:    php-5.6.3 一.关闭防火墙:service iptables stop chkconfi

hive odbc 驱动配置成功后,通过c#访问就变得比较简单了,分为查询与更新操作,直接附上测试代码.在此过程中需要注意c#工程编译的目标平台 读写访问代码示例: public class HiveOdbcClient { /// <summary> /// /// </summary> public static HiveOdbcClient Current { get { return new HiveOdbcClient(); } } /// <summary>

原文网址:http://blog.csdn.net/i_chips/article/details/19191957 一.安装Ubuntu samba服务器 $ sudo apt-get install samba $ sudo apt-get install smbclient # Linux客户端测试用 二.创建samba配置文件 1. 备份原配置文件 $ sudo cp /etc/samba/smb.conf /etc/samba/smb.conf.bak 2. 创建共享目录 $ sudo

Windows 使用用户名.密码访问 CentOS 7 共享文件夹 执行命令,查看 Windows 工作组:net config workstation 执行命令,安装 Samba:yum install samba samba-client samba-common 执行命令,允许 Samba 穿透防火墙: firewall-cmd --permanent --zone=public --add-service=samba firewall-cmd --reload 执行命令,新增用户:use

第一步:安装samba服务 yum install samba 第二步:启动samba服务 systemctl start smb 查看samba的状态 systemctl status smb 看到Active就说明在运行中了 第三步:关闭防火墙 systemctl stop firewalld.service //停止服务 systemctl disable firewalld.service //关闭开机启动 同时还有这一步 设置SELINUX=disabled(需要重启电脑) # vi

一.安装Ubuntu samba服务器 $ sudo apt-get install samba $ sudo apt-get install smbclient # Linux客户端测试用 二.创建samba配置文件 1. 备份原配置文件 $ sudo cp /etc/samba/smb.conf /etc/samba/smb.conf.bak 2. 创建共享目录 $ sudo mkdir -p /home/share 一般来说,该目录的权限为755,将其改为777之后,Owner之外的其他用