安装zeppelin 1.默认安装好spark集群 2.安装zeppelin 1.解压安装包 tar zxvf zeppelin-0.5.5-incubating-bin-all.tgz 2.配置环境变量 vim /etc/profile #zeppelin export ZEPPELIN_HOME=/opt/zeppelin-0.5.5 #CLASSPATH export CLASSPATH=$CLASSPATH:$ZEPPELIN_HOME/lib #PATH export PATH=$PA…

前言 Apache Zeppelin是一款基于web的notebook(类似于ipython的notebook),支持交互式地数据分析,即一个Web笔记形式的交互式数据查询分析工具,可以在线用scala和SQL对数据进行查询分析并生成报表.原生就支持Spark.Scala.SQL .shell .markdown等.而且它是完全开源的,目前还处于Apache孵化阶段.其已经在各大公司均有采用,比如美团.微软等等. Zeppelin的后台数据引擎可以是Spark,也可以通过实现更多的解释器来为Ze…

前期部署: 下载,解压,配置PATH环境(编辑/etc/profile文件,记得source一下该文件) zepplin配置参考文档:https://zeppelin.apache.org/docs/0.7.2/install/configuration.html 往conf/zeppelin-env.sh文件中添加端口号 往底部添加 export ZEPPLELIN_PORT= 修改配置文件conf/zeppelin-site.xml中端口号 <property> <name>z…

centos6.5中部署Zeppelin并配置账号密码验证1.安装JavaZeppelin支持的操作系统如下图所示.在安装Zeppelin之前,你需要在部署的服务器上安装Oracle JDK 1.7或以上版本, 并配置好相应的JAVA_HOME环境变量.以CentOS为例,具体操作过程如下: a)下载并安装jdk-8u111-linux-x64.rpm # rpm -ivh jdk-8u111-linux-x64.rpm b)配置环境变量.在/etc/profile文件结尾添加: export…

一.OLAP简介 1. 概念 OLAP是英文是On-Line Analytical Processing的缩写,意为联机分析处理.此概念最早由关系数据库之父E.F.Codd于1993年提出.OLAP允许以一种称为多维数据集的结构,访问业务数据源经过聚合和组织整理后的数据.以此为标准,OLAP作为单独的一类技术同联机事务处理(On-Line Transaction Processing,OLTP)得以明显区分.        在计算领域,OLAP是一种快速应答多维分析查询的方法,也是商业智能的一个…

geomesa sparksql 分析环境搭建 1.安装hbase-1.3.2.1 standlone版本,作为geomesa的store a.修改配置文件:hbase-1.3.2.1/conf/hbase-site.xml <property> <name>hbase.rootdir</name> <value>/home/qingzhi.lzp/hbase-1.3.2.1/data</value> </property> <…

介绍 zeppelin主要有以下功能 数据提取 数据发现 数据分析 数据可视化 目前版本(0.5-0.6)之前支持的数据搜索引擎有如下 安装 环境 centOS 6.6 编译准备工作 sudo yum update sudo yum install openjdk-7-jdk sudo yum install git sudo yum install npm 下载源码 git clone https://github.com/apache/incubator-zeppelin.git 编译,打包…

zeppelin是spark的web版本notebook编辑器,相当于ipython的notebook编辑器. 一Zeppelin安装 (前提是spark已经安装好) 1 下载https://zeppelin.apache.org/download.html(下载编译好的bin版) 2 解压运行:sh bin/zeppelin-daemon.sh start 3 权限问题:chown –R –v mapr:mapr zeppelin 4 异常:jackson版本冲突 4.1报错: com.fas…

Zeppelin官网地址: http://zeppelin.apache.org/ Github地址: https://github.com/apache/zeppelin (参照官网) 1.什么是zeppelin 多用途的笔记本.数据的采集  发现 分析  可视化 协作.. 支持20+种后端语言,支持多种解释器  内置集成Spark 2.安装 这里安装zeppelin0.8.0 Name Value Oracle JDK 1.7 (set JAVA_HOME) OS Mac OSX Ubunt…

想起马上就能回家了,心情是按捺不住的激动,唉,还是继续努力吧,其实不希望那么快就回家,感觉回去了就意味着马上就要回来了,人真的是神奇呀 今天我们来使用zeppelin,这个就是可以把我们查找的数据可以图形化的方式显示出来,好了,今天开始我们的任务吧 1.首先我们要下载zeppelin的压缩包,当我们解压之后(这一台主机上面已经安装过了java的环境) 2.修改配置环境 进入conf/ 将zeppelin-env.sh.template修改为zeppelin-env.sh 将zeppelin-si…

Zeppelin安装: Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化.背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等. http://zeppelin.apache.org 安装: tar –zxvf zeppelin-0.7.3-bin-all.tgz cd conf/ mv zeppelin-env.sh.template zeppeli…

zeppelin是spark的web版本notebook编辑器,相当于ipython的notebook编辑器. 一Zeppelin安装 (前提是spark已经安装好) 1 下载https://zeppelin.apache.org/download.html(下载编译好的bin版) 2 解压运行:sh bin/zeppelin-daemon.sh start 3 权限问题:chown –R –v mapr:mapr zeppelin 4 异常:jackson版本冲突 4.1报错: com.fas…

官网:http://zeppelin-project.org/  代码:https://github.com/NFLabs/zeppelin  使用:按照官网的视频操作一遍,应该就懂了http://youtu.be/_PQbVH_aO5E  编译: 使用git下载最新的代码,或者直接下载zip压缩包https://github.com/NFLabs/zeppelin/archive/master.zip 确保安装了jdk1.7及以上版本:maven3:官网说只在Centos 6.X上测试过,我也…

1.下载安装包,zepplin下载地址:http://zeppelin.apache.org/download.html #创建解压目录 mkdir -p /opt/software #解压 tar -zxvf zeppelin-0.9.0-bin-all.tgz -C /opt/software 2.修改配置文件 #进入配置文件夹 cd /opt/software/zeppelin-0.9.0-bin-all/conf/ #复制并修改配置文件 cp zeppelin-site.xml.temp…

从http://zeppelin.apache.org/download.html 下载 zeppelin-0.6.0-bin-all.tgz 解压 修改zeppelin-site.xml,配置端口 默认是8080 <property> <name>zeppelin.server.port</name> <value>9090</value> <description>Server port.</description>…

1.概述 在编写 Flink,Spark,Hive 等相关作业时,要是能快速的将我们所编写的作业能可视化在我们面前,是件让人兴奋的时,如果能带上趋势功能就更好了.今天,给大家介绍这么一款工具.它就能满足上述要求,在使用了一段时间之后,这里给大家分享以下使用心得. 2.How to do 首先,我们来了解一下这款工具的背景及用途.Zeppelin 目前已托管于 Apache 基金会,但并未列为顶级项目,可以在其公布的 官网访问.它提供了一个非常友好的 WebUI 界面,操作相关指令.它可以用于做数…

安装Apache zeppelin 1 wget http://apache.fayea.com/zeppelin/zeppelin-0.6.2/zeppelin-0.6.2-bin-all.tgz 1 tar -xzvf zeppelin-0.6.2-bin-all.tgz 配置Mysql interpreter 1.在zeppelin目录下的interpreter下放入mysql的解释器. mysql解释器 密码:s8ec 2.修改配置文件 [root@hdp conf]# cp zeppe…

Zeppelin为0.5.6 Zeppelin默认自带本地spark,可以不依赖任何集群,下载bin包,解压安装就可以使用. 使用其他的spark集群在yarn模式下. 配置: vi zeppelin-env.sh 添加: export SPARK_HOME=/usr/crh/current/spark-client export SPARK_SUBMIT_OPTIONS="--driver-memory 512M --executor-memory 1G" export HADOOP…

介绍 用于做数据分析和可视化 一.二进制安装 1)下载二进制包 wget http://mirrors.tuna.tsinghua.edu.cn/apache/incubator/zeppelin/0.5.6-incubating/zeppelin-0.5.6-incubating-bin-all.tgz 2)解压缩 -incubating-bin-all.tgz cd zeppelin--incubating-bin-all bin/zeppelin-daemon.sh start 注:默认端…

部署本地库(镜像服务器) (1)下载HortWorks官网上的3个库到本地(也可以在线下载,但是速度会很慢) 我们先把hortworks官网上需要下载的3个库下载到本地(这个还是需要很长时间的,当然你也可以在线下载,通过wget但是由于文件比较大,所以下载会非常慢)然后把他上传到我们的镜像服务器上. 一个是 Ambari Repositories    两个是 HDP 2.4 Repositories http://docs.hortonworks.com/index.html http://d…

notebook1.mdhtml, body {overflow-x: initial !important;}html { font-size: 14px; color: rgb(51, 51, 51); background-color: rgb(255, 255, 255); } body { margin: 0px; padding: 0px; height: auto; bottom: 0px; top: 0px; left: 0px; right: 0px; font-family:…

本文记录使用ambari-server安装HDP的过程,对比于使用cloudera-manager安装CDH,不得不说ambari的易用性差的比较多~_~,需要用户介入的过程较多,或者说可定制性更高. 首先.安装之前,在每个主机节点上执行下面命令,已清除缓存,避免一些repo原因导致的安装失败. yum clean all 下面开始安装过程: 一.安装过程: 1,登录ambari-server管理界面,用浏览器访问http://ep-bd01:8080,默认用户名口令皆为admin. 2,点击按…

我们先克隆几台机器 我们打开克隆出来的机器 我们先把主机名修改一下 我们把主机名改成am2 下一步我们来配置网卡 把原来的eth0的注释掉,把现在的eth1改成eth0,同时把mac地址记下来 保存退出 把ip修改一下 然后重启机器,我们可以看到主机名改了,网络也通了 同样的操作我们再克隆两台机器,这次搭建集群我们一共4台机器,具体我就不再多说了 下面我们来关闭防火墙 我们的防火墙是开启的 我们现在把防火墙关闭 现在只是临时关闭 下面我们要永久关闭 下面禁用SELINUX vim /etc/sy…

Zeppelin是一个基于Web的notebook,提供交互数据分析和可视化.后台支持接入多种数据处理引擎,如spark,hive等.支持多种语言: Scala(Apache Spark).Python(Apache Spark).SparkSQL. Hive. Markdown.Shell等.本文主要介绍Zeppelin中Interpreter和SparkInterpreter的实现原理. 转载请注明 http://www.cnblogs.com/shenh062326/p/6195064.h…

1. 下载并解压安装脚本:  Hortonworks Data Platform (HDP) for Docker 2. 进入到解压后的目录,运行下面的命令,{HDPversion} 需要替换成相应目录里的版本: $ sh docker-deploy-{HDPversion}.sh 这一步会花很长时间,需要拉取 docker 镜像(hortonworks/sandbox-hdp 和 hortonworks/sandbox-proxy), 总共大约有 20多G. 3. 成功运行后,运行:  doc…

不多说,直接上干货! 至于为什么,要写这篇博客以及安装Kafka-manager? 问题详情 无奈于,在kafka里没有一个较好自带的web ui.启动后无法观看,并且不友好.所以,需安装一个第三方的kafka管理工具 功能 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况. 它支持管理多个集群.…

不多说,直接上干货! 能够看我这篇博客的博友们,想必是已经具备一定基础了. 扩展博客 kettle的下载.安装和初步使用(windows平台下)(图文详解) kettle的下载 žKettle可以在http://kettle.pentaho.org/网站下载                   http://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip/download 当然…

Superset 是Airbnb 开源的大数据可视化平台 其支持的datasource https://superset.incubator.apache.org/index.html?highlight=datasource 类似的开源项目Zeppelin所支持的datasource https://zeppelin.apache.org/docs/0.8.0/quickstart/sql_with_zeppelin.html 1.升级python3.5到python3.6,否则会报 ERRO…

环境篇:Zeppelin Zeppelin 是什么 Apache Zeppelin 是一个让交互式数据分析变得可行的基于网页的开源框架.Zeppelin提供了数据分析.数据可视化等功能. Zeppelin 是一个提供交互数据分析且基于Web的笔记本.方便你做出可数据驱动的.可交互且可协作的精美文档,并且支持多种语言,包括 Scala(使用 Apache Spark).Python(Apache Spark).SparkSQL. Hive. Markdown.Shell等等. 如果没有Zeppel…

在启动Zeppelin时遇到了该问题: [root@quickstart bin]# ./zeppelin-daemon.sh restart Please specify HADOOP_CONF_DIR if USE_HADOOP is true ./zeppelin-daemon.sh: line 268: /opt/soft/Programs/zeppelin-0.9.0-bin-all/logs/zeppelin-root-quickstart.cloudera.out: No such…