Zeppelin安装: Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化.背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等. http://zeppelin.apache.org 安装: tar –zxvf zeppelin-0.7.3-bin-all.tgz cd conf/ mv zeppelin-env.sh.template zeppeli…

notebook1.mdhtml, body {overflow-x: initial !important;}html { font-size: 14px; color: rgb(51, 51, 51); background-color: rgb(255, 255, 255); } body { margin: 0px; padding: 0px; height: auto; bottom: 0px; top: 0px; left: 0px; right: 0px; font-family:…

Zeppelin官网地址: http://zeppelin.apache.org/ Github地址: https://github.com/apache/zeppelin (参照官网) 1.什么是zeppelin 多用途的笔记本.数据的采集  发现 分析  可视化 协作.. 支持20+种后端语言,支持多种解释器  内置集成Spark 2.安装 这里安装zeppelin0.8.0 Name Value Oracle JDK 1.7 (set JAVA_HOME) OS Mac OSX Ubunt…

1.概述 在编写 Flink,Spark,Hive 等相关作业时,要是能快速的将我们所编写的作业能可视化在我们面前,是件让人兴奋的时,如果能带上趋势功能就更好了.今天,给大家介绍这么一款工具.它就能满足上述要求,在使用了一段时间之后,这里给大家分享以下使用心得. 2.How to do 首先,我们来了解一下这款工具的背景及用途.Zeppelin 目前已托管于 Apache 基金会,但并未列为顶级项目,可以在其公布的 官网访问.它提供了一个非常友好的 WebUI 界面,操作相关指令.它可以用于做数…

1.概述 在大数据应用场景中,处理数据分析方面,由于开发者的水平不一样,使用的编程语言也不尽相同,可能会涉及到R.Python.Java.Scala等,数据计算模型也估计不一样,可能涉及的有Spark.Hive.Flink.Kylin等等.本篇博客笔者给大家介绍的内容并不是告诉大家如何去使用.在<Zeppelin使用心得>中有介绍如何使用,这里就不多做赘述了,今天主要是给大家剖析Zeppelin的源码模块. 2.内容 目前Zeppelin官方已经发布版本为0.7.3,源码带托管在Github上…

方案一:根据官方实例,下载预编译好的版本,执行以下步骤: nc -lk 9999 作为实时数据源 ./bin/run-example org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount localhost 9999 在第一步的terminal 窗口输入一些句子 第二步的output 就是实时执行结果 此方案的问题有 探索其中的api 比较困难,比如我想试试另外一种写法,需要改源码,然后编译,时间就变长了 如果是一个…

集群搭建文档1.0版本 1. 集群规划 所有需要用到的软件: 链接:http://pan.baidu.com/s/1jIlAz2Y 密码:kyxl 2.0 系统安装 2.1 主机名配置 vi /etc/sysconfig/network NETWORKING=yes vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=ys02 vi /etc/sysconfig/network NETWORKING=yes vi /etc/sysconfig/ne…

我们很荣幸能够见证Hadoop十年从无到有,再到称王.感动于技术的日新月异时,希望通过这篇内容深入解读Hadoop的昨天.今天和明天,憧憬下一个十年. 本文分为技术篇.产业篇.应用篇.展望篇四部分 技术篇 2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce.到现在的10个年头,这个单词代表的是“核心”(即Core Hadoop项目)以及与之相关的一个不断成长的生态系统.这个和Linux非常类似,都是由一个核心和一个生态系统组成. 现在Hadoop…

作为深度学习最强框架的TensorFlow如何进行时序预测! BigQuant 2 个月前 摘要: 2017年深度学习框架关注度排名tensorflow以绝对的优势占领榜首,本文通过一个小例子介绍了TensorFlow在时序预测上的应用. TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库.节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor).它灵活的架构让你可以在多种平台上展…

公告 我们的所有非技术内容和活动,从现在开始会使用 iBooker 这个名字. "开源互助联盟"已终止,我们对此表示抱歉和遗憾.除非特地邀请,我们不再推广他人的任何项目. 公众号自动回复已更新,添加了"轻小说/知识星球"关键词. 我们近期将所有内容备份到 Gitee,欢迎访问 Gitee@ApacheCN. 欢迎大家在我们平台上投放广告.如果你希望在我们的专栏.文档或邮件中投放广告,请准备好各种尺寸的图片和专属链接,联系咸鱼(1034616238). 为了能够将开源…