dataSource:数据源,生产数据的东西 spout:接收数据源过来的数据,然后将数据往下游发送 bolt:数据的处理逻辑单元.可以有很多个,基本上每个bolt都处理一部分工作,然后将数据继续往下游的bolt发送 storm不会保存数据,也不会生产数据,只是一个数据的搬运工 tuple:元组的概念,可以理解为一个数组,或者一个集合,里面可以封装很多东西,数据从上游往下游发送,都是封装在tuple里面了 topology:spout与bolt组织到一起,形成一个topology 注意,配置文件…

前言 storm和kafka集群安装是没有必然联系的,我将这两个写在一起,是因为他们都是由zookeeper进行管理的,也都依赖于JDK的环境,为了不重复再写一遍配置,所以我将这两个写在一起.若只需一个,只需挑选自己选择的阅读即可. 这两者的依赖如下: Storm集群:JDK1.8 , Zookeeper3.4,Storm1.1.1: Kafa集群 : JDK1.8 ,Zookeeper3.4 ,Kafka2.12: 说明: Storm1.0 和Kafka2.0对JDK要求是1.7以上,Zook…

目的 安装JDK 9, 练习Jshell工具的使用, 体验Java的交互式编程环境. 什么是Jshell 其实就是一个命令行工具,安装完JDK9后,可以在bin目录下找到该工具,与Python的解释器极其相似,用过Python解释器的人应该会非常熟悉. 它可以让你体验交互式编程,有一些比较有趣的特性: 1.语句末尾可以省略分号 2.一般情况下不需要强制捕获受检异常 3.可以直接写表达式 4.在定义方法时可以引用其他方法或变量,且这些方法或变量可以在一段时间后被定义:  5.其它等等 安装JDK…

Web服务器:Tomcat 数据库服务器:暂时未使用 集成开发环境:eclipse 要运行JSP程序,首先要安装JDK(Java Developer Kit),并且还要配置运行Java程序的环境变量.然后再安装Eclipse IDE集成开发工具,在Eclipse中配置JSP的运行Web服务器Tomcat. 一.安装JDK以及Java环境变量设置 登陆java.oracle.com网站上下载Java Developer Kit,下载之后进行安装.具体教程参考:Windows环境下JDK的下载与安装…

OSI(Open System Interconnection),开放式系统互联参考模型 .是一个逻辑上的定义,一个规范,它把网络协议从逻辑上分为了7层.每一层都有相关.相对应的物理设备,比如常规的路由器是三层交换设备,常规的交换机是二层交换设备.OSI七层模型是一种框架性的设计方法,建立七层模型的主要目的是为解决异种网络互连时所遇到的兼容性问题,其最主要的功能就是帮助不同类型的主机实现数据传输.它的最大优点是将服务.接口和协议这三个概念明确地区分开来,通过七个层次化的结构模型使不同的系统不同的…

1.集群规划 storm版本的变更:storm0.9.x   storm0.10.x  storm1.x上面这些版本里面storm的核心源码是由Java+clojule组成的.storm2.x后期这个版本就是全部用java重写了.(阿里在很早的时候就对storm进行了重写,提供了jstorm,后期jstorm也加入到apache storm,负责使用java对storm进行重写,这就是storm2.x版本的由来.)注意:在storm0.10.x的版本中,storm集群只支持一个nimbus节点,…

一.简介 下图为Strom的运行流程图,在开发Storm流处理程序时,我们需要采用内置或自定义实现spout(数据源)和bolt(处理单元),并通过TopologyBuilder将它们之间进行关联,形成Topology. 二.IComponent接口 IComponent接口定义了Topology中所有组件(spout/bolt)的公共方法,自定义的spout或bolt必须直接或间接实现这个接口. public interface IComponent extends Serializable…

1. 安装环境要求 you need to install Storm’s dependencies on Nimbus and the worker machines. These are: Java 7+ (Apache Storm 1.x is tested through travis ci against both java 7 and java 8 JDKs) Python 2.6.6 (Python 3.x should work too, but is not tested as…

伟大的程序员版权所有,转载请注明:http://www.lenggirl.com/bigdata/server-sofeware-install.html 一.安装mongodb 官网下载包mongodb 配置文件config.conf,需绑定内网IP且开启web监控 bind_ip=172.16.0.10,127.0.0.1 rest=true dbpath=/data/db/mongodb/27017 port=27017 logpath=/data/logs/db/mongodb/mong…

第一节:ASP.NET开发环境配置 什么是ASP.NET,学这个可以做什么,学习这些有什么内容? ASP.NET是微软公司推出的WEB开发技术. 2002年,推出第一个版本,先后推出ASP.NET2.0,和ASP.NET3.5,2010年,ASP.NET4.0,和VS2010软件平台. ASP.NET与ASP之间的比较: ASP是一种弱类型的脚本语言编程,解释运行机制,"意大利面式"的开发模式,后期维护成本高,难度大,安全性问题突出. ASP.NET是一种编译执行,安全和效果更高的一种…