1.启动Nimbus bin/storm nimbus & 2.启动Supervisor bin/storm supervisor & 3.启动UI bin/storm ui & 通过http://主机:8080去访问: 4.列出拓扑 bin/storm list Topology_name Status Num_tasks Num_workers Uptime_secs -------------------------------------------------------…

1.提交Topologies命令格式:storm jar [jar路径] [拓扑包名.拓扑类名][stormIP地址][storm端口][拓扑名称][参数]eg:storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop;storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop…

一.kafka常用命令 1.创建topic bin/kafka-topics. --replication-factor --zookeeper mini1: // 如果配置了PATH可以省略相关命令路径,相关命令参数暂不深入,字面意思也可以大概推断.后续给出完整参数参考. 2.查看所有topic bin/kafka-topics. 3.生产者发送消息 bin/kafka-console-producer. --topic topic_1 4.消费者消费消息 bin/kafka-console-…

一.常用命令 1.提交命令 提交任务命令格式:storm jar [jar路径] [拓扑包名.拓扑类名] [拓扑名称] torm jar examples/storm-starter/storm-starter-topologies-.jar storm.starter.WordCountTopology wordcount 2.杀死任务 storm (执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间) storm 3.停用任务 storm deactivte [拓扑名称]…

       为了和qq空间同步,也写的第四天,前面几天明天会发布,本来打算把每天学的东西记录下来,通过朋友给的建议要发的话稍微系统化下,从大数据需要的linux基础,到离线数据分析包括hadoop.hive.flume.hbase等,再到实时数据分析包括storm.kafka.redias等,最后的内存计算部分包括scala.spark.机器学习,这样循序渐进,能够系统化学习.      linux基础部分会分几天进行分享,今天主要讲解的是linux介绍,目录机构与常用的命令.      1.…

Git配置 git config --global user.name "storm" git config --global user.email "stormzhang.dev@gmail.com" git config --global color.ui true git config --global alias.co checkout # 别名 git config --global alias.ci commit git config --global…

Git 常用命令 Git配置 git config --global user.name "storm" git config --global user.email "stormzhang.dev@gmail.com" git config --global color.ui true git config --global alias.co checkout # 别名 git config --global alias.ci commit git config…

Storm常用操作命令 1.任务提交命令:storm jar [jar路径] [拓扑包名.拓扑类名] [拓扑名称] storm jar /export/servers/storm/examples/storm-starter/storm-starter-topologies-1.0.3.jar org.apache.storm.starter.WordCountTopology  wordcount 与hadoop不同的是:不需要指定输入输出路径 hadoop jar /usr/local/wo…

大数据的发展历史 3V:volume.velocity.variety(结构化和非结构化数据).value(价值密度低) 大数据带来的技术挑战 存储容量不断增加 获取有价值的信息的难度:搜索.广告.推荐 大容量.多类型.高时效的数据处理场景,使得从数据中获取有价值的信息变得非常困难 hadoop理论概述 hadoop发展简史 apache nutch项目,是一个开源网络搜索引擎 谷歌发表GFS,是HDFS的前身 谷歌发表了mapreduce分布式编程思想 nutch开源实现了mapreduce…

Linux环境Kafka集群安装配置及常用命令 Kafka 消息队列内部实现原理 Kafka架构 一.下载Kafka安装包 二.Kafka安装包的解压 三.设置环境变量 四.配置kafka文件 4.1 server.properties 五.启动kafka集群并测试 5.1创建Topic 5.2创建broker 5.3创建订阅者 六.kafka常用命令 6.1创建主题(4个分区,2个副本) 6.2查询 6.3发送和消费 6.4平衡leader 6.5kafka自带压测命令 Kafka 用途:在流…