1.启动集群 bin/start-cluster.sh 2.jps查看进程 3.打开网页端(192.168.66.128:8081) 4.造数据:nc -lk 9000 5.执行./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000…

[Flink]Flink三种运行模式安装部署以及实现WordCount 前言 Flink三种运行方式:Local.Standalone.On Yarn.成功部署后分别用Scala和Java实现wordcount 环境 版本:Flink 1.6.2集群环境:Hadoop2.6开发工具: IntelliJ IDEA 一.Local模式 解压:tar -zxvf flink-1.6.2-bin-hadoop26-scala_2.11.tgzcd flink-1.6.2启动:./bin/start-cl…

spring boot API注解记录及测试 部分注解解析 @Controller : 修饰创建处理 http 处理对象,一般用于页面渲染时使用. @RestController : Json数据交互; 相当于@Controller 中配置 @ResponseBody 来返回 Json数据. @RequestMapping : 配置映射URL. 关于 @Controller 与 @RestController 的区别: 官方文档:@RestController is a stereotype a…

1    运行环境说明 1.1     硬软件环境 1.2     机器网络环境 2    :安装Eclipse并测试 2.1     内容 2.2     实现过程 2.2.1   2.2.2   2.2.3   2.2.4   2.2.5   2.2.6   2.2.7   2.2.8   2.2.9   2.2.10编写代码 2.2.11设置运行参数 2.2.12运行并查看结果 3    :传递参数问题 3.1     内容 3.2     程序代码 3.2.1   3.3     实现过…

分区表 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;create table test.test28_partition(id string, name string)PARTITIONED BY (inc_day string)STORED AS PARQUETlocation 'hdfs://xxx/user/hive/warehouse/test/test27_pa…

Hadoop 存档 每个文件均按块存储,每个块的元数据存储在namenode的内存中,因此hadoop存储小文件会非常低效.因为大量的小文件会耗尽namenode中的大部分内存.但注意,存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多.例如,一个1MB的文件以大小为128MB的块存储,使用的是1MB的磁盘空间,而不是128MB. Hadoop存档文件或HAR文件,是一个更高效的文件存档工具,它将文件存入HDFS块,在减少namenode内存使用的同时,允许对文件进行…

一:准备Linux环境[安装略]        a.修改主机名                vim /etc/sysconfig/network                NETWORKING=yes                HOSTNAME=kevin1         b.修改IP(通过修改配置文件)                 vim /etc/sysconfig/network-scripts/ifcfg-eth0                             …

Hadoop参数汇总 linux参数 以下参数最好优化一下: 文件描述符ulimit -n 用户最大进程 nproc (hbase需要 hbse book) 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数 Hadoop参数大全 要配置文件: core hdfs yarn mapred 重要性表示如下: 重要 一般 不重要 core-default.xml hadoop.common.configuration.version 配置文件的版本. hadoop.t…

一.集群环境搭好了,我们来测试一下吧 1.在java下创建一个wordcount文件夹:mkdir wordcount 2.在此文件夹下创建两个文件,比如file1.txt和file2.txt 在file1.txt中写入: Hello java Hello world 在file2.txt中写入: Hello hadoop Hello wordcount 3.在HDFS中创建一个input文件夹 hadoop fs mkdir /input hadoop fs -ls / 4.把刚刚写好的两个文…

1.Active NameNode hang死,未自动切换 #登录当前hang死 Active namenode主机,停止Namenode,触发自动切换.hadoop-daemon.sh stop namenode#如果自动切换未触发,转手动切换[可选]hdfs haadmin -ns bdpfinance - transitionToActive --forceactive nn2 --forcemanual*假设原active节点为nn1 2.误删 1)确认删表语句或命令拿到用户的删表语句如…