1,flume所在的节点不和spark同一个集群  v50和 10-15节点 flume在v50里面 flume-agent.conf spark是开的work节点,就是单点计算节点,不涉及到master发送管理 只是用到了sparkStreming的实时功能 开启的是spark-shell不是spark-submit 提交jar的形式,提交jar的形式还需要后面研究下 如下  在结算节点下 和flume的jar包要在各个节点上的spark 都要放入:bin/spark-shell \--jar…

今天不讲webpack,就说说gulp是怎么进行压缩合并打包 首先你的安装gulp : npm install gulp -g --save-dev 然后最基本的你因该知道gulp 的四个方法, gulp.src:读取文件 gulp.pipe:将文件流输入到指定的文件目录 gulp.task:建立gulp任务,例如合并,压缩,清除文件, gulp.watch:用于监听文件的变化 关于其他的嘛,那就是gulp 之所以那么强大,原因就是他有很多插件,我们要完成一些功能就必须要学会使用一些插件 1)在…

private static void WatcherStrat(string path, string filter) { try { FileSystemWatcher watcher = new FileSystemWatcher(); watcher.Path = path; watcher.Filter = filter; watcher.Changed += new FileSystemEventHandler(OnProcess); watcher.Created += new F…

今天看到一网友写的 Java 文件监控,实时监控文件加载 ,突然想到Commons-io中已有此功能的实现,先温习下 写个简单的Demo: 有三种方式: 1.java common.io    内部实现是遍历的方式,小文件夹的效率还好,比如我测试60G的目录,就很慢很慢了.(我使用这个) 2.jdk 7 的watch service    //经测试基本不可用.在一个40g的很深的目录下去新建和删除文件5分钟都没结果.主要原因是需要对每一个Path进行注册监控. 3.jnotify       …

在windows下实时监控文件变化小工具   在测试的时候,我们可能想实时监控系统打出的log信息,在unix系统上我们可以用"tail -f"实现,在windows下一般就无法做到实时查看,现在找到一个小工具实现这个功能:tail4win,他们的网址在http://www.panansoft.com,具体使用自己看看就会了.[@more@] 下载地址: http://www.bkill.com/download/154963.html#soft-downUrl   官方网站: htt…

一.概述 当我们的文档或者代码文件发布在公网.共享文件夹中,其他用户具备访问或修改的权限时,就存在文档被覆盖或删除的分享.另外一个典型的场景,发布在Web服务器上的网页文件,在网站版本不更新的时间,服务器上的文件一般保持不变,如果出现异常的变更,一般是由于遭到了黑客攻击,如果我们能够对站点中的文件变更得到实时通知,这对与服务器的安全无疑是非常有利的. 如果共享文档的存储服务器是类似TFS.SharePoint Server等具备版本管理功能的软件,我们还可以通过应用软件自带的版本功能恢复文件,也…

目录 一:rsync实时监控备份流程 1.安装rsync(服务端 与 客服端)守护进程模式 2.修改配置文件(服务端) 3.解析配置内容 4.创建系统用户 5.创建密码文件 6.授权(必须授权为600) 7.创建备份目录(创建模块目录) 8.目录授权(模块目录) 9.关闭防火墙和selinux 10.启动rsyncd服务 二:客户端(备份三种方式) 三:rsync实时同步(产生数据立刻备份) 1.安装inotify(装在客户端) 2.inotify参数介绍 四:开始实时监控 1.开启客户端(复制…

笔记 1.晨考 1.VPN的搭建步骤 2.vpn中的iptables是什么作用? 网络转发 2.昨日问题 1.yum源问题 2.VPN链接正常,但是没办法通过172 3.VPN链接时,出现了DNS错误 4.掩码不对 5.openvpn开启错误 3.今日内容 1.rsync 2.备份方式 cp : 本机复制 scp : 远程复制 推(本地上传到远程服务器): scp 1.txt root@ip:[路径] [root@m01 ~]# scp 1.txt root@172.16.1.41:/opt/…

目标:Flume实时监控目录sink到hdfs,再用sparkStreaming监控hdfs的这个目录,对数据进行计算 1.flume的配置,配置spoolDirSource_hdfsSink.properties,监控本地的一个目录,上传到hdfs一个目录下. agent1.channels = ch1agent1.sources = spoolDir-source1agent1.sinks = hdfs-sink1 # 定义channelagent1.channels.ch1.type =…

每个公司想要进行数据分析或数据挖掘,收集日志.ETL都是第一步的,今天就讲一下如何实时地(准实时,每分钟分析一次)收集日志,处理日志,把处理后的记录存入Hive中,并附上完整实战代码 1. 整体架构 思考一下,正常情况下我们会如何收集并分析日志呢? 首先,业务日志会通过Nginx(或者其他方式,我们是使用Nginx写入日志)每分钟写入到磁盘中,现在我们想要使用Spark分析日志,就需要先将磁盘中的文件上传到HDFS上,然后Spark处理,最后存入Hive表中,如图所示: 我们之前就是使用这种方式…