不多说,直接上干货! Flume Sources官网剖析(博主推荐) Flume Channels官网剖析(博主推荐) 一切来源于flume官网 http://flume.apache.org/FlumeUserGuide.html Flume Channel Selectors Replicating Channel Selector (default) Multiplexing Channel Selector Custom Channel Selector Replicating Chan…

不多说,直接上干货! Flume Sources官网剖析(博主推荐) 一切来源于flume官网 http://flume.apache.org/FlumeUserGuide.html Flume Channels Memory Channel JDBC Channel Kafka Channel File Channel Spillable Memory Channel Pseudo Transaction Channel Custom Channel Memory Channel JDBC C…

不多说,直接上干货! 一切来源于flume官网 http://flume.apache.org/FlumeUserGuide.html Flume Sources Avro Source Thrift Source Exec Source JMS Source Converter Spooling Directory Source Event Deserializers LINE AVRO BlobDeserializer Taildir Source Twitter 1% firehose S…

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 2.2 Consumer API 2.2.消费者API 随着0..0版本,我们已经增加了一个新的Java消费者替换我们现有的基于zookeeper的高级和低级消费者.这个客户端还是测试版的质量.为了确保用户平滑升级,我们仍然维护旧的0.8版本的消费者客户端继续在0.9集群上工作,两个老的0. API的消费者( 高级消费者 和 低级消费者). The Consumer API all…

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 2.4 Connect API The Connect API allows implementing connectors that continually pull from some source data system into Kafka or push from Kafka into some sink data system. Many users of Connec…

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 2.3 Streams API 2.3 Streams API 在0..0增加了一个新的客户端库,Kafka Stream,Kafka Stream具有Alpha的优点,你可以使用maven引入到你的项目: The Streams API allows transforming streams of data from input topics to output topics.…

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 2.1 Producer API 2.1.生产者API 我们鼓励所有新开发的程序使用新的Java生产者,新的java生产者客户端比以前的Scala的客户端更快.功能更全面.通过下面的例子,引入Maven(可以更改新的版本号). The Producer API allows applications to send streams of data to topics in the…

不多说,直接上干货! Flume Sources官网剖析(博主推荐) Flume Channels官网剖析(博主推荐) Flume Channel Selectors官网剖析(博主推荐) Flume Sinks官网剖析(博主推荐) Flume Sink Processors官网剖析(博主推荐) Event Serializers官网剖析(博主推荐) 一切来源于flume官网 http://flume.apache.org/FlumeUserGuide.html Flume Interceptor…

不多说,直接上干货! Flume Sources官网剖析(博主推荐) Flume Channels官网剖析(博主推荐) Flume Channel Selectors官网剖析(博主推荐) Flume Sinks官网剖析(博主推荐) Flume Sink Processors官网剖析(博主推荐) 一切来源于flume官网 http://flume.apache.org/FlumeUserGuide.html Event Serializers Body Text Serializer “Flume…

不多说,直接上干货! Flume Sources官网剖析(博主推荐) Flume Channels官网剖析(博主推荐) Flume Channel Selectors官网剖析(博主推荐) Flume Sinks官网剖析(博主推荐) 一切来源于flume官网 http://flume.apache.org/FlumeUserGuide.html Flume Sink Processors Default Sink Processor Failover Sink Processor Load bal…

不多说,直接上干货! Flume Sources官网剖析(博主推荐) Flume Channels官网剖析(博主推荐) Flume Channel Selectors官网剖析(博主推荐) 一切来源于flume官网 http://flume.apache.org/FlumeUserGuide.html Flume Sinks HDFS Sink Hive Sink Logger Sink Avro Sink Thrift Sink IRC Sink File Roll Sink Null Sink…

不多说,直接上干货! 说在前面的话  首先,查看下你的操作系统的版本. root@zhouls-virtual-machine:~# cat /etc/issue Ubuntu LTS \n \l root@zhouls-virtual-machine:~# Neo4j 是一个NoSQL的图形数据库(Graph Database).Neo4j使用图(graph)相关的概念来描述数据模型,把数据保存为图中的节点以及节点之间的关系.很多应用中数据之间的关系,可以很直接地使用图中节点和关系的概念来建模…

不多说,直接上干货! 说在前面的话  首先,查看下你的操作系统的版本. root@zhouls-virtual-machine:~# cat /etc/issue Ubuntu 14.04.4 LTS \n \l root@zhouls-virtual-machine:~# Neo4j 是一个NoSQL的图形数据库(Graph Database).Neo4j使用图(graph)相关的概念来描述数据模型,把数据保存为图中的节点以及节点之间的关系.很多应用中数据之间的关系,可以很直接地使用图中节点和…

不多说,直接上干货! 前期博客 Ubuntu14.04下Mongodb官网安装部署步骤(图文详解)(博主推荐) https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 官方正确卸载 MongoDB 如果要在你的系统中完全卸载MongoDB,你必须卸载MongoDB的程序文件,配置文件,和所有的包含数据和日志的文件和文件夹.下面我将演示如何完全卸载MongoDB 1. 停止MongoDB 使用如下命名停止MongoDB…

不多说,直接上干货! 前期博客 Ubuntu16.04下Mongodb官网安装部署步骤(图文详解)(博主推荐) https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 官方正确卸载 MongoDB 如果要在你的系统中完全卸载MongoDB,你必须卸载MongoDB的程序文件,配置文件,和所有的包含数据和日志的文件和文件夹.下面我将演示如何完全卸载MongoDB 1. 停止MongoDB 使用如下命名停止MongoDB…

不多说,直接上干货! 在这篇博客里,我采用了非官网的安装步骤,来进行安装.走了弯路,同时,也是不建议.因为在大数据领域和实际生产里,还是要走正规的为好. Ubuntu14.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐) 官方文档 https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 这里是一个总述,不多说. 这里是Overview,不多说. 第一步:为软件包管理系统导入公…

不多说,直接上干货! 在这篇博客里,我采用了非官网的安装步骤,来进行安装.走了弯路,同时,也是不建议.因为在大数据领域和实际生产里,还是要走正规的为好. Ubuntu16.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐)  官方文档 https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 这里是一个总述,不多说. 这里是Overview,不多说. 第一步:为软件包管理系统导入…

不多说,直接上干货! 我的集群机器情况是 bigdatamaster(192.168.80.10).bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12) 然后,安装目录是在/home/hadoop/app下. 官方建议在master机器上安装Hue,我这里也不例外.安装在bigdatamaster机器上. Hue版本:hue-3.9.0-cdh5.5.4 需要编译才能使用(联网) 说给大家的话:大家电脑的配置好的话,一定要安装clou…

不多说,直接上干货! 分区助手是什么?(博主推荐)(图文详解) 分区助手各版本比较(图文详解) 分区助手官网使用教程(专业版.绿色版和WinPE版)(图文详解) 安装分区助手时出现“分区助手已安装到你的电脑中”的错误解决办法(图文详解) 问题详情 在使用电脑的过程中,我们会出现某一个盘容量不足的情况,这时我们可以考虑从临近盘抽取空余容量给现在需要容量的磁盘. 比如,我现在的电脑E盘已经快满了,如下状态.   想从D盘抽取20G 给 E盘. 解决办法 第一步:下载分区助手(注意:安装目录不要选择需…

不多说,直接上干货! 前期工作 若需使用Navicat Premium,则需要先安装MySQL,在此就不叙述了.具体可见我的博客: MySQL Server类型之MySQL客户端工具的下载.安装和使用(博主推荐) Navicat for MySQL再谈之无奈之下还是去安装Navicat Premium Navicat Premium是一套数据库管理工具,结合其它Navicat成员,支持单一程序同时连接到MySQL.MariaDB.SQL Server.SQLite.Oracle和PostgreS…

说白了 Spark on YARN模式的安装,它是非常的简单,只需要下载编译好Spark安装包,在一台带有Hadoop YARN客户端的的机器上运行即可.  Spark on YARN简介与运行wordcount(master.slave1和slave2)(博主推荐) Spark on YARN分为两种: YARN cluster(YARN standalone,0.9版本以前)和 YARN client.    如果需要返回数据到client就用YARN client模式. 如果数据存储到hd…

不多说,直接上干货! 我这里,采取的是ubuntu 16.04系统,当然大家也可以在CentOS6.5里,这些都是小事 CentOS 6.5的安装详解 hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建(单节点)(Ubuntu系统) 大数据搭建各个子项目时配置文件技巧(适合CentOS和Ubuntu系统)(博主推荐) 新建用户组.用户.用户密码.删除用户组.用户(适合CentOS.Ubuntu系统) VMware里Ubuntu-16.…

不多说,直接上干货! 我这里,采取的是CentOS6.5,当然大家也可以在ubuntu 16.04系统里,这些都是小事 CentOS 6.5的安装详解 hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建(单节点)(Ubuntu系统) 大数据搭建各个子项目时配置文件技巧(适合CentOS和Ubuntu系统)(博主推荐) 新建用户组.用户.用户密码.删除用户组.用户(适合CentOS.Ubuntu系统) VMware里Ubuntu-16.…

不多说,直接上干货! 前期博客 Ubuntu14.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐) Ubuntu14.04下Mongodb官网安装部署步骤(图文详解)(博主推荐) 为什么要写这篇博客? 在学习的过程中,考虑到将数据存储到数据库会更加方便查看和测试,所以使用了mongodb存储爬虫结果.在Ubuntu中,对MongoDB的操作都是在命令窗口中进行的,无法以图标的形式直接查看整个数据库的状态和其中的内容. 选择了两个可视化工具,它们分别是:M…

Metasploit学习笔记(博主推荐) 继续上面的博客 metasploit.meterpreter的基本使用: 首先来获取当前系统(即xp)下的正在运行的一些进程 获得进程之后,我们通过migrate来注入到其中的一个进程里面去. 那么使用哪一个进程呢?最好去选择就是桌面程序. 即,目标主机XP系统那边,的键盘记录,都将会存在这个文件里. 好的,去XP系统那边,随便输入啥吧 501代表权限,不是真实的哈希值. 有了这个哈希值的用途 (1): 可以找一些在线的破解网端.可以直接破解出来 (2)…

在上一篇blog:python开发_tkinter_窗口控件_自己制作的Python IDEL_博主推荐 中介绍了python中的tkinter的一些东西,你可能对tkinter有一定的了解了.这篇blog主要是介绍tkinter的对话框(Pop-up Dialog) 查看tkinter的API的时候,接口资源: Tkinter 8.5 reference: a GUI for Python 先来看看运行的效果: 这里主要对 python开发_tkinter_窗口控件_自己制作的Python I…

为什么,要写这篇论文? 是因为,目前科研的我,正值研三,致力于网络安全.大数据.机器学习研究领域! 论文方向的需要,同时不局限于真实物理环境机器实验室的攻防环境.也不局限于真实物理机器环境实验室的大数据集群平台.在此,为了需要的博友们,能在自己虚拟机里(我这里是CentOS6.5)来搭建部署snort+barnyard2+base的入侵检测系统.分享与交流是进步的阶梯! 同时,本人还尝试过在Ubuntu14.04里搭建这入侵检测系统的环境.同时,还尝试过在win7\win10里搭建这入侵检测系统…

不多说,直接上干货! 如果在一个界面里,可以是单个项目 注意:本文是以gradle项目的方式来做的! 如何在IDEA里正确导入从Github上下载的Gradle项目(含相关源码)(博主推荐)(图文详解) 注意:本文是以maven项目的方式来做的! 如何在IDEA里正确导入从Github上下载的Maven项目(含相关源码)(博主推荐)(图文详解) 如果在一个界面里,可以是多个项目 注意:本文是以maven项目的方式来做的! IDEA学习系列之IDEA里如何正确设置(类似eclipse里同一个wor…

我使用的python版本为:3.3.2 如果你对python中tkinter模块的菜单操作不是很了解,你可以看看: python开发_tkinter_窗口控件_自己制作的Python IDEL_博主推荐 python开发_tkinter_窗口控件_自己制作的Python IDEL_博主推荐(二) 如果你了解一些tkinter菜单操作,也许这篇blog对你有所帮助: 运行效果: 1.英文效果: 只需要修改如下代码,就可以实现中英文转换: #选择中英文 if not FLAG: MENU_BAR =…

不多说,直接上干货! 很多同行,也许都知道,对于我们大数据搭建而言,目前主流,分为Apache 和 Cloudera 和 Ambari. 后两者我不多说,是公司必备和大多数高校科研环境所必须的! 分别,详情见我如下的博客 Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐) Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐) 我这里,对于初学者而言.一般是用Apahce和CDH这两个版本的hadoop.spark来练手和入门 . Xmanager Ent…