目录 目录 前言 什么是Flume? Flume的特点 Flume的可靠性 Flume的可恢复性 Flume的一些核心概念 Flume的官方网站在哪里? Flume在哪里下载以及如何安装? 设置环境变量 验证是否安装成功 Flume的案例 案例1:Avro 案例2:Spool 案例3:Exec 案例4:Syslogtcp 案例5:JSONHandler 案例6:Hadoop sink 案例7:File Roll Sink 案例8:Replicating Channel Selector 案例9:…

目录: 一.什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可恢复性 4)flume 的 一些核心概念 二.flume的官方网站在哪里? 三.在哪里下载? 四.如何安装? 五.flume的案例 1)案例1:Avro 2)案例2:Spool 3)案例3:Exec 4)案例4:Syslogtcp 5)案例5:JSONHandler 6)案例6:Hadoop sink 7)案例7:File Roll Sink 8)案例8:Replicating Channel Sel…

Flume下载后,解压,新增一个配置文件,写入配置即可 我将配置文件写在 conf 下,取名为 flume-conf-spooldir.properties Flume 运行命令: bin/flume-ng agent --conf conf --conf-file conf/flume-conf-spooldir.properties --name LogAgent -Dflume.root.logger=DEBUG,console 其中, -Dflume.root.logger=DEBUG,…

当前大多数企业版hadoop的solr版本都还停留在solr4.x,由于这个版本的solr本身的bug较多,使用起来会出很多奇怪的问题.如部分更新日期字段失败的问题. 最新的solr版本不仅修复了以前的一些常见bug,还提供了更简便易用的功能,如ManagedSchema替代schema.xml来管理索引的schema. 由于solr自带的接口和入库工具需要一些定制开发,所以通常用flume来作为数据采集的工具.数据流图如下: 具体见前文:<json数据处理实战:Kafka+Flume+Morp…

之前已经完成了Hadoop集群.Hbase集群.Hive的搭建, 这次来安装一下flume-1.9.0 安装过程 将tar包上传并解压到指定目录, 并修改名称 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/ronnie cd /opt/ronnie/ mv apache-flume-1.9.0-bin/ flume-1.9.0 进入flume配置文件目录, 拷贝一份环境配置文件并修改 cd flume-1.9.0/conf/ cp flume-e…

在使用Flume的时候,请确保你电脑里面已经搭建好Hadoop.Hbase.Zookeeper以及Flume.本文将以最新版的Hadoop-2.2.0.Hbase-0.96.0.Zookeeper-3.4.5以及Flume-1.4.0为例进行说明.如何安装分布式的Hadoop.Hbase.Zookeeper请参见本博客的<Hadoop2.2.0完全分布式集群平台安装与设置>.<Hbase 0.96.0分布式安装手册>.<Zookeeper 3.4.5分布式安装手册>:如…

准备篇: CentOS 7.0系统安装配置图解教程 http://www.osyunwei.com/archives/7829.html 一.配置防火墙,开启80端口.3306端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2…

php下载页面 http://cn2.php.net/downloads.php 7.0.3多地区下载页面 http://cn2.php.net/get/php-7.0.3.tar.gz/from/a/mirror 直接下载地址 http://cn2.php.net/distributions/php-7.0.3.tar.gz 下载解压目录 /usr/local/php7.0.3 下载php压缩包    wget http://cn2.php.net/distributions/php-7.0.…

centos7.0这里安装jdk1.8采用yum安装方式,非常简单. 1.查看yum库中jdk的版本 [root@localhost ~]# yum search java|grep jdk 2.选择java-1.8.0安装 [root@localhost ~]# yum install java-1.8.0-openjdk* 3.配置环境变量 [root@localhost ~]# vi /etc/profile 这里jdk1.8.0的文件夹路径是/usr/lib/jvm/java-1.8.0…

Ubuntu14.0下安装Zend Framework 2为了安装这个东西,忙活了快一天了,参考中文博客一直没有安装成功,有些博客的时间也是已经很早了,后来google看英文版的才安装成功,这里记录一下安装过程,英文好的,也可以看原版:http://tecadmin.net/install-zend-framework-on-ubuntu/#下面是安装步骤:1．安装Apache和PHP $ sudo apt-get update $ sudo apt-get install apache2 ph…

http://os.chinaunix.net/a2008/0801/986/000000986346.shtml RPM包和源码包存放位置 /usr/local/src 源码包编译安装位置(prefix) /usr/local/xxx 脚本以及维护程序存放位置 /usr/local/sbin MySQL 数据库位置 /var/lib/mysql 安装gcc configure: error: No curses/termcap library found  安装ncurses安装包 yum l…

  1:问题 由于工作需要,需要研究一下Axure原型设计软件的使用方式,在公司的电脑上成功安装了从同事那里拿来的Axure7.0软件,能够正确运行没有任何问题,在自己的电脑上安装的也非常顺利,不过运行的时候总是弹出 根据上面的提示,我下载了对应的.NET Framework v4.0组件并安装成功,但是在再次运行Axure7.0软件的时候仍然弹出此对话框,重新安装也不能成功的解决此问题,因此我从朋友那里又拿了一个Axuer6.5版本的,也能正确安装,不过运行的时候仍然弹出此令人烦恼的对话框.后…

下载文件 http://nginx.org/en/download.html 下载 nginx-1.9.3.tar.gz 安装Nginx 安装 一.安装nginx时必须先安装相应的编译工具 yum -y install gcc gcc-c++yum -y install zlib zlib-devel openssl openssl-devel pcre-devel 建立nginx 组 groupadd -r nginx# -r 表示创建的是系统组 useradd -s /sbin/nologi…

zabbix快速安装 系统版本:centos 7 通过yum方法安装Zabbix3.0,安装源为阿里云 yum源配置 rpm -ivh http://mirrors.aliyun.com/zabbix/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm 安装 yum install zabbix-server zabbix-agent zabbix-web zabbix-get zabbix-server-mysql zabb…

查找php.ini文件所在位置 [root@localhost /]# find -name php.ini ./usr/etc/php/etc/php.ini mysql官网的安装说明http://dev.mysql.com/doc/refman/5.6/en/source-installation.html 安装mysql必须的要求CMake make3.75以上 GCC 4.2.1以上 PerlCurses ncurses-devel cmake 安装 [root@localhost us…

Valgrind 3.11.0编译安装 Valgrind是一款用于内存调试.内存泄漏检测以及性能分析的软件开发工具. Valgrind遵守GNU通用公共许可证条款,是一款自由软件. 到3.3.0版本为止,Valgrind支持x86.x86-64以及PowerPC上的Linux.除此之外,还有一些其它非正式支持的类Unix平台(如FreeBSD.NetBSD以及Mac OS X). 1.下载Valgrind 3.11.0 直接下载源码包 wget http://valgrind.org/downl…

由于下载的是hadoop的最新版,网上各种杂七杂八的东西都不适用.好在官网上说的也够清楚了.如果有人看这篇文章的话,最大的忠告就是看官网. 官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html hdfs指令:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common…

Debian8.3.0下安装Odoo8.0的方法 假设你已经安装好了Debian 系统,使用root帐号执行如下命令 # apt-get update && apt-get upgrade  # Install system updates # apt-get install sudo  # Make sure 'sudo' is installed 使用如下命令来创建一个Odoo用户,假设Odoo的用户名是odoo: # useradd -m -g sudo -s /bin/bash o…

yii2.0安装心得 能够搜索到这篇文章的朋友相信是对yii框架有兴趣的,但是我不得不吐槽的是,这个安装过程确实让人头疼,接下来就让大家见证一下这个纠结的过程 根据官网的说法,安装这个框架需要用到composer,没有办法拉,先去大概的了解一下这个composer吧 什么是composer 根据composer的官网,它是这样解释的:composer是php用来管理依赖关系的工具,搞的这么复杂,直接说就是一个比较智能的下载工具不就好了.比如说我的项目是依赖yii框架的,而yii是依赖于其他东西的…

安装说明 安装环境:CentOS-7.0.1406安装方式:源码安装 软件:apache-tomcat-7.0.29.tar.gz 下载地址:http://tomcat.apache.org/download-70.cgi安装前提 系统必须已安装配置JDK6+,安装请参考:在CentOS-6.3中安装与配置JDK-7.安装tomcat 将apache-tomcat-7.0.29.tar.gz文件上传到/usr/local中执行以下操作: 代码如下: [root@admin local]# cd …

android版本遇到.so文件crash,需要使用ndk来定位报错代码. 从这里下载ndk安装文件: http://www.androiddevtools.cn/ 运行 ./android-ndk-r10d-linux-x86_64.bin     提示 libc.so.6: version `GLIBC_2.14' not found, 然后退出安装. 只好先安装glibc2.14          参考:http://blog.csdn.net/cpplang/article/detail…

如果是XP系统,这么做:1.开始——运行——输入cmd——回车——在打开的窗口中输入net stop WuAuServ2.开始——运行——输入%windir%3.在打开的窗口中有个文件夹叫SoftwareDistribution,把它重命名为SDold4.开始——运行——输入cmd——回车——在打开的窗口中输入net start WuAuServ5.安装.NET Framework 4.0Win7用下面这个方法1.以管理员身份运行X:\Windows\System32文件夹内的cmd.exe这个…

SSH无密安装与配置 具体配置步骤: ◎ 在root根目录下创建.ssh目录 (必须root用户登录) cd /root & mkdir .ssh chmod 700 .ssh & cd .ssh ◎ 创建密码为空的 RSA 密钥对: ssh-keygen -t rsa -P "" ◎ 在提示的对称密钥名称中输入 id_rsa将公钥添加至 authorized_keys 中: cat id_rsa.pub >> authorized_keys chmod 6…

今天把系统换成Linux mint了.感觉比ubuntu的好用太多,细节真是不错,Ubuntu感觉就是毛坯房,Linux mint真是精装修啊 问题来了.安装rbenv后,然后安装rbenv-build 然后安装 ruby 2.3.3,这时候,下载非常慢,终端需要单独配置FQ,然而.有时不好使,这时,我上网搜了以下.看到有个朋友介绍如下方法 就是修改 rbenv下的插件里的 ruby-build/share目录下的 2.3.3文件 改成如下 install_package "openssl-1.…

Zendstudio 9.0.2 安装Apnata3 并且配置 jQuery aptana-javascript-jquery.ruble文件夹下载地址: http://dl.dbank.com/c04bfgbchz 一直在用zenstudio9,有时候又需要用到jquery等插件辅助制作前台效果,想安装个apnata3插件,但是查了好多网上资料,基本都是anpata2.0的配置,所以,就自己动手查资料,问问题,结合所有情况,在失败多次后,终于总结出正确配置apanata3和jQuery代码提示…

由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的w…

由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的w…

下载地址:http://www.oracle.com/technetwork/java/javase/downloads/java-se-jdk-7-download-432154.html 1. 安装JDK1.7.0下载完成后在取得root权限后执行: [root@sea sea]# sudo rpm -ivh /目录/jdk-7-linux-x64.rpm 执行结果: Preparing... ################################### [100%]1:jdk #…

CentOS 6.0下载地址:wget http://ftp.riken.jp/Linux/centos/6.0/isos/i386/CentOS-6.0-i386-bin-DVD.iso 下边就是安装了:1.光盘引导界面,选择“Install or upgrade an existing system”. 其中图中的四个选项,应该都明白,我们这里选择的是第一个后回车.Install or upgrade an existing system  安装或升级现有系统:Install system…

突然心血来潮,想用VMware 9.0.1安装MAC OS X,但网上的文章多多少少总有点缺陷,不能适合每个人,在综合了近30篇安装MAC OS X的文章后,我决定公布一篇比較大众化,比較详尽的MAC OS X安装过程. 一.准备工作: (1)虚拟机系统:vmware workstation 9,(或vmware player),请自行在网上下载. (2)vmware的MAC补丁包.假设你使用的是vmware10,请下载补丁包V1.20,假设是vmware8或9,请下载补丁包V1.10. (3)…