前言:       工作中需要同步日志到hdfs,以前是找运维用rsync做同步,现在一般是用flume同步数据到hdfs.以前为了工作简单看个flume的一些东西,今天下午有时间自己利用虚拟机搭建了flume环境,并简单做了几个练习.学习过程中还是比较顺利的,现在将学习的过程记录与此,供以后自己查阅,如果能帮助到其他人,自然是更好的. ===============================================================长长的分割线===========…

前言:       上周末自己学习了一下Kafka,参考网上的文章,学习过程中还是比较顺利的,遇到的一些问题最终也都解决了,现在将学习的过程记录与此,供以后自己查阅,如果能帮助到其他人,自然是更好的. ===============================================================长长的分割线==================================================================== 正文: 关于Kafka…

用了这么久的hadoop,只会使用streaming接口跑任务,各种调优还不熟练,自定义inputformat , outputformat, partitioner 还不会写,于是干脆从头开始,自己搭一个玩玩,也熟悉一下整体架构. 整体环境: 主机Win7 i5 4核 8G内存 笔记本: 虚拟机(客户机)采用Centos5.9 ( 用这个的原因是不想用图形界面,并且以后还想试着装一下ICE) 3台互联的虚拟机搭建Hadoop集群: 1. 选用virtualbox V4.2.18 + Cento…

虚拟机搭建Zookeeper服务器集群完整笔记 本笔记主要记录自己搭建Zookeeper服务器的全过程,默认已经安装部署好Centos7. 一.虚拟机下Centos无法联网解决方案 1.首先调整虚拟机的网络适配器为NAT模式 2.设置虚拟机的"编辑"-->"虚拟网络编辑器"中的VMnet8的DHCP的设置两个选项都勾选上. 3.开启物理主机的VMware DHCP Service 和VMware NAT Service服务,命令 net start "…

目标:主机是win10系统,虚拟机搭建CentOS,在主机上通过XShell连接操作. 第一步 主机上安装虚拟机 第二步 下载CentOS 下载地址http://101.110.118.69/isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1611.iso 可以自己选择喜欢的版本下载. 第三步 在虚拟机在安装CentOS,因为比较简单就不详说了,主要说下后面的网络配置. 第四步 配置虚拟网络 1.右击虚…

马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第四课:Yarn和Map/Reduce配置启动和原理讲解 马士兵hadoop第五课:java开发Map/Reduce 马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 (一) 需要用到的软件 virtualbox redhat64(centos7) hadoop-2.7.3.jar jdk…

安装包准备 操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk-8u161-linux-x64.tar.gz 1. 环境准备 使用VirtualBox和下载的ubuntu镜像文件新建三个Ubuntu操作环境,具体配置如下: 用户 内存(G) 磁盘空间(G) hadoop01 1.5 10 hadoop02 1.5 10 hadoop03 1.5 10 2. 网络环境准备        点…

1.搭建linux虚拟机 具体参考 http://jingyan.baidu.com/article/86112f135e584a273697876b.html (如何在WIN7下进行LINUX虚拟机搭建) 下载软件地址: 1.VMware  自行百度下载 centos 6.5 正式版官方(32位+64位)下载 http://www.centoscn.com/CentosSoft/iso/2013/1205/2196.html 2.设置虚拟机网络 虚拟机安装后,我需要win7能够访问虚拟linu…

马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第四课:Yarn和Map/Reduce配置启动和原理讲解 马士兵hadoop第五课:java开发Map/Reduce (一) 需要用到的软件 virtualbox redhat64(centos7) hadoop-2.7.3.jar jdk8 xshell ftp(我用的是FlashFXP) 所需要的…

最近家中Windows 10更新后抽风,最后不得不重装系统,原本配置好的开发环境全部要重装,也包括局域网搭建,但由于是家庭网络并非公司局域网,故旧文<使用VirtualBox虚拟机搭建局域网>不适用.相对于公司局域网,在家庭网络中搭建局域网简单得多,本文记录了此过程,局域网要求如下: 支持宿主机与虚拟机互连 支持虚拟机互连 1. 环境 宿主机OS: Windows 10 虚拟机: VirtualBox-5.1.26-117224-Win 虚拟机OS: ubuntu-15.10-server-i…