一.目标拓扑结构: 要使192.168.31.1和192.168.32.1互相ping通. 二.步骤及问题: 1.路由器配置 SEED_Router配置IP并开启路由转发协议: ifconfig eth1 192.168.31.2 ifconfig eth2 192.168.32.2 echo "1" > /proc/sys/net/ipv4/ip_forward 2.client配置 SEED_Client配置IP并设置默认网关: ifconfig eth1 192.168.3…

用了这么久的hadoop,只会使用streaming接口跑任务,各种调优还不熟练,自定义inputformat , outputformat, partitioner 还不会写,于是干脆从头开始,自己搭一个玩玩,也熟悉一下整体架构. 整体环境: 主机Win7 i5 4核 8G内存 笔记本: 虚拟机(客户机)采用Centos5.9 ( 用这个的原因是不想用图形界面,并且以后还想试着装一下ICE) 3台互联的虚拟机搭建Hadoop集群: 1. 选用virtualbox V4.2.18 + Cento…

hosts文件   简单说,就是本来访问某个机器是通过其ip,在hosts文件中给ip对应一个名字,那么就可以通过名字来替代ip去访问该机器了(名字显然比ip好记) 环境:宿主机win10系统,安装了vmware10.0.1,vmware中新建两个虚拟机,都安装了win2012,虚拟机中安装ArcGIS Server 10.4.1,测试集群. 问题:起初未测试集群环境,两台虚拟机各自创建Server站点,但是通过全域名形式(如:https://server132.esrichina.com:64…

前言 好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分.第一个部分就是基础的平台搭建.例如Hadoop集群.Kafka集群. 第二个部分就是上层应用的建设,例如基于大数据平台的数据分析,以及大屏展示之类的可视化应用.前者提供了基础平台能力,让整个设计加入大数据元素:后者提供了上层应用能力,主要是让别人明白你利用大数据平台做了什么. 前些日子闲得无聊,在一台虚拟机上基于docke…

好久没写过东西了,主要大部分都是来自对生活的感悟,很少有实实在在的关于学得有成就感的技术可以“炫耀”,所以也就懒得在这个上面登了. 实验室很早就有位师兄曾在吃饭的路上问过我们这群小弟,你们知道Vbox下的NAT.Bridged.Internal.Host-Only这几种不同方式的网络配置原理吗.其实当高手问问题时,都是带着谦虚.共同上进的态度去讨论问题的:然而在我们这种无知的小弟看来,那就是带有一种挑衅外加鄙视的成分在里面了,毫无疑问,心理作怪而已.虽是一个小问题但是我一直记在心中,同时由于自己…

在第3章<搭建独立的KVM虚拟化>中,你安装并启动了libvirtd服务.你还引入了帮助你管理虚拟机的libvirt管理工具virt-manager和virsh. 相较于命令行,新用户总是更喜欢GUI.因此我们从virt-manager开始讲解.我们也认为,了解virt-manager将快速推进使用libvirt和virsh管理虚拟机的学习过程.我们会尽可能提供等价的virsh命令,使你有机会同时学习virt-manager和virsh. 在本章中,我们将讨论以下主题: virt-manger…

MacOS上通过虚拟机搭建基础CentOS7系统环境 尽管从Mac的Terminal可以看出,macOS与UNIX.Linux或多或少都有血缘关系(shell.bash等),但是在mac进行Linux开发,或者把macOS直接当作Linux来使用依然是说不过去的,这其中包括一些命令行的使用,一些基本的文件夹体系等(如,在Linux上的/home目录与在macOS下的/Users)不一致.如果想要在macOS上进行Linux的学习,或者进行Linux开发,最完美的方案自然是安装虚拟机. 虚拟机的选…

前言:       上周末自己学习了一下Kafka,参考网上的文章,学习过程中还是比较顺利的,遇到的一些问题最终也都解决了,现在将学习的过程记录与此,供以后自己查阅,如果能帮助到其他人,自然是更好的. ===============================================================长长的分割线==================================================================== 正文: 关于Kafka…

目标:主机是win10系统,虚拟机搭建CentOS,在主机上通过XShell连接操作. 第一步 主机上安装虚拟机 第二步 下载CentOS 下载地址http://101.110.118.69/isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1611.iso 可以自己选择喜欢的版本下载. 第三步 在虚拟机在安装CentOS,因为比较简单就不详说了,主要说下后面的网络配置. 第四步 配置虚拟网络 1.右击虚…

最近学了一下大数据,包括hadoop环境的搭建,搭建工具:centos6.5,hadoop2.6.4,eclipse Mars.1 Release (4.5.1),jdk1.8 第一步.网络与ip地址的设置,安装virtualbox此处省略,接下来就是安装centos6.5,具体参照这篇博客http://www.2cto.com/os/201407/318477.html,安装好之后会重启,点击输入密码进入root用户,我将root用户的密码设置为123456,比较简单,接下来要在Virtual…