首先介绍一下看这篇文章需要的基础.需要了解虚拟机的 虚拟机的三种网络模式,有Linux基础知识,这些都是前提.首先介绍一下我的环境:主机:win7虚拟机:VMware Workstation 10虚拟机安装操作系统:ubuntu-12.04桌面版( ubuntu-12.04-desktop-amd64.iso)另附下面下面链接: VMware Workstation 10.0.0简体中文正式版官方下载地址 虚拟机(VMware Workstation)的使用方法 VMware workstati…
[抛出问题] 当在搭建集群的时候,我们会将一个安装好相关程序的虚拟机进行克隆,克隆之后,我们会发下一些问题:就是原先的eth0 网卡不见了 原先的网卡 而克隆之后的网卡 会发现原来的网卡eth0 变为 eth1 这个时候,我就不愿意了,强迫症患者(请谅解) [解决办法] 1.[操作命令]<vim /etc/sysconfig/network-scripts/ifcfg-eth0> [解释原理]首先在克隆的机器上,修改语句:vim /etc/sysconfig/network-scripts/i…
需要虚拟机能够联网.以前都是用桥接模式让虚拟机跟主机通信,这几天查了好多资料,都没有写得很详细,自己捣鼓了很久,把步骤写下来吧. 虚拟机操作步骤: 点击虚拟机的“菜单栏”上的“编辑”,再点击“虚拟网络编辑器”,接着的操作如下图所示: 然后选择添加vm8 ,点确定之后会出现以下界面,如下图所示 接着点“NAT设置” 然后接着以下步骤 设置完成之后点“确定”,再依次点击“应用”和“确定”来保存设置. 接着回到虚拟机的操作界面,输入命令:setup,如下图 接着的操作路下图所示 设置好之后依次点击“O…
近期在实习项目中遇到一个问题. 因測试须要,本人在win7上安装VMWare后在启动两台ubuntuserver.两台主机的网络配置所有採用NAT方式实现连接. 之后一路畅通.主机ping通虚拟机和外网,虚拟机之间互相ping通.且ping通主机和外网. 因为须要外部client訪问ubuntu服务.须要訪问其特定port跑的程序.可却一直ping不通...请求了师兄和谷哥度娘后,採用以下方法攻克了,分享方案. 分析原因 因为虚拟机採用NAT方法,其网络地址为主机子网网络.訪问外部网络自然先走网…
1,依次尝试了关闭防火墙,关闭杀毒软件,手动设置DNS都没有用. 2,最后通过这个cmd命令搞定,特此记录一下,重置初始化网络环境. netsh winsock reset 补充,上面的命令,重启电脑后确实可以上网了.但是下次启动电脑后,依然有问题,最后我发现子网掩码和网关为192.168.1.253,正常情况应该是192.168.1.1,于是重启了两次路由器,终于正常了,希望不要出问题了.…
1.环境简介 openstack环境下构造Ubuntu系统的VM,VM配置受管子网和自管子网,同时绑定浮动IP 2.通过浮动IP访问VM后,ping www.baidu.com失败,但是通过IP地址ping百度成功 3.解决之法 1)通过命令 root@test234:~# vi /etc/resolv.conf访问DNS配置文件,修改nameserver的值为114.114.114.114 或者8.8.8.8 2)保存退出,重新ping www.baidu.com就OK了…
Hadoop集群搭建 一.准备 三台虚拟机:master01,node1,node2 时间同步 1.date命令查看三台虚拟机时间是否一致 2.不一致时间同步:ntpdate ntp.aliyun.com 调整时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 查看jdk java-version 修改主机名 三台分别执行vim /etc/hostname 修改为指定的主机名 关闭防火墙 systemctl stop firewalld…
一.集群规划 搭建一个集群我们需要考虑如下几个问题: 1. 我们需要多大规模的集群? 2. 集群中的节点角色如何分配? 3. 如何避免脑裂问题? 4. 索引应该设置多少个分片? 5. 分片应该设置几个副本? 下面我们就来分析和回答这几个问题 1.我们需要多大规模的集群? 需要从以下两个方面考虑: 1.1 当前的数据量有多大?数据增长情况如何?1.2 你的机器配置如何?cpu.多大内存.多大硬盘容量? 推算的依据: ES JVM heap 最大可以设置32G . 30G heap 大概能处理的数据…
http://blog.csdn.net/yerenyuan_pku/article/details/72957201 我们之前做的搜索使用的是Solr的单机版来实现的,正是由于我们现在商品数据量不多,才几千条而已.如果商品数据量变得非常庞大,比如说淘宝,淘宝上面的商品数量特别多,我们用一个单机版的Solr能实现吗?这里面就可能有问题了,一个是数据量特别庞大,每一个服务器存储容量是有上限的,一旦磁盘存不下了怎么办呢?这是不是有问题啊?还有就是由于淘宝的用户访问量很多,搜索的人也有很多,并发量很高…
一.集群规划 这里搭建一个3节点的Spark集群,其中三台主机上均部署Worker服务.同时为了保证高可用,除了在hadoop001上部署主Master服务外,还在hadoop002和hadoop003上分别部署备用的Master服务,Master服务由Zookeeper集群进行协调管理,如果主Master不可用,则备用Master会成为新的主Master. 二.前置条件 搭建Spark集群前,需要保证JDK环境.Zookeeper集群和Hadoop集群已经搭建,相关步骤可以参阅: Linux环…
一.集群规划 搭建一个集群我们需要考虑如下几个问题: 1. 我们需要多大规模的集群? 2. 集群中的节点角色如何分配? 3. 如何避免脑裂问题? 4. 索引应该设置多少个分片? 5. 分片应该设置几个副本? 下面我们就来分析和回答这几个问题 1.我们需要多大规模的集群? 需要从以下两个方面考虑: 1.1 当前的数据量有多大?数据增长情况如何?1.2 你的机器配置如何?cpu.多大内存.多大硬盘容量? 推算的依据: ES JVM heap 最大可以设置32G . 30G heap 大概能处理的数据…
一.集群规划 搭建一个集群我们需要考虑如下几个问题: 1. 我们需要多大规模的集群? 2. 集群中的节点角色如何分配? 3. 如何避免脑裂问题? 4. 索引应该设置多少个分片? 5. 分片应该设置几个副本? 下面我们就来分析和回答这几个问题 1.我们需要多大规模的集群? 需要从以下两个方面考虑: 1.1 当前的数据量有多大?数据增长情况如何?1.2 你的机器配置如何?cpu.多大内存.多大硬盘容量? 推算的依据: ES JVM heap 最大可以设置32G .30G heap 大概能处理的数据量…
服务器架构 机器信息: 这里部属的机器为3个Master控制节点,3个slave运行节点,其中: zookeeper.Mesos-master.marathon运行在Master端:Mesos-slave和docker运行在Slave端:需要修改zk的内容来保证slave能够被发现和管理 构建环境 配置mesos-master(3台master节点都要操作) # 关闭selinux [root@master-1 ~]# sed -i '/SELINUX/s/enforcing/disabled/…
转载于:https://www.linuxidc.com/Linux/2016-09/135521.htm   vmware为我们提供了三种网络工作模式,它们分别是:Bridged(桥接模式).NAT(网络地址转换模式).Host-Only(仅主机模式). 打开vmware虚拟机,我们可以在选项栏的“编辑”下的“虚拟网络编辑器”中看到VMnet0(桥接模式).VMnet1(仅主机模式).VMnet8(NAT模式),那么这些都是有什么作用呢?其实,我们现在看到的VMnet0表示的是用于桥接模式下的…
=====问题======= 虚拟机可以ping通外网,外网能ping通虚拟机但是收不到reply 这个问题本人遇到有两种情况: 1.安装完整openstack-kilo后,在route中和虚拟机中抓包得知,外网能ping通虚拟机,但是ping包在到达虚拟机后就不在了.从虚拟机ping出的包能到达外网网关并能得到reply回应. 2.使用模式的不同导致网络不通. OpenStack internal network (gre)-----------------|-----------------…
问题:CentOS7安装完成后默认使用的是动态IP,当你每次重新启动CentOS7后,它的IP地址都不一样.一般我们都是使用远程连接工具连接CentOS7进行操作,如果每次IP都不一样,系统启动后,每次连接时都需要修改.针对这种情况我们一般都设置一个静态的IP.具体操作如下 1.查看网卡文件 如果你不知道网卡文件名,可以输入如下命令查看 ll /etc/sysconfig/network-scripts/ | grep ifcfg-en IP的设置是在网卡文件中,使用vi编辑器打开网卡文件 vi…
现在做的项目是个大数据报表系统,刚开始的时候,负责做Java方面的接口(项目前端为独立的Java web 系统,后端也是Java web的系统,前后端系统通过接口传输数据),后来领导觉得大家需要多元化发展,要全面发展.就让大数据组的同事,给我们报表组的同事培训了下大数据方面的知识,主要是hive的.就这样就开启了新的篇章,虽然比较腹议,自此大数据离线数据计算的工作就交给我们报表组了,我们还是欣然的接受了,我自己还是相当想向大数据方面发展的. 自此,开启了大数据开发的篇章. -----------…
Hadoop集群搭建之Linux主机环境 创建虚拟机包含1个主节点master,2个从节点slave1,slave2 虚拟机网络连接模式为host-only(非虚拟机环境可跳过) 集群规划如下表: 主机名 IP 子网掩码 安装的软件 master 192.168.1.201 255.255.255.0 jdk.hadoop.zookeeper slave1 192.168.1.202 255.255.255.0 jdk.hadoop.zookeeper slave2 192.168.1.203…
Hadoop集群搭建(完全分布式版本) VMWARE虚拟机 一.准备工作 三台虚拟机:master.node1.node2 时间同步 ntpdate ntp.aliyun.com 调整时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime jdk1.8(以1.8为例,目前大多数企业都是使用1.8版本,最稳定) java -version 修改主机名 三台分别执行 vim /etc/hostname 并将内容指定为对应的主机名 关闭防火墙:sy…
准备工作: vmware workstation 12,OS使用的是ubuntu16.04,三台虚拟机搭建一个solr集群,zookeeper共用这三台虚拟机组成zookeeper集群. zookeeper的版本为3.4.10,solr版本为7.1,不使用tomcat,使用solr自带的jetty.jdk版本为1.8.0_151. 第一步:虚拟机的建立 选择默认配置即可,内存我配置的2G一台,1CPU,网络采用NAT,DHCP自动分配.建好一台虚拟机后,我们可以去配置一些基本环境,如Jdk等,然…
首先介绍下硬盘的三种设置格式,这个要搞清楚 虚机硬盘的三种格式 厚置备延迟置零 厚置备,分配10g空间,虚拟机没开机时就分配了: 延迟置零,没开机之前只分配空间,里面的数据不抹零,当开机写入数据时再抹数据 厚置备置零    分配空间,数据清零,予取予求 瘦提供 看到的是10G,实际并没有,也就是最大是10G,写数据时临时分配空间给虚机.创建虚拟机速度快,但是性能差. 添加数据中心,集群及主机 failed to log into nfs server------>是在本机没有通过域用户登录而产生…
继上篇关闭防火墙之后,因为后面我们会管理一个集群,在VMware中不断切换不同节点,为了管理方便我选择xshell这个连接工具,大家也可以选择SecureCRT等工具. 本篇记录一下3台机器集群的搭建. (一)克隆虚拟机 1,VMware界面,我的计算机master,右键,管理,克隆 2,下一步,选择虚拟机的当前状态,下一步 3,创建完整克隆 4,修改虚拟机的名称及存储路径 5,完成,同样的方法,在克隆一台slave2 (二)修改克隆机器的配置 1,改计算机名.vi /etc/sysconfig…
真机环境下MySQL-Cluster搭建文档  摘要:本年伊始阶段,由于实验室对不同数据库性能测试需求,才出现MySQL集群搭建.购置主机,交换机,双绞线等一系列准备工作就绪,也就开始集群搭建.起初笔者对此不甚了解,查阅很多资料,最终都不太完善.故笔者真机环境测试成功后,整理出此搭建文档,一则防止遗忘知识总结,另则与人共享.前天完成文档由于文字偏多,给陌生配置者带来不小压力.更改文档版本后,减少文字增加图片,让一个大一的对mysql集群不了解者,照此配置.能够配置成功,故发表.(本文原创/整理,…
一.简介 "A highly-available key value store for shared configuration and service discovery." Etcd是coreos开发的分布式服务系统,内部采用raft协议作为一致性算法.作为一个高可用的配置共享.服务发现的键值存储系统,Etcd有以下的特点: 1)简单:安装配置简单,而且提供了 HTTP API 进行交互,使用也很简单 2)安全:支持 SSL 证书验证 3)快速:根据官方提供的数据,单实例支持每秒…
Hadoop集群搭建(一)(上篇中讲到了Linux虚拟机的安装) 一.安装所需插件(以hadoop2.6.4为例,如果需要可以到官方网站进行下载:http://hadoop.apache.org) hadoop2.6.4插件.已经装好的虚拟机(CentOS,这个百度一下自行安装).虚拟机安装后将其克隆成三个即可. 二.安装过程 1.配置服务器 1个主节点:sunshine(192.168.83.133),2个(从)子节点:sunshineMin(192.168.83.134), sunshine…
配置IP,修改主机名,关闭防火墙,配置SSH免密码登录…
HBase集群搭建 搭建环境:假设我们的linux环境已经准备好,包括网络.JDK.防火墙.主机名.免密登录等都没有问题,而且一定要有zookeeper.下面我们用3台linux虚拟机来搭建Hbase集群,首先启动我们的3台linux虚拟机,主机名分别为hadoop01.hadoop02和hadoop03. 1.启动zookeeper集群 启动zookeeper的命令: [root@hadoop01 zookeeper]# bin/zkServer.sh start 查看zookeeper启动状…
Redis 3.0 集群搭建 开启两个虚拟机 分别在两个虚拟机上开启3个Redis实例 3主3从两个虚拟机里的实例互为主备 下面分别在两个虚拟机上安装,网络设置参照codis集群的前两个主机 分别关闭防火墙 1安装ruby rubygems yum install ruby rubygems -y 2安装gem-redis gem-redis 是ruby访问redis的接口 下载地址  http://rubygems.org/gems/redis/versions/3.2.1 上面的地址有可能访…
一.配置虚拟机软件 下载地址:https://www.virtualbox.org/wiki/downloads 1.虚拟机软件设定 1)进入全集设定 2)常规设定 2.Linux安装配置 1)名称类型 名称最后具有说明意义.版本根据个人情况. 2)内存 在下物理机系统Win7x64,处理器i53210,内存8G. 3)磁盘选择 4)磁盘文件 virtualbox格式vdi,VMWare格式vmdk,微软格式vhd(virtualbox不支持),Parallels格式hdd(virtualbox…
内容概要: CentSO_64bit集群搭建, hadoop2.2(64位)编译,安装,配置以及测试步骤 新版亮点: 基于yarn计算框架和高可用性DFS的第一个稳定版本. 注1:官网只提供32位release版本, 若机器为64位,需要手动编译. 注2:目前网上传的2.2版本的安装步骤几乎都有问题,没有一个版本是完全正确的.若不懂新框架内部机制,不要照抄网传的版本. 0. 编译前的准备 虚拟机vmware准备,64bit CentOS准备 节点ip cluster1 172.16.102. 2…