1.工具 CentOS7:去官网下载,然后找到阿里的镜像,DVD版本就好,4个G大小https://www.centos.org/download/ vmware:去官网下载最新版本 2.要点 先装VMware,这个不用多说,然后再安装CentOS 7. 先创建裸机(默认就好):稍后安装操作系统 在裸机硬件选项里面填写操作系统的ISO文件路径:如果不填,他就会默认从网络安装,操作系统都没有 怎么上网,所以一定要注意. 自己创建分区 3.安装完成之后的上网问题 ①为什么我的虚拟机中 /etc/sy…

 一.前言 开始学习数据处理相关的知识了,第一步是搭建一个Hadoop集群.搭建一个分布式集群需要多台电脑,在此我选择采用VMWare+CentOS7搭建一个三台虚拟机组成的Hadoop集群. 注:1.本次搭建环境中操作系统的用户名为hadoop,请自行替换/home/hadoop为本机对应路径. 2.本次用到的软件版本为: VMware Workstation 14 Pro 14.1.3 build-9474260 CentOS 7.5.1804 Java 1.8.0_181 Apache H…

本文介绍在centos7上面通过hadoop2.4.1源码构建hadoop distribution 版本,即hadoop的运行版本. 为何要自己building,而不用Apache的distribution [bin]版本,因为hadoop涉及到Linux系统的底层实现,如: hadoop fs -ls / 通过 java Native 实现,故应为 native的相关lib.[个人认为的一点] 相关文件下载链接: 文件目录解释: hadoop hadoop-2.4.1.tar.gz 本人通过…

vmware centos7 没有网络设备 选择VMware 虚拟机模拟器为CentOS 64 即可;…

问题描述 VMware Centos7 桥接模式下,虚拟机无法获得IP,无法联网 解决方案 网络设置为DHCP自动获取IP 查看主机(不是虚拟机)的相关服务是否打开,主要是VMware DHCP 这个服务 最重要的一点 在VMware下,编辑->虚拟网络编辑器->开始设置 然后将VMnet0,设置桥接到主机的物理网卡上,如上图所示.如果是自动模式的话,有时会正常,但是有时就无法获取IP,也不要选VMware生成的VPN,一定要选物理网卡. 然后重启网络…

首先说明,本文记录的是博主搭建的3节点的完全分布式hadoop集群的过程,环境是centos 7,1个nameNode,2个dataNode,如下: 1.首先,创建好3个Centos7的虚拟机,具体的操作可以参考网上其他教程,这个给个链接<windows环境安装VMware,并且安装CentOS7 虚拟机> 2.完成虚拟机的java环境的搭建,可以参考我的博客<centos7 安装jdk 1.8> 3.关闭或者禁用防火墙, systemctl  stop firewalld.ser…

一.基础环境设置 1. 准备4台客户机(VMware虚拟机) 系统版本:Centos7.5 节点配置: 192.168.208.128 --Master 192.168.208.129 --Slaver-1 192.168.208.130 --Slaver-2 192.168.208.130 --Slaver-3 2. 配置hosts文件,使4台客户机能够以主机名相互访问 [root@Master ~]# vi /etc/hosts 127.0.0.1 localhost localhost.l…

1. 下载相关软件 apache-maven-3.3.1-bin.tar.gz protobuf-2.5.0.tar.gz hadoop-2.6.4-src.tar.gz 2.配置好jdk8环境(请看相关文章) 3. 在centos7安装相关的依赖包 yum install -y autoconf automake libtool cmake yum install -y ncurses-devel openssl-devel 4.安装maven -bin.tar.gz /opt/apache/…

这里搭建的是3个节点的完全分布式,即1个nameNode,2个dataNode,分别如下: CentOS-master   nameNode   192.168.11.128 CentOS-node1   dataNode    192.168.11.131 CentOS-node2   dataNode    192.168..11.132 1.首先创建好一个CentOS虚拟机,将它作为主节点我这里起名为CentOS-master,起什么都行,不固定要求 2.VMware中打开虚拟机,输入ja…

一 完全分布式集群(单点) Hadoop官方地址:http://hadoop.apache.org/ 1  准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙,设置静态IP,主机名此处略,参考  Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP,我们需要在hosts中配置其他主机的host.因此我们在主机的/etc/hosts下均进行如下配置: [root@node21 ~]# vi /etc/hosts…

一 完全分布式集群搭建 Hadoop官方地址:http://hadoop.apache.org/ 1  准备3台客户机 1.2 关闭防火墙,设置静态IP,主机名 关闭防火墙,设置静态IP,主机名此处略,参考  Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP,我们需要在hosts中配置其他主机的host.因此我们在主机的/etc/hosts下均进行如下配置: [root@node21 ~]# vi /etc/hos…

java环境配置 修改环境变量 export JAVA_HOME=/usr/java/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar   hadoop环境配置 mkdir /cloud tar -zxvf hadoop.tar.gz -C /cloud 1.vim /etc/hadoop/hadoop-env.sh    v…

使用的是VMware安装CentOS7 minimal版,系统镜像是CentOS-7-x86_64-DVD-1708.iso. 宿主机系统为win10,CentOS7 minimal过程省略,可参考https://blog.csdn.net/qq_24879495/article/details/77838512. nat配置参考 https://blog.csdn.net/eric520zenobia/article/details/52292576 安装完CentOS7之后,点击 vm 菜单…

在使用hive或者是kylin时,可以选择文件的压缩格式,但是这个需要有hadoop native库的支持,默认情况下,hadoop官方发布的二进制包中是不包含native库的,所以无法使用一些压缩相关的算法.本例中选择自己手动编译hadoop源码,并将native文件部署到hadoop安装目录/lib目录下. 1. 环境准备 a) 安装JDK(1.7以上版本),本例中安装jdk1.8b) 安装maven(3.0以上版本),参见本人博文c) yum install -y CMake openss…

0.思路 创建一个新的逻辑分区,将新的逻辑分区格式化ext3(或其他类型)的文件系统,mount到磁盘空间不够的文件系统,就跟原来的分区/文件系统一样的使用 1.准备 1.1 注意使用VMware自带的Expand功能不能有Snapshot存在,所以在expand之前先把所有的Snapshot删掉了 1.2 为了以防万一,把VMware虚拟机copy了一份备用. 2.查看挂载点 [root@vnode1 ~]# df -h 文件系统 容量 已用 可用 已用% 挂载点 /dev/mapper/ce…

首先下载VMware和CentOs7的镜像 安装VMware我是参考的https://www.cnblogs.com/wuyx/p/7246675.html,已经非常详细了 然后需要配置网络了 参考 https://www.linuxidc.com/Linux/2017-07/145845.htm https://www.cnblogs.com/CoolJayson/p/8017049.html https://www.cnblogs.com/loeng/p/6540104.html 第三步搭建…

1.基本环境: 操作系统: Centos 7.2.1511 三台虚机: 192.168.163.224  master 192.168.163.225  node1 192.168.163.226  node2 软件包 hadoop-2.7.2.tar.gz jdk-7u79-linux-x64.tar.gz 2.配置系统环境 配置ntp时间同步 参考http://bigtrash.blog.51cto.com/8966424/1826481 修改hostname 192.168.163.224…

1.软件准备: 安装VMware环境,在这里我使用的是VMware15 一个虚拟机系统,在这里我使用的是CentOS7(版本不同可能会有一点出入,但是应该相差不大) 在这里还有一个前提是已经建立好了yum,具体怎么安装这里就不介绍了 2.打开虚拟机,登录root账号,输入密码登录 3.登陆之后,单击右下角小光盘按钮之后,点击连接,挂载已经安装好的映像(我安装CentOS7虚拟机系统的时候就已经将映像放置好了),桌面就会多一个光盘的图标文件,同时右下角小光盘的图标亮起来,如果没有映像可以到官网下载…

1. 安装准备 (1)必须安装jdk: 因为hadoop是基于Java实现的,所有必须安装jdk 是JDK不是jre jdk1.7 jdk1.8 (2)系统位数 (3)创建专用用户 useradd hadoop passwd hadoop 为hadoop用户授予将要使用的文件夹权限 使用的文件夹有安装文件夹.数据存放文件夹(可以自定义). ps:lz放在了home/hadoop文件夹 2. hadoop下载 推荐下载二进制(binary)不需要自己编译.hadoop2.8.4大约230M ps:…

NAT 方式1. 配置静态 ipVmware 安装 Centos7 可以参考 https://blog.csdn.net/guo_ridgepole/article/details/78973763 安装完 Centos7 后,开始给虚拟机配置静态 ip 查看配置 点击“编辑虚拟机设置” 选择“网络适配器” -->选中 NAT 模式 -->点击确定 点击“编辑” -->虚拟网络编辑器 VMnet8 -->NAT 设置然后记下 3 中的网关 ip,后面配置要用到 配置静态 ip启动虚…

问题描述: VMware下CentOS7使用NAT上网方式无法连网 解决方案: 网络设置为DHCP自动获取IP 查看主机(不是虚拟机)的相关服务是否打开,主要是VMware DHCP 和VMware NAT这两个服务 然后重启网络…

数据分析系统DIY中要完毕的三个任务. 一.用VMware装64位CentOS.数据库服务端用CentOS自带的就好. 二.数据採集与预处理用Dev-C++编程解决. 三.用本地Win7 64上的MATLAB R2012b连接数据库进行挖掘分析. 本文是完毕第三个任务的过程. 1.首先下载jar格式的mariadb数据库jdbc驱动包,下载地址 2.将下载好的驱动程序拷到"matlab安装文件夹\java\jar" watermark/2/text/aHR0cDovL2Jsb2cuY3…

一.阅读编译文档 在hadoop源码包根目录下有个一个BUINDING.txt的文件,文件说明了编译hadoop所需要的一些编译hadoop所需要的一些编译环境相关的东西.不同hadoop版本的要求都不一样.我选择的版本是hadoop-2.7.7 ---------------------------------------------------------------------------------- Requirements: * Unix System * JDK 1.7+ * Ma…

CentOS命令记录 1.su root 进入最高权限 2.cd  /位置       即进入该文件 3.中文与英文之间的切换:win+空格 添加中文的步骤:https://blog.csdn.net/nothing2017/article/details/61424486 4.在CentOS7下编写C语言程序的步骤 参考:http://blog.sina.com.cn/s/blog_13c6397540102wpq2.html 1)先在附件中找到文本编辑器,在文本编辑器中编写C程序,保存,并以…

注:此贴使用NAT方式配置上网模式. 1.设置虚拟机的网络适配器为NAT模式: 2.修改VMware的“虚拟网络编辑器”: 打开后选择NAT模式,勾选,然后点击NAT设置: NAT默认设置了188网段,这个可以修改,如果要修改,切记统一修改. 若要设置起始ip到终止ip可以选中DHCP设置,我在这里就不展示了. NAT设置完成. 3.启动虚拟机,修改网卡配置文件: vi /etc/sysconfig/network-script/ifcfg-eth0 按如下改动: 4.修改第二个配置文件: vi…

1. 在vmware创建centos虚拟机 2. 在cmd下看一下本机所处的网段,并对一下vmware上的配置 如果同样处于同一网段(192.168.aaa.bbb,aaa处一致就行),就可以直接开机了:否则修改一下vmware的配置(NAT设置.DHCP设置.红框的配置) 3. 开机登陆,配置/etc/sysconfig/network-scripts/ifcfg-ens33,修改ONBOOT=true vi /etc/sysconfig/network-scripts/ifcfg-ens33…

一.下载 首先需要将本地下载好的jdk包拷贝到Linux中:scp jdk-8u91-linux-x64.tar.gz hadoop@192.168.***.***:~/software/ //星号处地址是你虚拟机中的CentOS配置的IP地址,后面的~/software/  是所要拷贝到的目录地址 当然你们可以是用wget直接下载,相对比较简单,但是工作当中的服务器是连不了外网的,所以要学会的是这种方式. 二.解压 解压jdk到~/app/ :  tar -zvxf jdk-8u91-linu…

安装VM-Tools 先使用yum install 安装Perl与net-tools# sudo yum install net-tools# sudo yum install perl 加载CDROMsudo cd ~/mkdir vmtoolssudo mkdir /mnt/cdromsudo mount /dev/cdrom /mnt/cdromcp /mnt/cdrom/VMwareTools-9.0.15-2323214.tar.gz ~/vmtoolscd ~/vmtoolstar…

Hadoop配置文件 /etc/profile 配置Java和Hadoop环境 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HADOOP_HOME=/usr/local/hadoop-2.6.5/hadoop-2.6.5 export PATH=$…

安装之前先检查一下系统有没有自带open-jdk rpm -qa |grep java rpm -qa |grep jdk 卸载找出的已安装Java相关rpm文件:rpm -e --nodeps 重新输入rpm -qa |grep java ,卸载完成 下载jdk1.8  for linux的安装包 jdk-8u11-linux-x64.tar.gz,下载地址:http://download.oracle.com/otn-pub/java/jdk/8u161-b12/2f38c3b165be45…