前言 年过30惶惶不安,又逢疫情,还是不断学习,强化自己的能力.hadoop的视频和书籍在15年的时候就看过,但是一直没动手实践过,要知道技术不经过实战,一点提升也没有.因此下定决心边学边做,希望能有所收获. 软件版本介绍 virtualbox 6.1 centos7  hadoop-3.2.1 jdk-8u241-linux-x64 xshell xftp 虚拟机配置规划 name ip role 61 192.168.3.61 namenode,datanode 62 192.168.3.6…

1.新建虚拟机(标准)   选择 (我以后下安装操作系统)       选择Linux 操作系统 版本为CentOS(32位)     虚拟机的名称和位置任意       磁盘容量如下即可     设置虚拟机  使用ISO文件 CentOs6.3 centOS 下载地址 http://mirror.symnds.com/distributions/CentOS-vault/6.3/isos/i386/         选择第一个 enter 继续     直接skip   中间略过几步都是傻瓜操…

一些介绍 Hadoop 2和Hadoop 3的端口区别 Hadoop 3 HDFS集群架构 我的集群规划 name ip role 61 192.168.3.61 namenode,datanode 62 192.168.3.62 datanode 63 192.168.3.63 secondnamenode 64 192.168.3.64 datanode 1.安装JDK 利用FileZilla sftp功能进行上传到指定文件夹下/root/software,下图是配置sftp.解压使用命令t…

1.core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.3.61:9820</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoopdata</va…

1.如果你配置本地IP,不上网,网卡选项可以选择仅主机模式,如果要上网,就直接选择桥接模式,复制物理网络这个选项 2.将NET1网卡(仅主机模式)选中,然后进入下面这个配置选项   上面方框内的IP段,就是就想要设置的IP地址段,如果你想设IP为192.168.10.12,那么红框内的子网IP就就设为:192.168.10.1,后面的掩码是一样的         来自为知笔记(Wiz)…

git 笔记二-Git安装与初始配置 Git的安装 由于我日常生活和工作基本上都是在Windows上,因此此处只说windows上的安装.Windows上的安装和其他程序一样,只需要到http://git-scm.com/download/win上下载安装包安装就行了,基本上都用默认就可以.对于喜欢界面的,可以安装Git for Windows,不过从我的体验看,还是需要先学一下直接用命令行,不然Git for Windows出现错误的时候自己也能大概知道问题所在.Git for Windows…

VMware中安装CentOS7网络配置静态IP地址,常用配置和工具安装在阿里云开源镜像地址下载镜像Index of /centos/7.2.1511/isos/x86_64/http://mirrors.aliyun.com/centos/7.2.1511/isos/x86_64/ 安装完用ifconfig查看本机的ip地址(局域网已经有DHCP),提示ifconfig命令没找到.[root@centos1 ~]# ifconfig-bash: ifconfig: command not fo…

现在做的项目是个大数据报表系统,刚开始的时候,负责做Java方面的接口(项目前端为独立的Java web 系统,后端也是Java web的系统,前后端系统通过接口传输数据),后来领导觉得大家需要多元化发展,要全面发展.就让大数据组的同事,给我们报表组的同事培训了下大数据方面的知识,主要是hive的.就这样就开启了新的篇章,虽然比较腹议,自此大数据离线数据计算的工作就交给我们报表组了,我们还是欣然的接受了,我自己还是相当想向大数据方面发展的. 自此,开启了大数据开发的篇章. -----------…

这节学习了虚拟机安装RHEL系统,了解了shell.以及命令的格式            …

一.安装后的配置 1.设在终端的字体为等宽字体 比如:DejaVu Sans Mono 2.将当前的普通用户加入到sudo用户组adduser en sudochmod +w /etc/sudoersmousepad /etc/sudoers 3.编辑source.list 加入国内的源两个选一个##163 源deb http://mirrors.163.com/debian/ jessie main non-free contribdeb http://mirrors.163.com/debi…