一. 硬件.软件准备 1. 硬件设备 为了方便学习Hadoop,我采用了云服务器来配置Hadoop集群.集群使用三个节点,一个阿里云节点.一个腾讯云节点.一个华为云节点,其中阿里云和腾讯云都是通过使用学生优惠渠道购买了一年的云服务,华为云使用免费7天或15天的云服务器.我决定使用腾讯云节点作为Master节点,阿里云节点和华为云节点作为Slave节点.集群基本结构如下图: 云服务器配置信息如下: 集群网络环境: 分别在每台机器上创建了用户hadoop,并且全部禁用了防火墙. 2. 软件 由于Ha…

https://www.cnblogs.com/xiongzaiqiren/p/8970203.html…

…

Hadoop伪分布式安装之Linux环境准备 一.软件版本 VMare Workstation Pro 14 CentOS 7 32/64位 二.实现Linux服务器联网功能 网络适配器双击选择VMnet8 2.1 VMare NAT工作模式 只有CentOS和Windows中的VMnet8生成的虚拟网卡都在VMare虚拟网关字段中才能组成一个网络,实现联网功能. 2.2 VMare设置 1.打开VMare -> 编辑 -> 虚拟网络编辑器 2.VMnet8 -> NAT设置 ->…

环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop3.1.1 全分布式就是集群,注意配置主机名. 一.平台和软件1.安装JDK和免密登录参考:[Hadoop学习之二]Hadoop伪分布式安装 2.设置环境变量[root@node1 /]# vi /etc/profile[root@node1 /]# source /etc/profile #注意pwd 是打印当前路径 意思是要拷贝到远程主机统一…

一.准备工作 在伪分布式的搭建基础上修改配置,搭建全分布式hadoop环境,伪分布式安装参照 hadoop伪分布式安装. 首先准备4台虚拟机,信息如下: 192.168.1.11 namenode1 192.168.1.12 datanode1 192.168.1.13 datanode2 129.168.1.14 datanode3 第一台namenode1用做NameNode节点,我们使用伪分布式安装好的环境(将其配置文件进行修改,并分发给其他3个节点). 第二台datanode1用作第一台…

< python音频库:Windows下pydub安装配置.过程出现的问题及常用API > 背景 刚从B站上看过倒放挑战之后也想体验下,心血来潮一个晚上完成了基本的实现.其中倒放与播放部分使用了pydub这个音频库,十分快捷方便,但是它完整一套的配置让我还是踩了几个坑.特将其配置过程记录于此,方便大家. Windows10系统 < Pydub in Github > 安装Pydub Anaconda:打开Anaconda prompt,activate切换至工作环境下,键入pip…

[Oracle RAC]Linux系统Oracle11gR2 RAC安装配置详细过程V3.1(图文并茂) 2 Oracle11gR2 RAC数据库安装准备工作2.1 安装环境介绍2.2 数据库安装软件下载3 Oracle11gR2 RAC数据库安装环境配置3.1 安装主机或虚拟机3.2 安装操作系统3.3 hosts文件配置3.4 添加组与用户3.5 添加文件系统3.6 修改操作系统参数3.7 禁止NTP3.8 配置grid和oracle用户的环境变量3.9 配置SSH信任关系3.10 调整页面…

MapR的分布式集群安装过程还是很艰难的,远远没有计划中的简单.本人总结安装配置,由于集群有很多机器,手动每台配置是很累的,编写了一个自动化配置脚本,下面以脚本为主线叙述(脚本并不完善,后续继续完善中). 编写脚本需要shell基础的,还要掌握awk和sed等统计手段为佳.操作系统是CentOS7. 准备:安装CentOS操作系统并分区 分区: / 50G /home 50G /boot 500M /var 50G /swap 8G /disk 305G(剩余全部,用于MapR的文件管理系统使用…

1. 准备工作 1.1. 软件准备 1.安装VMWare 2.在VMWare上安装CentOS6.5 3.安装XShell5,用来远程登录系统 4.通过rpm -qa | grep ssh 检查cent os 是否安装了ssh server和ssh client ,然后使用ssh localhost测试一下SSH是否可用. 如果没有安装那么使用下面的命令安装: yum install openssh-clients yum install openssh-server yum install o…