前言 因近期要做 hadoop 有关的项目,需配置 hadoop 环境,简单起见就准备进行单机部署,方便开发调试.顺便记录下采坑步骤,方便碰到同样问题的朋友们. 安装步骤 一.下载 hadoop-XXX.tar.gz 下载地址:http://archive.apache.org/dist/hadoop/core/ 将文件解压至无空格目录下,好像时间有那么点点久..... 注:解压需管理员权限!!! 添加环境变量 添加HADOOP_HOME配置 在 path 中添加 bin 目录 C:\hadoo…

配置前先查下JAVA_HOME的位置vim /etc/profile#set java environment JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-1.el7_7.x86_64JRE_HOME=$JAVA_HOME/jreCLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libPATH=$PATH:$JAVA_HOME/bin:$J…

1.概述 Hadoop3已经发布很久了,迭代集成的一些新特性也是很有用的.截止本篇博客书写为止,Hadoop发布了3.2.0.接下来,笔者就为大家分享一下在使用Hadoop3中遇到到一些问题,以及解决方法. 2.内容 2.1 基础软件包 在使用这些组件时,我们需要做一些准备工作,内容如下: Hadoop-3.2.0安装包(建议Hadoop-3.2.0源代码也一起下载,后面步骤需要用到) Maven-3.6.1(编译Hadoop-3.2.0源代码) ProtoBuf-2.5.0(编译Hadoop-…

目录: Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改 /etc/hosts5.关闭防火墙6.关闭SELINUX7.安装yum源并安装基础包8.关闭不必要的服务9.安装Java环境 第二部分 Hadoop正式安装 1.安装Hadoop2.修改hadoop的5个配置文件3.解决互信问题 第三部分 启动Hadoop集群 1.格式化NameNode2.启动Hadoop集群3.验证集群是否启动成功4.关闭h…

https://blog.csdn.net/wsh596823919/article/details/80774805 hadoop3.1.0 window win7 基础环境搭建 前言:在windows上部署hadoop默认都是安装了java环境的哈. 1.下载hadoop3.1.0 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common 2.下载之后解压到某个目录 3.配置hadoop_home 新建HADOOP_HOME,指向ha…

下面列出我搭建hadoop应用环境的文章整理在一起,不定期更新,供大家参考,互相学习!!! 杂谈篇: [英语学习]Re-pick up English for learning big data (not updated regularly) [转]大数据工程师需要学习哪些? [转]大数据东西辣么多,我该如何给自己一个清晰的定位呢? [转]大数据求职者说 [杂谈]大数据主流技术简介 第一篇  大数据主流技术之HADOOP部分 1.1 hadoop3.2.0的安装并测试 1.2 编译Hadoop连…

官网下载编译好的二进制包 http://phoenix.apache.org/download.html2 上传并解压到指定目录, 再修改目录名称 tar -zxvf apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz -C /opt/ronnie/ cd /opt/ronnie/ mv apache-phoenix-5.0.0-HBase-2.0-bin/ phoenix-5.0.0 将phoenix-5.0.0-HBase-2.0-server.jar这个ja…

简述: 1.0.1:redis cluster的现状 目前redis支持的cluster特性 1):节点自动发现 2):slave->master 选举,集群容错 3):Hot resharding:在线分片 4):进群管理:cluster xxx 5):基于配置(nodes-port.conf)的集群管理 6):ASK 转向/MOVED 转向机制. 1.1.0redis cluster 架构 1.1.1redis-cluster架构图 1.1.2架构细节: (1)所有的redis节点彼此互联(…

zabbix v3.0安装部署 摘要: 本文的安装过程摘自http://www.ttlsa.com/以及http://b.lifec-inc.com ,和站长凉白开的<ZABBIX从入门到精通v3.0.1 - 运维生存时间(2016)>一书. 关于zabbix及相关服务软件版本: Linux:centos 6.6 nginx: MySQL: PHP: 一.安装nginx: 安装依赖包: yum -y install gcc gcc-c++ autoconf automake zlib zlib…

真的管用,不知道为啥管用.转载自:http://blog.sina.com.cn/s/blog_709548200102vgy4.html 问题描述: 新安装的NetBeans8.0.2,安装过程中还一体化安装了内含的Tomcat8.0.15,打开NetBeans运行web工程失败,控制台输出错误信息如下: 启动 Tomcat 失败.*****\build-impl.xml:1164: 部署错误: 启动 Tomcat 失败.有关详细信息, 请查看服务器日志.构建失败 (总时间: 4秒) Tomc…