今天安装了一个hadoop集群,因为已经在单个虚拟机上安装成功,所以初期安装相对顺利. 初始环境如下:       通过Vmware Esxi服务器虚拟机出来四台机器,每台机器的网络配置如下:        master:10.10.50.241        node1:10.10.50.242        node2:10.10.50.243        node3:10.10.50.244   本机笔记本电脑:10.10.50.239(模拟远端访问控制).   问题描述: Hadoop

Hadoop启动之后,遇到一个奇怪的问题: VMware虚拟机中Hadoop服务的端口50070无法访问的问题---通过127.0.0.1:50070.localhost:50070.主机名:50070均可访问,唯独IP:50070不能访问到. 通过查找日志:发现datanode的日志中提示:访问MasterNameNode:8020不能访问. 排查步骤: 1.首先,各个虚拟机和客户端之间都能ping通,虚拟机都能上外网,说明网络没有问题. 2.各个虚拟机自己的防火墙已经关闭. 3.是不是端口有

ubuntu 关闭防火墙:ufw disable hadoop3.0以下版本web访问端口50070:3.0及以上web访问端口9870 参考链接:https://blog.csdn.net/qq_36219266/article/details/81232315

问题 部署traefik到客户节点的对外访问节点后,发现日志里面报错 类似于 E0122 :: reflector.go:] k8s.io/dns/vendor/k8s.io/client-go/tools/cache/reflector.go:: Failed to list *v1.Endpoints: Get https://172.254.0.1:6443/api/v1/endpoints?resourceVersion=0: dial tcp 172.254.0.1:6443: i/o

解决办法,重启机器 可能是我以前用的jenkins url 是127.0.0.1 然后是缓存什么没有释放掉所致 <jnlp codebase="http://183.62.104.48:8081/computer/win12/" spec="1.0+"><information><title>Agent for win12</title><vendor>Jenkins project</vendor&

遇到这个其实不难解决! 解决办法1: [root@djt002 hadoop]# vi /etc/selinux/config 改为 SELINUX=disabled 解决办法2: 查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好 解决办法3:必须在hadoop-env.sh文件中设置Java的绝对路径 解决办法4:是否关闭linux系统的防火墙 复制代码 [root@djt002 ~]# service iptables

1.启动hadoop.然后netstat -nltp|grep 50070,如果,没有找到进程,说明没有配置web界面的端口修改hdfs-site,xml中加上如下配置 再次启动后,netstat -nltp|grep 5070,仍然没有该端口号信息的话说明namenode可能没有成功启动,建议先jps下如果没有再去$HADOOP_HOME/logs下查看namenode日志. 如果你用的主机名:端口号,先去检查下/etc/hosts下的主机名的ip,是否配置的和你当前的ip相同,然后重新启动h

所花时间:7天 代码行:800(Java) 博客量:1篇 了解到知识点 : 一:http://localhost:50070无法访问 安装好hadoop之后 输入所有东西都有 可就是访问50070无法连接,在网上找了好多博文,没有一个感觉是靠谱的,忽然看到了一个回复,我的天真的是神来之笔. 很感谢这位网友,他的博客地址是:https://me.csdn.net/weixin_39384918 换了接口后网页也就能进去了 二: 看了hbase的操作,因为老师开学要实现用hbase实现网页版增删改查

~~~瞎忙了好久好久~~~ 第一次弄Hadoop完全式配置,全部跟着教程把操作做完之后,来到本机运行hadoop102:50070无法访问.... 以为是自己配错了就开始玩起了“找不同”游戏,玩得差不多崩了 想着试一下域名+端口吧 没想到就可以了哈哈哈  我之前一直在想为啥可以直接这样访问呢 原来需要配置hosts(hosts映射配置): c:/windows/system32/drivers/etc找到hosts文件 然后添加 ip  主机名 当然了这是无法访问最煞笔的一个错误 无法访问还有其

说白了 Spark on YARN模式的安装,它是非常的简单,只需要下载编译好Spark安装包,在一台带有Hadoop YARN客户端的的机器上运行即可.  Spark on YARN简介与运行wordcount(master.slave1和slave2)(博主推荐) Spark on YARN分为两种: YARN cluster(YARN standalone,0.9版本以前)和 YARN client.    如果需要返回数据到client就用YARN client模式. 如果数据存储到hd

 前期博客  Spark运行模式概述 Spark standalone简介与运行wordcount(master.slave1和slave2) 开篇要明白 (1)spark-env.sh 是环境变量配置文件 (2)spark-defaults.conf (3)slaves 是从节点机器配置文件 (4)metrics.properties 是 监控 (5)log4j.properties 是配置日志 (5)fairscheduler.xml是公平调度 (6)docker.properties 是

HDFS是英文Hadoop Distributed File System的缩写,中文翻译为Hadoop分布式文件系统,它是实现分布式存储的一个系统,所以分布式存储有的特点,HDFS都会有,HDFS的架构图: 上图中HDFS的NameNode其实就是对应着分布式存储的Storage master,主要是用来存储元数据的,根据这些元数据就可以管理所有的机器节点和数据块 HDFS的DataNodes其实就是对应着分布式存储的Storage slaves,主要就是真正存储数据的 在HDFS中,一个大文

项目中用到Redis,所以准备学习一下,感觉Redis的概念还是很多的,什么主从模式.sentinel模式.集群模式的,一下子都晕了,我觉得还是有必要先理清这些基本概念再说. 一.单节点实例 单节点实例还是比较简单的,平时做个测试,写个小程序如果需要用到缓存的话,启动一个Redis还是很轻松的,做为一个key/value数据库也是可以胜任的.单节点部署参照:http://www.cnblogs.com/yiwangzhibujian/p/7053840.html 中的初级教程. 二.主从模式(m

前提条件: 已经使用kubeadm 安装集群 查看 kebelet.conf 配置内容 kubectl --kubeconfig /etc/kubernetes/kubelet.conf config view apiVersion: v1 clusters: - cluster: certificate-authority-data: REDACTED server: https://{master node local ip}:6443 name: kubernetes contexts:

Jenkins可部署在windows或者linux平台上,项目系统的用户多数为windows系统.如果Jenkins部署在linux上,而自动化任务要在windows平台执行,那么就需要使用Jenkins的master/slave模式了. 一.Master/Slave模式 Jenkins有非常丰富的插件,可以做很多事情,而部署Jenkins的服务配置性能是有限的,当Jenkins要完成上百个任务时,就会占用非常多的资源,甚至有些资源之间是有冲突的,所以为了分担Jenkins服务器的压力,引入了m

转载自 https://blog.csdn.net/java_zyq/article/details/83818341 在K8S上部署Redis集群时突然遇到一个(sentinel哨兵模式)概念,感觉Redis的概念还是很多的,什么主从模式.sentinel模式.集群模式的,一下子都晕了,我觉得还是有必要先理清这些基本概念.具体的部署步骤就不在这赘述了. 一.单节点实例 单节点实例还是比较简单的,平时做个测试,写个小程序如果需要用到缓存的话,启动一个Redis还是很轻松的,做为一个key/val

近期为了分析国内航空旅游业常见安全漏洞,想到了用大数据来分析,其实数据也不大,只是生产项目没有使用Hadoop,因此这里实际使用一次. 先看一下通过hadoop分析后的结果吧,最终通过hadoop分析国内典型航空旅游业厂商的常见安全漏洞个数的比例效果如下: 第一次正式使用Hadoop,肯定会遇到非常多的问题,参考了很多网络上的文章,我把自己从0搭建到使用的过程记录下来,方便以后自己或其他人参考. 之前简单用过storm,适合实时数据的处理.hadoop更偏向静态数据的处理,网上很多hadoop的

为了将Hadoop和Spark的安装简单化,今日写下此帖. 首先,要看手头有多少机器,要安装伪分布式的Hadoop+Spark还是完全分布式的,这里分别记录. 1. 伪分布式安装 伪分布式的Hadoop是将NameNode,SecondaryNameNode,DataNode等都放在一台机器上执行,Spark同理,一般用于开发环境. 1.1 准备工作 系统准备:一台Ubuntu16.04机器,最好能够联网 准备好四个安装包:jdk-8u111-linux-x64.tar.gz,scala-2.1

一.环境说明 虚拟机:virtualBox 系统:centos6.5,64位 集群:3个节点 master 192.168.12.232 slave01 192.168.12.233 slave02 192.168.12.234 二.准备工作 1.虚拟机centos6.5 --设置主机名 2.虚拟机centos6.5 --安装jdk 3.创建hadoop用户 useradd hadoop #创建用户 passwd hadoop #设置密码,3台机器密码最好都一样 usermod -g root

启用ip vi /etc/sysconfig/network-scripts/ifcfg-ONBOOT=yes 编辑DNS /etc/resolv.conf nameserver 114.114.114.114... 重启网络 service network restart nmcli conn show  看下你现在启用的是哪个配置ip 查看ip(可以安装yum -y install net-tools 就有ifconfig和netstat了)查看改动后的效果,Centois 7 不再使用 i

一.在root下进行格式化 这样很糟糕 这样的话,若是第一次装的话,我的建议是将生成的文件都删掉,恢复到最开始的状态, 1. 首先你需要删除 vi conf/hdfs-site.xml   配置文件的dfs.name.dir和dfs.data.di的路径位置,我的是:/home/hadoop/dfs 故为:rm -rf  /home/hadoop/dfs 2.其次你需要删除  vi conf/mapred-site.xml   文件中的mapred.system.dir  的文件位置: <val