用户配置: User :root Password:toor 2.创建新用户 student Pwd: student 3．安装virtualbox的增强工具软件 4.系统默认安装的是openjdk 1.7.0.5 没有jps等工具可以使用. 但hadoop应该是可以在openjdk中使用的. 卸载openjdk,下载安装oracle jdk. for i in $(rpm -qa | grep openjdk | grep -v grep) do echo "Deleting rpm ->…

本篇介绍在centos7中搭建hadoop2.10高可用集群,首先准备6台机器:2台nn(namenode);4台dn(datanode):3台jns(journalnodes) IP hostname 进程 192.168.30.141 s141 nn1(namenode),zkfc(DFSZKFailoverController),zk(QuorumPeerMain) 192.168.30.142 s142 dn(datanode), jn(journalnode),zk(QuorumPee…

本篇介绍在centos7中大家hadoop2.10完全分布式,首先准备4台机器:1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn(namenode) 192.168.30.142 s142 dn(datanode) 192.168.30.143 s143 dn(datanode) 192.168.30.144 s144 dn(datanode) 由于本人使用的是vmware虚拟机,所以在配置好一台机器后,使用克…

环境:[centos7.hadoop-2.7.3.zookeeper-3.4.6.hbase-1.2.5] 两个节点:[主节点,主机名为Master,用户为root:从节点,主机名为Slave,用户为root] 1.设置主机名,实现域名通信(所有节点都要改) 修改hostname主机名 hostnamectl set-hostname 主机名 #修改三种主机名 hostnamectl –static set-hostname 主机名 #只会修改static主机名 ifconfig查看ip 我这里…

环境说明 示例环境 主机名 IP 角色 系统版本 数据目录 Hadoop版本 master 192.168.174.200 nameNode CentOS Linux release 7.4.1708 (Core) 2.8.0 slave1 192.168.129.201 dataNode CentOS Linux release 7.4.1708 (Core) 2.8.0 准备工作 JDK安装 确认本机安装的JDK版本为1.7以上,建议为1.8. 查看本机安装JDK rpm -e --node…

环境: CentOS7 hadoop2.6.4两个节点:master.slave1 HBase1.1.6 过程: hadoop安装目录:/usr/hadoop-2.6.4 master节点,hadoop用户登录.在hadoop目录下新建thirdparty目录: $ mkdir thirdparty 目录结构: 把hbase1.1.6解压到thirdparty目录下: $ cp ~/hbase-1.1.6-bin.tar.gz thirdparty $ cd thirdparty $ tar z…

环境: CentOS7+SunJDK1.8@VMware12. NameNode虚拟机节点主机名:master,IP规划:192.168.23.101,职责:Name node,Secondary name node,Resource manager. DataNode虚拟机节点主机名:slave1,IP规划:192.168.23.102,职责:Data node,Node manager. 每个虚拟机分配资源:CPU单颗,内存2GB,硬盘20GB. 过程概要: 创建2个虚拟机,主机名分别为:m…

1.准备一台Vmware虚拟机,添加hdfs用户及用户组,配置网络见 https://www.cnblogs.com/qixing/p/11396835.html 在root用户下 添加hdfs用户,并设置密码: adduser hdfs passwd hdfs 将hdfs用户添加到hdfs用户组中 usermod -a -G hdfs hdfs 前面一个hdfs是组名,后面一个hdfs是用户名 验证用户和用户组: cat /etc/group 会看到   hdfs:x:1001:hdfs 将h…

简介: 最近在看hadoop的一些知识,下面搭建一个ha (高可用)的hadoop完整分布式集群: hadoop的单机,伪分布式,分布式安装 hadoop2.8 集群 1 (伪分布式搭建 hadoop2.8 ha 集群搭建 hbase完整分布式集群搭建 hadoop完整集群遇到问题汇总 搭建步骤: 主机 别名 安装软件 现有进程 服务地址 192.168.248.138 cdh1 hadoop2.8 jdk1.8 namenode DFSZKFailoverController http://c…

hadoop2.6  HA平台搭建   一.条件准备 软件条件: Ubuntu14.04 64位操作系统, jdk1.7 64位,Hadoop 2.6.0,  zookeeper 3.4.6 硬件条件: 1台主节点机器,配置:cpu 8个,内存32G,硬盘200G 5台从节点机器,配置均为:cpu 4个,内存16G,硬盘200G 各个节点IP如下: 服务器名字 Ip地址 备注(为方便操作将hostname改为如下) Hd-Name Node 192.168.0.10 master Hd-Data…

 一.前言 开始学习数据处理相关的知识了,第一步是搭建一个Hadoop集群.搭建一个分布式集群需要多台电脑,在此我选择采用VMWare+CentOS7搭建一个三台虚拟机组成的Hadoop集群. 注:1.本次搭建环境中操作系统的用户名为hadoop,请自行替换/home/hadoop为本机对应路径. 2.本次用到的软件版本为: VMware Workstation 14 Pro 14.1.3 build-9474260 CentOS 7.5.1804 Java 1.8.0_181 Apache H…

centos7搭建伪分布式集群 需要 centos7虚拟机一台: jdk-linux安装包一个 hadoop-2.x安装包1个(推荐2.7.x) 一.设置虚拟机网络为静态IP(最好设成静态,为之后编程提供方便,不设置静态ip也可以) 1.进入网络配置查看ip 2.选择NAT模式链连接 3.点击NAT设置,记住网关IP,后面要用到 4.进入终端,输入命令: cd  /etc/sysconfig/network-scripts,然后 vim ./ifcfg-eth0,(有的虚拟机是文件是:ifcfg…

centos7 搭建GlusterFS 转载http://zhaijunming5.blog.51cto.com/10668883/1704535 实验需求:4台机器安装GlusterFS组成一个集群 4个节点的硬盘空间不整合成一个硬盘空间,要求每个节点都存储一份,保证数据安全 环境规划server node1:192.168.0.165 主机名:glusterfs1 node2:192.168.0.157 主机名:glusterfs2 node3:192.168.0.166 主机名:glust…

准备工作 1.准备安装环境: 4台PC,均安装32位Ubuntu12.04操作系统,统一用户名和密码 交换机1台 网线5根,4根分别用于PC与交换机相连,1根网线连接交换机和实验室网口 2.使用ifconfig查看各PC的IP地址,并确保可以相互ping通 pc1 192.168.108.101 pc2 192.168.108.146 pc3 192.168.108.200 pc4 192.168.108.211 3.安装jdk,下载jdk-7u71-linux-i586.tar.gz,拷贝到你…

从网上搜索了好多搭建Centos7搭建服务器的教程都没有成功唯独这个,利用Windows资源管理器连接测试成功. 一.通过yum安装vsftpd yum install -y vsftpd 二.修改vsftpd的配置文件 vi /etc/vsftpd/vsftpd.conf 修改配置文件如下: 1.不允许匿名访问 anonymous_enable=NO 2.允许使用本地帐户进行FTP用户登录验证 local_enable=YES 3.使用户不能离开主目录 当chroot_list_enable=…

CentOS7 搭建 SVN 服务器 介绍SVN: SVN是Subversion的简称,是一个开放源代码的版本控制系统,相较于RCS.CVS,它采用了分支管理系统,它的设计目标就是取代CVS.互联网上很多版本控制服务已从CVS迁移到Subversion.说得简单一点SVN就是用于多个人共同开发同一个项目,共用资源的目的. 安装SVN: [root@centos7 ~]# [root@centos7 ~]# yum install -y subversion 出现如下问题: [root@cento…

续之前安装好的ELK集群 各主机:es-1 ~ es-3 :192.168.1.21/22/23 logstash: 192.168.1.24 kibana: 192.168.1.25 测试机:client: 192.168.1.26 在测试机上安装并启动filebeat 1. 下载filebeat  ~]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.0-linux-x86_64.tar.gz…

续  centos7搭建ELK Cluster集群日志分析平台(一) 续  centos7搭建ELK Cluster集群日志分析平台(二) 已经安装好elasticsearch 5.4集群和logstash 5.4 安装kibana步骤 1.下载安装Kibana  ~]#wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.0-x86_64.rpm 如果链接失效,官网下载:https://www.elastic.co/down…

续  centos7搭建ELK Cluster集群日志分析平台(一) 已经安装完Elasticsearch 5.4 集群. 安装Logstash步骤 . 安装Java 8 官方说明:需要安装Java 8 ,不支持Java 9... //自行安装,略过 . 安装Logstash 可以同elasticsearch一样建立repo文件通过yum安装,也可以去官网直接下载rpm包进行本地安装:   ~]# rpm -ivh logstash-.rpm  //这里直接下载好进行本地安装 3. 添加配置文件…

应用场景: ELK实际上是三个工具的集合,ElasticSearch + Logstash + Kibana,这三个工具组合形成了一套实用.易用的监控架构, 很多公司利用它来搭建可视化的海量日志分析平台. 官网下载地址:https://www.elastic.co/downloads Elasticsearch: 是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java 开发的,并作为Apache许可条…

目录 CentOS7搭建OpenVPN 环境 安装 第一步.安装openvpn及所需软件 第二步.编辑vars文件,根据自己环境配置 第三步.创建服务端证书及key 第四步.创建客户端证书 第五步.拷贝生成的证书放置回openvpn目录 第六步.编写服务端配置文件 第七步.启动openvpn服务 第八步.下载windows openvpn客户端,并进行配置. 第九步 Linux openvpn客户端连接服务端测试 CentOS7搭建OpenVPN 文:铁乐与猫 2017年11月份 环境 安装了虚…

linux -- 基于zookeeper搭建yarn的HA高可用集群 实现方式:配置yarn-site.xml配置文件 <configuration> <property> <name>yarn.resourcemanager.connect.retry-interval.ms</name> <value>2000</value> </property> <property> <name>yarn.…

Hadoop 2.7.1 (2015-7-6更新),hadoop的环境配置不是特别的复杂,但是确实有很多细节需要注意,不然会造成许多配置错误的情况.尽量保证一次配置正确防止反复修改. 网上教程有很多关于Hadoop配置的,但是每一个教程都对应了一个版本信息,有一些教程也存在很大的问题,配置环境,系统环境都没说清楚.在此我将记录下来从零搭建Hadoop2.7.1的过程,以及搭建过程中所遇到的一些问题. 一 操作环境说明 1.1 :操作系统: window8.1 1.2 :虚拟机版本:VMware1…

vultr 配置 64 bit OS   CentOS 7 ×64 20 GB SSD    1 CPU  512MB  Memory  500GB Bandwidth √ Enable IPv6 √ Enable Private Network [?] Shadowsocks下载地址: windows 版本https://github.com/shadowsocks/shadowsocks-windows/releases android版本https://github.com/shadows…

centos7 搭建WEB服务器 2017年09月17日 09:44:50 逝然1994 阅读数:18321 标签: centosapacheweb服务器 更多 个人分类: centos服务器简单配置   版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq_26938637/article/details/78008427 步骤1:安装Apache服务. [root@192 ~]# yum install -y httpd 1 步骤2:启动Ap…

应用场景:ELK实际上是三个工具的集合,ElasticSearch + Logstash + Kibana,这三个工具组合形成了一套实用.易用的监控架构, 很多公司利用它来搭建可视化的海量日志分析平台. 官网下载地址:https://www.elastic.co/downloads  Elasticsearch: 是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口. Elasticsearch是用Java开发的,并作为Apache许可条…

转自 用Centos7搭建小微企业Samba文件共享服务器 - 今日头条(www.toutiao.com)http://www.toutiao.com/i6436937837660078593/ 最近研究了一下Linux用户权限和Samba文件共享,为了便于学习,通过一个实例来实现文件共享功能. 假设一个场景,某小微企业共有6人,其中4人为普通员工(user1-user4),2人为管理员(manager1,manager2).为了便于工作,建立一个基于Centos7 的文件共享服务器,服务器上进…

原文:http://blog.csdn.net/u012852986/article/details/52386306 CentOS7 搭建LVS+keepalived负载均衡(一) CentOS7 搭建LVS+keepalived负载均衡(二) 原文:http://12270625.blog.51cto.com/12260625/1887186 Centos7-Lvs+Keepalived架构 原文:http://www.javacoder.cn/?p=820 Centos7实践LVS+Kee…

一.简介 GitLab,是一个利用 Ruby on Rails 开发的开源应用程序,实现一个自托管的Git项目仓库,可通过Web界面进行访问公开的或者私人项目安装. 它拥有与GitHub类似的功能,能够浏览源代码,管理缺陷和注释.可以管理团队对仓库的访问,它非常易于浏览提交过的版本并提供一个文件历史库. Git的家族成员 Git:是一种版本控制系统,是一个命令,是一种工具. Gitlib:是用于实现Git功能的开发库. Github:是一个基于Git实现的在线代码托管仓库,包含一个网站界面,向互…

前几篇文章主要介绍了单机模式的hadoop和spark的安装和配置,方便开发和调试.本文主要介绍,真正集群环境下hadoop和spark的安装和使用. 1. 环境准备 集群有三台机器: master:W118PC01VM01/192.168.0.112 slave1:W118PC02VM01/192.168.0.113 slave2:W118PC03VM01/192.168.0.114 首先配置/etc/hosts中ip和主机名的映射关系: 192.168.0.112 W118PC01VM01…