一.前言. 学习大数据组件,最好的方式是直接参照官网.不过官网的教程也让我吃了一坑,在此记录一下.因在个人笔记本资源有限,在此安装为单机版安装 二.搭建. 1.1配置主机名 hostnamectl set-hostname cdh 1.2配置hosts文件 vi /etc/hosts之后进行编辑,加入本机的ip映射关系(非单机时,有多个ip时,均加进来) 192.168.159.133 cdh 1.3关闭selinux setenforce 0 1.4关闭防火墙 systemctl stop f…

Cloudera’s Distribution Including Apache Hadoop,简称“CDH”,基于Web的用户界面,支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Spark. Hbase.Zookeeper.Sqoop等,简化了大数据平台的安装.使用难度.本文档将演示CDH6.0.1的部署,该版本是目前最新版本,该版本Hadoop生态组件版本可以查看manifest.json文件,相关文件下载地址如下: https://archive.cloudera…

关闭防火墙和selinux systemctl stop firewalld.service                (停止防火墙) systemctl disable firewalld.service           (关闭防火墙) 关闭selinux; setenforc 0 sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config 使用yum命令前,清除一下yum进程 rm -rf /var…

1.安装常用的工具软件 yum install -y vim wget centos7关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service#禁止firewall开机启动 2.搭建zabbix所需要的lamp环境. 下载最新的yum源,如下: wget -P /etc/yum.repos.d http://mirrors.aliyun.com/repo/Centos-7.repo 在开始安装之前,还需要…

1. 下载redis 1.1 下载地址 http://download.redis.io/releases/ 1.2 安装版本 redis-5.0.5.tar.gz 2. 安装redis 2.1 前置环境安装 #安装C语言环境 yum install gcc-c++   2.2 安装 # 解压 tar -zvxf redis-5.0.5.tar.gz # 编译    make # 安装 make install prefix=/usr/local/redis 2.3 配置文件 # 拷贝配置文件…

Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/71698903 Centos7完全分布式搭建Hadoop2.7.3------https://www.cnblogs.com/ksWorld/p/6704867.html CentOS7安装Hadoop2.7.3完整流程及总结----https://blog.csdn.net/wl0909/article/det…

前提 这篇文章是基于Linux系统CentOS7搭建Hadoop-3.3.0分布式集群的详细手记. 基本概念 Hadoop中的HDFS和YARN都是主从架构,主从架构会有一主多从和多主多从两种架构,这里为了简化搭建集群的流程,这里使用一主多从的架构.Hadoop集群中各个角色的名称如下: 服务 主节点 从节点 HDFS NameNode DataNode YARN ResourceManager NodeManager 还有SecondaryNameNode,其实是NameNode的备用节点,定…

centos7 搭建GlusterFS 转载http://zhaijunming5.blog.51cto.com/10668883/1704535 实验需求:4台机器安装GlusterFS组成一个集群 4个节点的硬盘空间不整合成一个硬盘空间,要求每个节点都存储一份,保证数据安全 环境规划server node1:192.168.0.165 主机名:glusterfs1 node2:192.168.0.157 主机名:glusterfs2 node3:192.168.0.166 主机名:glust…

2017-07-05:修正几处拼写错误,之前没发现,抱歉! 第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵. 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术:给我的学习内容是通过Ambari安装Hadoop集群.通过一周左右的学习和实践,整理出现在这篇安装心得.第一篇,重点放在Ambari-Server的搭建安装上. 安装默认使用Root用户,避免权限问题导致不成功. 使用4台虚拟机构建Ambari-Server.Hadoop集群…

CentOS7 搭建 SVN 服务器 介绍SVN: SVN是Subversion的简称,是一个开放源代码的版本控制系统,相较于RCS.CVS,它采用了分支管理系统,它的设计目标就是取代CVS.互联网上很多版本控制服务已从CVS迁移到Subversion.说得简单一点SVN就是用于多个人共同开发同一个项目,共用资源的目的. 安装SVN: [root@centos7 ~]# [root@centos7 ~]# yum install -y subversion 出现如下问题: [root@cento…

目录 CentOS7搭建OpenVPN 环境 安装 第一步.安装openvpn及所需软件 第二步.编辑vars文件,根据自己环境配置 第三步.创建服务端证书及key 第四步.创建客户端证书 第五步.拷贝生成的证书放置回openvpn目录 第六步.编写服务端配置文件 第七步.启动openvpn服务 第八步.下载windows openvpn客户端,并进行配置. 第九步 Linux openvpn客户端连接服务端测试 CentOS7搭建OpenVPN 文:铁乐与猫 2017年11月份 环境 安装了虚…

点击返回:自学Zabbix之路 点击返回:自学Zabbix4.0之路 点击返回:自学zabbix集锦 Centos7安装Zabbix4.0步骤 官方搭建zabbix4.0的环境要求: 1. 环境搭建LAMP 前提Centos系统安装完成:  确认一下: cat /etc/redhat-release # 查看CentOS版本 cat /proc/version #查看存放与内核相关的文件 1.1 搭建之前的操作 1.1.1 升级系统组件到最新的版本 yum -y update 1.1.2 关闭s…

vultr 配置 64 bit OS   CentOS 7 ×64 20 GB SSD    1 CPU  512MB  Memory  500GB Bandwidth √ Enable IPv6 √ Enable Private Network [?] Shadowsocks下载地址: windows 版本https://github.com/shadowsocks/shadowsocks-windows/releases android版本https://github.com/shadows…

centos7 搭建WEB服务器 2017年09月17日 09:44:50 逝然1994 阅读数:18321 标签: centosapacheweb服务器 更多 个人分类: centos服务器简单配置   版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq_26938637/article/details/78008427 步骤1:安装Apache服务. [root@192 ~]# yum install -y httpd 1 步骤2:启动Ap…

应用场景:ELK实际上是三个工具的集合,ElasticSearch + Logstash + Kibana,这三个工具组合形成了一套实用.易用的监控架构, 很多公司利用它来搭建可视化的海量日志分析平台. 官网下载地址:https://www.elastic.co/downloads  Elasticsearch: 是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口. Elasticsearch是用Java开发的,并作为Apache许可条…

转自 用Centos7搭建小微企业Samba文件共享服务器 - 今日头条(www.toutiao.com)http://www.toutiao.com/i6436937837660078593/ 最近研究了一下Linux用户权限和Samba文件共享,为了便于学习,通过一个实例来实现文件共享功能. 假设一个场景,某小微企业共有6人,其中4人为普通员工(user1-user4),2人为管理员(manager1,manager2).为了便于工作,建立一个基于Centos7 的文件共享服务器,服务器上进…

centos7 搭建jenkins.note 环境:VMware 虚拟机 centos 7+ jdk 1.8+ tomcat7+jenkins搭建好linux 服务器后,关闭防火墙 停止firewall[root@#localhost ~]# systemctl stop firewalld.service 禁止firewall开机启动[root@#localhost ~]# systemctl disable firewalld.service[root@#localhost ~]# vim…

CentOS7 搭建Kafka(二)kafka篇 前面我们说了zookeeper的搭建,zookeeper运行后就可以着手搭建kafka了. 必看 喜欢官方文档的请移步:[http://kafka.apache.org/documentation.html] 写的比我好的多请移步:[https://www.cnblogs.com/luotianshuai/p/5206662.html] 比较完整的教程请移步:[https://www.w3cschool.cn/apache_kafka/apach…

1 说明 前文Centos7搭建DockerRegistry介绍了DockerRegistry的搭建,但它没有UI页面,因此选择Harbor 以下基于镜像CentOS-7-x86_64-Minimal-1804进行搭建 均已root用户进行操作 2 安装docker和docker-compose 参见Centos7安装DockerCE安装Docker引擎 2.1 安装docker-compose 1.下载docker-compose的最新版本 curl -L "https://github.co…

centos7搭建ntp时间同步服务器chrony服务 前言: 在centos6的时候我们基本使用的是ntp服务用来做时间同步,但是在centos7后推荐是chrony作为时间同步器的服务端使用,避免的ntp在centos7支持的不是很友好 . 什么是chrony? 第一部分的第3条说明对比关系,详见centos6和centos7的对比,连接地址:https://www.cnblogs.com/liych/p/11741632.html 在centos7上可以用它做时间服务器使用,是默认支…

1.1 FastDFS的应用场景 FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片.视频.文档等文件.对于互联网应用,和其他分布式文件系统相比,优势非常明显.其中有好几家是做网盘的公司.其中存储量最大的一家,集群中存储group数有400个,存储服务器超过800台,存储容量达到6PB,文件数超过1亿,Group持续增长中. 以下是使用FastDFS的用户列表: UC (http://www.uc.cn/,存储容量超过10TB) 支付宝(http://www.…

前提 已完成Kafka的搭建,具体步骤参照CentOS7搭建Kafka单机环境及基础操作 Flume安装 下载 wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz 解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz 移动文件夹 mv apache-flume-1.6.0-bin /usr/local/hadoop/ 配置 cd /usr…

1.防火墙概述 centos7搭建集群,发现没有iptables,需要安装.防火墙为firewalle CentOS7默认的防火墙不是iptables,而是firewalle. CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. firewall: systemctl start firewalld.service#启动firewall systemctl stop firewalld.service#停止firewall systemctl disab…

本篇介绍在centos7中搭建hadoop2.10高可用集群,首先准备6台机器:2台nn(namenode);4台dn(datanode):3台jns(journalnodes) IP hostname 进程 192.168.30.141 s141 nn1(namenode),zkfc(DFSZKFailoverController),zk(QuorumPeerMain) 192.168.30.142 s142 dn(datanode), jn(journalnode),zk(QuorumPee…

本篇介绍在centos7中大家hadoop2.10完全分布式,首先准备4台机器:1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn(namenode) 192.168.30.142 s142 dn(datanode) 192.168.30.143 s143 dn(datanode) 192.168.30.144 s144 dn(datanode) 由于本人使用的是vmware虚拟机,所以在配置好一台机器后,使用克…

centos7搭建svn服务器及客户端设置 centos7貌似预装了svn服务(有待确认),因此我们直接启动该服务即可 一.svn服务端配置(服务器IP假设为192.168.100.1) 步骤1:创建存放代码库目录 mkdir -p /var/svn 步骤2:启动svn服务 svnserve -d -r /var/svn 步骤3:创建代码库something [root@model ~]# cd /var/svn [root@model svn]# [root@model svn]# [root…

本文主要记录CentOS下FTP Server的安装和配置流程. 安装vsftpd yum install -y vsftpd 启动vsftpd service vsftpd start 运行下面的命令: netstat -nltp | grep 21 我们可以看到vsftpd监听在21端口了: 此时直接访问ftp://ip(ip要换成你服务器的ip)就可以看到FTP的目录了: 创建ftp用户 创建一个用户: useradd ftpuser 对其设置密码: passwd ftpuser 大专栏…

CentOS7--搭建LNMP环境(WordPress案例) LNMP组成介绍 LNMP(Linux-Nginx-MySQL-PHP)网站架构是目前国际流行的Web框架,该框架包括:Linux操作系统,Nginx网络服务器,MySQL数据库,PHP编程语言,所有组成产品均是免费开源软件,这四种软件组合到一起,成为一个免费.高效的网站服务系统. LNMP工作原理 浏览器发送http request请求到服务器(Nginx),服务器响应并处理web请求.如果是静态文本直接返回,否则将脚本(PHP)通…

1 准备工具 使用yum安装git [root~]# yum -y install git 下载nginx-rtmp-module,官方github地址 // 通过git clone 的方式下载到服务器上 [root~]# git clone https://github.com/arut/nginx-rtmp-module.git yum 安装 openssl [root~]# yum -y install openssl openssl-devel 2 安装Nginx服务器,官方网址 下载N…

Microsoft.Owin.Security.OAuth搭建OAuth2.0授权服务端 目录 前言 OAuth2.0简介 授权模式 (SimpleSSO示例) 使用Microsoft.Owin.Security.SimpleSSO模拟OpenID认证 通过authorization code授权模式申请令牌 通过implicit授权模式申请令牌 通过password模式申请令牌 通过client credentials模式申请令牌 后话 前言 之前有分享这个项目源码及简介,不过因为文字讲解太少…