hbase2.1.9 centos7 完全分布式 搭建随记 这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤,文章内容未经过润色,请参考的同学搭配其他博客一同使用,并记得根据实际情况调整相关参数   1. 指定位置解压   2. vi /etc/profile export HBASE_HOME=/opt/hbase/hbase-2.1.9 export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPA…

zookeeper3.5.5 centos7 完全分布式 搭建随记 这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤,文章内容未经过润色,请参考的同学搭配其他博客一同使用,并记得根据实际情况调整相关参数   0.prepare 准备奇数台已经配置好jdk的节点 (奇数台避免选举leader时脑裂) 防火墙.ECS安全组   1. 指定位置解压   2.配置环境变量 2. vi /etc/profile export ZK_HOME=/opt/zoo…

(一)软件准备 1,hadoop-2.7.3.tar.gz(包) 2,三台机器装有cetos7的机子 (二)安装步骤 1,给每台机子配相同的用户 进入root : su root --------->  创建用户s:  useradd s -----------> 修改用户密码:passwd s 2.关闭防火墙及修改每台机的hosts(root 下) vim /etc/hosts  如:(三台机子都一样) vim /etc/hostsname:如修改后参看各自的hostname 关闭防火墙:s…

2. Hadoop三种集群方式 1. 三种集群方式 本地模式 hdfs dfs -ls / 不需要启动任何进程 伪分布式 所有进程跑在一个机器上 完全分布式 每个机器运行不同的进程 2. 服务器基本配置 2.1 服务器配置及系统版本 CPU: 2核 内存: 4G 系统版本: Centos7 1511 2.2 服务器IP及主机名设置 服务器数量: 五台机器 主机名 公网IP 内网IP hadoop-1 192.168.10.145 172.16.1.207 hadoop-2 192.168.10.…

简介: 关于完整分布式请参考: hadoop2.8 ha 集群搭建   [七台机器的集群] Hadoop:(hadoop2.8) Hadoop是一个由Apache基金会所开发的分布式系统基础架构.用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞…

Hadoop2.7.7 centos7 完全分布式 配置与问题随记 这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤,文章内容未经过润色,请参考的同学搭配其他博客一同使用,并记得根据实际情况调整相关参数.   0.prepare jdk,推荐1.8 关闭防火墙 开放ECS安全组  三台机器之间的免密登陆ssh ip映射:[question1]hadoop启动时出现报错java.net.BindException: Cannot assign req…

基于腾讯Centos7云服务器搭建SVN版本控制库 最近在和小伙伴组队参加一个关于人工智能的比赛,无奈不知道怎么处理好每个人的代码托管问题,于是找到了晚上免费svn托管服务器的服务,但是所给的免费空间实在太小了.本来我们在学校的实验室搭建了一个本地的服务器,但是只能是内网登陆,考虑到一个小伙伴会在78月左右就出国留学,不是内网无法登陆,而且那台主机将用来搭建集群.此时想到了我之前申请的腾讯云服务器,遂在腾讯云上基于centos7搭建了SVN.具体过程如下,如有不对,请大家指正!本人在CSDN上有…

1.新建三台机器,分别为: hadoop分布式搭建至少需要三台机器: master extension1 extension2 本文利用在VMware Workstation下安装Linux centOS,安装教程请看: VMware Workstation下安装Linux 2.编辑ip 用ifconfig查看本机ip: [root@master ~]# ifconfig eno16777736: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1…

CentOS7.5 下搭建SFTP Linux 创建用户组 groupadd sftp 创建用户test useradd -G sftp -s /sbin/nologin test -s 禁止用户ssh登录 -G 加入sftp用户组 创建密码 passwd test 修改配置文件 sshd_config sudo vim /etc/ssh/sshd_config 将下面这行注释 #Subsystem sftp /usr/libexec/openssh/sftp-server 然后在末行加入: M…

最近在倒腾Kubernetes的一些东西,这次需要用到Jenkins来实现自动化构建.来讲一讲搭建的整个过程. Jenkins是什么 Jenkins提供了软件开发的持续集成服务.它运行在Servlet容器中(例如Apache Tomcat).它支持软件配置管理(SCM)工具(包括AccuRev SCM.CVS.Subversion.Git.Perforce.Clearcase和RTC),可以执行基于Apache Ant和Apache Maven的项目,以及任意的Shell脚本和Windows批处…